Первый тест навигационных программ и on-line сервисов «пробки» на дорогах Москвы

23-го декабря состоялся старт первого независимого тестирования on-line сервисов с пробками для автомобильной навигации. В тестировании участвуют 8 экипажей:

PocketGis — 2 экипажа с картами от Геоцентр-Консалтинг и OSM (Open Street Map), противозаторный сервис Пробковорот.
Сити Гид (City Guide) (сервис Probki.net)
Автоспутник (сервис Яндекс.Пробки )
Навиком (эксклюзивный дистрибьютор Garmin в России )
TomTom Club (не используя on-line сервиса «пробки», но используя фирменную технологию)
ПроГород (не используя on-line сервисов «пробки»)
Навител — официально отказался от участия, но экипаж с этой программой тоже был.
Bee-on-road — на соревнование просто не приехали.

Старт был дан на стоянке у ТЦ «МЕГА» Белая дача.
Было дано задание — доехать до ул. Шереметьевская-32 и вернуться обратно.
Передвижение участников обсуждалось в форуме организаторов и было доступно онлайн через веб-клиента.
Первые два места на финише у участников PocketGis-2 и PocketGis-1, поздравим с победой всех причастных! Да здравствует сервис Пробковорот!

Маршрут победителя, PocketGis-2 — туда через МКАД и Ярославку:
Победный маршрут PocketGis-2
Ссылка на интерактивную карту для более пристального изучения.

Маршрут участника PocketGis-1: туда по Рязанке, обратно по Волгоградке.

Маршрут Tomtom, который пришел на финиш вторым, самый простой, по основным магистралям: туда и обратно по Волгоградке. Нюанс в том, что экипаж PocketGis-1 выехал на 8 минут позже и сократил гандикап до 1 минуты, т.е. фактически проехал маршрут на 7 минут быстрее Томтом-а.

Предварительные результаты на финише без учета штрафных баллов от Станислава Кузнецова:

Экипаж Старт [1] Финиш1 [2] Финиш2 [3] От старта до финиша1 От финиша1 до финиша2 От старта до финиша2
PocketGis-2 [4] 14:42 15:51 17:07 1:09 1:16 2:25
PocketGis[5] 14:50 16:19 17:35 1:29 1:16 2:45
TomTom 14:42 16:14 17:34 1:32 1:20 2:52
Прогород 14:44 [6] 16:27 18:20 1:43 1:53 3:36
Навител 14:43 16:37 18:24 1:54 1:47 3:41
СитиГид 14:43 16:44 18:30 2:01 1:46 3:47
Навиком 14:43 17:25 20:20 2:42 2:55 5:37
Автоспутник 14:43 18:39 [7] 21:04 3:56 2:25 6:21

[1]- Точкой старта являлась стоянка у ТЦ «МЕГА» Белая дача.
[2]- Финиш1 является промежуточной точкой, выбранной жеребьевкой перед заездом (из 5-ти возможных заранее придуманных точек). После достижения Финиша1 участники немедленно продолжали движение к Финишу2.
[3]- Финиш2 является конечной точкой, и совпадает с точкой старта.
[4]- Использовалась карта от ГеоЦентра (2-летней давности)
[5]- Использовалась карта проекта Open Street Map (OSM).
[6]- Не совсем точное, но наиболее вероятное время выезда! Вероятно, какое-то время не работал GPS, т.к. точка выезда не совпадает с другими.
[7]- Маршрут прошел не рядом с точкой финиша, а по параллельной соседней улице примерно в 150м от цели.

ПроГород без информации о пробках поехал туда и обратно по Рязанке. В самом начале экипаж потерял несколько минут, пока программа обдумывала и перепрокладывала маршрут (см. в комментариях).

CityGuide — один из основных инициаторов тестирования, поехал «туда» через Люблинскую, а по пути обратно петлял как заяц в сторону Южнопортовой, выехал опять на Люблинскую через «прокол» под ж-д. Короче, ему незачет.

Навител «туда» ехал через внутренний МКАД, Липецкую улицу, Варшавку, набережную, Таганку и Садовое — слишком замысловато и неудачно, обратно — тупо по ТТК и Волгоргадке, без малейших изысков, которые на обратном пути все же были у PocketGis-2.

Навиком-Garmin поехал по МКАД-Люблинка-Текстильщики-Волгоградка-Таганка-Китай-город. Обратный путь был тоже довольно оригинальным, тоже незачет.

Автоспутник пришел последним. Видимо, роковая ошибка была в самом начале, когда было принято решение ехать по Люблинской улице. Перед Текстильщиками было потеряно много времени, вторая ошибка — это езда через центр. Каковы причины таких грубых ошибок, пока неясно.

Результаты предварительные, ждем официального объявления. А вообще, на мой взгляд, неплохая методика тестирования. Произвело впечатление:
1) практически не было одинаковых маршрутов, экипажи на первом же перекрестке поехали в разные стороны по МКАД, дальше их пути тоже разошлись.
2) огромный разброс по затраченному времени: от 2ч 25мин до 6ч 21мин.
3) полный провал многих известных программ, которые продаются в коробках тысячами.
4) успех программы, использующей бесплатные карты мира OpenStreetMap, подключенные к проекту Пробковорот всего 1-2 месяца назад.

И, разумеется, большое спасибо GPS-клубу, всем организаторам, всем кто придумал и испытал методику тестирования. Ждем новых, не менее захватывающих тестов, которые обещают стать регулярными.

10 комментариев

  1. Итоги теста от организаторов — GPS-клуба, введение, с подробной хронологией, о каждом участнике, с учетом штрафных минут: часть 1 и часть 2 (про экипажи с PocketGis).
    Как оказалось, Автоспутника (кроме маршрута через Люблинку) подкосило то, что «они чётко следуют указаниям программы, которая уже несколько раз слетала.»

    Видеоотчет от GPS-клуба (9 минут), не без юмора, рекомендуется к просмотру.

    Отчет на IXBT, часть 1 — вводная информация. Обстоятельно и подробно обо всех участниках.
    Отчет на IXBT, часть 2 — подробно о подготовке и проведении тестирования, о маршруте победителя, с роликом-презентацией процесса.

    Отчет на IXBT, часть 3 — Официальные результаты, подробный анализ маршрутов участников и результатов.

    Отчет от Tomtom — обстоятельный анализ маршрутов, даже с подсчетом правых и левых поворотов.

  2. Пишет наблюдатель из машины Прогорода:
    «Ехал я с ПроГородом наблюдателем. Водила у них был, насколько я понял, профессиональный, на их офисной машине. Про навигацию водила не знал ничего, но ехал строго как было сказано, на пустых участках держал строго +10 к разрешенной скорости, даже замечания записать ни за что не удалось Программа глюкнула только раз, заявив голосом про поворот через 300 метров, а он оказался под носом, о чем нам была корректно нарисована картинка на экране.

    Еще один прогородской товарищ сидел с нами в машине, я так думаю, что откуда-то из отдела маркетинга, но предмет он знал.

    Сразу после выезда с парковки ПроГород начал перестраивать маршрут. Выглядит это как замерзший на ходу экран, тишина и узенький прогресс-бар снизу. Минуты на две-три. Мы просто встали у обочины с аварийкой, потому как непонятно, в какую сторону выезжать.

    Пробок у ПроГорода пока нет, будут точно, но в каком виде и когда — непонятно.

    Приехали мы четвертыми, на основании чего водила наш сделал вывод, что в половине навигационных программ антипробочная функциональность не то что не работает, а просто вредна.

    В пачке сданных я видел листочек чей-то аж с пятью штрафными галочками. Одна программе, остальные водиле.

    В общем, ехать с ПроГородом нормально, разве что предупреждения о почему-то опасных участках дороги вылезают регулярно, а о поворотах маршрута предупреждения аж за 1200 метров на любой скорости. Но это, говорят, настраивается.

    Прогородской товарищ был в обалдении, когда (после финиша) узнал, что вся покетгисовская толпа народу просто тусовка с форума. Он был уверен, что мы все работаем на фирму Виктора.»

  3. Появилась информация по результатам проверки временных меток:
    “экипаж TomTom возвратился к точке старта в 17:34, а экипаж PocketGIS с картой OSM приехал всего минутой позже в 17:35. Однако старт экипажа TomTom состоялся в 14:42, а старт экипажа PocketGis с картой OSM был 8-ю минутами позже в 14:50!
    Итого, выходит выигрыш в 7 минут! ”

    Выходит, что экипаж PocketGis с картой OSM, все-таки опередил TomTom!

  4. Отчет водителя победившего экипажа (Антон Губарьков):

    «Когда жеребьевка дала мне карту Геоцентра, я расстроился. Всё-таки старая карта. Но, делать нечего. Поехал. Когда маршрут пошел через Щелковское, а потом через Ярославское, я расстроился ещё больше.
    Я никак не мог представить, что мы окажемся на промежуточном финише первыми!
    Весь маршрут мы ехали! На обратном пути мы успели проскочить почти всю Москву до вечерних пробок. Стояки на Рязанке заставили понервничать.

    В результате мы привезли второму участнику 20 минут. Ура всем нам!»

  5. «Будучи наблюдателем в машине с Навител, на треке виден огромный круг, это все потому, что пока происходила регулярная перепрокладка маршрута, карта замерзала каждый раз на 15 сек, из-за этого было проехано мимо 3 въезда в центр по основным магистралям. Состояние пробок по цветам соответствовало действительности лишь на 20%, причем разглядеть на экране подкрашенные участки в тот или иной цвет было очень сложно. 1 раз девайс вывалился в ошибку с жалобой на размер виртуальной памяти, пришлось перезапускать. 5 место заслужено только благодаря опыту и мастерству водителя, а также автомобилю отечественного производства, которого водитель не жалел. Ничего необычного и особенного в программе замечено не было, программа клала маршруты только по главным улицам.»
    Надо сказать, что Навител официально отказался от участия в тестировании, но тестирование было произведено независимыми участниками при полном соблюдении правил тестирования.

  6. Пассажир победившего экипажа (он же автор PocketGis 🙂 ):
    «Маршруты ТомТом и ПГС-ОСМ различались только вариантом выезда на ТТК (ТомТом поехал по Волгоградке, ПГС-ОСМ (стратегия компромисс) — по Рязанке), далее маршруты были идентичными. Но. ПГС-ОСМ по вине организаторов (ожидание опоздавшего наблюдателя) задержался с выездом на 7’20», а в точке схождения маршрутов (место выезда с Рязанки на ТТК) отставание ПГС-ОСМ составляло 3’57»,
    т.е. Пробковорот с созданным непрофессиональной общественностью графом ОСМ, до выполнения пересчета данных по итогам осенних исправлений, предложил вариант маршрута, по которому удалось проехать на 3’17» быстрее, чем по основанному на использовании статистической информации варианту от признанного мирового лидера в навигации и картографии. «

  7. Ситигид сам предложил методику независимого тестирования и заранее срался с Навителом, упражняясь в красноречии. Они заняли 5 и 6 места :).

    Кстати, технология «выбора и построения оптимального маршрута движения автомобиля на основании данных, получаемых от самих участников движения» была реализована Ситигидом позже Пробковорота:

    «МИТ так же опоздал, первое предложение запустить обратную связь на основе данных о передвижении пользователей у них на форуме появились летом 2006-го*, первая версия с признаками наличия обратной связи была опубликована МИТом не ранее осени-зимы 2006-го (как они пробки наносили и откуда данные брали — это пусть они сами расскажут ), в то время как версия PocketGIS с полем меню «Пробковорот» (работавшим на отправку данных на сервер 77.ру) была открыто опубликована весной 2006-го.

    Что касается муссирующихся в прессе идей МИТ’а застолбить за собой приоритет на пробковоротную технологию, кмк данная игра на их стороне не стоит свеч: приоритет в патентном праве доказывается не только по дате заявки, но и в т.ч. по дате более ранней открытой публикации, т.е. приоритет для эпохи «май-2006» для PocketGIS доказывается по достаточно очевидной схеме, о том, что до этого в 2005-м работала пилотная версия проекта «Поплавок», собиравшая данные для анализа дорожной ситуации от «черных ящиков» МИТ’у, скорее всего, не известно, по ней сложнее будет доказать приоритет, но если сильно понадобится, не исключаю и такой вариант.»

    * — домен «пробки.нет» был зарегистрирован 15 июня 2006 г., т.е. более чем через месяц после открытой публикации ПокетГИС с пунктом меню «Пробковорот».

  8. Отчет участника с прогоаммой CityGuide.

    «Немного покружив по парковке выехали где-то средними…
    Заворачиваем на МКАД в сторону Каширки и не доезжая сворачиваем на Проектируемый проезд №5396. Несмотря на название, оказывается что это довольно широкая улица в три ряда в одну сторону. Ура, едем быстро, тормозим чтобы не превышать скорость… Восторг был недолгим, влипаем в пробку перед ул.Братеевская на светофоре. Похоже, там только что была авария, на разделительной полосе стоит скорая помощь и машина ГИБДД. Через минуту, СитиГИД исправно рисует красную пробку. Кто за нами по ситигиду или мейлпробкам едет — не забудьте сказать спасибо :).
    Дальше очень быстро едем по Люблинской без пробок. Но утыкаемся в блинный глухой хвост на левом повороте на Волгоградский пр-т. Данных о пробке у СитиГИДа в этом месте не было и тут мы оставляем весь накопленный выигрыш по времени. Дооолго тупим, красный светофор загорается перед самым носом и наблюдающий строго коммандует мне стоп… Кажется что прошла целая вечность, пока загорелся зеленый и мы двинулись дальше. Светофор тут действительно ОЧЕНЬ долгий для левого поворота…
    Далее, Волгоградка, трешка и пробка в Лефортовском туннеле была тоже наша. Да еще и ряд выбрали неудачно. Ехали в левом, а там в середине туннеля была авария. В туннеле перестоения запрещены, и наблюдатель зорко бдит. Пришлось плестить в пробочном ряду. После туннеля сразу направо, проскакиваем под трешкой на ул.Спартаковская и тупим перед Южным проездом.
    Кстати, в этом месте наблюдатель стал что-то помечать и записывать на диктофон. Оказывается ему не понравилось что СИтиГИД дал подсказку «Поворот направо» и потом «Левее». Наблюдатель счел что в этом месте логичней было бы ничего не говорить, т.к. по его мнению тут нужно просто ехать прямо. Прав ли он?
    Дальше едем на Садовое и вскоре берем промежуточную точку.

    Обратный путь был более интересным. СитиГИД угадал почти все пробки и вел заковырестым маршрутом. Это можно наблюдать на треке. Интересно было, что мы действительно почти не стояли, только в конце в узком месте под ЖД путями. Вначале ехали по трешке, где наблюдатель влепил мне превышение скорости (ехали по правилам 80 км/ч, я говорил по телефону, заехали в туннель и наблюдатель сказал, что в туннеле ограничение 60). Ну, правила есть правила, не заметил — сам виноват. Потом на ш.Энтузиастов и через них опять на трешку, видимо объезжали традиционную Лефортовскую пробку. Но перед самым поворотом с Энтузиастов на трешку вдруг маршрут перестроился и проложился в центр по ш.Энтузиастов, далее по Рогожскому Валу, через ул.Шарикоподшипнинская и м.Дубровка (никто не заказывал такси на Дубровку? 🙂 )
    Затем через Угрешскую на Южнопортовую и пулей до ул. Шоссейная. Затем потолкались перед туннелем под ЖД. Впереди ехала фура, (видимо тоже по СитиГИДу 🙂 ) но она не знала, что туннель по высоте всего 3 метра. Фуре пришлось проехать мимо.
    Дальше все понятно. Пробок уже особенных не встречалось, спокойно через ул.Верхние Поля СитиГИД довел нас прямо до места старта. Причем подсказки были правильными даже на парковке 🙂

    А потом… бурное обсуждение, пресса и награждение победителей.
    Как оказалось, отставание от Навитела и Прогорода было совсем незначительным. И если бы знать это, можно было бы «поднажать», а не пропускать пешеходов… Но, как получилось — так получилось.»

    Заметим, если бы «поднажали и не пропускали пешеходов», то 1.5 часа вряд ли удалось бы наверстать :).

  9. Отчет от водителя-тестера Навитела.

    «Являюсь пользователем навигации уже более 4-х лет, участником соревнований по ориентированию в городе и вне дорог.
    В качестве независимого тестера собирался просто проехать по маршруту по ситигиду вне зачета. Но на брифинге оказалось недостаточно машин, для тестирования и волею указательного пальца организатора Александра Коломенского в мою сторону поехал тестировать навител. В мой автомобиль ВАЗ 2109 был установлен GPS трекер и навигатор с навителом.
    И вот старт забиваем конечную точку (финиш) промежуточную Шереметьевская 33.С паркинга выезжаем первые. Едем на МКАД где понимаем, что программа ведёт сначала через финиш….. Поиск-любимые-Шереметьевская 33-едем.Развязка, 16 км мкад навител висит на прокладке маршрута проехали её навител досчитав маршрут предлагает резко направо в отбойник…ставим минус.
    Настойчиво рекомендует ехать до Липецкой и далее по ней.От мкада до Каширки ехал быстро, меняя полосы в зависимости от обстановки, удачно объехал все стоящие поворотные ряды даже несколько раз превысил скорость находясь в левом ряду, но таковой была скорость потока, который я догонял…
    В крайнем правом ряду выезжаем на каширку, встаём в пробку. Тошним до ТТК сворачиваем на набережную, далее петля на Новоспасский мост перед поворотом на Новоспасский пр-д вылетает ошибка о нехватке памяти устройства. Перезагружаем навител, едем на садовое. Садовое очень медленно, но едет. Машина начинает закипать, паркуюсь лезу под капот, принудительно включаю вентилятор. Перед проспектом Мира звоню водителю с ситигидом ему до контрольной точки на 400 метров дальше, чем мне. С Садового сворачиваем на Мещанскую. Дальше без пробок берём КТ, разворачиваемся, на ТТК и до волгоградки спокойно едем. Выезд с ТТК на волгорадку по левому ряду объезжаем сколько возможно, встаём, вылезаем на волгорградку, сразу поперек полос выбираемся в левую полосу звоню ситигиду он с Рогожского вала поворачивает на волгоградку, понимаю, что мы на финишной прямой. На перекрёстке Люблинка и волгорадка в сторону центра ДТП. Едущие в область пялятся. Дальше пробок нет. Доехав до мкад и выехав на него облегченно вздохнул, выслушал рекомендацию наблюдателя, что спешить некуда доезжаем до Меги. Где поворот на стоянку не видно из-за не работающего омывателя лобового стекла, которое до этого мыли на светофорах. Паркуемся.
    Итог: когда смотришь на навител, чтобы понять куда ехать, он висит на прокладке маршрута! Маршрут до КТ был нелогичным и у водителя, безукоризненно соблюдающим ПДД, занял бы минут на 30 больше моего времени.
    Маршрут от КТ до финиша логичен, у безупречного водителя занял бы на 5-10 мин больше времени.
    Треки тут _http://slil.ru/28415250

    P.S. Огромное спасибо наблюдателю Станиславу, адекватно принявшему моё предложение следовать чётким указанием программы, но ехать в привычном для меня темпе.
    Оргам за проведённое тестирование.
    Мегазачёт статистике и мозгам ПокетГИС или просто хорошо организованной команде.

    С уважением,
    Исаев Алексей»

Comments are closed.