2under

пятница, 18 марта 2011 г.

Тестирование навигаторов

Сегодня на российском рынке представлено довольно много различных навигационных систем, среди которых встречаются как достойные продукты, так и своего рода «полуфабрикаты».

Под этим термином следует понимать программы, слабо приспособленные к боевым условиям эксплуатации: очевидно, что главная функция навигационной системы – «доставка» пользователя из точку A в точку B с минимальными временными потерями, однако на самом деле на качество навигации влияет масса различных параметров. Иными словами, даже если у вашего навигатора чувствительный приемник, а установленная в него навигационная система может похвастаться качественными картами, в целом этот комплекс может быть совершенно неудобным для использования.

В процессе тестирования восьми систем, доступных в России, мы оценим их по целому ряду критериев – чтобы разобраться во всем этом разношерстном многообразии и вынести вердикт: кто же все-таки лучший? Отметим, что едва ли нам удастся выделить явного аутсайдера с «нулями» чуть ли не во всех оценочных категориях: если навигационная система присутствует на рынке и даже продается, то у нее явно есть некие положительные черты, привлекающие потребителя. Просто следует понимать, что одни продукты сделаны качественно и с душой, другие – на скорую (и, возможно, даже кривую) руку. Работают – пусть и совершенно по-разному – представители обоих групп. К сожалению, рядовому покупателю разобраться в этих нюансах очень трудно. Но мы ему поможем.

Доклад о результатах

В тестировании приняли участие восемь жителей столицы со стажем вождения от года до пяти лет на авто различных классов (от малолитражки класса A до полноразмерного седана и грузовика «ГАЗель»). Все участники поочередно проинсталлировали в GPS-навигаторы каждую из десяти навигационных систем и выполнили набор тестовых заданий, выставив по их итогам оценки.

Цифры по каждому заданию-критерию (всего по 8 цифр в каждом из 15 критериев в 5 категориях) для каждой из восьми навигационных систем были нами суммированы и разделены на количество добровольцев – то есть, на восемь. Среднее арифметическое заносилось в таблицу (подробные объяснения – ниже).

Особняком стоят «составные» критерии – их, собственно, большинство. Например, «Точность расчета маршрута»: этот критерий формируется по итогам прокладывания маршрута до 10 адресов в пределах города; за каждый идеально проложенный маршрут навигационная система (НС) получает по 1 баллу. Если во время поездки возникли проблемы – от 0 до 0,9 в зависимости от их уровня. В итоге каждый водитель суммировал десять значений (по кол-ву адресов; максимальная возможная сумма равна 10); мы, в свою очередь, суммировали значения всех восьми участников и нашли среднее арифметическое. В таблице указано именно это значение. Пункты, за которые НС в рамках составного критерия может получить до 1 (или более) балла, указаны в описании. Если критерий не составной, то в его рамках каждый водитель выставляет НС оценку одной цифрой, ничего не суммируя (диапазоны также указаны ниже в описании критериев).

Критерии объединены в группы по 2-4 категории. Подчеркнем: разные критерии позволяют НС «заработать» разное количество баллов. Почему? Дело в том, что важность разных функций всегда неравнозначна: скажем, качество камеры мобильника оценивается прежде всего по фотографиям, хотя она ведь может еще и записывать видео; просто эта функция имеет значение для меньшего количества потребителей. В нашем случае ситуация примерно та же: например, хорошая картография важнее красивого интерфейса (хотя хочется иметь и то, и другое). Именно поэтому категория «Картография» может принести системе более 11 баллов, а категория «Интерфейс» – всего 8.

Хочется подчеркнуть, что дано исследование не претендует и не может претендовать на истину в последней инстанции. Методика тестирования (как наш бренный мир) несовершенна, некоторые критерии являются субъективными. Кроме того, надо помнить, что аналогичное исследование, проведенное в другом городе (не в Москве) может дать совсем другие результаты. Например, в Питере лидером, скорее всего оказался бы «СитиГИД».

Итого по программам навигации:
Как принято говорить в подобных ситуациях, «победила дружба»: явных аутсайдеров в нашем тесте нет (как мы и предсказывали), зато сразу несколько систем набрали одинаково большое количество баллов. И тем не менее, в лидеры выбилась молодая отечественная система «ПроГород». Она произвела приятное впечатление на водителей (особенно были отмечены удобные и наглядные подсказки по перекресткам и полосам движения), а основной ее минус – отсутствие поддержки «пробочного» сервиса. К слову, и от аналогичного недостатка может в скором времени избавиться и пакет iДа, который вообще тесно интегрирован с онлайновыми сервисами.

Что же касается других систем, то все они также хороши – об этом красноречиво говорит уровень продаж «Навитела», «СитиГида», «Автоспутника» и т. д. Хороши, но сегодня качество продукта стоит оценивать не только по наличию тех или иных функций, но и по качеству их реализации. Как видим, молодежь по этому параметру не отстает от старожилов рынка и даже кое в чем их опережает.


Скриншоты навигационных программ:








«Критерии оценки» или «Как мы тестировали?»

МАРШРУТИЗАЦИЯ

1. Точность расчета маршрута (составной)
Выбираем десять адресов в различных уголках Москвы – от районов, в которых полным ходом идет застройка (а значит, ставятся новые светофоры, автобусные остановки, прокладываются дороги), до старых и хорошо изученных улиц, которые детально прорисованы практически на каждой карте. Известные всем места также нуждаются в проверке – если у НС возникают проблемы даже с ними, то позор ее разработчикам. Каждый из водителей прокладывает маршрут до адреса с помощью каждой из десяти НС; оценивается правильность построения маршрута: нет ли немотивированных объездов, запрещенных поворотов, движения по односторонней улице «против шерсти». Кроме того, смотрим на оптимальность маршрута: вдруг НС предлагает сделать громадный крюк, хотя до пункта назначения есть гораздо более короткая дорога. За каждый идеально проложенный (проверяется не только на экране навигатора, но и на практике) НС получается по 1 баллу. Максимально возможное количество баллов у каждого водителя – 10 (1х10 адресов). Затем мы складываем восемь полученных результатов (то есть «сумм» от каждого водителя) для каждой НС (например, «ПроГород»: 10+9,8+7,3+10+9,6+8,9+7,7+10= …), делим эту цифру на 8 и заносим в таблицу. Точно так же поступаем и в дальнейшем.

2. Сервис пробок (составной)
Как известно, подобные онлайновые сервисы реализованы не во всех НС. Что проверяем:
1) Поддерживаются ли «пробки» вообще (если не поддерживаются, то автоматически 0; если да – 1);
2) Прокладывает ли программа маршрут с учетом «пробок» или только их отображает? (В первом случае максимум 1 балл, во втором – максимум 0,5; здесь и далее – максимальные значения, а в случае возникновения «шероховатостей» цифра может и должна быть меньше.)
3) Полностью ли «закрыт» этим сервисом город? (Каждый водитель ставит от 0 до 1 в зависимости от того, хватает ли, по его мнению, имеющегося «пробочного» покрытия для передвижения по городу.)
4) Практическая часть – проезд двух машин к одной и той же точке назначения с использованием сервиса пробок и без него. Сравнение результатов. Оценка от 0 до 1.
В сумме максимальная возможная оценка по пробкам от каждого водителя – 4 балла. В том случае, если все идеально. Еще раз отметим: каждый водитель сам суммирует свои баллы по четырем пунктам для каждой из НС, мы суммируем баллы всех водителей и выделяем среднее арифметическое.


ИНТЕРФЕЙС

3. (1). Понятность пунктов меню (не составной). Оценивается ДО «полевого» тестирования, чтобы водители могли оценить удобство ДО передвижений – насколько быстро можно изучить меню НС и т. д.?
Водители – тоже люди: кто-то способен быстро разбираться в дебрях интерфейсов гаджетов, кто-то – нет. Задача заключается в следующем: выбрать случайным образом (например, «настройки», «избранное» и т. д.) пять подпунктов и попытаться найти их, впервые включив навигатор. Удастся ли сделать это сразу, без подглядываний в инструкцию? Кроме того, здесь же оцениваем качество локализации программы (если программа изначально не российская). В общем, все должно быть субъективно, но справедливо.
Оценки – от 0 до 1. Участники могут для удобства выделить подпункты, но это не принципиально – личное дело каждого. Критерий не составной.

4. (2). Удобство управления (составной)
Что и как оцениваем:
Размер иконок: удобно ли нажимать на них в движении, не отвлекает ли процесс их поиска на экране от дороги? Не слишком ли пестрый интерфейс НС? (от 0 до 1)
Нужен ли стилус для ввода тестовой информации (экранная клавиатура слишком мелкая), или по виртуальным кнопкам удобно попадать пальцем? (от 0 до 1) Отметим, что здесь значительную роль играет дисплей навигатора и его разрешение – то есть особенности аппаратного обеспечения, которые не имеют отношения непосредственно к НС.
Приходится ли в ряде случае тянуться к навигатору двумя руками (что неудобно или даже небезопасно) или всегда хватает одной? (или 0, или 1).
Максимальное возможное количество баллов от каждого водителя – 3.

5. (3). Визуальная эргономика (составной)
Что и как мы оцениваем:
Удобна ли компоновка главного экрана, не закрывают ли информеры карту? (от 0 до 1)
Переключается ли система из ночного режима в дневной и обратно автоматически? Здесь же оцениваем реализацию ночного режима: не слишком ли он темный? (или 0, или 1)
Не перегружена ли карта элементами, можно ли регулировать их отображение и детализацию карт? Имеется ли режим «Только карта и больше ничего» (от 0 до 1).
Максимальное возможное количество баллов от каждого водителя – 3.

6. (4). Своя оценка интерфейса
Субъективная оценка красоты, эргономики, читабельности интерфейса.


КАРТОГРАФИЯ

Одна из самых важных категорий, так как без качественных карт любой навигатор превращается в пластиковую коробочку, оснащенную в лучшем случае медиаплеером. Указываем, какая компания является производителем карт в случае каждой навигационной системы. Просто указываем названия, а вот о качестве говорим после оценки поставляемых вместе с НС карт водителями. В данном конкретном случае в «Личной оценке» будет учитываться количество доступных карт регионов.

7. (1). Адресный поиск (не составной)
Просто оцениваем его удобство – кому-то его реализация может понравиться, кому-то – нет. Для третьего важно вообще только его наличие. Отмечаем наличие списка последних поисковых маршрутов. Каждый водитель пытается найти по 10 адресов и оценивает, устал ли он от этого процесса, или все нашлось быстро и безо всяких лишних нюансов. Оценки – от 0 до 2.

8. (2). Точность карт (составной)
Каждый водитель берет 10 участков в разных уголках города и проверяет их с помощью каждой из навигационных систем. Построили новый дом? Отлично: смотрим, есть ли он на карте или разработчики заняты личными делами и не считают нужным актуализировать информацию. Также выбирается 5 конкретных адресов в пределах каждого из 10 участков и оценивается, как они отображаются на картах. Участникам теста предстоит «отсмотреть» массу объектов; максимальное возможное количество баллов – 6: по 0,1 за 50 адресов и по 0,1 за осмотр участков.
Проверяем точность привязки к картам. Для этого отключаем опцию «Притягивать к трассе» и смотрим, на каком расстоянии от дороги на карте находится точка местоположения (от 0 до 1).

9. (3). Качество картографической информации (составной)
Сравниваем карту одного города (желательно – не самого большого, то есть не Москвы и не Петербурга, хотя можно и их тоже, но только наряду с городом поменьше), чья карта поставляется со всеми НС.
Оцениваем:
Есть ли контуры домов (или 0, или 1).
Много ли POI, актуальны ли они? Пытаемся найти ближайшие ресторан, автомойку, кинотеатр и церковь (от 0 до 1).
Обозначены ли дворовые проезды? (От 0 до 1 в зависимости от качества реализации, что также проверяется на практике минимум в пяти случаях.)
Максимальное возможное количество баллов от каждого водителя – 3.

10. (4). Специфика (не составной)

Поддерживается ли российская система адресации (вводим в поиск несколько «экзотических» адресов, например, «Волжский бульвар, квартал 114А корпус 3 строение 2»). Ели все в порядке – 1. Если дома/корпуса не поддерживаются, то 0. Если номера строений на карте обозначены корректно, но система поиска «хромает», то 0,5. Особо тщательно тестируем НС зарубежных компаний, в которых адресный поиск реализован не всегда.


ПОЛЬЗОВАТЕЛЬСКОЕ УДОБСТВО

11. (1). Сервис карт (не составной)

Прежде всего оцениваем удобство обновления карт и частоту выпуска этих самых обновлений («кабинетное» исследование, которое проводится в домашних условиях; читаем форумы и новостные ленты на сайтах разработчиков НС – ищем, довольны ли пользователи масштабами обновлений). В процессе узнаем, можно ли сообщить разработчику о найденной ошибке и насколько оперативно вносятся коррективы в карты. Оценка – от 0 до 1. Ноль ставим в том случае, если последний апдейт был выпущен несколько месяцев назад, и пользователи на форумах в связи с этим публикуют недовольные посты.

12. (2). Производительность (не составной)

Оцениваем скорость работы системы в целом и выбираем лучшие и худшие решения. Обязательное условие: тестируем НС на скорость на одном и том же навигаторе. Для честности и точности. Оценка – от 0 до 2,5 баллов. Особо обращаем внимание на скорость прокладки длинных (400-500 км) маршрутов и скорость перепрокладки.

Ссылка на новость: http://news.auto.ru/articles/46.html

Комментариев нет:

Отправить комментарий

Примечание. Отправлять комментарии могут только участники этого блога.