Как оценить UX продукта: 7 этапов

Оценка UX (он же бенчмаркинг) – это процесс оценки пользовательского опыта при использовании продукта или услуги с помощью определённых показателей и сравнения их относительной производительности со стандартами. Определить эти показатели можно с помощью количественного тестирования юзабилити, аналитики или опросов.

Рассмотрите возможность проведения сравнительного исследования если вы хотите:

• Отследить общий прогресс продукта или услуги;
• Сравнить свой UX с более ранней версией, конкурентом, отраслевым эталоном или целью, определенной заинтересованными сторонами;
• Продемонстрировать ценность UX-усилий и вашей работы.

На высоком уровне бенчмаркинг – это метод оценки общей производительности продукта. Сравнительные исследования обычно проводятся в конце каждого цикла проектирования перед началом следующего.

Бенчмаркинг часто представляет собой целый комплекс действий, а не разовое мероприятие: многие организации многократно делают аналитику после релиза новых версий своих проектов. Бенчмаркинг обеспечивает подотчётность и определяет прогресс.

Обзор процесса

В этой статье мы рассмотрим высокоуровневый семиэтапный процесс создания программы тестирования. Он будет требовать сверхурочной работы, чтобы понять, что и как измерять. Однако, как только вы определите структуру исследования, процесс станет повторяться, требуя гораздо меньших усилий.

Шаг 1. Выбор объекта измерений

Сосредоточьтесь на ключевых показателях, которые лучше всего отражают качество измеряемого вами UX. Ищите метрики, которые соответствуют целям UX и вашей компании.

Тем не менее, прежде чем вы определите, какие метрики стоит отбирать, вы должны обусловить контекст вашего исследования. Другими словами, рассмотрите такие вопросы:

• На каком продукте вы сосредоточены? (сайт, приложение и т.д.)
• На какую группу пользователей вы будете ориентироваться?
• Какие задачи или функции вы хотите измерить?

Задачи

Определите основные задачи, решаемые пользователями с помощью ваших продуктов. Если в вашей организации нет существующих основных задач, можно начать с документирования (большинства) задач в продукте. После расставьте приоритеты в списке задач и выберите примерно 5–10 из них, которые окажутся наиболее важными для ваших пользователей.

В таблице ниже представлены несколько возможных сценариев продуктов и задач. Каждому продукту присвоена только одна задача, но в реальной жизни у вас, вероятно, будет больше одной задачи.

Метрика

Теперь, когда у вас есть список задач, как возможно их измерить? Платформа СВПУЭ (англ. – HEART) от Google предоставляет краткий обзор различных типов показателей, которые можно собирать и анализировать. Следующая таблица представляет собой адаптацию структуры СВПУЭ:

Обратите внимание, что время выполнения задачи, выступающее в качестве показателя вовлеченности, должно быть высоким (например, время, потраченное на чтение статей на сайте газеты), когда время выполнения задачи, выступающее в качестве показателя эффективности должно быть низким. Другими словами, одно и то же изменение может быть как успешным, так и не очень, в зависимости от того, что измеряется.

Выберите показатели, которые будут иметь значение в долгосрочной перспективе, поскольку в идеале вы будете собирать их неоднократно в течение многих лет. Постарайтесь отобрать 2–4 показателя, из различных аспектов вашего UX.

Вот некоторые метрики, которые можно отслеживать для задач из предыдущего примера.

Бенчмаркинг пользовательского опыта – это не только отслеживание показателей, но и демонстрация их ценности. Провести его будет намного легче, если вы подберете показатели, которые соответствуют КПИ вашей организации. Например, в банке, где стоимость поддержки клиентов является ключевым показателем эффективности, отслеживая количество обращений в службу поддержки до и после, вы можете продемонстрировать, что переработанная форма обратной связи способствовала снижению затрат на поддержку.

Шаг 2. Решите, как собирать данные

Когда дело доходит до определения методологии сбора ваших показателей, необходимо учитывать: время, затраченное на каждый метод, его стоимость, навыки тестеров и доступные вам исследовательские инструменты. Если таковых нет, то лучше вообще ничего не делать, потому что ложные числа хуже, чем их отсутствие. Кроме того, не расписывайте план исследования, который влетит вам в копеечку, если решите поддерживать его в долгосрочной перспективе.

Прежде чем приступить к планированию нового исследования, посмотрите, какие данные уже имеются на руках у вашей организации относительно того опыта, который вы хотите измерить. Очень важно получить целостное представление об опыте и связать ваши UX-метрики с более крупными целями организации. Запрашивая данные из других источников, обязательно объясните, зачем они нужны и каким образом будут использоваться.

Есть 3 метода исследования, которые хорошо подходят для UX-бенчмаркинга: количественное тестирование юзабилити, аналитика и опросы.

• Количественное тестирование юзабилити. Участники выполняют основные задачи в системе, а исследователи собирают показатели (такие как время выполнения задачи, степень успеха и удовлетворенность), которые измеряют производительность пользователей по этим задачам.
• Аналитика. Данные об использовании системы (такие как процент отказов и использование функций) собираются автоматически.
• Обзоры. Пользователи отвечают на вопросы, чтобы сообщить о своем поведении, впечатлениях или мнении. Сложность выполнения задачи, рейтинг удовлетворенности, чистый рейтинг – все это показатели, собранные в опросах.

В идеале вы должны объединить опрос с поведенческим методом наблюдения (количественное тестирование юзабилити или аналитика), чтобы получить целостное представление о пользовательском опыте.

Ниже мы показали методики для наших предыдущих сценариев.

Шаг 3. Сделайте первые замеры: установите базовый уровень

Теперь, когда вы уже в курсе, как и какие метрики нужно собирать, давайте соберём данные по базовым метрикам. (Не все сразу – сначала проведите пилотное исследование, чтобы создать стартовую выборку данных и провести предварительный анализ. Вам необходимо убедиться, что ваш метод надёжен и что полученные данные могут ответить на все вопросы. Скорее всего, пилот заставит вас пересмотреть свою методологию, а это значит то, что полученный набор данных лучше не учитывать.

При пилотных замерах учитывайте внешние факторы, которые могут повлиять на данные, поэтому, если это возможно, предвидьте их. Например, если вы – Интернет-магазин, использующий аналитику для сбора показателей продаж, остерегайтесь таких факторов как обширные маркетинговые кампании или крупномасштабные экономические события. Они могут нарушить ваши показатели и затруднить сопоставление изменений дизайна с результатами.

Показатели только одного измерения вашего сайта вряд ли будут иметь какой-то смысл. Даже если вы только начали свою программу сравнения и у вас нет предварительных данных, вы все равно можете проводить параллели с конкурентами, отраслевым эталоном или целью, определенной заинтересованными сторонами.

• Конкурент. Например, если ваш продукт представляет собой приложение для умных колонок, вы можете сравнить опыт настройки вашего продукта с настройкой конкурирующего. (Для этого вам, вероятно, придется собирать данные о продуктах конкурентов, поэтому на предыдущих этапах необходимо будет принять это во внимание. К слову, ограничиваться лишь аналитикой в качестве методологии не стоит, поскольку у вас не будет доступа к данным вашего конкурента.)
• Отраслевой эталон. У вас может быть доступ только к внешней статистике. Например, если у вас веб-сайт отеля, вы можете сравнить свой NPS (оценка промоутера) со средним NPS для этой отрасли, который составляет 13%.
• Цель, определяемая заинтересованными сторонами. Например, ваши заинтересованные стороны желают, чтобы среднее время на отправку формы для лида составляло менее 3 минут. Так вы можете сравнить свою текущую эффективность с этим порогом.

Обдумывая, как интерпретировать результаты этих сравнений, примите во внимание рекомендации, описанные в шаге 6.

Шаг 4. Измените дизайн продукта

Процесс редизайна выходит за рамки этой статьи, хотя это невероятно важная часть: без редизайна вы не сможете сравнивать несколько версий вашего продукта.

При изменении дизайна продукта помните о 10 эвристиках юзабилити для интерактивного дизайна.

Шаг 5: Проведите дополнительные измерения

После редизайна продукта проведите повторный бенчмаркинг дизайна. Если вы собираете аналитику, непрерывное измерение даёт дополнительное преимущество. Однако для сбора данных на основе задач, например, для количественного тестирования юзабилити и опросов, вам необходимо определить подходящее для этого время. Люди склонны не принимать изменений, поэтому дайте им немного времени на адаптацию. Скорость принятия изменений зависит от того, как часто пользователи обращаются к вашему продукту. Для продуктов, доступ к которым осуществляется ежедневно, возможно, достаточно будет 2–3 недель. Для продукта, к которому пользователи обращаются один или два раза в неделю, лучше за 4–5 недель до измерения.

Когда вы сочтёте подходящим время для оценки нового дизайна, еще раз задокументируйте все потенциальные внешние факторы, которые могут повлиять на ваши выводы.

Шаг 6: Интерпретация результатов

Теперь, когда у вас есть как минимум две точки с данными, пришло время интерпретировать свои выводы. Не следует принимать свои показатели за чистую монету, поскольку выборка, используемая для вашего исследования, вероятно, намного меньше, чем все ваши пользователи. По этой причине нужно будет использовать статистические методы, чтобы увидеть, являются ли видимые различия в ваших данных реальными.

В общем, интерпретация ваших показателей сильно зависит от продукта и выбранных метрик. Например, время выполнения задачи в приложении для составления отчётов о расходах отличается от времени выполнения задачи в мобильной игре. Ниже мы обрисовываем один из ранее обсуждаемых сценариев и интерпретацию его результатов.

Сценарий: настройка умной колонки

Предположим, мы использовали количественное тестирование юзабилити в сочетании с опросом, чтобы собрать такие данные как время на задачу, процент успешности и SEQ. В следующей таблице представлены гипотетические показатели для нашего первоначального дизайна и его модернизированной версии.

Таким образом, время выполнения задачи было почти таким же, процент успеха и среднее SEQ увеличились. Предположим, мы обнаружили статистически значимые различия между этими парами показателей. Таким образом, при редизайне пользователи были более успешны и удовлетворены процессом настройки. Другими словами, редизайн удался!

Шаг 7. Расчёт рентабельности инвестиций (опционально)

Бенчмаркинг позволяет отслеживать свой успех и демонстрировать ценность работы. Один из способов продемонстрировать ценность UX – связать показатели UX с целями организации и рассчитать рентабельность инвестиций (ROI). Эти вычисления связывают метрику UX с ключевым показателем эффективности (KPI), такими как: прибыль, затраты, производительность или удовлетворенность клиентов.

Расчет ROI чрезвычайно полезен, хоть и не широко практикуется UX-профессионалами. В любом случае, если вы изо всех сил пытаетесь доказать влияние UX, расчёт рентабельности может быть убедительной визуализацией результатов.

Представление результатов сравнительного анализа

Когда вы завершите свой анализ и поделитесь выводами с заинтересованными сторонами, постарайтесь рассказать историю на основе собранных данных. Тот факт, что некоторые члены вашего руководства любят числа, не означает, что вы не можете использовать некоторые качественные выводы или цитаты из предыдущих исследований.

При представлении обязательно задокументируйте все свои предположения и возможные вмешивающиеся переменные вашего исследования. Хоть вам, возможно, и не придется напрямую комментировать их, добавление в вашу презентацию показывает, что вы имеете целостное представление об окружающей среде продукта и позволяет вам легко ссылаться на неё, если возникнут дополнительные вопросы о достоверности ваших измерений.

Заключение

Бенчмаркинг – это фантастический инструмент для согласования UX с общими целями и результатами организации. Чтобы провести сравнительное исследование сначала сосредоточьтесь на важных задачах или функциях вашего продукта и определите, как вы можете их измерить. Затем выберите метод исследования, который позволит вам собрать эти показатели с учётом вашего времени, бюджета и навыков. Выполните первое измерение, измените дизайн продукта и снова соберите эти показатели по той же методологии. Наконец, интерпретируйте свои выводы, сравните собранные вами данные, используя знания о продукте и организации.

Повторите все вышеописанные шаги в следующем году! (Или после обновления.) Надеемся, ваши показатели станут лучше, а если нет, вы будете знать, на чем необходимо сосредоточить свои усилия при следующем апдейте.

Источник: Design Glory