История о том, как поиск ответа на один вопрос может обернуться глобальным переосмыслением подхода к образованию сотрудников.
Содержание статьи
Пролог. Заходит заказчик в бар…
Экосистема нашей компании включает в себя огромное число проектов: здесь и информационные порталы, сервисы по учёту времени и финансов, CRM системы работы с людьми и много-много других. Одним из ключевых направлений этой огромной армады является профессиональное развитие людей, в частности внутренний образовательный портал, на котором сотрудники компании могут регистрироваться на курсы и тренинги.
Однако, перед бизнесом стала проблема: компания платит большие деньги, приглашая матёрых спикеров, организовывая огромные программы, платит зарплату людям, которые все это делают, а на курсы ходит, мягко говоря, не та целевая аудитория. Люди просто записываются куда-нибудь, а потом не приходят, а то и пишут, что курс — отстой, даже не посетив его. В общем, относятся к активам компании неподобающе.
Таким образом, возникло предположение о том, что если начать показывать сотрудником стоимость курсов (цену всего этого «придумать», «организовать» и «провести»), то потенциальные обучаемые начнут гораздо обдуманнее подходить к выбору, и тем самым сэкономят деньги компании. Дескать, взыграет совесть в душах честного народа, и начнёт он семь раз думать, прежде чем отрезать… кусочек бюджета.
Благо, вместо этого, чтобы сразу интегрировать идеи в жизнь, мы привыкли их проверять. Ответ стейкхолдеры ожидали через 2 недели. По окончании срока, заказчик хотел услышать всего два слова: «Да, показываем!» или «Нет, акститесь!».
Расклад вполне хороший, 2 недели для тестирования одного критерия, правда? Чересчур! И мы решили усложнить: можно ведь не только ответить на заданный вопрос, но и узнать, что больше всего влияет на выбор пользователей, и почему так много совершают этот выбор неверно. Как говориться, если уже и расчехлять research machine, то делать это основательно.
Часть 1. Вы хотите поговорить об этом?
Но прежде, чем идти в поле за информацией, нам нужно было понять, как данные собирать. Нашей основной целью было выявление и сортировка наиболее значимых критериев при выборе курсов. И при этом, нам очень хотелось попутно выявить проблемы и инсайты, на основании которых, можно было выстроить новую версию портала. Конечно, последнее нас делать никто не просил, но мы решили озадачиться, даже если работа пойдет в стол. Мы же профессионалы.
Таким образом, была разработана комбинированная модель тестирования, которая включала в себя 2 этапа:
- интервью с пользователями, чтобы выявить факторы влияния (а заодно и возможные проблемы системы),
- тестирование как эти самые факторы влияют на выбор курсов.
В качестве методологии первого этапа мы выбрали ретроспективные интервью. Это позволило нам говорить о действительном опыте людей, а не смоделированном. То есть вместо вопросов а-ля «Чем вы руководствуетесь при выборе курса», мы просили людей вспомнить реальные случаи работы с порталом и рефлексировать их. После того, как человек выплёскивал весь свой негатив, мы просили его сформулировать «светлое будущее», то есть образ портала, которым он хотел бы пользоваться. Такие фантазии по методу «Слюнявого единорога» помогли нам оформить ментальную модель пользователя, от который мы отталкивались в будущем. Конечно, подобные рассказы изобилуют неточностями и субъективизмом, но этого было вполне достаточно для построения гипотез, которые мы проверили на втором этапе.
Как бонус, мы собрали множество откровений от людей и нашли возможный «корень зла». Как оказалось, люди не бездумно записывались на курсы, а наоборот, они были убеждены, что совершают правильный выбор. А всё потому, что пользователям было тяжело отделить зёрна от плевел, портал им не помогал.
Прямо во время интервью, стало понятно, что проблема вовсе не в том, что люди не ценят усилия компании, а в том, что тупо не могут найти лучший для себя курс. Наши подозрения, что обнажение стоимости здесь точно не поможет, начали подтверждаться. Но если не денежки, то что может влиять на выбор людей?
В список подозреваемых попали такие очевидные критерии, как:
- рейтинг + популярность,
- заголовок,
- описание,
- картинка,
- соответствие уровню,
- цена (добить подозрение всё-таки нужно).
После того, как мы сформировали гипотезы основные на ментальной модели наших пользователей, мы перешли к фазе их тестирования. Может показаться странным: зачем нам тестировать качественные данные полученные в результате интервью? Но люди склонны рационализировать свой опыт, то есть искать объяснения уже случившемуся, оправдывая свои поступки. Потому, нельзя просто взять и сделать, как нам сказали. Тем более, бабушка не зря нас учила «доверяй, но проверяй». Но как?
Часть 2. Экспериментируй
Для того, чтобы определиться, кто из наших «подозреваемых» будет влиять на выбор пользователей сильнее, мы разработали эксперимент в двух частях. Выбрать метод сбора и анализа данных было довольно сложно. Первое, что пришло нам в голову, провести банальное А/Б… Но потом мы подумали головой, и оказалось — это вообще нереально. Простой А/Б тест покажет лишь предпочтение одного критерия для выбора относительно другого. То есть, хотят люди сравнивать курсы по рейтингу или по бюджету. Нам же нужно было сравнивать влияние каждого из них для дальнейшего составления «чарта». А для этого, нам нужно было понять, как критерии работают между собой одновременно. То есть курс с низким рейтингом, но высокой ценой воспринимаются пользователем более привлекательными, чем с низкой ценой, но высоким рейтингом, или наоборот. Так и отпало А/Б-тестирование.
Методологически, мы решили остановиться на тестировании по протоколу «мысли вслух», когда по мере выполнения задания участник постоянно комментирует свои поступки, мысли и чувства. Было лишь несколько дополнительных наворотов. Все респонденты были разделены на четыре группы, каждая из которых стартовала со своего «параметра». Это было сделано для чистоты эксперимента, чтобы нивелировать вероятность влияния первого впечатления.
Мы предложили нашим респондентам выполнить следующее задание: «Менеджер сообщил, что через 2 недели ты выступаешь на митапе. Для хорошего выступления тебе нужно подтянуть свой public speaking skill. В этом тебе может помочь наш образовательный портал, где есть много лекций и тренингов. Ты вводишь запрос public speaking и система тебе выдает следующие результаты. На каком курсе ты остановишь свой выбор?»
Для каждого критерия, был подготовлен макет с гипотетической подборкой: в одном макете на карточках присутствовал рейтинг, у других только цена и т.д. После беглого ознакомления с выдачей, её комментирования, пользователям предлагалось сделать выбор и прокомментировать его. Так мы выявляли первый параметр влияния, значимый для людей.
Однако первая часть эксперимента была направлена на сравнительную характеристику параметров влияния, то есть как пользователи сравнивают курсы друг с другом. При этом, не было никакого понятия о том, что именно толкает людей совершать целевое действие, а именно — регистрацию на курс.
Для того, чтобы покрыть и этот кусочек пазла мы предложили пользователям погрузиться глубже и принять решение — записываться на курс или нет. «Погружение» представляло собой внутреннюю страничку с деталями тренинга, которая была выстроена на основании ментальной модели наших пользователей (взята из инсайтов ретроспективных интервью), где каждый информационный блок представлял собой триггер, основываясь на котором человек мог принять для себя решение: цена, рейтинг, агенда, тренер, рекомендация коллеги, суммарное количество часов, которое потребуется на курс и т.д.
Здесь снова начиналась работа по протоколу мысли вслух, которая позволила понять, как именно рассуждают люди. Точнее сказать, как они пытаются найти объяснение уже сформированному решению. Так мы проверяли свои гипотезы относительно визуальной иерархии внутреннего наполнения курса.
После того, как пользователь смог сформулировать свои мысли, и все результаты были записаны, мы возвращали респондента к первой части задания. Таким образом, мы могли немного отвлечь человека, чтобы он позабыл о своём первоначальном выборе. А вернув респондента к сравнению курсов, и заставив выполнить задание снова мы могли с определённой долей уверенности понять, не обманул ли он нас.
Мы открывали другой макет страницы выдачи, на котором появлялся дополнительный критерий, и предлагали сделать выбор снова. Мы наблюдали, измениться решение человека или нет. То есть, оказался ли дополнительный критерий сильнее исходного. Так мы могли определить уровень влияния каждого из критериев друг относительно друга. По крайней мере, нам так казалось поначалу…
Увеличение точности
Перед тем, как перейти к основным сессиям тестирования, мы решили провести своеобразный пилотаж. Получив первые результаты, мы были довольны, как слоны, но всё было слишком хорошо. Присмотревшись к данным повнимательнее, мы к своему ужасу осознали, что на решения наших респондентов повлияли не исследуемые параметры, а случайные и незаметные факторы, такие как лицо известного спикера на заставочной картинке.
Также мы столкнулись с проблемой, когда два критерия вступали в синергию (и цена рейтинг хороший и рекомендация есть) невозможно было оценить влияние каждого фактора в отдельности. Решать эти проблемы мы решили адаптировав методологию RITE.
Right RITE
Чтобы понять, как мы адаптировали RITE, нужно сперва познакомиться с тем, что представляет этот метод в чистом виде. А чтобы сделать это давайте вспомним, как проводится классическое тестирование удобства использования (яйцо в утке, утка в зайце и так далее).
Сперва нам нужно определить наших пользователей, эвристики для теста, затем написать сценарий и определить протокол (мысли вслух). И на данном этапе RITE никак не отличается от классики. И даже сами по себе сессии проходят так же. Всё веселье начинается после первого респондента. В классическом тестировании, все проблемы и инсайты заносятся в протокол, который подбивается после определённого числа сессий. Например, вы пригласили 5 респондентов, для тестирования вашего сценария. И 5 из них не смогли закончить сценарий из-за одной и той же проблемы. Казалось бы, можно со 100% вероятностью сказать что мы нашли верную проблему, все счастливы.
Но если после первой сессии проблема действительно так очевидна, зачем нам еще 4 раунда? Не логичнее было бы внести изменения, а уже потом вернуться к пользователям, и протестировать путь дальше? Именно это и привносит в процесс метод RITE. Он так и расшифровывается — rapid iterative testing and evaluation. Суть в том, что после каждой сессии, мы не идём пить кофе, а оцениваем результаты, взвешиваем аргументы и принимаем решение вместе с командой — будем ли мы менять что-то в текущем решении, прежде, чем пригласим следующего респондента. Если какая-то проблема мешает пользователю закончить его сценарий, она должна быть устранена, пусть и в костыльном виде. Всё для того, чтобы следующая сессия была лучше, чем предыдущая.
«Нет предела совершенству», скажите вы и будете правы. Классическое тестирование предполагает использование приблизительно пяти участников, чтобы выявить самые значительные, повторяющиеся проблемы. RITE метод использует более сложный алгоритм, чтобы определить, когда горшочку уже не варить: заканчиваем, когда набьём комбо из 5 успешных завершений.
Понять всё ещё легче на примере. Предположим, что вы пригласили 15 человек для участия в тестировании flow покупки нового телефона.
Первая сессия прошла успешно. А вот на второй пользователь вообще не смог найти корзину. Комбо сгорело, но не так и жалко. Вы решаете сделать корзину более заметной для следующего участника.
Третий респондент успешен. Четвёртый тоже. А пятый не понимает условий доставки, поэтому проваливается. Как не печально — комбо сгорело.
Важно понимать, что применять вообще все изменения довольно глупо (помните историю про портрет?). Посему можно подождать и посмотреть, повторится ли проблема снова, или она была специфична для пользователя. В нашем примере, мы решили ничего не менять. Следующие пять сессий прошли на «Ура!».
И всё, можно заканчивать, но если вы всё-равно зарезервировали время своих респондентов, не стоит его терять. Какое комбо вы сможете набить?
Бесспорно, методология обладает своими плюсами, такими как быстрые изменения, уменьшение рутины, динамика и эффективность. И при этом обладает ограничениями: не всегда изменения можно внести быстро, сложно оценить релевантность проблемы, необходимо большее число сессий.
Вот такой вот метод. Но вернёмся к нашему кейсу, а он, если вы помните, об исследовании критериев влияния на выбор курса. Так вот из RITE-метода мы позаимствовали итеративный подход: анализ каждой сессии с внесением последующих корректировок. Нашей основной целью было очистить наш эксперимент от «примесей», а значит нужно было устранять все возможные закономерности не связанные с нашими критериями.
Например, к неугодным закономерностям мы относили следующее. Человек выбирает для себя курс с красивой картинкой (они, кстати, идут вне конкурсной программы). И если на следующем макете курс оказывается еще явно дорогостоящим или низкорейтинговым, а респондент не хочет отступать от своего иррационального выбора, то этот результат не учитывается в ранжировании, картинка заменяется на более нейтральную. Перемешиваем выборку и приглашаем следующего респондента.
Также, мы начали балансировать наши критерии. Если наблюдалась закономерность в выборе респондентов, которые колебались при появлении критерия, мы увеличивали контраст между ними. Например, человек выбирал самый дорогой курс, а при появлении рейтинга оказывалось, что курс не слишком уж хороший. Но этого было недостаточно, чтобы пользователь переметнулся. Нужно было создать явное различие, чтобы определить, что всё-таки круче.
Клетчатым флагом завершения нашего экспериментального тестирования стало значительное повторение порядка критериев в нашем «рейтинге влияния». И вот как выглядит финальная таблица влияния на выбор различных факторов:
- Заголовок;
- Картинка (есть вариации);
- Рейтинг;
- Тэги уровня;
- Цена;
- Описание.
Результаты были довольно неожиданны, по крайней мере для нас. Мы и представить не могли, что самым влиятельным фактором при выборе окажется заголовок, ведь ему уделяли наименьшее внимание при создании курсов.
Рейтинг оказался на третьем месте уступив картинке. Такому раскладу способствовало недоверие простым цифрам рейтинга. То есть если цифры были довольно высокими (например 4.1 из 5) это не означало для наших пользователей, что этому курсу можно доверять. Вместо этого, пользователи анализировали отношение рейтинга к количеству ответивших людей. Из-за этих вычислений, пользователям было сложно оценить насколько курс был хорош. Картинка же влияли на людей сразу же, порой даже слишком эффективно. Поэтому работа с изображениями так важна для успеха курса.
Тэги уровня (для новичков, для экспертов и т.д.) в принципе работали, но с ними была проблема: каждый интерпретировал их по-своему — кто-то завышал, а кто-то занижал. Посему, пользователи выбирали не самый релевантный для них курс.
С ценой всё оказалось намного интереснее, чем ожидалось. Выяснилось, что она работает в минус. То есть, высокая цена не взывает к совести регистрирующихся. Наоборот, по сложившейся у них ментальной модели «Дорого» = «Качественно». Таким образом мы достигали обратного эффекта.
К слову сказать, тоже самое, как мы узнали, происходило в других больших компаниях, таких как Facebook. Там, правда решили показать цену на расходные товары (клавиатуры, мыши, гарнитуры и т.д.) Проблема была почти такой же — люди брали себе не сколько им было нужно, а «прозапас», в подарок друзьям и родственникам, а кто может вообще продавал. Однако отобразив цену на эти расходники, компания столкнулась с повальным увеличением таких случаев. В общем цену убрали. Можно было конечно, узнав об этом кейсе, просто ничего не делать, но возможная разница в менталитетах могла сыграть свою роль, хотя в этот раз всё и сошлось.
Часть 3. Делаю, делал, что готово?
Когда наша дверь отворилась и в комнату вошёл заказчик все даже немного привстали в нетерпении. После слов «Ну что?» мы начали свой рассказ, о том, каков ответ на его вопрос, что мы с пользой провели время и определили влияние других критериев и более того, сковырнули пласт проблем портала и предложили свои решения этих проблем. В частности, главными нашими козырями стали:
- Отсутствие прозрачной иерархии и лёгкой навигации;
- Невозможность найти подходящий курс.
Казалось бы, всего две проблемы, но сколько решений они породили, главные из которых:
— персонализация контента,
— использование подходящих для пользователя форматов,
— грамотная категоризация и кросс-линк тегирование,
— профили менторов и тренеров,
— рекомендации знакомых,
— оформленные требования необходимые для участия,
— закладки как курсов, так и менторов,
— реиспользование материалов тренингов (презентаций, текстов лекций) в других форматах,
— поощрение активных контрибьюторов.
После всей нашей истории, заказчик похлопал по столу и сказал «Отлично, делаем»…
После нашей встречи со стейкхолдером прошло 8 месяцев и с той поры много чего приключилось. Например, взглянув на то, что именно нам предстоит сделать, мы всей командой решили полностью переосмыслить подход к работе нашего портала, взяв курс на персонализацию. Были перелопачены тонны материалов и исследованы десятки прямых конкурентов, и как оказалось, никто не озаботился подобным. Тогда мы обратились к опыту неоспоримых гигантов этой области — Netflix и Яндекс. Они то и стали нашими идейными вдохновителями. И почему обучение не может быть интересным?
Наше исследование заложило основу понимания пользователей, их болей и мотиваторов. Всё это нашло своё отражение в персоне и UJM нашего будущего портала.
Как вы можете заметить, персона довольно сильно отличается от её классического представления, точнее не изобилует эмпатическим булшитом, который так популярен сейчас. Здесь вы не найдёте «Один день из жизни», любимый цвет или настроение, всё по делу. Так сказать, необходимый минимум: мотивы, цели, задачи, ментальная модель, рычаги влияния и эвристики для принятия решений. Думаю, вдаваться в детали построения мы сейчас не будем, тем более что скоро мы подготовим отдельный материал по теме. Отмечу только, что артефакт был построен во время основного тестирования, что позволило использовать его сразу после отмашки нашего стейкхолдера.
UJM, как видите тоже разросся за пределы стандартов — мы решили попробовать несколько не традиционный подход. Вдаваться в его построения мы тоже не станем, просто скажем пару слов. Journey Map стал продолжением Success story, описанной в персоне. Последняя же стала результатом выявления ментальной модели пользователей, то есть того, как люди представляют себе идеальную работу с порталом. Расписав эту ментальную модель по шагам и рассмотрев с разных сторон, мы смогли придумать, где и как нам применить персонализированный подход. А одно такое место нам пришлось даже создать — персонализированную главную страницу пользователя.
Несмотря на все трудности, общими усилиями команды мы смогли создать сервис, который может предложить что-то, что тебе действительно подходит. Теперь, вместо огромной свалки контента, у пользователя есть место, где собраны все интересные ему курсы и события — «Start screen», этакий аналог персонализированного дашборда. Там находятся не только курсы интересующих пользователя тем и категорий, но также напоминания и рекомендации коллег.
«Свалка» тоже осталась, для любителей посёрфить. Только теперь она обзавелась чёткой визуальной иерархией, тэгированием, фильтрацией и релевантным поиском. Также мы использовали результаты нашего исследования в разработке основополагающего критерия при выборе курса — «Personal match». Это субъективный критерий соотношения курса и интересов пользователя. То есть, то, насколько конкретный курс подойдёт конкретному пользователю. Мы решили заменить стандартный рейтинг и популярность на personal match, так как последний отражает реальное положение дел, а не мнение толпы. Например, классический рейтинг может быть испорчен людьми, которые попали туда случайно и учились не тому, что ожидали. Или например, все считают курс плохим, так как его ведёт специфический лектор, но некоторым людям это может нравится. В общем, такой подход помог нам сделать выдачу действительно персонализированной.
Только прежде чем бежать и внедрять такой же подход, подумайте хорошенько — знаете ли вы своих пользователей достаточно хорошо? Если у вас большая текучка, такой подход не будет эффективен, так как пользователи не будут с вами достаточно долго, чтобы сформировать хоть сколько-нибудь верное представление о его интересах. В таких случаях вам лучше придерживаться классики: рейтинга и популярности.
Вдобавок к персонализации мы организовали хранилище материалов, которые остаются после тренингов — презентации, тексты, тесты и т.д. Всё, чтобы к ним можно было возвращаться.
Конечно, как вы могли заметить,и внешний вид претерпел глобальные изменения… точнее сказать и камня на камне не осталось от прошлого. Более того, сам «голос» системы изменился. Если раньше это был немой трактирщик, то сейчас скорее услужливый дворецкий. Система не просто даёт, что попросят, но интересуется у пользователя его мнением об обучении.
Вы могли заметить, что на портале теперь практически нет изображений, хотя они играли решающую роль в выборе курса. Объясняется это просто: нашей целью является не продать курс или тренинг, а помочь выбрать нужный. Изображения просто вносили «помехи», заставляя пользователя регистрироваться на ненужный курс и отпугивая от нужного. Мы решили, что эффективнее этот фактор просто упразднить. Как дополнительный бонус, спасибо нам сказал отдел защиты авторских прав.
Эпилог
Пока мы писали статью новая версия нашего портала открыла глаза и увидела свой первый релиз. Конечно, всё далеко не так гладко, как хотелось бы: много спорных моментов относительно появившейся свалки материалов, их названий; не полностью протестированы измененные flow регистрации; не проработаны пустые состояния и тупиковые ситуации и ещё куча всего…
Но эй, погодите, не всё сразу. Сейчас мы ждём первой обратной связи и доделываем то, что не вошло в первый релиз. Попутно собираем данные аналитики. В общем готовимся к огромному фронту работ по доделкам и переделкам.
Напоследок мне бы хотелось сказать — не бойтесь действовать, даже если кажется, что этого никто от вас этого не ждет, никто это не оценит и никому это не нужно… нужно! Смело старайтесь реализовать свои идеи даже при минимальной возможности и результат не заставит себя ждать.
Загрузка...
