Необъективность в UX-исследованиях — DEADSIGN

Необъективность — это предвзятость или предрассудок по отношению к чему-либо или кому-либо. Она часто основывается на стереотипах, а не на фактических знаниях о человеке или обстоятельствах. Эти когнитивные искажения могут привести к предубеждениям, которые станут катализатором поспешных решений или дискриминации. Это всё равно, что составить представление о ком-то до личного знакомства.

Необъективность — это предвзятость или предубеждение против чего-либо, основанное на ограниченной информации.

Необъективность может стать серьезной проблемой в ваших пользовательских исследованиях и негативно повлиять на дизайн конечного продукта. У каждого из нас есть свои предубеждения, и часто мы их не осознаём. Избавиться от необъективности полностью невозможно — но мы можем научиться осознавать её и стараться её преодолеть. В UX-дизайне это имеет решающее значение как для успеха продукта, так и для профессионального развития дизайнера.

В этой статье мы рассмотрим шесть типов необъективности в UX-исследованиях:

• Предвзятость подтверждения
• Эффект ложного консенсуса
• Эффект первенства
• Эффект недавности
• Скрытое предубеждение
• Ловушка невозвратных затрат

Предвзятость подтверждения

Этот тип необъективности возникает, когда мы ищем доказательства какой-то гипотезы. Мы думаем, что ответ у нас уже есть — поэтому обращаем внимание на информацию, которая подтверждает наши убеждения и мнения.

Допустим, у вас сложилось предубеждение, что левши лучше творчески развиты, чем правши. В процессе исследования вы будете склоняться к доказательствам, подтверждающим это убеждение, и будете использовать их, даже если они не на 100% правдивые.

Один из наиболее эффективных методов преодоления предвзятости подтверждения в исследованиях — задавать открытые вопросы во время интервью. Они позволят респонденту отвечать свободно, а не односложными «да»/»нет«.

Вы должны научиться активно слушать, не высказывая своё мнение. Так вы не будете подводить своих собеседников к ответу, который хотели бы услышать.

Ещё предвзятости подтверждения можно избежать, используя большую выборку пользователей. Не стоит ограничиваться небольшой группой респондентов, соответствующих вашим предубеждениям. Вам нужна большая выборка людей с разными точками зрения.

Эффект ложного консенсуса

Эффект ложного консенсуса — это предположение, что другие думают так же, как и вы. В UX-исследованиях это происходит, когда мы переоцениваем количество людей, которые согласятся с нашей идеей или дизайном, создавая ложное «единодушие». Всё может зайти настолько далеко, что вы начнёте считать, что любой, кто с вами не согласен — ненормален.

Можно избежать этой проблемы, определив и сформулировав свои ключевые предположения. Например, вы можете жить в сообществе, которое часто отождествляет себя с определёнными политическими убеждениями. Встретив нового человека, вы можете предположить, что он разделяет ваши политические взгляды, ведь вы оба живёте в одном городе. Но это не обязательно так. Есть несколько человек, которые действительно разделяют ваши убеждения. Предположить на основании этого, что все люди в сообществе думают так же — ложный консенсус. Это ещё одна причина опрашивать большие группы людей.

Эффект недавности

Эффект недавности возникает, когда вам легче всего вспомнить последнее из услышанного в интервью или разговоре из-за свежести событий. Поговорив с кем-то, вы вероятнее вспомните то, о чем шла речь в конце разговора, а не в начале.

Чтобы преодолеть эффект недавнего, делайте подробные заметки или записи каждого интервью или разговора. Так вы сможете освежить память и посмотреть, что человек сказал в начале.

Эффект первенства

Эффект первенства возникает, когда вы лучше всего запоминаете первого участника. Иногда первый человек, которого вы встречаете, производит самое сильное впечатление, потому что вы находитесь в новой ситуации или получаете новый опыт.

Эффект первенства, как и эффект недавнего, — это ещё одна причина делать подробные заметки или записи, чтобы вы могли проанализировать всё, что произошло, а не только запомнившиеся первые впечатления.

Эффект недавности и эффект первенства также доказывают, что нужно опрашивать каждого участника одинаково.

Консистентность облегчает сравнение и сопоставление в будущем. Она повышает вероятность того, что вы запомните необычные и важные моменты, которые будут происходить на протяжении всего вашего исследования.

Скрытое предубеждение

Скрытое предубеждение — это совокупность установок и стереотипов, которые мы связываем с людьми без нашего сознательного ведома. Ещё его называют неосознанным предубеждением.

Одна из наиболее распространённых форм скрытого предубеждения в UX — это проведение собеседования только с людьми определённого (и ограниченного) набора параметров, таких как раса, возраст, пол, социально-экономический статус или способности.

Эти параметры, как правило, основаны на предположениях, которые мы строим. Например, из-за скрытого предубеждения вам может быть дискомфортно проводить собеседования с людьми, чей жизненный опыт отличается от вашего собственного.

Бывает и противоположное: интервьюер подбирает респондентов из типично изолированных групп, но при этом задаёт потенциально оскорбительные вопросы из-за своих стереотипов.

Оба случая проблематичны и приводят к недостаточной репрезентации в исследовании и, как следствие, в дизайне.
Самое важное, что следует знать о скрытых предубеждениях — они есть у всех.

Чтобы преодолеть собственные предубеждения, можно проанализировать свое поведение и спросить мнения о нём других людей. Это один из лучших способов осознать свою предвзятость.

Ловушка невозвратных затрат

Ловушка невозвратных затрат — это идея о том, что трудно сменить курс, если вы глубоко погрузились в проект и вложили в него деньги. Вас будет преследовать ощущение неудачи или потраченного впустую времени. Фраза «потерянные затраты» относится и ко времени, которое мы уже вложили в проект. Например, вы можете подумать про себя: «Я уже час потратил на этот ужасный фильм, придётся теперь досматривать».

UX-дизайнеры попадают в ловушку невозвратных затрат во время работы над макетами. Представьте, что вы уже потратили несколько часов на разработку новой функции, но затем узнали, что на самом деле она не решает проблему пользователя. Продолжить работать над макетом, в который вы уже вложили столько времени — это легко. Но нужно сосредоточиться на работе, которая положительно влияет на ваших пользователей.

Чтобы избежать этой ловушки, разбейте свой проект на мелкие этапы, а затем запланируйте точки, дойдя до которых вы решите, стоит продолжать или нет.

Это позволит вам сделать шаг назад и исправить работу, основываясь на новых идеях — и таким образом не дать проекту зайти слишком далеко не в том направлении.

* * *

Теперь, когда вы знаете об этих когнитивных искажениях, вы, возможно, даже начнёте замечать их в своей повседневной жизни. Чем быстрее это станет привычкой, тем лучше у вас будет получаться избегать ошибок в своей работе.

Важно отметить, что у всех есть предубеждения. Это — естественная часть человеческого бытия.

Способность распознавать свои собственные предубеждения и предотвращать их влияние на результат работы — вот, что действительно важно. UX-дизайнеру необходимо знать, как предвидеть, выявлять и преодолевать предубеждения в своих исследованиях.

Тщательно подбирайте слова

При проведении исследований важно использовать лексику, которая не ведёт пользователя в определённом направлении. Будучи дизайнером, вы неравнодушны к созданным вами проектам, поэтому будете думать, что и пользователи оценят их по достоинству. Вы же именно для этого их и создавали!

Мы расспрашиваем пользователей об их опыте не для того, чтобы они отвечали только то, что нам понравится. Выбор ведущих слов может вызвать эффект фрейминга, когда пользователи принимают решение или делают выбор на основе того, как вы представили информацию.

Это особенно важно в исследованиях юзабилити. Представьте, например, что участник опроса тестирует ваши макеты. Вы спрашиваете: «Вам нравится или не нравится улучшение в расположении этих кнопок?». Из-за слова «улучшение», пользователь, скорее всего, ответит положительно. Это не очень полезная обратная связь, потому что вы сформулировали вопрос таким образом, что участник ответил положительно. А для улучшения продукта вам нужна честная обратная связь.

Переформулируйте этот же вопрос так: «Расскажите, как вы относитесь к такому расположению кнопок». Это позволит пользователю прийти к собственным выводам без какого-либо внешнего влияния, а вы получите правильные данные о его мыслительном процессе и опыте.

Культивируйте независимое мышление

На результат групповых интервью может повлиять эффект присоединения к большинству (эффект подражания) — согласие с мнением группы вместо подключения своего собственного креативного мышления. Из-за этого могут не состояться открытые обсуждения — люди, чьё мнение отличается от мнения большинства, его не выскажут и согласятся с остальными.

Представьте, например, что вы проводите исследование с группой из пяти человек. Вы просите каждого участника группы по одному высказать мнение о конкретном решении в дизайне продукта. Например, о месте размещения кнопки на главной странице. Когда последний человек поделится своими мыслями, его/её слова будут сказаны под влиянием ответов, которые он уже слышал.

Чтобы побороть эффект подражания, попросите участников записать свои мысли, прежде чем обсуждать их в группе.

Избегайте специфических выражений

Важно держать в уме типы вопросов, которые вы задаёте пользователям, и то, как эти вопросы сформулированы.

При этом нужно быть осторожными и отслеживать себя на предвзятость подтверждения, т. е. не искать доказательства уже имеющихся у вас гипотез.

Предвзятость подтверждения особенно распространена в онлайн-опросах. Например, представьте, что вы проводите опрос большой группы участников. Один из вопросов — «Как вы используете наш продукт?». У вас, как дизайнера, есть несколько мыслей на этот счет, поэтому вы предоставляете четыре варианта с конкретными формулировками, из которых участник должен выбрать.

Если ни один из предложенных вами вариантов не применим к пользователю, и они не могут выбрать «другое» (т.к. вы не предусмотрели такой вариант ответа) или пропустить вопрос, то им придётся выбрать что-то несоответствующее их реальному опыту. Вы получите ложную информацию, которая искажает данные вашего исследования и потенциально предоставляет неверные доказательства гипотезы.

Помните: вам нужно получить измеримые результаты — количественные данные. Вы можете переформулировать вопрос и попросить участников оценить свой опыт использования продукта. Это — более точный способ оценить их ощущения.

Ограничьте рекомендации, которые вы даете пользователям

Каждый учится и думает по-своему. Когда вы проводите какие-либо UX-исследования, будьте осторожны: не столкнитесь с ложным консенсусом — предположением, что другие думают так же, как и вы.

Если вы проводите юзабилити-исследование, некоторые участники не будут следовать юзер флоу продукта или вашим ожиданиям. Например, пользователь может кликнуть по меню, выбрать папку, а затем выбрать подпапку для выполнения задачи, которую вы ему назначили; в то время как на главной странице есть простая гиперссылка, которая помогла бы сэкономить время. Кроме того, некоторые участники могут использовать вспомогательные технологии для навигации по продукту и следовать совершенно другому юзер флоу. Важно позволить им идти по вашему продукту так, как они хотят, и не прерывать их действия.

Если прервать участника во время знакомства с вашим продуктом, вы лишитесь полезных данных по улучшению вашего дизайна. Вместо этого попросите участников комментировать свой пользовательский путь. Так вы лучше поймете, как они мыслят, пользуясь вашими макетами.

Учитывайте тон голоса и язык тела пользователей

На протяжении всей своей карьеры в UX вы будете работать с людьми, и частью вашей работы будет интерпретация их невербальных сигналов, таких как тон голоса и язык тела. Чтобы избежать скрытых предубеждений, основанных на совокупности мнений и стереотипов, которые вы связываете с людьми без вашего сознательного ведома, важно уточнять у респондентов информацию, если происходящее кажется вам противоречивым.

Представьте, что вы проводите собеседование один на один, и респондент скрещивает руки на груди. Это можно связать с неуверенностью в себе или истолковать как желание защититься. Жест может противоречить положительным отзывам респондента о вашем продукте. Именно в такой момент нужно задавать вопросы, например: «Вам что-то доставляет неудобство?».

Ответ может не быть связан с исследованием — может, в вашем офисе холодно, и респондент просто пытается согреться. Всегда задавайте вопросы, если вас смущает тон голоса или язык тела пользователя!

Однако для того, чтобы этот процесс обратной связи работал, важно убедиться, что участникам удобно делиться с вами мыслями. Перед началом исследования попросите их рассказать о себе, или заведите лёгкую беседу.

Начните с более простых вопросов — это поможет уменьшить беспокойство или неловкость на протяжении всего исследования.

Следите за языком своего тела и реакциями

При взаимодействии с респондентами нужно следить и за своим собственном тоном голоса и языком тела. Когда участники отвечают на вопрос, они могут основываться на том, что, по их мнению, хотите услышать вы — возникает эффект социальной желательности. Если вы задаёте вопрос респондентам, и они замечают, что вы демонстрируете визуальную или звуковую подсказку, которая показывает ваше собственное мнение, они будут склонны ответить так, как понравится вам.

Представьте, что вы описываете функцию разработанного вами приложения. Она действительно вас волнует — и поэтому тон вашего голоса меняется. Вполне вероятно, что участник не станет высказывать негативное мнение об этой функции, поскольку вы ей так довольны. Если вы хотите, чтобы собранные данные были полезными, пользователь должен чувствовать себя комфортно, делясь своими истинными, нефильтрованными чувствами о продукте.

Ваша задача — провести пользователя через весь процесс, не оказывая случайного влияния на его ответы.

Один из способов сделать это — заверить каждого участников в том, что его ответы никого не обидят, а вы действительно хотите услышать честное мнение, чтобы улучшить свою работу.

Эффективно планируйте свои исследования

Жёсткие сроки неизбежны. Но вам, как UX-дизайнеру, важно располагать достаточно большим сроком, чтобы найти нужных респондентов для опроса.

Когда вы ускоряете процесс набора пользователей или пропускаете контрольную проверку, чтобы привлечь больше людей, даже если они не соответствуют квалификации или определенным характеристикам, возникает эффект доступности.

Результаты исследования жизненно важны для разработки дизайна вашего продукта. И опрос пользователей, которые не подпадают под ваши критерии, не даст данных, необходимых для улучшения дизайна.

Если у вас возникли проблемы с набором нужных респондентов до истечения крайнего срока, предложите другой стимул для участия в вашем исследовании. Скорректируйте свою стратегию набора респондентов или попросите у руководителя проекта больше времени. Не соглашайтесь на любых доступных пользователей.

Будьте непредубеждёнными

Ещё один совет: когда вы проводите исследование, старайтесь одинаково относиться ко всей информации. Избегайте эффекта первенства — когда первого пользователя запоминают лучше, чем других, и эффекта недавности — когда запоминают последнее, что слышали. Чтобы побороть эти предубеждения, можно не ставить собеседования вплотную друг к другу в календаре, попросить своих коллег присоединиться к вам во время собеседований — чтобы они высказали своё мнение, и делать тщательные заметки.

Наличие предубеждений — это естественно, но важно попытаться устранить их в процессе исследования, чтобы получить наиболее точное представление о потребностях ваших пользователей.

Знать, какие предубеждения существуют и как вы можете их избежать — шаг к тому, чтобы распознавать, когда это происходит. Вы уже на верном пути!

Если хотите узнать больше о предубеждениях в UX-исследованиях, ознакомьтесь с этой статьёй о преодолении когнитивных предубеждений в исследованиях пользователей от Design at NPR.

Одним из инструментов, который может помочь вам определить и изучить собственные неявные предубеждения, является Тест подсознательных ассоциаций (Implicit Association Test, IAT), созданный исследователями Гарвардского университета.

IAT не предназначен для исчерпывающей оценки предвзятости, но он может предоставить ценную информацию, которая улучшит вашу работу со всеми пользователями.

Пройти тест

Источник: Типы предвзятости в исследованиях пользователей, и как её избежать в вашем UX-дизайне (Types of User Research Bias and How to Avoid It in Your UX Design; playbookux.com).

Другие типы необъективности в UX-исследованиях включают:

• КУЛЬТУРНУЮ ПРЕДВЗЯТОСТЬ: исследователь интерпретирует результаты, основываясь на своих собственных культурных убеждениях и взглядах, а не с нейтральной точки зрения. Если модератор высказывает случайные замечания, которые влияют на последующие ответы участников — это тоже культурная предвзятость.
• ЭФФЕКТ СОЦИАЛЬНОЙ ЖЕЛАТЕЛЬНОСТИ: этот тип предвзятости возникает, когда участники говорят то, что, по их мнению, хотят услышать модератор или разработчик. Сюда можно отнести одинаковые ответы участников на вопросы, которые кажутся похожими. Аналогичным образом, из-за своего мнения о вашем бренде, респонденты могут отвечать на ваши вопросы в позитивном ключе, а не нейтральном и объективном.
• ХОТОРНСКИЙ ЭФФЕКТ: происходит, когда участники очень хорошо осознают, что за ними наблюдают. Они больше сосредотачиваются на том, что они делают, и стараются усерднее решать любую проблему. Результат не всегда похож на поведение реального пользователя.
• ЭФФЕКТ ДОСТУПНОСТИ: возникает, когда исследователь снижает уровень требований для потенциальных респондентов или избегает использования проверочных вопросов, чтобы быстро набрать необходимое количество участников. Аналогичным образом стейкхолдеры или компании-спонсоры могут брать в опросы респондентов, которым они отдают предпочтение, т.к. те проактивные. Оба этих случая могут снизить вероятность получения объективной информации.
• ПРЕДВЗЯТОСТЬ ФОРМУЛИРОВОК: также известна как эффект фрейминга. Он случается, когда исследователь формулирует вопросы так, что они наталкивают респондента на определённый ответ.

• Запишите свои предположения до начала исследования. Во время самого исследования обращайте внимание на любые общие и конкретные предположения, которые у вас есть относительно проекта.
  Создайте карту предположений, и соберите на ней мысли всех участников команды.
• Выбирайте участников из вашей целевой аудитории. Не надо стараться набрать одинаковое количество участников для каждого юзабилити-исследования. Вместо того, чтобы сосредотачиваться на числах, лучше определить необходимое число участников, исходя из количества целевых персон, которых вы разработали для бренда. Таким образом, информацию, которую вы собираете, можно будет применять ко всей целевой аудитории.
• Научитесь структурировать и писать тестовые сценарии пользователя. При поиске мнений, желаний и предпочтений пользователя о вашем продукте или услуге, бренд должен задавать открытые вопросы, на которые не даются ответы, основанные только на ваших предположениях. Также можно представить задачу в качестве цели или сценария, чтобы узнать больше о том, как пользователи взаимодействуют с вашим веб-сайтом или приложением.

Никогда не заставляйте пользователей подтверждать конкретный результат или проблему.

Если вы это сделаете, вы можете не заметить других проблем. Используйте ясные, нейтральные и простые формулировки при написании сценария. Вы сможете глубже проникнуть в сознание пользователей при помощи уточняющих вопросов и понять, что именно для них важно.

• Собирайте как количественные, так и качественные показатели. Использование количественных показателей заставляет вас более объективно взглянуть на выводы, полученные в ходе исследования. Соедините, например, время выполнения задачи и систему шкалы юзабилити с качественными данными — анализом настроений. Или можно использовать аннотации и временные метки при просмотре интервью, чтобы объединить похожие проблемы.
• Новые мысли можно получить из анализа конкурентов, либо спросив коллег. Проведите конкурентный анализ в дополнение к немодерируемым или модерируемым интервью по теме вашего продукта или других аналогичных брендов. Выясните, что нравится или не нравится участникам в ваших конкурентах — это можно использовать в качестве ещё одной отправной точки для улучшения UX. Рассмотрите мнения членов вашей команды: поделитесь с ними интервью или полученными из них инсайтами.
• Слушайте и наблюдайте за языком вашего тела. Во время интервью постарайтесь избавиться от своих предубеждений. Позвольте участникам говорить больше, чем вы. Если вы хотите лучше понять, что они имеют ввиду, задайте им вопрос: «Почему вы так думаете?». Научитесь скрывать свои эмоциональные реакции, чтобы участники могли раскрыть свои истинные чувства по поводу продукта или услуги.

Вы никогда не сможете полностью избавиться от необъективности в UX-исследованиях. Но одно осознание того факта, что восприятие, отношение и культура могут повлиять на результаты исследования, поможет вам взглянуть на данные более объективно.

Вовлекайте всю команду в процесс UX-исследования, чтобы вместе вы могли получить более точные данные для работы над продуктом или услугой.