Антирасистский экономист Ким Крейтон говорит, что «намерение без стратегии — это хаос». Мы обсуждали, как наши предубеждения, предположения и невнимание к маргинализованным и уязвимым группам приводят к опасным и неэтичным технологиям — но что, в частности нам нужно сделать, чтобы это исправить? Намерения сделать наши технологии более безопасными недостаточно; нам нужна стратегия.
Продолжение статьи ниже
Эта глава вооружит вас этим планом действий. В нем рассказывается, как интегрировать принципы безопасности в вашу проектную работу, чтобы создать безопасную технологию, как убедить заинтересованных лиц в том, что эта работа необходима, и как ответить на критику, что то, что нам на самом деле нужно, — это нечто большее. разнообразие. (Спойлер: мы это делаем, но само по себе разнообразие не является противоядием от исправления неэтичных и небезопасных технологий.)
Содержание статьи
Процесс обеспечения всеобъемлющей безопасности # section2
Когда вы проектируете для обеспечения безопасности, ваши цели:
- определяют способы использования вашего продукта для злоупотреблений,
- разрабатывают способы предотвращения злоупотреблений и
- обеспечивают поддержку уязвимых пользователей, чтобы вернуть себе власть и контроль.
Процесс инклюзивной безопасности — это инструмент, который поможет вам достичь этих целей ( Рис. 5.1 ). Это методология, которую я разработал в 2018 году, чтобы отразить различные методы, которые я использовал при разработке продуктов с учетом требований безопасности. Независимо от того, создаете ли вы совершенно новый продукт или добавляете к существующей функции, процесс может помочь вам сделать ваш продукт безопасным и инклюзивным. Процесс включает пять основных направлений действий:
- Проведение исследований
- Создание архетипов
- Мозговой штурм
- Разработка решений
- Тестирование на безопасность
Процесс должен быть гибким — командам не имеет смысла реализовывать каждый этап в некоторых ситуациях. Используйте части, которые имеют отношение к вашей уникальной работе и контексту; это должно быть то, что вы можете вставить в свою существующую конструкторскую практику.
И после того, как вы его используете, если у вас возникнет идея улучшить его или вы просто хотите рассказать о том, как это помогло вашей команде, пожалуйста, свяжитесь со мной. Это живой документ, который, я надеюсь, и дальше будет полезным и реалистичным инструментом, который технологи смогут использовать в своей повседневной работе.
Если вы работаете над продуктом специально для уязвимой группы или переживших какую-либо форму травмы, например приложение для переживших домашнее насилие, сексуальное насилие или наркоманию, обязательно прочтите главу 7, которая охватывает эта ситуация явно и должна обрабатываться немного по-другому. Приведенные здесь рекомендации предназначены для определения приоритетов безопасности при разработке более общего продукта, который будет иметь широкую базу пользователей (которая, как мы уже знаем из статистики, будет включать определенные группы, которые должны быть защищены от вреда). Глава 7 посвящена товарам, которые предназначены специально для уязвимых групп и людей, переживших травмы.
Шаг 1. Проведите исследование № section3
Исследование дизайна должно включать в себя широкий анализ того, как ваши технологии могут быть использованы в качестве оружия для злоупотреблений, а также конкретное понимание опыта выживших и виновных в этом типе злоупотреблений. На этом этапе вы и ваша команда исследуете проблемы межличностного вреда и злоупотреблений, а также изучите любые другие проблемы безопасности, защиты или инклюзивности, которые могут вызывать беспокойство для вашего продукта или услуги, например безопасность данных, расистские алгоритмы и преследования.
Общие исследования # section4
Ваш проект должен начинаться с обширного общего исследования аналогичных продуктов и проблем безопасности и этических норм, о которых уже сообщалось. Например, команде по созданию умного домашнего устройства было бы хорошо понять множество способов, которыми существующие умные домашние устройства использовались в качестве инструментов злоупотреблений. Если ваш продукт будет включать ИИ, постарайтесь понять потенциал расизма и других проблем, о которых сообщалось в существующих продуктах ИИ. Практически все типы технологий несут в себе потенциальный или реальный вред, о чем сообщалось в новостях или писали ученые. Google Scholar — полезный инструмент для поиска этих исследований.
Специальное исследование: Выжившие # section5
Когда это возможно и целесообразно, включите прямое исследование (опросы и интервью) с людьми, которые являются экспертами в выявленных вами формах вреда. В идеале вам следует сначала взять интервью у защитников, работающих в сфере вашего исследования, чтобы у вас было более твердое понимание темы и было лучше подготовлено, чтобы не травмировать выживших. Например, если вы обнаружили возможные проблемы домашнего насилия, эксперты, с которыми вам нужно поговорить, — это сами выжившие, а также работники горячих линий по вопросам домашнего насилия, приютов, других связанных некоммерческих организаций и юристы.
Особенно при опросе переживших любую травму важно платить людям за их знания и жизненный опыт. Не просите выживших поделиться своей травмой бесплатно, это эксплуататорски. Хотя некоторые оставшиеся в живых могут не захотеть получать деньги, вам всегда следует делать предложение в первоначальном запросе. Альтернативой оплате является пожертвование организации, работающей против насилия, которому подвергся интервьюируемый. Подробнее о том, как правильно опросить выживших, мы поговорим в главе 6.
Специальное исследование: Злоумышленники # section6
Маловероятно, что команды, стремящиеся к безопасности, смогут опросить самопровозглашенных нарушителей или людей, нарушивших законы в отношении таких вещей, как взлом. Не ставьте перед собой цель; скорее, попытайтесь подойти под этим углом в своем общем исследовании. Стремитесь понять, как злоумышленники или злоумышленники используют технологии в качестве оружия против других, как они заметают следы и как они объясняют или рационализируют насилие.
Шаг 2. Создайте архетипы # section7
Закончив исследование, используйте свои идеи для создания архетипов насильника и выжившего. Архетипы не являются личностями, поскольку они не основаны на реальных людях, с которыми вы беседовали и опрашивали. Вместо этого они основаны на вашем исследовании вероятных проблем безопасности, как и при проектировании с учетом доступности: нам не нужно находить группу слепых или слабовидящих пользователей в нашем пуле интервью, чтобы создать дизайн, включающий их. Вместо этого мы основываем эти проекты на существующих исследованиях того, что нужно этой группе. Персонажи обычно представляют реальных пользователей и включают много деталей, тогда как архетипы шире и могут быть более обобщенными.
Архетип обидчика — это тот, кто будет смотреть на продукт как на инструмент причинения вреда ( Рис. 5.2 ). Они могут пытаться причинить вред незнакомому человеку посредством слежки или анонимного преследования, или они могут пытаться контролировать, контролировать, оскорблять или мучить кого-то, кого они знают лично.
Архетип выжившего — это тот, кто подвергается жестокому обращению с продуктом. Существуют различные ситуации, которые следует учитывать с точки зрения архетипа понимания злоупотреблений и того, как положить им конец: нужны ли им доказательства злоупотреблений, которые, как они подозревают, имеют место, или они не подозревают, что они изначально стали целью и нужно предупредить ( Рис. 5.3 )?
Вы можете создать несколько архетипов выживших, чтобы запечатлеть различные переживания. Они могут знать, что происходит злоупотребление, но не быть в состоянии его остановить, например, когда злоумышленник блокирует их доступ к устройствам Интернета вещей; или они знают, что это происходит, но не знают, как, например, когда сталкер продолжает выяснять их местонахождение ( Рис. 5.4 ). Включите столько сценариев, сколько вам нужно, в свой архетип выжившего. Вы будете использовать их позже, когда будете разрабатывать решения, которые помогут вашим архетипам выживших достичь своих целей по предотвращению и прекращению жестокого обращения.
Вам может быть полезно создать персонализированные артефакты для ваших архетипов, например, три показанных примера. Вместо того, чтобы сосредотачиваться на демографической информации, которую мы часто видим в людях, сосредоточьтесь на их целях. Цели обидчика будут заключаться в совершении конкретного нарушения, которое вы определили, в то время как цели пережившего будут состоять в том, чтобы предотвратить злоупотребления, понять, что насилие происходит, остановить продолжающееся насилие или восстановить контроль над используемой технологией. за злоупотребления. Позже вы проведете мозговой штурм, как предотвратить цели обидчика и помочь в достижении целей оставшегося в живых.
И хотя модель «обидчик / выживший» подходит для большинства случаев, она не подходит для всех, поэтому измените ее по своему усмотрению. Например, если вы обнаружили проблему с безопасностью, такую как возможность взлома системы домашней камеры и разговора с детьми, злонамеренный хакер получит архетип обидчика, а родители ребенка — архетип выжившего.
Шаг 3: мозговой штурм № section8
После создания архетипов проведите мозговой штурм по новым случаям жестокого обращения и проблемам безопасности. «Роман» означает вещи, не обнаруженные в вашем исследовании; вы пытаетесь полностью выявить новые проблемы безопасности, присущие только вашему продукту или услуге. Цель этого шага — исчерпать все усилия по выявлению вреда, который может нанести ваш продукт. Вы еще не беспокоитесь о том, как предотвратить вред — это будет следующим шагом.
Как ваш продукт может быть использован для любых злоупотреблений, помимо того, что вы уже выявили в своем исследовании? Я рекомендую выделить хотя бы несколько часов с вашей командой для этого процесса.
Если вы ищете, с чего начать, попробуйте провести мозговой штурм «Черное зеркало». Это упражнение основано на шоу Черное зеркало в котором рассказывается о темных возможностях технологий. Постарайтесь выяснить, как ваш продукт будет использоваться в эпизоде шоу — самые дикие, ужасные, неконтролируемые способы его использования во вред. Когда я проводил мозговые штурмы «Черное зеркало», участники обычно получали много удовольствия (что, на мой взгляд, здорово — это нормально, когда проектируют в целях безопасности!). Я рекомендую отложить мозговой штурм «Черное зеркало» до получаса, а затем набрать его обратно и использовать остальное время для размышлений о более реалистичных формах вреда.
После того как вы определили как можно больше возможностей для жестокого обращения, вы все еще можете не чувствовать уверенности в том, что раскрыли все возможные формы вреда. Когда вы занимаетесь такой работой, нормальное количество беспокойства является нормальным. Команды, занимающиеся вопросами безопасности, часто беспокоятся: «Действительно ли мы определили все возможные повреждения? Что, если мы что-то упустили? " Если вы потратили не менее четырех часов на то, чтобы придумать способы использования вашего продукта во вред, и у вас закончились идеи, переходите к следующему шагу.
Невозможно гарантировать, что вы все продумали; вместо того, чтобы стремиться к стопроцентной уверенности, осознайте, что вы использовали это время и сделали все, что в ваших силах, и продолжайте уделять приоритетное внимание безопасности в будущем. Как только ваш продукт будет выпущен, ваши пользователи могут выявить новые проблемы, которые вы пропустили; стремитесь получить эту обратную связь и быстро корректировать курс.
Шаг 4. Проектные решения # section9
На этом этапе у вас должен быть список способов использования вашего продукта во вред, а также архетипы выжившего и насильника, описывающие противоположные цели пользователей. Следующим шагом является определение способов разработки в соответствии с целями выявленного обидчика и поддержки целей пережившего насилие. Этот шаг удобно использовать вместе с существующими частями процесса проектирования, где вы предлагаете решения различных проблем, обнаруженных в ходе вашего исследования.
Вот несколько вопросов, которые следует задать себе, чтобы предотвратить вред и поддержать свои архетипы:
- Можете ли вы спроектировать свой продукт таким образом, чтобы выявленный вред вообще не мог произойти? Если нет, то какие препятствия вы можете поставить, чтобы предотвратить нанесение вреда?
- Как вы можете сообщить жертве, что насилие происходит через ваш продукт?
- Как вы можете помочь жертве понять что им нужно сделать, чтобы решить эту проблему?
- Можете ли вы определить какие-либо типы действий пользователей, которые указали бы на какую-либо форму вреда или злоупотреблений? Может ли ваш продукт помочь пользователю получить доступ к поддержке?
В некоторых продуктах можно заранее распознать нанесенный ущерб. Например, приложение для беременных может быть изменено, чтобы позволить пользователю сообщать, что он стал жертвой нападения, что может вызвать предложение получить ресурсы для местных и национальных организаций. Подобная проактивность не всегда возможна, но стоит потратить полчаса, чтобы обсудить, может ли какой-либо тип активности пользователя указывать на какую-либо форму вреда или злоупотребления, и как ваш продукт может помочь пользователю в безопасном получении помощи.
Тем не менее, будьте осторожны: вы не хотите делать ничего, что могло бы навредить пользователю, если его устройства находятся под контролем. Если вы действительно предлагаете какую-то проактивную помощь, всегда делайте ее добровольной и продумывайте другие вопросы безопасности, такие как необходимость держать пользователя в приложении на случай, если злоумышленник проверяет его историю поиска. Мы рассмотрим хороший пример этого в следующей главе.
Шаг 5. Проверка безопасности # section10
Последний шаг — проверить ваши прототипы с точки зрения ваших архетипов: человека, который хочет превратить продукт в оружие для нанесения вреда, и жертвы вреда, которой необходимо восстановить контроль над технологией. Как и любой другой вид тестирования продукта, на этом этапе вы будете стремиться тщательно протестировать свои решения по безопасности, чтобы вы могли выявить пробелы и исправить их, убедиться, что ваши проекты помогут защитить ваших пользователей, и почувствовать себя более уверенно, выпуская свои решения. продукт в мир.
В идеале тестирование безопасности проводится одновременно с тестированием удобства использования. Если вы работаете в компании, которая не занимается юзабилити-тестированием, вы можете использовать тестирование безопасности, чтобы грамотно выполнить и то, и другое; пользователя, который просматривает ваш дизайн, пытаясь превратить продукт в оружие против кого-то другого, также можно побудить указать на взаимодействия или другие элементы дизайна, которые для него не имеют смысла.
Вы захотите провести испытания на безопасность окончательного прототипа или реального продукта, если он уже выпущен. Нет ничего плохого в том, чтобы протестировать существующий продукт, который с самого начала не был разработан с учетом целей безопасности — «дооснащение» для обеспечения безопасности — это хорошо.
Помните, что проверка на безопасность включает проверку с точки зрения как обидчика, так и пережившего насилие, хотя вам может не иметь смысла делать и то, и другое. В качестве альтернативы, если вы создали несколько архетипов выживших, чтобы запечатлеть несколько сценариев, вам нужно будет протестировать их с точки зрения каждого из них.
Как и в случае с другими видами юзабилити-тестирования, вы, как дизайнер, скорее всего, слишком близки к этому продукту и его дизайну, чтобы быть ценным тестировщиком; вы слишком хорошо знаете продукт. Вместо того, чтобы делать это самостоятельно, настройте тестирование так же, как и другое тестирование удобства использования: найдите кого-то, кто не знаком с продуктом и его дизайном, подготовьте сцену, дайте ему задание, побудите его подумать вслух и понаблюдайте за тем, как он попытаться завершить его.
Испытание насильника # section11
Цель этого тестирования — понять, насколько легко кому-то использовать ваш продукт для нанесения вреда. В отличие от юзабилити-тестирования, вы хотите, чтобы сделал невозможным или, по крайней мере, затруднительным для них достижение своей цели. Ссылайтесь на цели созданного вами ранее архетипа насильника и используйте свой продукт в попытке их достичь.
Например, для фитнес-приложения с функцией определения местоположения с поддержкой GPS мы можем представить, что архетип обидчика будет иметь цель выяснить, где сейчас живет его бывшая девушка. Помня об этом, вы попытаетесь сделать все возможное, чтобы определить местонахождение другого пользователя, у которого включены его настройки конфиденциальности. Вы можете попытаться увидеть ее бегущие маршруты, просмотреть любую доступную информацию в ее профиле, просмотреть все доступное о ее местонахождении (которое она установила как частное) и изучить профили любых других пользователей, так или иначе связанных с ее учетной записью, например ее подписчиков. .
Если к концу этого вам удалось раскрыть некоторые данные о ее местоположении, несмотря на то, что она сделала свой профиль закрытым, теперь вы знаете, что ваш продукт позволяет преследовать. Ваш следующий шаг — вернуться к шагу 4 и выяснить, как этого избежать. Возможно, вам придется повторить процесс разработки решений и их тестирования более одного раза.
Испытания выживших # section12
Тестирование выжившего включает определение того, как передать информацию и силу выжившему. Это может не всегда иметь смысл в зависимости от продукта или контекста. Предотвращение попытки архетипа обидчика преследовать кого-либо также отвечает цели архетипа выжившего — не подвергаться преследованию, поэтому отдельное тестирование с точки зрения выжившего не требуется.
Однако есть случаи, когда это имеет смысл. Например, для умного термостата целью архетипа выжившего было бы понять, кто или что вызывает изменение температуры, когда они этого не делают. Вы можете проверить это, просмотрев журнал истории термостата и проверив имена пользователей, действия и время; если бы вы не смогли найти эту информацию, вам нужно было бы проделать больше работы на шаге 4.
Другой целью может быть восстановление контроля над термостатом, как только выживший поймет, что обидчик удаленно меняет его настройки. Ваш тест будет включать попытку выяснить, как это сделать: есть ли инструкции, объясняющие, как удалить другого пользователя и изменить пароль, и легко ли их найти? Это может снова показать, что требуется дополнительная работа, чтобы дать пользователю понять, как он может восстановить контроль над устройством или учетной записью.
Стресс-тестирование № section13
Чтобы сделать ваш продукт более инклюзивным и отзывчивым, подумайте о добавлении стресс-тестирования. Эта концепция взята из Design for Real Life Эрика Мейера и Сары Вахтер-Ботчер. Авторы отметили, что персонажи обычно сосредотачиваются на людях, у которых хороший день, но настоящие пользователи часто тревожатся, находятся в стрессе, имеют плохой день или даже переживают трагедию. Это так называемые «стрессовые случаи», и тестирование ваших продуктов для пользователей в стрессовых ситуациях может помочь вам определить места, где вашему дизайну не хватает сострадания. Дизайн для реальной жизни содержит более подробную информацию о том, как выглядит включение стрессовых ситуаций в ваш дизайн, а также о многих других замечательных тактиках сострадательного дизайна.
Загрузка...
