Филипп Дик жил в нескольких милях к северу от Сан-Франциско, когда писал Do Androids Dream of Electric Sheep? ]который предусматривал мир, где искусственно интеллектуальные андроиды неотличимы от людей. Тест Тьюринга прошел, и невозможно узнать, кому или чему доверять.

. Версия этого мира скоро станет реальностью в Сан-Франциско. Google объявила на этой неделе, что Duplex, телефон AI, вызывающий телефон, будет выпущен на телефоны Pixel в Bay Area и еще в нескольких городах США до конца года. Вы могли бы вспомнить Дуплекс от шокирующей демонстрации еще в мае, когда Google показал, как программное обеспечение может позвонить в парикмахерскую и заказать встречу. Для приемника на другом конце линии Дуплекс звучал как добросовестный человек, полный пауз и «ум» для большей человеческой аутентичности.

Дуплекс является частью растущей тенденции к разгрузке основных человеческое взаимодействие с роботами. Все больше и больше текстовых сообщений автоматизируются: сообщения об обмене едой, когда вы находитесь там; приложения для доставки еды, когда вы едите; авиакомпании сообщают вам о задержках; текст политических кампаний, которые вы напоминаете, чтобы голосовать. Смартфоны предсказывают слова, которые вы, возможно, захотите заполнить своими собственными текстами; в последнее время Gmail Google попытался автоматизировать вашу сторону разговора в электронных письмах, а также с умными ответами и предлагаемыми автозаполнениями.

Эти усилия не соответствуют полной автоматизации; это предложения, над которыми вы должны действовать. Но даже это может скоро уйти в прошлое: в среду Bloomberg сообщил, что компания Google Android Creator Энди Рубин, Essential Products, собирается олл-ин разработать телефон, который «попытается имитировать пользователь и автоматически реагирует на сообщения от их имени. "

Удобно? Может быть. Если ваши аптечные тексты спросят, хотите ли вы, чтобы рецепт был заправлен, было бы неплохо, я полагаю, — если бы ваш телефон просто ответил «Да». Но когда вы связываете автоматизированные задачи с человеческим олицетворением, вы попадаете в неудобную территорию.

Технология теперь достаточно хороша, чтобы обмануть нас, и единственный способ узнать, что мы говорим с ботом, — это то, что создатели бота сказали ему объявить себя.

Это … странно. По мере того, как человеческое взаимодействие все чаще проникало в сеть — от приложений электронной почты и чатов до сетей социальных сетей — вопрос аутентичности всегда вызывал озабоченность. Назад, когда AIM передо мной, родители беспокоились, что их подростки на самом деле разговаривали в чатах (и это справедливо!), Я, скорее всего, текстовые сообщения с некоторыми крипами тогда, я полагаю!). С введением искусственно интеллектуальных чатов и их растущей изощренности, заботы берут на себя различные теноры. Мы больше не беспокоимся о том, что люди, с которыми мы общаемся, — это те, кого они говорят; теперь нам также нужно беспокоиться, даже ли они вообще люди.

Эксперты в области конфиденциальности беспокоились об этом с самого начала вторжения ботов. «Появление социальных ботов, как средств развлечения, исследований и коммерческой деятельности, создает дополнительное усложнение защиты конфиденциальности в Интернете посредством информационной асимметрии и сбоев в предоставлении информированного согласия», — писал социолог Эрхардт Графф в 2013 году в газете которые утверждали законодательство о социальных ботах, которые защищают конфиденциальность пользователей. В результате кампаний дезинформации, вызванных, по крайней мере частично, ботами, Калифорния на прошлой неделе приняла закон, требующий, чтобы онлайн-чатботы раскрывали, что они не являются людьми.

Согласие было серьезной проблемой после демонстрации Duplex в Google в мае. В первом демо, когда «женщина» призвала назначить встречу для стрижки для клиента, она не идентифицировала себя как робота. Человек по телефону, похоже, понятия не имел, что она разговаривала с роботом. Это было этично? Обмануть ее? Если содержание разговора было похоже на то, что было бы с реальным человеком, имеет ли это значение?

Способ Google по решению этого вопроса состоит в том, чтобы создать раскрытие в операционной версии Duplex. Когда люди в Сан-Франциско наконец используют помощника AI для назначения, Дуплекс предупредит человека, которого он зовет, что это бот. По крайней мере, сначала пользователи смогут только направить услугу на бронирование в ресторанах, у которых нет онлайн-бронирования.

Все это очень важно и приветствуется. «Я очень рад, что Google сосредоточен на прозрачности, потому что это основополагающий этический принцип, — говорит стэнфордская новатистская этика Сьюзан Лиато. Она также счастлива, что Google медленно продвигает Duplex и указала, что она открыта для обратной связи.

Прозрачность важна, и здорово, что Google делает правильные вещи. Но дело в том, что это не обязательно. Технология теперь достаточно хороша, чтобы обмануть нас, и единственный способ узнать, что мы разговариваем с ботом, — это то, что создатели бота сказали ему объявить себя.

Это связано с тем, что этика в технике сегодня является такой важной проблемой: поскольку сейчас, при отсутствии законов и правил вокруг новых технологий, потребители во власти крупных компаний, таких как Google, делают правильные действия. Но, как быстро говорит Лиауто, «это не проблема, связанная с Google». Она добавляет: «Сейчас у нас есть это беспрецедентное и непредсказуемое рассеяние власти, поэтому мы зависим от этих игроков, чтобы вести инновации в этике наряду с их инновациями в технологиях ». Иными словами, мы должны им доверять, и в настоящий момент доверие к этим компаниям находится на рекордно низком уровне.

. Доверие будет еще более сложным вопросом, когда вы считают, что эта технология может и, вероятно, будет развиваться на более интимную территорию, чем планирование назначений. Хотя я лично считаю, что общение с незнакомыми людьми в течение дня в то время как в мире, будь то по телефону или на контрольной линии в продуктовом магазине, является прекрасной и важной частью жизни в обществе, я понимаю, что другие люди чувствуют себя по-другому , И некоторые люди не хотят разговаривать с незнакомыми людьми по телефону. Для них эта технология может быть определенной выгодой. Вы можете утверждать, что большая часть нашей человечности потеряна, если мы разрешим боту, скажем, иметь дело с вызовом офиса нашего дантиста, чтобы запланировать уборку. Но что, если мы позволим боту пожелать нашей маме счастливого дня рождения над текстом? Нам нужно будет выяснить, где на этом скользком склоне есть человеческая связь каким-то существенным образом переданным ботам, которые не заботятся и не представляют нас.

Опять же, это то, к чему мы уже движемся. Возьмите напоминания о деньгах в Facebook. Раньше нам приходилось вспоминать особые дни наших близких и друзей или указывать на то, что они были в чернилах на наших календарях. Теперь у нас есть Facebook для этого. Есть ли разница между автоматизацией напоминания и автоматизацией фактического приветствия?

Конечно, некоторые люди смогли попросить человеческих помощников отправить цветы своих супругов с момента изобретения 9-5 рабочих недель. Но теперь, когда обход станет легче, а человек, делающий покупку указанных цветов, даже не будет человеком. Те маленькие человеческие моменты, когда мы подбираем телефон и вызываем кого-то, и диктуем карту, являются частью современной жизни. «Объективность» роботов — возможно, чего-то, чего не существует, поскольку все боты проникнуты субъективностью их создателей — из безличного взаимодействия, похожего на человечество. «Вот твои красные розы, которые я заказал для тебя, потому что Википедия сообщает мне, что это классический юбилейный подарок. Любовь, ИИ от имени вашего любящего супруга ", наши карты, возможно, скоро будут прочитаны.

И это может повлиять не только на наши взаимодействия с другими людьми. «Я очень беспокоюсь о том, как мы строим этот мир, который должен быть для удобства, комфорта и скорости, но на самом деле заставляет нас чувствовать, что кто-то всегда слушает, являются они или нет», — говорит Райан Кало, профессор права в Университете Вашингтона, который изучил влияние антропоморфных роботов на общество. Он указывает на целую область исследований «убедительных вычислений», которая показывает, что люди реагируют на то, чтобы быть вокруг антропоморфных роботов так же, как они реагируют на окружающих людей. Такие технологии, как Duplex, говорит он, «являются потомками Microsoft Боба и Клиппи. Мы, наконец, все исправим, и с этим, наконец, поправляемся, делая звук человеческим с паузой и ums, это создает эти опасности. Потому что, если вы можете принять межличностное взаимодействие, и вы можете масштабировать его и изящно манипулировать им, тогда возможности — это легион ».

. Все это означает, что такой автоматизированный и реалистичный человеческий олицетворение поднимает как этические проблемы доверие и философские вопросы, например, что значит иметь отношения, если эти отношения ведутся в основном машинами. Есть также практические проблемы. Нетрудно представить, что такие технологии нацелены или манипулируются хакерами, спамерами и другими плохими актерами. Если 2016 Twitter является прологом, гипотетический сценарий использования телефонов ИИ, призванных на призыв в кампанию дезинформации, не является необоснованным.

«Кто несет ответственность за поведение этих ботов? Если что-то пошло не так, это владелец телефона? Это Google? Не несет ответственности ли машина? Разработчик? — спрашивает Лиато. Это те же самые вопросы, которые нужно задавать на машинах без водителя и технике распознавания лиц. Ответов пока нет. Центральным вопросом для тех, кто борется с этикой ИИ, является тот, кто имеет полномочия принимать решения. «И, — добавляет Лиауто, — как мы распределяем эту ответственность за последствия для этих решений?»

Даже когда дело доходит до более мирской повседневной жизни, такие функции могут также вызвать проблемы с логистикой. Если ваш телефон отвечает на электронные письма и тексты, чтобы вы могли сосредоточиться на более забавных частях жизни, как вы отслеживаете все соглашения, которые ваш телефон сделал от вашего имени? Интеграция с напоминаниями и календарями должна быть надежной и бесшовной, чтобы телефон, предназначенный для обеспечения удобства, не создавал еще одного потока данных для отслеживания.

Это звучит раздражающе и жутко. Если мне все равно придется отслеживать мои письма и тексты и встречи, я бы предпочел не быть вынужденным столкнуться с сверхъестественной долиной, пока я это делаю.


Более великие WIRED Stories