Когда Samsung анонсировала галактическую ноту 9 в августе, она продемонстрировала новые функции камеры с функцией AI, такие как дефект и оптимизатор сцены, чтобы настроить экспозицию и цвет снимка, прежде чем вы его захватили. Когда Apple запустила iPhone XS и XS Max в прошлом месяце, он много рассказывал о том, как новый нейронный процессор, специфичный для конкретного телефона, позволил улучшить фотографии, особенно портретные фото.
. Теперь очередь Google похвастаться своим ИИ — улучшенная камера для смартфонов — и показать, как ее программное обеспечение умеет и получает доступ к обширным сетям данных, дает ему преимущество на конкурсе.
Ранее сегодня Google анонсировала новые смартфоны Google Pixel 3 и Pixel 3 XL. Новые телефоны ожидались (и были просочились за несколько недель до этого), но поскольку Google предоставляет большую часть своих доходов от цифровой рекламы, любой новый запуск аппаратного обеспечения от компании вызывает особый интерес. Google не может продавать почти столько же телефонов, сколько и ее флагманские конкуренты, но он знает, что если он собирается конкурировать вообще на рынке смартфонов высокого класса, он должен иметь камеру-убийцу. Камеры на прошлогодних телефонах Pixel 2 и Pixel 2 XL были широко признаны отличными камерами.
Ответ для Google был ясен: Все, что вы можете сделать в AI, мы можем сделать лучше . Задача заключалась в том, чтобы «не запускать неудобные функции, но чтобы быть очень задумчивыми в отношении них, с намерением позволить Google сделать что-то для вас по телефону», — сказал Марио Квироз, вице-президент по управлению продуктами в Google.
В то же время, задумываясь об использовании ИИ в фотографии также означает осторожность, чтобы не вставлять предубеждения. Это то, что Google должен был считаться с прошлым, когда его технология маркировки изображений сделала ужасную ошибку; подчеркивая проблемы использования программного обеспечения для категоризации фотографий.
Содержание статьи
Третий тайм
Работа компании над Pixel 3 по словам Исаака Рейнольдса (Isaac Reynolds), менеджера продуктов в команде Google Pixel, камера начала работу до того, как телефон Pixel 2 даже запущен. «Если телефон начинается где-то между 12 и 24 месяцами заранее [of shipping]камера запускается за шесть-восемь месяцев до этого», — говорит он. «Мы уже давно думаем о камере Pixel 3, конечно, более года».
. В течение этого периода команда Pixel-камеры определила несколько функций — целых 10, хотя и не всех сделало бы это в телефоне, над которым работали исследователи вычислительной фотографии Google. «Это не так:« Эй, давайте назначим команду для этого конкретного проекта. «У нас есть целая команда, которая уже исследует эти вещи», — говорит Сабрина Эллис, директор по управлению продуктами для Pixel. «Например, низкий свет — это целая область исследований для нас. И возникает вопрос: «Это что-то отличное для пользователей или нет?»
. В конечном итоге команда Pixel сузила список, включив функции камеры, которые были технически возможными и действительно полезными , Например, новые функции, называемые Top Shot, Photobooth, Super Res Zoom и Motion Auto Focus, используют искусственный интеллект и машинное обучение для выявления или компенсации всей нашей человеческой ошибки. (Оказывается, мы не очень хорошо стоим при съемке фотографий.)
Конечно, некоторые из улучшений камеры Google Pixel 3 связаны с модернизацией оборудования. Передняя камера теперь состоит из двух широкоугольных 12-мегапиксельных объективов, лучше для широкоугольных людей. Инструмент слайдера под видоискателем позволяет вам настроить, насколько широко вы хотите, чтобы выстрел шел. 12,2-мегапиксельная задняя камера была улучшена, а датчик камеры — «датчик нового поколения», хотя Рейнольдс признал, что он «имеет много одинаковых функций». В Pixel 3 также есть датчик мерцания, который должен уменьшите эффект мерцания, который вы получаете, когда снимаете фотографию или видео при определенном освещении в помещении.
Некоторые из «новых» функций могут показаться не такими новыми, по крайней мере, на более широком рынке смартфонов. Теперь вы можете настроить эффект глубины на портретной фотографии после того, как она была записана на Pixel 3, что Apple и Samsung уже предлагают на своих флагманских телефонах. Синтетическая заполняющая вспышка осветляет юнитов в темноте; Apple тоже сделала это некоторое время. Динамический диапазон Pixel был улучшен снова, но в наши дни HDR-done-right — базовая функция на флагманских телефонах, а не выдающаяся.
Также существует тот факт, что в Google Pixel 3 по-прежнему есть один камера заднего вида, в то время как все ее высококлассные конкуренты смартфонов ушли с двойным или даже тройным числом линз. Google утверждает, что на самом деле не нужен другой объектив — «мы обнаружили, что это не нужно, — говорит Кейрос, — благодаря опыту компании в области технологии машинного обучения. Пиксельные телефоны извлекают достаточную информацию о глубине уже с двухэлементного сенсора камеры, а затем запускают алгоритмы машинного обучения, обученные более чем миллиону фотографий, для получения желаемого фотоэффекта.
Это именно тот ответ, d ожидать от компании, специализирующейся на программном обеспечении.
All Eyes on AI
Но есть некоторые функции, запускаемые с Pixel 3 которые, по-видимому, являются явными бенефициарами возможностей Google AI, в частности, Visual Core от Google, сопроцессора, разработанного Google с Intel. Он служит в качестве выделенного AI-чипа для Pixel-камеры. Visual Core был впервые выпущен с помощью смартфона Pixel 2, что означало, что Google был готов инвестировать и настраивать свои собственные чипы, чтобы сделать что-то лучше, чем готовый компонент. Это то, что дает похвальный подход HDR + от Pixel.
В этом году Visual Core был обновлен и имеет больше задач, связанных с камерой. Top Shot — одна из тех функций. Он захватывает Motion Photo, а затем автоматически выбирает наилучшее неподвижное изображение из группы. Он ищет открытые глаза и большие улыбки и отказывается от выстрелов с ветром или лицом, размытым от слишком большого движения.
Photobooth — еще один. Новая функция основана на технологии камеры Google Clips, крошечной статической камеры, которая автоматически захватывает моменты в течение дня или во время мероприятия, например, в день рождения. Photobooth принимает только фотографии, обращенные к передней панели, но он немного напоминает Clips: вы выбираете этот режим, поднимаете камеру, и как только камера увидит ваше лицо в кадре и увидит, что вы произносите выражение, он начинает автоматическую привязку пучка фотографий.
Если вы пытаетесь сделать снимок в темноте темного цвета, что ваши фотографии на смартфоне будут выглядеть как мусор, как сказал один из менеджеров продуктов Google, — камера Pixel 3 предложит что-то называемое «Ночной прицел». Это не запускается с телефоном, но ожидается, что он появится в этом году. Ночной прицел требует постоянной руки, потому что он использует более длительную экспозицию, но он объединяет вместе множество фотографий для создания ночной фотографии, которая не выглядит, ну, как мусор. Все это без использования вспышки телефона тоже.
Super Res Zoom, еще одна новая новинка для Pixel 3, — это не просто настройка программного обеспечения. Для этого требуется линза, которая немного острее, чем датчик камеры, так что разрешение не ограничено датчиком. Но это улучшает разрешение на фотографии, с которой вы увеличили масштаб, используя машинное обучение для регулировки движения вашей руки. (Если у вас есть смартфон на штативе или на устойчивой поверхности, вы можете увидеть, как рама движется немного, так как камера имитирует движение вашей руки.)
. Слишком много новых функций камеры, чтобы в полной мере воспользоваться преимуществами , Трудно понять, не используя на самом деле Pixel 3, но который из них действительно полезен, и которые являются трюками, то, что Queiroz сказал, что Google пытается избежать.
Picture Perfect
Это относительно новое тенденция к вычислительной фотографии, использование искусственного интеллекта и машинного обучения для компенсации нехватки аппаратного обеспечения или для несовершенства человека вызывает некоторые вопросы о существовании предвзятости в моделях машинного обучения, которые использует Google. У наборов фотоданных Google уже было показано, что они имеют предвзятость, как и другие. Одна вещь, которая выделялась мне, когда я заглянул в новые пиксельные камеры Google: было очень много ссылок на фотографии с улыбающимися, счастливыми лицами.
Top Shot ищет фотографии, которые считаются достойными по любым фотостандартам, но он также ищет эту группу, где вы все улыбаетесь. Photobooth не запускает автоматическую привязку фотографий до тех пор, пока вы не произнесите какое-то выражение, как улыбка или тупое лицо. Google использует ИИ, чтобы сделать фотографии лучше, в целом, наверняка, но при этом он делает тонкие определения вокруг того, что хорошая фотография .
«Если ИИ используется только для создания фотографии выглядят лучше, тогда всем это нравится », — говорит Венкатеш Салиграма, инженерная школа профессора Бостонского университета, которая исследовала гендерные предубеждения в машинах. «С другой стороны, если он использует информацию более широко, чтобы сказать, что это то, что им нравится, а что им не нравится и что может изменить вашу фотографию таким образом, тогда это может быть не то, что вы хотите от системы».
«Он мог бы применять более широкие культурные влияния, а в некоторых случаях это может быть не очень хорошо», добавил Салиграма
Рейнольдс, менеджер продукта Pixel, говорит, что его команда сравнивает некоторые новые функции к созданию «списка выстрелов» того, какие фотографии большинство людей хотели бы принять в данной ситуации, скажем, на свадьбе. «Каждый идет на свадьбу с списком выстрелов, и когда мы строили Top Shot, у нас были такие списки, — сказал он. «И где-то в этом списке выстрелов тоже очень серьезная поза, драматичная фотография. Но я думаю, что мы решили сосредоточиться на этой групповой фотографии, где все одновременно улыбаются ».
У Google также есть определенные модели машинного обучения, которые могут обнаружить удивление или развлечение в определенных сценариях, сказал Рейнольдс. Он аннотировал более 100 миллионов лиц. Он знает об этом.
По большей части эта технология может очень хорошо перевести на достойные фотографии на Google Pixel 3. Она может превзойти уже впечатляющую камеру Google Pixel 2. Или это может просто слегка подтолкнуть будущее фотографии смартфона вперед, через год, когда каждая крупная смартфонная камера довольно хороша. Одно можно сказать наверняка: Google делает это по-разному.
Загрузка...