Мы все видели неуклюжие веб-сайты, на которых искусство и текст не совпадали. Текст скрывает важную часть изображения, противоречие визуальных стилей или композиция кажется несбалансированной.
Но Salesforce, похоже, находится на пороге автоматизированного средство. Изучив 20 000 изображений без авторских прав, собранных с Unsplash, его группа разработчиков UX-исследований обнаружила, что проприетарное программное обеспечение для обнаружения объектов может выделять и классифицировать тонкие различия в медиафайлах, векторной графике и форматированном тексте.
Это исследование может иметь широкое применение в отрасли, — сказал Сёнке Роде, вице-президент, возглавляющий команду, особенно для компаний и внутренних отделов, у которых нет собственных графических дизайнеров или дизайнеров UX.
«Мы можем начать расширять творческий процесс», — сказал Роде. «Вместо того, чтобы вручную создавать набор вариантов дизайна для проведения многомерного теста или для полной персонализации, вы можете использовать так называемые генеративные варианты дизайна для преобразования процесса».
Авторы опубликованного внутри компании отчета «Copyspace: где писать на изображениях» предполагают, что модели обнаружения объектов могут быть объединены с возможностями глубокого обучения системы генеративного дизайна Salesforce. Einstein Designer чтобы помочь компаниям создавать персонализированные почтовые баннеры, главные страницы и призывы к действию. Более того, эти активы можно настроить так, чтобы они отражали идентичность бренда, бизнес-цели и ожидания конкретных пользователей.
«Очень распространенный подход к дизайну — размещение контента на — верх изображения, — сказал Род. «У вас может быть заголовок — обычно у вас есть кнопка с призывом к действию. И чтобы автоматизировать их создание, вы должны найти лучшее место или лучшие места для размещения контента ».
* * *
Эта история является первой в Built In Серия ' s « Designer ' s Playbook » в которой исследуются наиболее важные новые тенденции и навыки в области дизайна и пользовательского интерфейса. профессионалов в 2021 году.
Сцена из мультфильма Тома и Джерри аннотированный отделом исследований и разработок Salesforce Design, вкратце иллюстрирует, как работает эта технология. Когда Том приходит в ярость и бросает пару бильярдных шаров в лицо Джерри, бесстрашная мышь отбивает их бейсбольной битой, попадая прямо в глазницы кошки. Сцена заканчивается тем, что Тома сбивают с машины с холодными напитками, где его уплотняют и выплевывают в виде бутылки с содовой. Помните беззаботное легкомыслие старых мультфильмов?
Это дерзкое, хотя и мрачное, мультяшное веселье, но это также проблеск того, где «лучшие места» для телевидения кредиты могут быть. По мере развертывания мультфильма в негативном или скрытом пространстве появляются ограничительные рамки зеленого и пурпурного цветов. Эти поля делятся на четыре класса в зависимости от сложности, с которой программное обеспечение определяет их как оптимальные места для добавления слов. Это более сложная задача, чем простое разделение переднего и заднего планов.
«Итак, вместо объекта мы ищем не объект. И это действительно то, о чем была статья », — сказала Джессика Лундин, ведущий специалист по данным из группы исследований и разработок UX и ведущий автор статьи. показывает, что простые монохромные поверхности, такие как черный желоб в мультфильме, относительно легко распознаются программным обеспечением как первоочередная языковая недвижимость. Более богато слоистые пространства, а также пространства, близкие к Тому и Джерри, труднее изолировать.
Содержание статьи
Перспективы и ограничения обнаружения пространства копирования
Модели глубокого обучения, в том числе основанные на регрессии Yolo (You Only Look Once) и сеть региональных предложений Faster R-CNN лежат в основе проекта. Со временем эти модели учатся предсказывать, где лучше всего разместить копию.
Однако сначала их нужно обучить. Чтобы наложить заполнители там, где копия будет выглядеть лучше всего, Лундин работал с командой разработчиков UX, чтобы аннотировать изображения, собранные из Unsplash. Как показано на рисунке выше, прямоугольник ограничивающие рамки, расположенные в желаемых по композиции местах, используются для обучения программного обеспечения.
«Модель, конечно, просто делает то, что ей говорят, но по сути она обучается «Где на изображении низкоэнергетическое пространство?» — сказал мне Лундин.
«Модель, конечно, просто работает. то, что в нем говорится, но по сути он изучает: «Где на изображении пространство с низким энергопотреблением?» »
Из пяти протестированных моделей, Yolo версии 5 имеет наивысший балл MAP (средняя средняя точность). Проще говоря, он смог надежно предсказать местоположение копий для изображений с 407 слоями с разрешением 640 x 640 пикселей.
Тем не менее, предстоит еще многое сделать.
«Одна проблема, с которой мы сталкиваемся, применяя эти модели обнаружения объектов для копирования пространства, заключается в том, что если нет четко определенного объекта — существует нет кота или бейсбольного мяча, вокруг которых можно аккуратно провести линию — наши модели часто предлагали вполне правдоподобное решение для копирования пространства, но оно не соответствовало аннотации », — сказал Лундин.
Другими словами, модель обнаружила скрытое пространство — зеленые ограничивающие прямоугольники — а не пространство, которое исследователи хотели найти — розовые ограничивающие прямоугольники. Чем больше времени и данных для обучения, тем выше точность системы.
Другая проблема, как видно из этой сетки рекламы дождевиков, заключается в том, что текст в ограничивающей рамке может быть представлен множеством способов. По словам Лундин, относительное расположение заголовков, основного текста и кнопок важно для взаимодействия с пользователем и все еще требует тестирования и уточнения в рамках проекта.
«Эта статья действительно была такой:« Сможем ли мы это сделать? »И ответ был:« Да, даже с очень небольшим количеством изображений мы смогли проделать довольно хорошую работу ». Но закончить это как продукт, есть еще кое-что, что нужно сделать. Например, точное размещение текста в этом пространстве для копии ».
Чтобы понять значение исследования и его потенциальные последствия, вам необходимо рассмотреть более широкие планы Salesforce в отношении Einstein Designer, инструмента генеративного дизайна на базе искусственного интеллекта, который глубоко использует -обучение UX и предиктивной персонализации для создания индивидуальных интерфейсов. Проект, который получил почетное упоминание в Fast Company 2020 Innovation by Design Awards, предполагает межфункциональное сотрудничество специалистов по данным, инженеров и дизайнеров полного стека. Как пишет Rohde о своих высоких амбициях: «Представьте себе пользовательский интерфейс для каждого человека, который посещает веб-сайт. Подождите — что? » На практике, сказал он мне, это означает, что такие аспекты дизайна, как цвет, стили и размеры шрифтов, а также типографские иерархии могут быть оптимизированы для конкретных отраслей . Визуализация данных Salesforce показывает например, что компании-разработчики программного обеспечения предпочитают синий цвет, Big Pharma предпочитает яркие, напористые цвета, а производители автомобилей тяготеют к изображениям с низкой насыщенностью цвета. «Исследование показало, что у людей разные интересы. Некоторым людям нравится видеть цену продукта. Другие люди интересуются функциями. Другие хотят снимать конкретный продукт ». Подобные эстетические предпочтения можно найти среди брендов, и — как это восхитительно вызывающее видео от бренда очков, который изображает Warby Parker — людей с различающимися вкусами. Основная идея, по словам Роде, заключается в том, что, автоматизируя активы, компании могут персонализировать страницы продуктов и цифровые витрины для оптимизации взаимодействия. «Исследование показало, что у людей разные интересы», — сказал Роде. «Некоторым людям в совокупности нравится видеть цену продукта. Другие люди интересуются функциями. Другие хотят получить конкретный продукт ». Как правило, дизайнер может вручную создать набор из трех или четырех макетов и прогнать их через многомерное тестирование чтобы определить лучший выбор. Ограничения по времени и ресурсам ограничивают доступные варианты. «Но с генеративным дизайном, — сказал Роде, — вы можете генерировать десятки различных перестановок, каждая из которых подчеркивает различные аспекты продукта, а затем используйте свой механизм персонализации, чтобы выяснить, что лучше всего подходит для уровня потребителя и уровня представления ». По мере того, как компании выходят на новые вертикали и Он добавил, что для расширения их аудитории потенциальные преимущества персонализированных интерфейсов только возрастут. Но у дизайнеров нет времени на создание уникальных макетов для каждой ситуации, с которой они сталкиваются. И это при условии, что активы создает дизайнер, а не, скажем, цифровой мерчендайзер или специалист по маркетингу, пытающийся ускорить разработку макета для быстро меняющейся кампании. «Дизайн — один из немногих аспектов Интернета, который еще не является персонализированным», — сказал Роде. «Каждый веб-сайт, который вы видите, может иметь разное содержание, но внешний вид одинаков для каждого пользователя». По крайней мере, это ' как это было ' s было исторически.
Salesforce тестировала программное обеспечение для обнаружения пространства копирования внутри компании и с избранными клиентами, которые используют его платформа электронной коммерции Commerce Cloud . В этот список входят такие бренды, как Kellogg's, Louis Vuitton, Ralph Lauren, Yeti и Adidas, хотя эти компании не обязательно участвуют в тестировании, — сказал Роде. по конкретным результатам, он сказал, что экспериментальные результаты обнадеживают. «Вначале мы не «Не знаю, повлияет ли персонализация дизайна на ключевые показатели эффективности бизнеса», — сказал он. Теперь Роде более убежден. В первых пилотных проектах «персонализация дизайна привела к положительным результатам для ключевых показателей эффективности, которые ищут наши клиенты», — сказал он. «Когда вы Посмотрите на дизайн веб-сайтов, здесь применяется множество шаблонных технологий. Я думаю, мы получим более интересные результаты, потому что мы найдем лучший дизайн для фактического размера и целевого разрешения контента ». One мог бы задаться вопросом, могут ли системы обнаружения пространства копирования угрожать работе дизайнеров, создающих веб-интерфейсы и рекламу. Но Роде настаивал, что это не так. «Мы очень тесно сотрудничаем с нашим офисом по вопросам этического и гуманного использования, чтобы убедиться, что мы делаем то, что действительно помогает наши клиенты », — сказал он. «Цель состоит в том, чтобы начать автоматизировать наиболее утомительные части процесса и помочь повысить роль профессиональных людей, чтобы дизайнеры могли сосредоточиться на задачах более высокого уровня». Если предположить, что это правда — и есть причины чтобы действовать с осторожностью, — еще одно соображение заключается в том, рискуют ли созданные машинами проекты выглядеть бесплодными или слишком навязчивыми, лишенными индивидуальности и игривости человеческих? Но это может быть меньшей проблемой, чем вы думаете. Фактически, для отрасли, которая становится удобной в использовании стандартных изображений и шаблонов, персонализированные макеты, созданные с помощью систем глубокого обучения, могут быть запоздалым сигналом к пробуждению. «Когда вы смотрите на дизайн веб-сайтов, здесь применяется множество шаблонных технологий, — сказал Роде. «Я думаю, мы получим более интересные результаты, потому что мы найдем лучший дизайн для фактического размера и целевого разрешения контента». «Если это не дорого создать 10 уникальных вариантов, — продолжил он, — вам не нужно идти на компромисс при поиске масштабируемого решения. Пользовательский интерфейс для всех
Этика генеративного дизайна
Загрузка...
