За последние пять лет мы много слышали от таких, как Adobe, о том, как ИИ — или, точнее, машинное обучение — будет использовать инструменты нового поколения для нового поколения. И теперь мы начинаем видеть, что это стало реальностью.
На этой анимационной конференции Siggraph в Ванкувере на этой неделе Nvidia продемонстрировала серию плагинов для Photoshop и Premiere, которые используют возможности машинного обучения своей новой архитектуры GPU Turing и аппаратного обеспечения Quadro RTX, чтобы выполнить самые обычные задачи гораздо более плавно — и с меньшим количеством ручной ретуши, необходимой впоследствии.
Машинное обучение использует принципы нынешнего поколения так называемого искусственного интеллекта для обучения компьютеров и сетей распознаванию и обработке данных с использованием огромных наборов данных и многих тысяч часов процессора, например, чтобы Lightroom мог делать более точные догадки в что в ваших фотографиях или Photoshop для настройки выражений лица.
До сих пор мы видели много примеров из Adobe о том, как технология, основанная на машинах, может использоваться таким образом, чтобы действительно вау вас — цветные черно-белые фотографии или превращение быстрых эскизов в 3D-модели, но большинство из них остались техническими демонстрациями, которые только увидели на своих сессиях S & S R & D на своих конференциях.
Технология, которую мы видели на этой неделе в Siggraph, была менее впечатляющей, но более практичной на повседневной основе. Nvidia разработала ряд плагинов Premiere Pro и Photoshop, которые расширяют или улучшают возможности, которые уже есть у этих приложений, и мы увидели их демонстрации на стенде Nvidia.
Первый был назван Super Rez, который смог добавить впечатляющие уровни детализации как для волос, так и для листвы на фотографии волков на горной стороне, которые были переброшены с 4K до 8K. Это не быстро — не было индикатора прогресса или другого указания времени, но представитель Nvidia сказал нам, что для завершения потребуется около 10 минут. Однако результаты были достаточно хороши, чтобы их можно было использовать профессионально — например, в широкоформатном плакате.
Подобный плагин под названием Super Zoom имел тот же эффект, но с урожаем, чтобы эффективно приближать к определенной области.
Далее была InPaint, улучшенная AI (и кисть) версия Content-Aware Fill от Photoshop. Опять же, результаты были медленнее, чем вы ожидали в Photoshop — даже работая на графической карте Quadro RTX 6000 от Nvidia стоимостью 6 300 долларов, но результаты были очень хорошими. Демо-исполнитель Nvidia смог легко разрисовать пингвинов на скале, с грубой шероховатостью к камням, заменить их, которые выглядели реалистичными и, очевидно, не воспроизведены из соседней области.
Последний плагин, который мы видели, был медленным инструментом для Premiere Pro, который снова дал результаты, которые были намного лучше на кадры, которые мы показали, чем встроенные инструменты Premiere.
К сожалению, Nvidia заявляет, что у нее нет планов выпускать эти плагины — компания говорит, что они предназначены для того, чтобы показать, что возможно с новыми видеокартами и NGX SDK от Nvidia. И плагины, которые работают только на графических картах стоимостью от 2300 до 10 000 долларов, будут иметь ограниченную привлекательность, хотя мы ожидаем увидеть подобную технологию на гораздо менее дорогих картах Nvidia для геймеров, которые, как ожидается, будут объявлены на конференции Gamescom на следующей неделе.
Однако, видя эту технологию, продемонстрированную перед вами, а не только на сцене, это шаг вперед. Что также примечательно, так это то, что из разговоров, которые я провел с другими компаниями, включая Foundry и Allegorthimic на шоу, больше внимания уделяется отрасли — от создания текстур до шумоподавления — на использовании машинного обучения для ускорения работы по удару.
Опять же, фактические продукты, которые вы можете купить или скачать, редки, — но мы недавно увидели пару самостоятельных выпусков от разработчиков плагинов Photoshop Topaz Labs, которые были бы удивлены, если бы они не превратились в плагины в будущем.
AI Clear был выпущен в июне и работает в рамках собственного приложения Topaz Studio, используя машинное обучение для снижения шума на фотографиях. Topaz Studio бесплатно, с AI Clear 'Pro Adjustment' (т.е. плагин) стоимостью 59,99 долларов США (около 47 долларов США). На этой неделе компания запустила AI Gigapixel от $ 99,99 ($ 79), автономное приложение для изменения размера пакетной обработки изображений. Это похоже на Super Rez от NVidia, хотя без требования многомиллионной видеокарты. Вы можете увидеть его в действии в видеоролике Топаза ниже.