Material Design на русском. Часть 49 — Распознавание объектов с камеры устройства | by Ruslan Sharipov | Mar, 2021

Визуальный поиск с камеры происходит в три этапа:

1. Смысл: используй камеру для поиска
2. Распознавание: обнаружение и идентификация объекта
3. Коммуникация: если объект найден, сообщи об этом пользователю.

Определение

Обнаружение объектов начинается с открытия функции визуального поиска. Трактовка “Определение” относится к камере, которая ищет объекты в реальном времени. На этом этапе приложение должно:

• Рассказать о том, как работает эта функция
• Сообщить о действиях приложения (системы)
• Предоставить руководство по управлению камерой и рекомендации по настройке

Рассказать о том, как работает эта функция

Предоставь пользователям инструкции по использованию камеры в качестве “пульта управления” для поиска объектов в окружающей среде, описывая опыт с помощью онбординга и справки.

Сообщить о действиях приложения (системы)

Пока камера ищет, прицельная сетка пульсирует, сообщая, что камера как бы “смотрит”. В то же время, всплывающая подсказка предлагает пользователю направить камеру на объекты.

Руководство по исправлению

Иногда условия окружающей среды затрудняют обнаружение объекта, например места:

• В которых слишком ярко или темно, чтобы идентифицировать объект на фоне
• В которых объекты перекрывают другие объекты, что усложняет их распознавание

Если прошло какое-то длительное время, прежде чем объект был распознан, покажи справвочную информацию и ссылку на спракку с помощью баннера.

Распознавание

Когда объект был обнаружен камерой, приложение должно:

1. Отметить обнаруженный объект
2. Отобразить сообщение для пользователя, чтобы начать поиск
3. Показать прогресс поиска

Идентификация обнаруженного объекта

Чтобы показть, что камера нашла объект, остановите анимацию прицельной сетки и выдели обнаруженный объект обводкой.

Запрос на поиск

Проинструктируй пользователя держать обнаруженный объект в центре камеры. Перед началом поиска добавь короткую временную задержку, сопровождаемую определенным индикатором прогресса в прицельной сетке. Это дает пользователю время либо:

• Подтвердить намерение выполнить поиск (пользователи держат камеру устройства неподвижно)
• Отменить поиск (пользователи уводят камеру от объекта)
• Ты можешь настроить время подобной задержки.

Покажи прогресс поиска

Как только начинается поиск, обнаружение объекта прекращается, и использование камеры останавливается. Это останавливает новые поиски (и позволяет пользователю перемещать устройство в любое другое положение).

Прогресс поиска обозначается индикатором прогресса и сообщением во всплывающей подсказке.

Внесение изменений

На этапе распознавания две проблемы могут повлиять на качество результатов поиска:

Маленький размер изображения: то есть если обнаруженный объект находится слишком далеко от камеры (рамки минимального изображения определяешь ты).

Чтобы показать то, что обнаружение не совершилось, покажи частичную обводку вокруг объекта (вместо полной обводки) и покажи всплывающее сообщение, которое расскажет пользователю что случилось. Например, сообщение может попросить пользователя приблизиться к объекту.

Состояние сети: Стабильное сетевое подключение требуется, если модель классификации изображений находится в облаке. Если подключения к Интернету нету, покажи баннер, указывающий на то, что для для работы требуется подключение к Интернету.

Коммуникация

Результаты визуального поиска отображаются в модальном нижнем списке.

На этом этапе приложение должно:

• Показать результаты
• Показать обнаруженный объекта
• Предоставить быструю навигацию

У приложения должен быть порог для отображения результатов визуального поиска. “Уверенность” относится к оценке модели ML и к тому насколько точен прогноз. Для визуального поиска уровень достоверности каждого результата показывает, насколько модель считает его похожим на сфотографированное изображение.

Отображение обнаруженного объекта

Чтобы сравнить обнаруженный объект с результатами поиска, покажи миниатюру обнаруженного объекта над модальным нижним списком.

Обеспечь быструю навигацию

После просмотра результатов пользователи могут выполнять различные действия:

• Чтобы вернуться к камере, пользователи могут нажать на затемненный фон или заголовок модального нижнего списка.
• Чтобы выйти из режима камеры, пользователь может взаимодействовать с результатом, уйти в другом место в приложении или закрыть камеру и вернуться в приложение, нажав кнопку “X”.

Оценка результатов поиска

В некоторых случаях результаты визуального поиска могут не соответствовать ожиданиям пользователя, например в следующих юзкейсах:

Результатов нет

Поиск может быть без совпадений по нескольким причинам:

• Объект не является частью набора объектов из модели
• Объект был обнаружен под неправильным углом
• Изображение может быть низкого качества, что затрудняет распознавание ключевых аспектов объекта Покажи баннер, чтобы объяснить то, что нет результатов, и направь пользователя в раздел справки для получения информации о том, как улучшить поиск.

Неточные результаты

Если поиск показывает результаты с низким уровнем достоверности, ты можете попросить пользователя выполнить поиск снова (предоставив советы по улучшению поиска).