Обнаружение объектов: камера в реальном времени
С помощью машинного обучения камера устройства в режиме реального времени может обнаруживать объекты в окружающей среде.

Использование
Видеопоток с камеры можно использовать для распознавания объектов в реальном мире. В режиме «потоковой передачи» API ML Kit для обнаружения и отслеживания объектов позволяет обнаруживать объекты в этом потоке и использовать их в качестве входных данных для визуального поиска (поискового запроса, в котором вместо текста используется изображение) с помощью собственной модели классификации изображений вашего приложения.
Поиск с помощью камеры в реальном времени может помочь пользователям узнать больше об окружающих их объектах — будь то экспонат в музее или товар для покупки.
Эти рекомендации охватывают обнаружение по одному объекту за раз.
Принципы
Дизайн этой функции основан на следующих принципах:
Навигация с помощью камеры устройства
Вместо ввода текстового поискового запроса камера устройства используется как «пульт управления» для визуального поиска.
Чтобы научить пользователей искать с помощью камеры, предоставьте вводный экран и постоянно отображаемые на экране инструкции.
Не загораживайте камеру и сохраняйте читаемость интерфейса
Чтобы максимально увеличить видимую область камеры, размещайте компоненты пользовательского интерфейса приложения вдоль верхнего и нижнего краёв экрана, следя за тем, чтобы текст и значки оставались читаемыми поверх видеопотока камеры.
Все неинтерактивные элементы, отображаемые поверх видеопотока камеры, должны быть полупрозрачными, чтобы минимально перекрывать обзор.

Предоставляйте обратную связь
Использование камеры в качестве инструмента поиска предъявляет особые требования. Качество изображения должно быть достаточным, а пользователи должны знать, как исправить проблемы, вызванные освещением или слишком большим расстоянием до объекта.
В состоянии ошибки следует:
- Сообщать о проблеме с помощью нескольких визуальных сигналов (например, компонентов и анимации)
- Добавлять пояснения о том, как пользователь может улучшить поиск

Компоненты
Функция обнаружения объектов с помощью камеры в реальном времени использует как существующие компоненты Material Design, так и новые элементы, специфичные для взаимодействия с камерой. Примеры кода и демонстрации новых элементов (например, прицельной сетки) можно найти в исходном коде приложений ML Kit Material Design showcase для Android и iOS.

1. Верхняя панель приложения
2. Прицельная сетка
3. Маркер объекта
4. Подсказка
5. Обнаруженное изображение
6. Модальный нижняя панель

Верхняя панель приложения
Верхняя панель приложения обеспечивает постоянный доступ к следующим действиям:
- Кнопка выхода из режима поиска
- Переключатель для улучшения яркости (вспышка камеры)
- Раздел справки для устранения проблем с поиском

Рекомендуется
Прицельная сетка
Прицельная сетка — это визуальный ориентир, помогающий пользователям сфокусироваться при обнаружении объектов с помощью камеры (её название отсылает к прицельной сетке в видоискателе камеры). Пульсирующая анимация сообщает пользователю, что камера активно ищет объекты.
Когда камера наведена на объект, прицельная сетка превращается в детерминированный индикатор выполнения, показывая, что визуальный поиск начался.
1. Сканирование использует пульсирующую анимацию, чтобы показать, что приложение ищет объекты
2. Начало поиска наступает после заданной разработчиком задержки и выражается детерминированным индикатором выполнения
3. Необходимость приблизиться к объекту: центральный круг прицельной сетки уменьшается до минимального размера обнаружения
4. При возникновении ошибки сплошная обводка прицельной сетки меняется на пунктирную
Маркер объекта
API ML Kit для обнаружения и отслеживания объектов поддерживает опцию «заметный объект»: она обнаруживает и отслеживает самый крупный объект вблизи центра кадра. После обнаружения объект следует отметить сплошной прямоугольной рамкой.
Если в приложении задан минимальный размер обнаруживаемых объектов, маркер объекта должен смениться на частичную прямоугольную рамку (отображаются только её углы). Она означает, что объект обнаружен, но для начала поиска пользователю нужно приблизиться.
Подсказка
Подсказки отображают информационный текст: они сообщают пользователю о текущем состоянии (например, «Идёт поиск…») и о следующем шаге (например, «Наведите камеру на растение»).

Рекомендуется

Не рекомендуется

Не рекомендуется
Обнаруженное изображение
После обнаружения объекта API ML Kit для обнаружения и отслеживания объектов создаёт обрезанную версию изображения, которая используется для выполнения визуального поиска с помощью вашей модели классификации изображений.
Обрезанное изображение отображается, чтобы:
- Подтвердить обнаружение объекта
- Сравнить его с изображениями результатов поиска
- Пояснить ошибки, связанные с изображением (например, его низкое качество или наличие нескольких объектов)

Модальный нижняя панель
Модальные нижние панели служат для отображения результатов визуального поиска. Их макет и содержимое зависят от сценария использования вашего приложения, количества результатов и уровня достоверности этих результатов.


Взаимодействие
Визуальный поиск с помощью камеры в реальном времени происходит в три этапа:
- Поиск: использовать камеру для поиска входных данных
- Распознавание: обнаружить и идентифицировать объект
- Передача результатов: если найден подходящий объект, сообщить об этом пользователю
Поиск
Обнаружение объектов начинается при открытии функции визуального поиска. «Сканирование» означает, что камера ищет объекты в видеопотоке в реальном времени. На этом этапе приложение должно:
- Объяснять, как работает функция
- Сообщать о действиях приложения
- Подсказывать пользователю, как управлять камерой, и предлагать корректировки
Объясняйте, как работает функция
Объясните пользователям, как использовать камеру в качестве «пульта управления» для поиска окружающих объектов — с помощью вводного экрана и справочного контента.

Рекомендуется

Не рекомендуется

Рекомендуется
Сообщайте о действиях приложения
Пока камера ищет объекты, прицельная сетка пульсирует, показывая, что камера «смотрит», а подсказка предлагает пользователю навести камеру на объекты.
Рекомендуется
Предлагайте корректировки
Иногда условия окружающей среды затрудняют обнаружение объекта, например, когда:
- Сцена слишком яркая или тёмная, и объект трудно отличить от фона
- В кадре есть перекрывающиеся объекты, которые трудно отличить друг от друга
Если прошло значительное время, а объект так и не был обнаружен, остановите анимацию прицельной сетки и направьте пользователя к разделу справки.
Распознавание
Когда объект обнаружен камерой, приложение должно:
- Отметить обнаруженный объект
- Отобразить подсказку с предложением начать поиск
- Отобразить ход поиска
Отметьте обнаруженный объект
Чтобы показать, что камера нашла объект, остановите анимацию прицельной сетки и отметьте обнаруженный объект рамкой.

Предложение начать поиск
Попросите пользователя удерживать обнаруженный объект в центре кадра. Перед началом поиска добавьте короткую задержку, сопровождаемую детерминированным индикатором выполнения в прицельной сетке. Это даёт пользователю время, чтобы:
- Подтвердить намерение выполнить поиск (пользователи держат камеру устройства неподвижно)
- Отменить поиск (пользователи отводят камеру от объекта)
Длительность задержки можно настроить.
Отображайте ход поиска
Когда поиск начинается, обнаружение объектов останавливается, а видеопоток камеры приостанавливается. Это предотвращает запуск новых поисков и позволяет пользователю переместить устройство в более удобное положение.
Ход поиска отображается с помощью недетерминированного индикатора выполнения и сообщения-подсказки.
Устранение проблем
На качество результатов поиска на этапе распознавания могут повлиять две проблемы:
Малый размер изображения: если обнаруженный объект находится слишком далеко от камеры, полученное изображение не соответствует минимальному размеру, заданному в вашем приложении.
Чтобы показать, что обнаружение не завершено, отобразите вокруг объекта частичную рамку (вместо полной) и сообщение-подсказку, предлагающее пользователю приблизиться.
Сетевое подключение: если ваша модель классификации изображений работает в облаке, требуется стабильное интернет-соединение. Если оно прерывается, отобразите баннер с сообщением о том, что для продолжения необходимо интернет-соединение.

Коммуникация
Результаты визуального поиска отображаются в модальном нижней панели. На этом этапе приложение должно:
- Отобразить результаты
- Отобразить обнаруженный объект
- Обеспечить быструю навигацию
Вашему приложению следует задать порог достоверности для отображения результатов визуального поиска. «Достоверность» — это оценка моделью машинного обучения того, насколько точен прогноз. Для визуального поиска уровень достоверности каждого результата показывает, насколько результат, по оценке модели, похож на предоставленное изображение.

Рекомендуется

Рекомендуется
Отображайте обнаруженный объект
Чтобы обеспечить сравнение обнаруженного объекта с результатами поиска, отобразите миниатюру обнаруженного объекта над модальным нижней панелью.

Рекомендуется
Обеспечьте быструю навигацию
После просмотра результатов пользователи могут предпринять различные действия:
- Чтобы вернуться к камере, пользователь может нажать на затемнённую область или заголовок модального нижней панели.
- Чтобы выйти из режима камеры, пользователь может взаимодействовать с результатом, перейти в другой раздел приложения или закрыть камеру и вернуться в приложение, нажав кнопку «X».
Оценка результатов поиска
В некоторых случаях результаты визуального поиска могут не соответствовать ожиданиям пользователей, например:
Результаты не найдены
Поиск может завершиться без совпадений по нескольким причинам:
- Объект не входит в известный набор объектов или не похож на объекты из него
- Объект был обнаружен под ракурсом, который модель не распознаёт
- Изображение может быть низкого качества, из-за чего ключевые детали объекта трудно распознать
Если результаты отсутствуют, отобразите баннер с пояснением и направьте пользователей в раздел справки, где объясняется, как улучшить поиск.

Неудовлетворительные результаты
Если поиск возвращает только результаты с низкой достоверностью, попросите пользователя повторить поиск, добавив советы по его улучшению.

Рекомендуется
Оформление
Тема Material для Shrine
Визуальный поиск с помощью камеры в реальном времени используется в сценарии покупок в приложении Shrine.


Прицельная сетка
Прицельная сетка Shrine имеет ромбовидную форму, отражающую стиль форм Shrine с характерными угловыми срезами.

2. Кнопка со срезанными на 4dp углами
3. Прицельная сетка с ромбовидной формой
Подсказка Shrine выделяется благодаря фирменным цветам, типографике и расположению.

2. Подсказка Shrine использует фирменные цвета и типографику, а также расширяет свой контейнер до краёв экрана.