Обнаружение объектов: статическое изображение
С помощью машинного обучения можно обнаруживать объекты на предоставленном изображении.

Использование
Фотографии можно использовать для обнаружения и идентификации объектов в физическом мире с помощью визуального поиска — поискового запроса, в котором входными данными служит изображение. С помощью моделей машинного обучения результаты визуального поиска могут предоставить пользователям больше информации об объекте — будь то вид растения или товар.
«Статический» режим API обнаружения и отслеживания объектов ML Kit позволяет обнаружить до пяти объектов на предоставленном изображении и отобразить совпадающие результаты с помощью вашей собственной модели классификации изображений.
Принципы
Дизайн этой функции основан на следующих принципах:
Изображения должны быть чёткими и разборчивыми
Выравнивайте компоненты интерфейса камеры по верхнему и нижнему краям экрана, следя за тем, чтобы текст и значки оставались разборчивыми при размещении поверх изображения.
Любые неинтерактивные элементы, отображаемые поверх видеопотока камеры, должны быть полупрозрачными, чтобы как можно меньше перекрывать изображение с камеры.

Обеспечьте обратную связь
Поиск объектов по изображению предъявляет особые требования к удобству использования. Перекрывающиеся или частично обрезанные объекты могут затруднять идентификацию.
Об ошибках следует сообщать с помощью нескольких визуальных сигналов (таких как компоненты и анимация), а также пояснять, как пользователь может улучшить поиск.

Компоненты
Функция обнаружения объектов на статическом изображении использует существующие компоненты Material Design и новые элементы, характерные для взаимодействия с изображением. Примеры кода и демонстрации новых элементов (таких как маркеры объектов) можно найти в исходном коде демонстрационного приложения ML Kit Material Design для Android.

1. Верхняя панель приложения
2. Маркер объекта
3. Всплывающая подсказка
4. Карточки
5. Обнаруженное изображение
6. Модальная нижняя панель

Верхняя панель приложения
Верхняя панель приложения обеспечивает постоянный доступ к следующим действиям:
- Кнопка выхода из режима поиска
- Переключатель для улучшения освещения (с помощью вспышки камеры)
- Раздел справки для устранения неполадок поиска

Рекомендуется
Маркеры объектов
Маркеры объектов — это круглые приподнятые индикаторы, размещаемые по центру каждого обнаруженного объекта. Каждый маркер связан с карточкой в нижней части экрана, на которой отображается предварительный просмотр результатов по этому объекту. Когда карточка при прокрутке попадает в зону просмотра, соответствующий маркер объекта увеличивается.
При нажатии на маркер объекта (или связанную с ним карточку с результатами) открывается модальная нижняя панель с полными результатами визуального поиска по объекту.
Всплывающие подсказки
Всплывающие подсказки показывают пользователям информационный текст. Например, они сообщают о текущем состоянии («Идёт поиск…») или подсказывают следующий шаг («Нажмите точку или карточку, чтобы увидеть результаты»).

Рекомендуется

Не рекомендуется

Не рекомендуется
Карточки
Карточки предоставляют предварительный просмотр результатов визуального поиска по объекту. Они расположены в карусели с горизонтальной прокруткой; порядок карточек соответствует горизонтальному положению объектов на изображении.
Каждая карточка связана с маркером объекта. Когда карточка при прокрутке попадает в зону просмотра, связанный с ней маркер объекта увеличивается. При нажатии на карточку (или связанный с ней маркер объекта) открывается модальная нижняя панель, в которой отображаются полные результаты визуального поиска по объекту.
Модальная нижняя панель
Модальные нижние панели обеспечивают доступ к результатам визуального поиска. Их макет и содержимое зависят от сценария использования вашего приложения, количества результатов и уровня уверенности в этих результатах.


Пользовательский опыт
Визуальный поиск объектов по изображению включает три этапа:
- Ввод: выбор изображения для поиска
- Распознавание: обнаружение и идентификация объектов
- Отображение результатов: если найдены совпадающие объекты, отображаются результаты
Ввод
Визуальный поиск начинается, когда пользователь выбирает изображение. Чтобы повысить шансы на успешный поиск, посоветуйте пользователям, какие типы изображений наиболее подходят для поиска.

Рекомендуется

Рекомендуется
Распознавание
Когда один или несколько объектов обнаружены на изображении, приложение должно:
- Сообщить об ожидании результатов
- Отобразить ход поиска
Затем объекты, обнаруженные с помощью API обнаружения и отслеживания объектов ML Kit, сравниваются с набором известных изображений из вашей модели классификации, которая используется для поиска совпадающих результатов.
Даже если объект обнаружен на фотографии, это не гарантирует, что будут найдены совпадающие результаты. Поэтому не следует помечать объекты как обнаруженные, пока не будут получены валидные результаты поиска.

Рекомендуется

Не рекомендуется
Рекомендации по улучшению распознавания
На обнаружение и идентификацию объектов могут влиять следующие факторы (этот список не является исчерпывающим):
- Плохое качество изображения
- Малый размер объекта на изображении
- Низкий контраст между объектом и его фоном
- Объект показан под ракурсом, который сложно распознать
- Потеряно сетевое соединение, необходимое для завершения поиска

Рекомендуется
Отображение результатов
Результаты для обнаруженных объектов отображаются пользователям следующим образом:
- Размещением маркеров объектов поверх каждого обнаруженного объекта
- Отображением предварительного просмотра результата каждого объекта на карточке (в составе карусели карточек)
Ваше приложение должно задать порог уверенности для отображения результатов визуального поиска. «Уверенность» — это оценка, которую модель машинного обучения присваивает точности прогноза. Для визуального поиска уровень уверенности каждого результата показывает, насколько модель считает его похожим на исходное изображение.
Если для одного или нескольких объектов на изображении найдены результаты поиска, приложение должно обозначить эти объекты с помощью маркеров объектов и карусели карточек с предварительным просмотром результатов по каждому объекту. При нажатии на маркер или карточку открывается модальная нижняя панель с результатами по этому объекту.
Рекомендуется
Рекомендуется
Оценка результатов поиска
В некоторых случаях результаты визуального поиска могут не соответствовать ожиданиям пользователя, например в следующих сценариях:
Результаты не найдены
Поиск может завершиться без совпадений по нескольким причинам, в том числе:
- Объект не входит в известный набор объектов или не похож на объекты из него
- Объект обнаружен под ракурсом, который модель визуального поиска не распознаёт
- Плохое качество изображения, из-за которого ключевые детали объекта трудно распознать
Если результаты не найдены, отобразите баннер с пояснением и направьте пользователей в раздел справки, где объясняется, как улучшить поиск.

Результаты низкого качества
Если поиск возвращает результаты только с низкими показателями уверенности, предложите пользователю повторить поиск, дав советы, как его улучшить.

Рекомендуется
Темизация
Тема Shrine в Material Design
Процесс покупки в приложении Shrine позволяет пользователям выполнять визуальный поиск товаров с помощью фотографии.


Маркеры объектов
Маркеры объектов Shrine имеют ромбовидную форму в стиле форм Shrine (со срезанными углами).

2. Кнопка со срезанными углами 4dp
3. Маркер объекта ромбовидной формы
Чтобы помочь пользователям сопоставить карточки результатов с обнаруженными объектами, маркеры обычно увеличиваются, когда соответствующая карточка выбирается в карусели. Вместо изменения размера маркера для его выделения Shrine применяет собственные стили цвета и границ.

2. Маркеры объектов Shrine используют различия в цвете и стилях границ, чтобы указать текущий объект. Цвет контейнера маркера меняется с #FFFFFF на цвет Shrine On Surface (#442C2E), а сам маркер приобретает обводку толщиной 6dp цвета #FFFFFF.
Карточки
Карточки результатов Shrine используют собственные цвета, типографику и стили форм.

2. Карточки Shrine используют шрифт Rubik для контента, Shrine Pink 900 (#442C2E) в качестве цвета On Surface и имеют срезанные углы 8dp.