Skip to content
Material Design 2
Main Navigation
v3
v2
v1

Русский

English
简体中文
繁體中文
Español
Français
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

Русский

English
简体中文
繁體中文
Español
Français
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

Внешний вид

Sidebar Navigation

Система Material

Введение

Material-исследования

О Material-исследованиях

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Основы Material

Среда

Поверхности

Возвышение

Свет и тени

Макет

Основы макета

Плотность пикселей

Адаптивная сетка макета

Методы задания интервалов

Поведение компонентов

Применение плотности

Навигация

Общие сведения о навигации

Переходы при навигации

Поиск

Цвет

Цветовая система

Применение цвета в UI

Использование цвета

Читаемость текста

Тёмная тема

Типографика

Система типографики

Понимание типографики

Поддержка языков

Звук

О звуке

Применение звука в интерфейсе

Характеристики звука

Звуковая хореография

Иконография

Продуктовые значки

Системные значки

Анимированные значки

Форма

О форме

Форма и иерархия

Форма как средство выражения

Форма и движение

Применение формы к интерфейсу

Движение

Основы анимации

Система движения

Скорость

Хореография

Настройка

Взаимодействие

Жесты

Выделение

Состояния

Коммуникация

Подтверждение и уведомление

Форматы данных

Визуализация данных

Пустые состояния

Справка и обратная связь

Изображения

Экран запуска

Онбординг

Офлайн-режим

Написание текстов

Машинное обучение

Паттерны машинного обучения

Обнаружение объектов: камера в реальном времени

Обнаружение объектов: статическое изображение

Сканирование штрихкодов

Рекомендации Material

Material Theming

Обзор

Реализация вашей темы

Удобство использования

Доступность

Двунаправленность

Рекомендации для платформ

Панели Android

Отпечаток пальца на Android

Тактильная обратная связь в Android

Значки Android

Навигация между приложениями в Android

Уведомления в Android

Разрешения в Android

Срезы Android (slices)

Разделённый экран Android

Свайп для обновления в Android

Панель инструментов выделения текста в Android

Виджет Android

Кроссплатформенная адаптация

Компоненты

Нижние панели приложения

Верхняя панель приложения

Бэкдроп (Backdrop)

Баннеры

Нижняя панель навигации

Кнопки

Кнопки: плавающая кнопка действия

Карточки

Флажки

Чипы

Таблицы данных

Выбор даты

Диалоговые окна

Разделители

Списки изображений

Списки

Меню

Боковая панель навигации

Навигационная рейка (navigation rail)

Индикаторы выполнения

Радиокнопки

Нижние панели

Боковые панели

Ползунки

Снекбары

Переключатели

Вкладки

Текстовые поля

Средства выбора времени

Всплывающие подсказки

Содержание страницы

Обнаружение объектов: камера в реальном времени ​

С помощью машинного обучения камера устройства в режиме реального времени может обнаруживать объекты в окружающей среде.

Обнаружение объектов: камера в реальном времени — главное изображение

Использование ​

Видеопоток с камеры можно использовать для распознавания объектов в реальном мире. В режиме «потоковой передачи» API ML Kit для обнаружения и отслеживания объектов позволяет обнаруживать объекты в этом потоке и использовать их в качестве входных данных для визуального поиска (поискового запроса, в котором вместо текста используется изображение) с помощью собственной модели классификации изображений вашего приложения.

Поиск с помощью камеры в реальном времени может помочь пользователям узнать больше об окружающих их объектах — будь то экспонат в музее или товар для покупки.

Эти рекомендации охватывают обнаружение по одному объекту за раз.

Визуальный поиск с помощью камеры в реальном времени может помочь пользователям распознать окружающие их объекты, например определить вид растения.

Документация по API ML Kit

Руководства для разработчиков по обнаружению объектов

Связанная ссылка

Пример — Android

Демонстрационное приложение ML Kit для Android

Связанная ссылка

Пример — iOS

Демонстрационное приложение ML Kit для iOS

Связанная ссылка

Принципы ​

Дизайн этой функции основан на следующих принципах:

Навигация с помощью камеры устройства

Вместо ввода текстового поискового запроса камера устройства используется как «пульт управления» для визуального поиска.

Чтобы научить пользователей искать с помощью камеры, предоставьте вводный экран и постоянно отображаемые на экране инструкции.

Краткий анимированный вводный экран может помочь пользователям понять, как перемещать и направлять камеру устройства при поиске.

Не загораживайте камеру и сохраняйте читаемость интерфейса

Чтобы максимально увеличить видимую область камеры, размещайте компоненты пользовательского интерфейса приложения вдоль верхнего и нижнего краёв экрана, следя за тем, чтобы текст и значки оставались читаемыми поверх видеопотока камеры.

Все неинтерактивные элементы, отображаемые поверх видеопотока камеры, должны быть полупрозрачными, чтобы минимально перекрывать обзор.

Большинство элементов намеренно размещено вдоль верхнего и нижнего краёв экрана, чтобы максимально увеличить область просмотра камеры
Большинство элементов намеренно размещено вдоль верхнего и нижнего краёв экрана, чтобы максимально увеличить видимую область видеопотока камеры.

Предоставляйте обратную связь

Использование камеры в качестве инструмента поиска предъявляет особые требования. Качество изображения должно быть достаточным, а пользователи должны знать, как исправить проблемы, вызванные освещением или слишком большим расстоянием до объекта.

В состоянии ошибки следует:

  • Сообщать о проблеме с помощью нескольких визуальных сигналов (например, компонентов и анимации)
  • Добавлять пояснения о том, как пользователь может улучшить поиск
Баннеры предоставляют заметный способ сообщить пользователям, что при поиске произошла ошибка
Баннеры — заметный способ сообщить пользователям об ошибке при поиске, а также место для ссылки на раздел справки с дополнительной информацией.

Компоненты ​

Функция обнаружения объектов с помощью камеры в реальном времени использует как существующие компоненты Material Design, так и новые элементы, специфичные для взаимодействия с камерой. Примеры кода и демонстрации новых элементов (например, прицельной сетки) можно найти в исходном коде приложений ML Kit Material Design showcase для Android и iOS.

Ключевые элементы на этапах визуального поиска с помощью камеры в реальном времени
Ключевые элементы на этапах визуального поиска с помощью камеры в реальном времени:
1. Верхняя панель приложения
2. Прицельная сетка
3. Маркер объекта
4. Подсказка
5. Обнаруженное изображение
6. Модальный нижняя панель
Компоненты

Верхняя панель приложения ​


Верхняя панель приложения обеспечивает постоянный доступ к следующим действиям:

  • Кнопка выхода из режима поиска
  • Переключатель для улучшения яркости (вспышка камеры)
  • Раздел справки для устранения проблем с поиском
Рекомендуется: использовать градиентное затемнение или сплошной цвет для контейнера верхней панели приложения, чтобы её действия оставались читаемыми поверх видеопотока камеры

Рекомендуется

использовать градиентное затемнение или сплошной цвет для контейнера верхней панели приложения, чтобы её действия оставались читаемыми поверх видеопотока камеры.

Верхняя панель приложения

Верхняя панель приложения отображает информацию и действия, связанные с текущим экраном.

Связанная статья

Прицельная сетка ​

Прицельная сетка — это визуальный ориентир, помогающий пользователям сфокусироваться при обнаружении объектов с помощью камеры (её название отсылает к прицельной сетке в видоискателе камеры). Пульсирующая анимация сообщает пользователю, что камера активно ищет объекты.

Когда камера наведена на объект, прицельная сетка превращается в детерминированный индикатор выполнения, показывая, что визуальный поиск начался.

Прицельная сетка должна иметь разные варианты дизайна и эффекты анимации для передачи ключевых состояний приложения — например, когда камера ищет объекты или когда произошла ошибка.

Состояния прицельной сетки:

1. Сканирование использует пульсирующую анимацию, чтобы показать, что приложение ищет объекты
2. Начало поиска наступает после заданной разработчиком задержки и выражается детерминированным индикатором выполнения
3. Необходимость приблизиться к объекту: центральный круг прицельной сетки уменьшается до минимального размера обнаружения
4. При возникновении ошибки сплошная обводка прицельной сетки меняется на пунктирную

Маркер объекта ​

API ML Kit для обнаружения и отслеживания объектов поддерживает опцию «заметный объект»: она обнаруживает и отслеживает самый крупный объект вблизи центра кадра. После обнаружения объект следует отметить сплошной прямоугольной рамкой.

Если в приложении задан минимальный размер обнаруживаемых объектов, маркер объекта должен смениться на частичную прямоугольную рамку (отображаются только её углы). Она означает, что объект обнаружен, но для начала поиска пользователю нужно приблизиться.

Частичная рамка и сообщение-подсказка могут информировать пользователей о том, что объект обнаружен и им нужно приблизиться, чтобы начать поиск.

Подсказка ​

Подсказки отображают информационный текст: они сообщают пользователю о текущем состоянии (например, «Идёт поиск…») и о следующем шаге (например, «Наведите камеру на растение»).

Рекомендуется: писать краткие подсказки, используя термины, понятные вашей аудитории

Рекомендуется

писать краткие подсказки, используя термины, понятные вашей аудитории.
Не рекомендуется: писать подсказки с глаголами действия, такими как «Нажмите, чтобы искать», поскольку подсказки неинтерактивны

Не рекомендуется

писать подсказки с глаголами действия, такими как «Нажмите, чтобы искать», поскольку подсказки неинтерактивны.

Не рекомендуется: размещать сообщения об ошибках в подсказке

Не рекомендуется

размещать сообщения об ошибках в подсказке. Для ошибок следует использовать баннер: он привлекает внимание и оставляет место для кнопок действий.

Подсказки

Отображение информационного текста при наведении курсора, фокусировке или нажатии на элемент

Связанная статья

Обнаруженное изображение ​


После обнаружения объекта API ML Kit для обнаружения и отслеживания объектов создаёт обрезанную версию изображения, которая используется для выполнения визуального поиска с помощью вашей модели классификации изображений.

Обрезанное изображение отображается, чтобы:

  • Подтвердить обнаружение объекта
  • Сравнить его с изображениями результатов поиска
  • Пояснить ошибки, связанные с изображением (например, его низкое качество или наличие нескольких объектов)
Размещение миниатюры изображения обнаруженного объекта рядом с результатами поиска может помочь пользователям определить наилучшее совпадение
Размещение миниатюры изображения обнаруженного объекта рядом с результатами поиска может помочь пользователям определить наилучшее совпадение.

Модальный нижняя панель ​

Модальные нижние панели служат для отображения результатов визуального поиска. Их макет и содержимое зависят от сценария использования вашего приложения, количества результатов и уровня достоверности этих результатов.

В модальном нижней панели списки или сетки изображений могут отображать несколько результатов визуального поиска
В модальном нижней панели списки или сетки изображений могут отображать несколько результатов визуального поиска. Лист можно раскрыть на всю высоту экрана, чтобы просмотреть дополнительные результаты.
Модальный нижняя панель может отображать один результат, адаптируя свой макет к содержимому
Модальный нижняя панель может отображать один результат, адаптируя свой макет к содержимому.

Нижние панели

Поверхности с дополнительным содержимым, закреплённые в нижней части экрана.

Связанная статья

Взаимодействие ​

Визуальный поиск с помощью камеры в реальном времени происходит в три этапа:

  1. Поиск: использовать камеру для поиска входных данных
  2. Распознавание: обнаружить и идентифицировать объект
  3. Передача результатов: если найден подходящий объект, сообщить об этом пользователю

Поиск ​

Обнаружение объектов начинается при открытии функции визуального поиска. «Сканирование» означает, что камера ищет объекты в видеопотоке в реальном времени. На этом этапе приложение должно:

  • Объяснять, как работает функция
  • Сообщать о действиях приложения
  • Подсказывать пользователю, как управлять камерой, и предлагать корректировки

Объясняйте, как работает функция ​

Объясните пользователям, как использовать камеру в качестве «пульта управления» для поиска окружающих объектов — с помощью вводного экрана и справочного контента.

Рекомендуется: объяснить взаимодействие с помощью одноэкранного вводного руководства

Рекомендуется

объяснить взаимодействие с помощью одноэкранного вводного руководства. Анимация поможет наглядно показать пользователю, как перемещать устройство.
Не рекомендуется: делать вводное руководство длинным, описывающим все возможные состояния ошибок

Не рекомендуется

делать вводное руководство длинным, описывающим все возможные состояния ошибок. Предоставляйте дополнительную информацию только после того, как пользователь столкнётся с проблемой.

Рекомендуется: создать отдельный раздел справки с информацией о типах объектов, которые могут быть обнаружены

Рекомендуется

создать отдельный раздел справки с информацией о типах обнаруживаемых объектов, о том, как получить наилучшие результаты и как используются изображения.

Сообщайте о действиях приложения

Пока камера ищет объекты, прицельная сетка пульсирует, показывая, что камера «смотрит», а подсказка предлагает пользователю навести камеру на объекты.

Рекомендуется

дать пользователю визуальные сигналы, такие как анимированная прицельная сетка и подсказка, чтобы показать, чем этот интерфейс отличается от использования камеры для фотографирования.

Предлагайте корректировки

Иногда условия окружающей среды затрудняют обнаружение объекта, например, когда:

  • Сцена слишком яркая или тёмная, и объект трудно отличить от фона
  • В кадре есть перекрывающиеся объекты, которые трудно отличить друг от друга

Если прошло значительное время, а объект так и не был обнаружен, остановите анимацию прицельной сетки и направьте пользователя к разделу справки.

Если время ожидания обнаружения истекло, сообщите пользователям о проблеме: остановите анимацию прицельной сетки и сделайте справочный контент заметнее.

Распознавание ​

Когда объект обнаружен камерой, приложение должно:

  1. Отметить обнаруженный объект
  2. Отобразить подсказку с предложением начать поиск
  3. Отобразить ход поиска

Отметьте обнаруженный объект

Чтобы показать, что камера нашла объект, остановите анимацию прицельной сетки и отметьте обнаруженный объект рамкой.

Вокруг обнаруженного объекта появляется прямоугольная рамка, указывающая, что объект был распознан
Вокруг обнаруженного объекта появляется прямоугольная рамка, указывающая, что объект был распознан.

Предложение начать поиск

Попросите пользователя удерживать обнаруженный объект в центре кадра. Перед началом поиска добавьте короткую задержку, сопровождаемую детерминированным индикатором выполнения в прицельной сетке. Это даёт пользователю время, чтобы:

  • Подтвердить намерение выполнить поиск (пользователи держат камеру устройства неподвижно)
  • Отменить поиск (пользователи отводят камеру от объекта)

Длительность задержки можно настроить.

Задержка позволяет пользователям отменить поиск при необходимости.

Отображайте ход поиска

Когда поиск начинается, обнаружение объектов останавливается, а видеопоток камеры приостанавливается. Это предотвращает запуск новых поисков и позволяет пользователю переместить устройство в более удобное положение.

Ход поиска отображается с помощью недетерминированного индикатора выполнения и сообщения-подсказки.

Несколько визуальных сигналов (анимация, затемнение и текст) показывают, что поиск начался и пользователям следует подождать загрузки результатов.

Устранение проблем ​

На качество результатов поиска на этапе распознавания могут повлиять две проблемы:

Малый размер изображения: если обнаруженный объект находится слишком далеко от камеры, полученное изображение не соответствует минимальному размеру, заданному в вашем приложении.

Чтобы показать, что обнаружение не завершено, отобразите вокруг объекта частичную рамку (вместо полной) и сообщение-подсказку, предлагающее пользователю приблизиться.

Частичная рамка и сообщение-подсказка могут информировать пользователей о том, что объект обнаружен и им нужно приблизиться, чтобы начать поиск.

Сетевое подключение: если ваша модель классификации изображений работает в облаке, требуется стабильное интернет-соединение. Если оно прерывается, отобразите баннер с сообщением о том, что для продолжения необходимо интернет-соединение.

О проблемах с сетью можно сообщить пользователям с помощью баннера
О проблемах с сетью можно сообщить пользователям с помощью баннера, а также предусмотреть действие для повторной попытки после устранения проблемы.

Коммуникация ​

Результаты визуального поиска отображаются в модальном нижней панели. На этом этапе приложение должно:

  • Отобразить результаты
  • Отобразить обнаруженный объект
  • Обеспечить быструю навигацию

Вашему приложению следует задать порог достоверности для отображения результатов визуального поиска. «Достоверность» — это оценка моделью машинного обучения того, насколько точен прогноз. Для визуального поиска уровень достоверности каждого результата показывает, насколько результат, по оценке модели, похож на предоставленное изображение.

Рекомендуется: упорядочить результаты визуального поиска в порядке убывания достоверности модели, чтобы наиболее вероятные совпадения показывались первыми

Рекомендуется

упорядочить результаты визуального поиска в порядке убывания достоверности модели, чтобы наиболее вероятные совпадения показывались первыми.
Рекомендуется: показывать только результат с наивысшей достоверностью, когда сценарий использования требует точного совпадения

Рекомендуется

показывать только результат с наивысшей достоверностью, когда сценарий использования требует точного совпадения.

Отображайте обнаруженный объект

Чтобы обеспечить сравнение обнаруженного объекта с результатами поиска, отобразите миниатюру обнаруженного объекта над модальным нижней панелью.

Рекомендуется: включить изображение обнаруженного объекта для сравнения с изображениями результатов поиска

Рекомендуется

включить изображение обнаруженного объекта для сравнения с изображениями результатов поиска.

Обеспечьте быструю навигацию ​

После просмотра результатов пользователи могут предпринять различные действия:

  • Чтобы вернуться к камере, пользователь может нажать на затемнённую область или заголовок модального нижней панели.
  • Чтобы выйти из режима камеры, пользователь может взаимодействовать с результатом, перейти в другой раздел приложения или закрыть камеру и вернуться в приложение, нажав кнопку «X».

Нажатие на заголовок нижней панели или затемнённую область возвращает пользователей к экрану камеры в реального времени для продолжения поиска.
Показывать только результат с наивысшей достоверностью, когда сценарий использования требует точного совпадения.

Оценка результатов поиска ​

В некоторых случаях результаты визуального поиска могут не соответствовать ожиданиям пользователей, например:

Результаты не найдены

Поиск может завершиться без совпадений по нескольким причинам:

  • Объект не входит в известный набор объектов или не похож на объекты из него
  • Объект был обнаружен под ракурсом, который модель не распознаёт
  • Изображение может быть низкого качества, из-за чего ключевые детали объекта трудно распознать

Если результаты отсутствуют, отобразите баннер с пояснением и направьте пользователей в раздел справки, где объясняется, как улучшить поиск.

Баннер предоставляет место для пояснения и ссылку на справочный контент, если результаты поиска не найдены
Баннер предоставляет место для пояснения и ссылку на справочный контент, если результаты поиска не найдены.

Неудовлетворительные результаты

Если поиск возвращает только результаты с низкой достоверностью, попросите пользователя повторить поиск, добавив советы по его улучшению.

Рекомендуется: добавить ссылку на справочный контент, когда все результаты имеют низкую достоверность

Рекомендуется

добавить ссылку на справочный контент, когда все результаты имеют низкую достоверность.

Объяснимость + доверие

Объяснение прогнозов, рекомендаций и других результатов ИИ

Связанная ссылка

Ошибки + корректная обработка сбоев

Как обрабатывать ошибки машинного обучения

Связанная ссылка

Оформление ​

Тема Material для Shrine ​

Визуальный поиск с помощью камеры в реальном времени используется в сценарии покупок в приложении Shrine.

Угловатые формы, используемые в бренде Shrine, применяются к ключевым элементам, таким как прицельная сетка
Угловатые формы, используемые в бренде Shrine, применяются к ключевым элементам, таким как прицельная сетка.
Цветовые и типографические стили Shrine применяются к результатам визуального поиска для согласованности с остальной частью приложения
Цветовые и типографические стили Shrine применяются к результатам визуального поиска для согласованности с остальной частью приложения.

Прицельная сетка ​

Прицельная сетка Shrine имеет ромбовидную форму, отражающую стиль форм Shrine с характерными угловыми срезами.

Схема: геометрический логотип Shrine, кнопка со срезанными на 4dp углами, прицельная сетка с ромбовидной формой
1. Геометрический логотип Shrine
2. Кнопка со срезанными на 4dp углами
3. Прицельная сетка с ромбовидной формой

Подсказка Shrine выделяется благодаря фирменным цветам, типографике и расположению.

Подсказки обычно являются компонентами с низкой значимостью, ширина которых зависит от их текста
1. Подсказки обычно являются второстепенными компонентами, ширина которых зависит от их текста.
2. Подсказка Shrine использует фирменные цвета и типографику, а также расширяет свой контейнер до краёв экрана.

Shrine

Shrine — это бренд одежды и товаров для образа жизни, демонстрирующий, как Material Design можно использовать в электронной коммерции.

Связанная статья

Pager
Предыдущая страницаПаттерны машинного обучения
Следующая страницаОбнаружение объектов: статическое изображение

Выпущено на условиях лицензии Apache-2.0.

Авторские права © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

Выпущено на условиях лицензии Apache-2.0.

Авторские права © 2018-Present Google