Detección de objetos: cámara en vivo
La cámara en vivo de un dispositivo puede utilizarse para detectar objetos del entorno mediante aprendizaje automático.

Uso
La transmisión en vivo de una cámara permite identificar objetos del mundo físico. Con el modo de «transmisión» (streaming) de la API de Detección y Seguimiento de Objetos de ML Kit, es posible detectar objetos en la transmisión de la cámara y utilizarlos como entrada para realizar una búsqueda visual (una consulta de búsqueda que utiliza una imagen como entrada) con el modelo de clasificación de imágenes de la app.
Buscar con una cámara en vivo puede ayudar a los usuarios a conocer más sobre los objetos que los rodean, ya sea una pieza en un museo o un artículo en venta.
Estas pautas se centran en la detección de un solo objeto a la vez.
Principios
El diseño de esta función se basa en los siguientes principios:
Navegar con la cámara del dispositivo
En lugar de escribir un término de búsqueda, la cámara del dispositivo se usa como un «control remoto» para buscar contenido visual.
Para orientar a los usuarios sobre cómo buscar con su cámara, proporcione una experiencia de incorporación e instrucciones persistentes.
Mantener la cámara despejada y legible
Para maximizar el área visible de la cámara, alinee los componentes de la interfaz de usuario de la app con los bordes superior e inferior de la pantalla y asegúrese de que el texto y los iconos sigan siendo legibles sobre la transmisión en vivo de la cámara.
Todos los elementos no interactivos que se muestren sobre la transmisión en vivo de la cámara deben ser translúcidos para no obstruir la vista.

Proporcionar retroalimentación
Usar una cámara como herramienta de búsqueda introduce requisitos de uso particulares. La calidad de la imagen debe ser adecuada, y los usuarios deben saber cómo corregir los problemas de imagen causados por la iluminación o por estar demasiado lejos de un objeto.
Los estados de error deben:
- Indicar el error mediante varios indicadores de diseño (como componentes y movimiento)
- Incluir explicaciones sobre cómo los usuarios pueden mejorar su búsqueda

Componentes
La función de detección de objetos con cámara en vivo utiliza tanto componentes existentes de Material Design como nuevos elementos diseñados específicamente para la interacción con la cámara. Para ver ejemplos de código y demostraciones de los nuevos elementos (como la retícula), consulte el código fuente de las apps de demostración de Material Design de ML Kit para Android e iOS.

1. Barra de aplicación superior
2. Retícula
3. Marcador de objeto
4. Tooltip
5. Imagen detectada
6. Hoja inferior modal

Barra de aplicación superior
La barra de aplicaciones superior proporciona acceso persistente a las siguientes acciones:
- Un botón para salir de la experiencia de búsqueda
- Un conmutador para mejorar el brillo (mediante el flash de la cámara)
- Una sección de Ayuda para solucionar problemas de búsqueda

Correcto
Retícula
La retícula es un indicador visual que ofrece a los usuarios un punto de foco al detectar objetos con la cámara (su nombre está inspirado en los visores de las cámaras). Usa una animación pulsante para indicar que la cámara está buscando objetos activamente.
Cuando la cámara en vivo se apunta hacia un objeto, la retícula se transforma en un indicador de progreso determinado para señalar que ha comenzado una búsqueda visual.
1. La detección usa una animación pulsante para indicar que la app está buscando objetos
2. El inicio de una búsqueda ocurre después de una pausa preestablecida (definida por el desarrollador), expresada con un indicador de progreso determinado
3. La necesidad de acercarse a un objeto se expresa mediante el círculo central de la retícula, que se reduce de tamaño hasta alcanzar el tamaño mínimo de detección
4. Cualquier error detectado cambia el borde de la retícula de un trazo continuo a un trazo punteado
Marcador de objeto
La API de Detección y Seguimiento de Objetos de ML Kit incluye una opción para detectar un «objeto prominente». Esta opción detecta y rastrea el objeto más grande cercano al centro del encuadre de la cámara. Una vez detectado, la app debe marcarlo con un borde rectangular continuo.
Si la app requiere un tamaño de imagen mínimo para los objetos detectados, el marcador debe cambiar a un borde rectangular parcial (que muestra solo las esquinas del borde). Esto indica que se ha detectado un objeto, pero que la búsqueda no puede iniciarse hasta que el usuario se acerque más.
Tooltip
Los tooltips muestran texto informativo a los usuarios. Expresan tanto estados (como «Buscando…») como el siguiente paso que debe realizar el usuario (como «Apunte la cámara hacia una planta»).

Correcto

Incorrecto

Incorrecto
Imagen detectada
Al detectar un objeto, la API de Detección y Seguimiento de Objetos de ML Kit crea una versión recortada de la imagen, que se utiliza para ejecutar una búsqueda visual con el modelo de clasificación de imágenes de la app.
La imagen recortada se muestra para:
- Confirmar el objeto detectado
- Compararla con las imágenes de los resultados de búsqueda
- Explicar cualquier error relacionado con la imagen (como que sea de baja calidad o que contenga varios objetos)

Hoja inferior modal
Las hojas inferiores modales proporcionan acceso a los resultados de la búsqueda visual. Su diseño y contenido dependen del caso de uso de la app, de la cantidad de resultados y del nivel de confianza de estos.


Experiencia
La búsqueda visual con cámara en vivo se desarrolla en tres fases:
- Percepción: Usar la cámara para buscar datos de entrada
- Reconocimiento: Detectar e identificar un objeto
- Comunicación: Comunicar los resultados al usuario si se encuentra un objeto coincidente
Percepción
La detección de objetos comienza cuando se abre la función de búsqueda visual. La «percepción» se refiere al proceso mediante el cual la cámara busca objetos en la transmisión en vivo. Durante esta fase, la app debe:
- Describir el funcionamiento de la función
- Comunicar las acciones de la app
- Guiar al usuario sobre cómo controlar la cámara y sugerir ajustes
Describir el funcionamiento de la función
Proporcione a los usuarios instrucciones para usar la cámara como un «control remoto» con el que buscar objetos en el entorno, y describa la experiencia mediante contenido de incorporación y de ayuda.

Correcto

Incorrecto

Correcto
Comunicar las acciones de la app
Mientras la cámara busca, la retícula emite una animación pulsante para indicar que la cámara está «mirando», y un tooltip invita al usuario a apuntar la cámara hacia los objetos.
Correcto
Guiar al usuario con los ajustes
A veces, las condiciones del entorno dificultan la detección de un objeto, como en ubicaciones que:
- Tienen una iluminación excesiva o insuficiente que impide distinguir el objeto de su fondo
- Tienen objetos superpuestos difíciles de distinguir entre sí
Si transcurre mucho tiempo sin que se detecte un objeto, detenga la animación de la retícula y dirija al usuario a la sección de Ayuda.
Reconocimiento
Cuando la cámara ha detectado un objeto, la app debe:
- Marcar el objeto detectado
- Mostrar un mensaje para que el usuario inicie una búsqueda
- Mostrar el progreso de la búsqueda
Identificar el objeto detectado
Para indicar que la cámara ha encontrado un objeto, detenga la animación de la retícula y marque el objeto detectado con un borde.

Invitar a buscar
Indique al usuario que mantenga el objeto detectado en el centro del encuadre de la cámara. Antes de iniciar la búsqueda, agregue una breve pausa, acompañada de un indicador de progreso determinado en la retícula. Esto le da al usuario tiempo para:
- Confirmar la intención de buscar (los usuarios mantienen la cámara del dispositivo quieta)
- Cancelar la búsqueda (los usuarios alejan la cámara del objeto)
La duración de la pausa se puede personalizar.
Mostrar el progreso de la búsqueda
Una vez que comienza una búsqueda, la detección de objetos se detiene y la transmisión en vivo de la cámara se congela. Esto evita que se inicien nuevas búsquedas (y permite al usuario mover el dispositivo a una posición más cómoda).
El progreso de la búsqueda se comunica con un indicador de progreso indeterminado y un mensaje en un tooltip.
Hacer correcciones
Durante la etapa de reconocimiento, dos problemas pueden afectar la calidad de los resultados de búsqueda:
Tamaño de imagen pequeño: si un objeto detectado está demasiado lejos de la cámara, no se obtendrá una imagen de alta calidad (según el tamaño de imagen mínimo que haya establecido la app).
Para indicar que la detección no ha finalizado, muestre un borde parcial alrededor del objeto (en lugar de un borde completo) y un mensaje en un tooltip que pida al usuario que acerque la cámara al objeto.
Conexión de red: se requiere una conexión de red estable si el modelo de clasificación de imágenes está en la nube. Si la conexión falla, muestre un banner que indique que se necesita conexión a internet para continuar.

Comunicación
Los resultados de una búsqueda visual se muestran en una hoja inferior modal. Durante esta fase, la app debe:
- Mostrar los resultados
- Mostrar el objeto detectado
- Proporcionar una navegación rápida
La app debe establecer un umbral de confianza para mostrar los resultados de la búsqueda visual. La «confianza» indica el grado de certeza con el que un modelo de aprendizaje automático evalúa la precisión de una predicción. En la búsqueda visual, el nivel de confianza de cada resultado refleja la similitud que el modelo encuentra entre el resultado y la imagen proporcionada.

Correcto

Correcto
Mostrar el objeto detectado
Para permitir la comparación entre el objeto detectado y los resultados de la búsqueda, muestre una miniatura del objeto detectado sobre la hoja inferior modal.

Correcto
Proporcionar una navegación rápida
Después de ver los resultados, los usuarios pueden realizar diferentes acciones:
- Para volver a la vista de la cámara, los usuarios pueden tocar el velo o el encabezado de la hoja inferior modal.
- Para salir de la vista de la cámara, los usuarios pueden interactuar con un resultado, navegar a otra parte de la app o cerrar la vista de la cámara y volver a la app tocando el botón «X».
Evaluar los resultados de búsqueda
En algunos casos, los resultados de la búsqueda visual pueden no cumplir las expectativas del usuario, como en los siguientes escenarios:
No se encontraron resultados
Una búsqueda puede no devolver ninguna coincidencia por varias razones, entre ellas:
- El objeto no forma parte del conjunto de objetos conocidos ni es similar a ninguno de ellos
- El objeto se detecta desde un ángulo que el modelo no reconoce
- La imagen es de baja calidad, lo que dificulta reconocer los detalles clave del objeto
Muestre un banner que explique que no hay resultados y dirija a los usuarios a una sección de Ayuda con información sobre cómo mejorar su búsqueda.

Resultados deficientes
Si una búsqueda devuelve únicamente resultados con puntuaciones de confianza bajas, puede pedirle al usuario que repita la búsqueda (con consejos para mejorarla).

Correcto
Tematización
Tema Material de Shrine
La búsqueda visual con cámara en vivo se utiliza en el flujo de compra de la app Shrine.


Retícula
La retícula de Shrine utiliza una forma de rombo para reflejar el estilo de formas de Shrine (que usa cortes angulados).

2. Un botón con esquinas cortadas de 4dp
3. Una retícula con forma de rombo
El tooltip de Shrine se destaca mediante el uso de colores, tipografía y ubicación personalizados.

2. El tooltip de Shrine usa colores y tipografía personalizados y extiende su contenedor hasta los bordes de la pantalla.