Detección de objetos: imagen estática
Con el aprendizaje automático, se pueden detectar objetos a partir de una imagen proporcionada.

Uso
Las fotografías pueden usarse para detectar e identificar objetos del mundo físico mediante una búsqueda visual (una consulta de búsqueda que utiliza una imagen como entrada). Con modelos de aprendizaje automático, los resultados de la búsqueda visual pueden ofrecer a los usuarios más información sobre un objeto, ya sea una especie de planta o un artículo para comprar.
La API de detección y seguimiento de objetos de ML Kit, en su modo “estático”, permite detectar hasta cinco objetos en una imagen proporcionada y mostrar los resultados coincidentes utilizando tu propio modelo de clasificación de imágenes.
Principios
El diseño de esta funcionalidad se basa en los siguientes principios:
Mantén las imágenes claras y legibles
Alinea los componentes de la interfaz de la cámara con los bordes superior e inferior de la pantalla, de modo que el texto y los iconos sigan siendo legibles al superponerse a la imagen.
Los elementos no interactivos que se muestren sobre la transmisión en vivo de la cámara deben ser translúcidos para minimizar la obstrucción de la imagen de la cámara.

Proporciona retroalimentación
La búsqueda de objetos mediante una imagen plantea requisitos de uso particulares. Los objetos superpuestos o recortados pueden dificultar su identificación.
Los estados de error deben comunicarse mediante varias señales de diseño (como componentes y movimiento) e incluir explicaciones sobre cómo los usuarios pueden mejorar su búsqueda.

Componentes
La función de detección de objetos en imágenes estáticas utiliza componentes existentes de Material Design y nuevos elementos específicos para la interacción con una imagen. Para ver ejemplos de código y demos de los nuevos elementos (como los marcadores de objetos), consulta el código fuente de la app de demostración de Material Design de ML Kit para Android.

1. Barra superior de la aplicación
2. Marcador de objetos
3. Tooltip
4. Tarjetas
5. Imagen detectada
6. Hoja inferior modal>

Barra superior de la aplicación
La barra superior de la aplicación permite acceder en todo momento a las siguientes acciones:
- Un botón para salir de la experiencia de búsqueda
- Un interruptor para aumentar el brillo de la imagen (mediante el flash de la cámara)
- Una sección de Ayuda para solucionar problemas de búsqueda

Correcto
Marcadores de objetos
Los marcadores de objetos son indicadores circulares elevados que se colocan sobre el centro de un objeto detectado. Cada marcador está asociado a una tarjeta en la parte inferior de la pantalla que muestra una vista previa de los resultados del objeto correspondiente. Cuando la tarjeta se desplaza hasta quedar a la vista, el marcador de objetos correspondiente aumenta de tamaño.
Al tocar un marcador de objetos (o su tarjeta de resultados), se abre una hoja inferior modal que muestra todos los resultados de la búsqueda visual del objeto correspondiente.
Tooltip
Los tooltips muestran texto informativo a los usuarios. Por ejemplo, comunican estados (como “Buscando…”) e invitan al usuario a continuar con el siguiente paso (como “Toca un marcador o una tarjeta para ver los resultados”).

Correcto

Incorrecto

Incorrecto
Tarjetas
Las tarjetas proporcionan una vista previa de los resultados de la búsqueda visual de un objeto. Se presentan en un carrusel con desplazamiento horizontal, ordenadas según la posición horizontal de cada objeto en la imagen.
Cada tarjeta está asociada a un marcador de objetos. Cuando la tarjeta se desplaza hasta quedar a la vista, el marcador de objetos correspondiente aumenta de tamaño. Al tocar una tarjeta (o su marcador de objetos), se abre una hoja inferior modal que muestra todos los resultados de la búsqueda visual del objeto correspondiente.
Hoja inferior modal
Las hojas inferiores modales proporcionan acceso a los resultados de la búsqueda visual. Su diseño y contenido dependen del caso de uso de tu app, de la cantidad de resultados y de su nivel de confianza.


Experiencia
La búsqueda visual de objetos a partir de una imagen se realiza en tres fases:
- Entrada: Selecciona una imagen para realizar la búsqueda
- Reconocer: Detecta e identifica objetos
- Comunicar: Muestra los resultados si se encuentran objetos coincidentes
Entrada
La búsqueda visual comienza cuando un usuario selecciona una imagen. Para aumentar las probabilidades de que la búsqueda sea exitosa, orienta a los usuarios sobre los tipos de imágenes más adecuados.

Correcto

Correcto
Reconocer
Cuando se hayan detectado uno o más objetos en una imagen, la app debe:
- Comunicar que la app está esperando los resultados
- Mostrar el progreso de la búsqueda
Los objetos detectados por la API de detección y seguimiento de objetos de ML Kit se comparan posteriormente con un conjunto de imágenes conocidas provenientes de tu modelo de clasificación de imágenes, con el fin de encontrar resultados coincidentes.
Aunque se detecte un objeto en una foto, esto no garantiza que se encuentren resultados coincidentes. Por lo tanto, los objetos no deben marcarse como detectados hasta que se obtengan resultados de búsqueda válidos.

Correcto

Incorrecto
Guía para realizar ajustes
Los siguientes factores pueden afectar la detección e identificación de los objetos (esta lista no es exhaustiva):
- Mala calidad de la imagen
- Tamaño pequeño del objeto en la imagen
- Bajo contraste entre un objeto y su fondo
- Un objeto visto desde un ángulo difícil de reconocer
- Pérdida de la conexión de red necesaria para completar la búsqueda

Correcto
Comunicar
Los resultados de los objetos detectados se comunican a los usuarios de las siguientes maneras:
- Mediante marcadores de objetos colocados sobre cada objeto detectado
- Mediante una tarjeta que muestra una vista previa del resultado de cada objeto (como parte de un carrusel de tarjetas)
Tu app debe establecer un umbral de confianza para mostrar los resultados de la búsqueda visual. La “confianza” se refiere a la evaluación que realiza un modelo de aprendizaje automático (ML) sobre el grado de precisión de una predicción. Para la búsqueda visual, el nivel de confianza de cada resultado indica el grado de similitud que, según el modelo, tiene el resultado con la imagen proporcionada.
Si uno o más objetos de la imagen tienen resultados de búsqueda, la app debe señalar esos objetos mediante marcadores de objetos y un carrusel de tarjetas que muestre una vista previa de los resultados de cada objeto. Al tocar un marcador o una tarjeta, se abre una hoja inferior modal que muestra los resultados del objeto.
Correcto
Correcto
Evaluación de los resultados de la búsqueda
En algunos casos, los resultados de la búsqueda visual pueden no cumplir con las expectativas del usuario, como en los siguientes escenarios:
No se encontraron resultados
Una búsqueda puede finalizar sin coincidencias por varias razones, entre ellas:
- El objeto no forma parte del conjunto de objetos conocidos ni es similar a este
- El objeto se detectó desde un ángulo que el modelo de búsqueda visual no reconoce
- La mala calidad de la imagen dificulta el reconocimiento de los detalles clave del objeto
Muestra un banner para explicar cuándo no hay resultados y dirige a los usuarios a una sección de Ayuda con información sobre cómo mejorar su búsqueda.

Resultados deficientes
Si una búsqueda devuelve resultados en los que todas las puntuaciones de confianza son bajas, puedes pedirle al usuario que repita la búsqueda (con consejos para mejorarla).

Correcto
Tematización
Tema Material de Shrine
El flujo de compra de la app Shrine permite a los usuarios realizar una búsqueda visual de productos con una foto.


Marcadores de objetos
Los marcadores de objetos de Shrine usan una forma de diamante para reflejar el estilo de formas de la app (basado en cortes en ángulo).

2. Un botón con esquinas recortadas de 4dp
3. Un marcador de objetos con forma de diamante
Para ayudar a los usuarios a asociar las tarjetas de resultados con los posibles objetos detectados, los marcadores de objetos generalmente aumentan de tamaño cuando se selecciona la tarjeta de resultados correspondiente en el carrusel. Shrine, en lugar de cambiar el tamaño del marcador de objetos para destacarlo, aplica estilos personalizados de color y borde.

2. Los marcadores de objetos de Shrine usan diferencias de color y de estilo de borde para indicar cuál es el objeto actual. El color del contenedor del marcador cambia de #FFFFFF al color de superficie (On Surface) de Shrine (#442C2E) y se añade un borde de 6dp de color #FFFFFF.
Tarjetas
Las tarjetas de resultados de Shrine usan colores, tipografía y estilos de forma personalizados.

2. Las tarjetas de Shrine usan la fuente Rubik para el contenido, Shrine Pink 900 (#442C2E) como color On Surface y esquinas recortadas de 8dp.