Detecção de objetos: imagem estática
Com o uso de machine learning, é possível detectar objetos em uma imagem fornecida.

Uso
Fotografias podem ser usadas para detectar e identificar objetos no mundo físico por meio de uma pesquisa visual (uma consulta que usa uma imagem como entrada). Com modelos de machine learning, os resultados da pesquisa visual podem fornecer aos usuários mais informações sobre um item – se é uma espécie de planta ou um produto disponível para compra.
A API de detecção e rastreamento de objetos do ML Kit, em seu modo “estático”, permite detectar até cinco objetos em uma imagem fornecida e exibir os resultados correspondentes usando seu próprio modelo de classificação de imagens.
Princípios
O design deste recurso se baseia nos seguintes princípios:
Mantenha as imagens nítidas e legíveis
Alinhe os componentes da interface da câmera às bordas superior e inferior da tela, garantindo que textos e ícones permaneçam legíveis quando posicionados sobre uma imagem.
Qualquer elemento não interativo exibido sobre a transmissão ao vivo da câmera deve ser translúcido para minimizar a obstrução da imagem da câmera.

Forneça feedback
Usar uma imagem para pesquisar objetos apresenta requisitos de uso específicos. Objetos sobrepostos ou cortados podem dificultar a identificação.
Os estados de erro devem ser comunicados por meio de vários sinais de design (como componentes e movimento) e incluir explicações sobre como os usuários podem melhorar a pesquisa.

Componentes
O recurso de detecção de objetos em imagem estática usa componentes existentes do Material Design e novos elementos criados especificamente para interagir com uma imagem. Para conferir exemplos de código e demonstrações dos novos elementos (como os marcadores de objeto), consulte o código-fonte do app de demonstração do ML Kit Material Design para Android.

1. Barra de aplicativo superior
2. Marcador de objeto
3. Tooltip
4. Cartões
5. Imagem detectada
6. Folha inferior modal

Barra de aplicativo superior
A barra de aplicativo superior oferece acesso constante às seguintes ações:
- Um botão para sair da experiência de pesquisa
- Um botão de alternância para melhorar o brilho (usando o flash da câmera)
- Uma seção de Ajuda para solucionar problemas de pesquisa

Faça
Marcadores de objeto
Os marcadores de objeto são indicadores circulares com elevação posicionados sobre o centro de um objeto detectado. Cada marcador está associado a um cartão na parte inferior da tela; o cartão exibe uma prévia dos resultados de cada objeto. Quando o cartão entra na área visível, o marcador de objeto correspondente aumenta de tamanho.
Tocar em um marcador de objeto (ou no cartão de resultados correspondente) abre uma folha inferior modal que exibe todos os resultados da pesquisa visual do objeto.
Tooltip
Tooltips exibem texto informativo para os usuários. Por exemplo, eles podem expressar estados (como em uma mensagem “Pesquisando…”) e orientar o usuário para a próxima etapa (como em uma mensagem “Toque em um ponto ou cartão para ver os resultados”).

Faça

Não faça

Não faça
Cartões
Os cartões exibem uma prévia dos resultados da pesquisa visual de um objeto. Eles são dispostos em um carrossel de rolagem horizontal, ordenados com base na posição horizontal de cada objeto.
Cada cartão está associado a um marcador de objeto. Quando o cartão entra na área visível, o marcador de objeto correspondente aumenta de tamanho. Tocar em um cartão (ou no marcador de objeto correspondente) abre uma folha inferior modal, que exibe todos os resultados da pesquisa visual do objeto.
Folha inferior modal
As folhas inferiores modais fornecem acesso aos resultados da pesquisa visual. O layout e o conteúdo das folhas dependem do caso de uso do seu app, do número de resultados e do nível de confiança dos resultados.


Experiência
A pesquisa visual de objetos a partir de uma imagem acontece em três fases:
- Entrada: Selecione uma imagem para pesquisar
- Reconhecimento: Detecte e identifique objetos
- Comunicação: Se objetos correspondentes forem encontrados, exiba os resultados
Entrada
A pesquisa visual começa quando o usuário seleciona uma imagem. Para aumentar as chances de uma pesquisa bem-sucedida, oriente os usuários sobre os tipos de imagens mais adequados para a pesquisa.

Faça

Faça
Reconhecimento
Quando um ou mais objetos forem detectados em uma imagem, o app deve:
- Indicar ao usuário que o app está aguardando os resultados
- Exibir o progresso da pesquisa
Os objetos detectados pela API de detecção e rastreamento de objetos do ML Kit são então comparados a um conjunto de imagens conhecidas pelo seu modelo de classificação de imagens, que as utiliza para encontrar resultados correspondentes.
Mesmo que um objeto seja detectado em uma foto, isso não garante que resultados correspondentes serão encontrados. Por isso, os objetos não devem ser marcados como detectados até que resultados de pesquisa válidos sejam obtidos.

Faça

Não faça
Como orientar ajustes
Os seguintes fatores podem afetar a detecção e a identificação de objetos (lista não exaustiva):
- Baixa qualidade da imagem
- Tamanho pequeno do objeto na imagem
- Baixo contraste entre o objeto e o fundo
- Objeto exibido em um ângulo irreconhecível
- Interrupção da conexão de rede necessária para concluir a pesquisa

Faça
Comunicação
Os resultados dos objetos detectados são comunicados aos usuários das seguintes formas:
- Posicionar marcadores de objeto sobre cada objeto detectado
- Mostrar uma prévia dos resultados de cada objeto em um cartão (como parte de um carrossel de cartões)
Seu app deve definir um limite de confiança para exibir os resultados da pesquisa visual. “Confiança” refere-se à avaliação que um modelo de ML faz da precisão de uma previsão. Na pesquisa visual, o nível de confiança de cada resultado indica o grau de semelhança que o modelo atribui ao resultado em relação à imagem fornecida.
Se um ou mais objetos na imagem tiverem resultados de pesquisa, o app deve identificar esses objetos detectados usando marcadores de objeto e um carrossel de cartões que exibe uma prévia dos resultados de cada objeto. Tocar em um marcador ou cartão abre uma folha inferior modal que mostra os resultados do objeto.
Faça
Faça
Avalie os resultados da pesquisa
Em alguns casos, os resultados da pesquisa visual podem não atender às expectativas do usuário, como nos seguintes cenários:
Nenhum resultado encontrado
Uma pesquisa pode não retornar correspondências por vários motivos, entre eles:
- O objeto não faz parte do conjunto conhecido de objetos nem é semelhante a esse conjunto
- O objeto foi detectado em um ângulo que o modelo de pesquisa visual não reconhece
- Baixa qualidade da imagem, o que dificulta o reconhecimento de detalhes importantes do objeto
Exiba um banner explicando que não há resultados e oriente os usuários para uma seção de Ajuda com informações sobre como melhorar a pesquisa.

Resultados insatisfatórios
Se uma pesquisa retornar resultados com baixo nível de confiança, você pode sugerir que o usuário pesquise novamente, oferecendo dicas para melhorar a pesquisa.

Faça
Tematização
Tema Material do Shrine
O fluxo de compra do app Shrine permite que os usuários realizem uma pesquisa visual de produtos usando uma foto.


Marcadores de objeto
Os marcadores de objeto do Shrine usam um formato de losango para refletir o estilo de formas do Shrine (que utiliza cortes em ângulo).

2. Um botão com cantos cortados de 4dp
3. Um marcador de objeto em formato de losango
Para ajudar os usuários a associar os cartões de resultados aos objetos possivelmente detectados, os marcadores de objeto normalmente aumentam de tamanho quando o cartão de resultado correspondente é selecionado no carrossel. Em vez de alterar o tamanho do marcador de objeto para destacá-lo, o Shrine aplica estilos personalizados de cor e borda.

2. Os marcadores de objeto do Shrine usam cores e estilos de borda diferentes para indicar o objeto atual. A cor do contêiner do marcador muda de #FFFFFF para a cor On Surface do Shrine (#442C2E) e recebe uma borda de 6dp na cor #FFFFFF.
Cartões
Os cartões de resultados do Shrine usam cores, tipografia e estilos de forma personalizados.

2. Os cartões do Shrine usam a fonte Rubik para o conteúdo, Shrine Pink 900 (#442C2E) como cor On Surface e têm cantos cortados de 8dp.