Detecção de objetos: câmera ao vivo
A câmera ao vivo de um dispositivo pode ser usada para detectar objetos em um ambiente por meio de aprendizado de máquina.

Uso
O feed ao vivo de uma câmera pode ser usado para identificar objetos no mundo físico. Usando o modo de “streaming” da API de Detecção e Rastreamento de Objetos do ML Kit, o feed da câmera detecta objetos que podem ser usados como entrada para uma pesquisa visual (uma consulta de pesquisa que usa uma imagem como entrada) com o modelo de classificação de imagens do seu próprio app.
Pesquisar com uma câmera ao vivo pode ajudar os usuários a saber mais sobre os objetos ao redor, seja um artefato em um museu ou um item à venda.
Estas diretrizes abordam a detecção de um objeto por vez.
Princípios
O design deste recurso é baseado nos seguintes princípios:
Navegue com a câmera do dispositivo
Em vez de digitar um termo de pesquisa, o usuário usa a câmera do dispositivo como um “controle remoto” para pesquisar conteúdo visual.
Para orientar os usuários sobre como pesquisar com a câmera, ofereça onboarding e instruções persistentes.
Mantenha a visualização da câmera desobstruída e legível
Para maximizar a área visível da câmera, alinhe os componentes de UI do app com as bordas superior e inferior da tela, garantindo que texto e ícones permaneçam legíveis quando posicionados sobre o feed ao vivo da câmera.
Quaisquer elementos não acionáveis exibidos sobre o feed ao vivo da câmera devem ser translúcidos para minimizar a obstrução da visualização.

Ofereça feedback
Usar uma câmera como ferramenta de pesquisa introduz requisitos de uso específicos. A qualidade da imagem precisa ser adequada, e os usuários devem saber como corrigir problemas causados pela iluminação ou pela distância excessiva de um objeto.
Os estados de erro devem:
- Indicar erros usando várias indicações de design (como componentes e movimento)
- Incluir explicações de como os usuários podem melhorar a pesquisa

Componentes
O recurso de detecção de objetos com câmera ao vivo usa componentes existentes do Material Design e novos elementos específicos para interação com a câmera. Para conferir amostras de código e demonstrações dos novos elementos (como o retículo), consulte o código-fonte dos apps de demonstração do ML Kit com Material Design para Android e iOS.

1. Barra de aplicativo superior
2. Retículo
3. Marcador de objeto
4. Tooltip
5. Imagem detectada
6. Folha inferior modal

Barra de aplicativo superior
A barra de aplicativo superior oferece acesso permanente às seguintes ações:
- Um botão para sair da experiência de pesquisa
- Um botão de alternância para aumentar o brilho (usando o flash da câmera)
- Uma seção de Ajuda para solucionar problemas de pesquisa

Faça
Retículo
O retículo é um indicador visual que fornece um ponto de mira para o usuário focar ao detectar objetos com a câmera (o nome é inspirado nos visores das câmeras). Ele usa uma animação pulsante para informar ao usuário quando a câmera está procurando ativamente objetos.
Quando a câmera ao vivo é apontada para um objeto, o retículo se transforma em um indicador de progresso determinado, sinalizando o início de uma pesquisa visual.
1. Percepção: uma animação pulsante indica que o app está procurando objetos
2. Início da pesquisa: ocorre após um atraso definido pelo desenvolvedor e é expresso com um indicador de progresso determinado
3. Necessidade de aproximação: o círculo central do retículo se reduz até o tamanho mínimo de detecção, indicando que o usuário precisa se aproximar do objeto
4. Erros detectados: a borda do retículo muda de traço contínuo para pontilhado
Marcador de objeto
A API de Detecção e Rastreamento de Objetos do ML Kit inclui uma opção para detectar um “objeto proeminente”. Essa opção detecta e rastreia apenas o maior objeto próximo ao centro da câmera. Depois de detectado, o objeto deve ser marcado com uma borda retangular contínua.
Se o app exigir um tamanho mínimo de imagem para objetos detectados, o marcador de objeto deverá mudar para exibir uma borda retangular parcial (mostrando apenas os cantos da borda). Isso indica que um objeto foi detectado, mas que a pesquisa não pode começar até que o usuário se aproxime.
Tooltip
Os tooltips exibem texto informativo aos usuários. Eles indicam estados (como “Pesquisando…”) e orientam o usuário para a próxima etapa (como “Aponte a câmera para uma planta”).

Faça

Não faça

Não faça
Imagem detectada
Ao detectar um objeto, a API de Detecção e Rastreamento de Objetos do ML Kit cria uma versão recortada da imagem, que é usada para realizar uma pesquisa visual com o modelo de classificação de imagens do seu app.
A imagem recortada é exibida para:
- Confirmar o objeto detectado
- Comparar com as imagens dos resultados da pesquisa
- Explicar eventuais erros relacionados à imagem (como quando ela tem baixa qualidade ou contém vários objetos)

Folha inferior modal
Folhas inferiores modais fornecem acesso aos resultados da pesquisa visual. O layout e o conteúdo de cada folha dependem do caso de uso do app, do número de resultados e do nível de confiança desses resultados.


Experiência
A pesquisa visual com câmera ao vivo acontece em três fases:
- Percepção: use a câmera para procurar dados de entrada
- Reconhecimento: detecte e identifique um objeto
- Comunicação: se um objeto correspondente for encontrado, informe o usuário
Sensoriamento
A detecção de objetos começa quando o recurso de pesquisa visual é aberto. A “percepção” designa o momento em que a câmera procura objetos no feed ao vivo. Durante essa fase, o app deve:
- Descrever como o recurso funciona
- Comunicar as ações do app
- Orientar o usuário sobre como controlar a câmera e sugerir ajustes
Descreva como o recurso funciona
Ofereça aos usuários instruções para usar a câmera como um “controle remoto” para pesquisar objetos no ambiente, descrevendo a experiência por meio de onboarding e conteúdo de ajuda.

Faça

Não faça

Faça
Comunique as ações do app
Enquanto a câmera pesquisa, o retículo pulsa para indicar que a câmera está “procurando”, e um tooltip orienta o usuário a apontá-la para objetos.
Faça
Oriente sobre os ajustes
Às vezes, as condições do ambiente dificultam a detecção de um objeto, como em locais que:
- Estão muito iluminados ou muito escuros para distinguir um objeto do fundo
- Têm objetos sobrepostos que são difíceis de diferenciar uns dos outros
Se muito tempo passar sem que um objeto seja detectado, interrompa a animação do retículo e direcione o usuário ao conteúdo de Ajuda.
Reconhecimento
Quando um objeto for detectado pela câmera, o app deve:
- Marcar o objeto detectado
- Exibir um aviso para o usuário iniciar a pesquisa
- Exibir o progresso da pesquisa
Identifique o objeto detectado
Para indicar quando a câmera encontrou um objeto, interrompa a animação do retículo e marque o objeto detectado com uma borda.

Peça ao usuário para pesquisar
Oriente o usuário a manter o objeto detectado no centro da câmera. Antes de iniciar a pesquisa, adicione um pequeno atraso, acompanhado de um indicador de progresso determinado no retículo. Isso dá ao usuário tempo para:
- Confirmar a intenção de pesquisar (os usuários mantêm a câmera do dispositivo parada)
- Cancelar a pesquisa (os usuários afastam a câmera do objeto)
Você pode personalizar a duração do atraso.
Exiba o progresso da pesquisa
Assim que uma pesquisa começa, a detecção de objetos é interrompida e o feed ao vivo da câmera é pausado. Isso evita que novas pesquisas sejam iniciadas (e permite que o usuário mova o dispositivo para uma posição mais confortável).
O progresso da pesquisa é sinalizado por um indicador de progresso indeterminado e uma mensagem de tooltip.
Solução de problemas
Durante a fase de reconhecimento, dois problemas podem afetar a qualidade dos resultados da pesquisa:
Tamanho pequeno da imagem: se um objeto detectado estiver muito longe da câmera, ele não produzirá uma imagem de alta qualidade (conforme o tamanho mínimo de imagem definido por você).
Para indicar que a detecção não foi concluída, exiba uma borda parcial ao redor do objeto (em vez de uma borda completa) e mostre uma mensagem de tooltip orientando o usuário a se aproximar.
Conexão de rede: uma conexão de rede estável é necessária se o seu modelo de classificação de imagens estiver hospedado na nuvem. Se a conexão falhar, exiba um banner indicando que é necessário estar conectado à internet para continuar.

Comunicação
Os resultados de uma pesquisa visual são exibidos em uma folha inferior modal. Durante essa fase, o app deve:
- Exibir os resultados
- Exibir o objeto detectado
- Oferecer navegação rápida
Seu app deve definir um limite de confiança para exibir os resultados da pesquisa visual. A “confiança” se refere à avaliação feita por um modelo de ML sobre a precisão de uma previsão. Para a pesquisa visual, o nível de confiança de cada resultado indica o quanto o modelo considera esse resultado semelhante à imagem fornecida.

Faça

Faça
Exiba o objeto detectado
Para permitir a comparação entre o objeto detectado e os resultados da pesquisa, exiba uma miniatura do objeto detectado acima da folha inferior modal.

Faça
Ofereça navegação rápida
Depois de ver os resultados, os usuários podem realizar ações diferentes:
- Para voltar à câmera, o usuário pode tocar no scrim ou no cabeçalho da folha inferior modal.
- Para sair da câmera, o usuário pode interagir com um resultado, navegar para outra parte do app ou tocar no botão “X” para fechar a visualização da câmera e voltar ao app.
Avalie os resultados da pesquisa
Em alguns casos, os resultados da pesquisa visual podem não atender às expectativas dos usuários, como nos seguintes cenários:
Nenhum resultado encontrado
Uma pesquisa pode não retornar correspondências por vários motivos, incluindo:
- O objeto não faz parte do conjunto conhecido de objetos nem é semelhante a ele
- O objeto foi detectado de um ângulo não reconhecível
- A imagem tem baixa qualidade, o que dificulta o reconhecimento dos principais detalhes do objeto
Exiba um banner para explicar a ausência de resultados e oriente os usuários a uma seção de Ajuda com informações sobre como melhorar a pesquisa.

Resultados ruins
Se uma pesquisa retornar apenas resultados com pontuações de baixa confiança, você pode pedir ao usuário para pesquisar novamente (com dicas de como melhorar a pesquisa).

Faça
Tematização
Tema Material do Shrine
A pesquisa visual com câmera ao vivo é usada no fluxo de compra do app Shrine.


Retículo
O retículo do Shrine usa um formato de losango para refletir o estilo de forma do Shrine (que usa cortes angulares).

2. Um botão com cantos cortados de 4dp
3. Um retículo com formato de losango
O tooltip do Shrine é destacado pelo uso de cores, tipografia e posicionamento personalizados.

2. O tooltip do Shrine usa cores e tipografia personalizadas e estende seu contêiner até as bordas da tela.