Skip to content
Material Design 2
Main Navigation
v3
v2
v1

Português – Brasil

English
简体中文
繁體中文
Español
Français
Русский
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

Português – Brasil

English
简体中文
繁體中文
Español
Français
Русский
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

Aparência

Sidebar Navigation

Sistema Material

Introdução

Estudos do Material Design

Sobre os Estudos do Material Design

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Fundamentos do Material

Ambiente

Superfícies

Elevação

Luz e sombras

Layout

Entendendo o layout

Densidade de pixels

Grade de layout responsiva

Métodos de espaçamento

Comportamento de componentes

Aplicação de densidade

Navegação

Entender a navegação

Transições de navegação

Pesquisa

Cor

O sistema de cores

Aplicar cor à UI

Uso de cores

Legibilidade do texto

Tema escuro

Tipografia

O sistema tipográfico

Entendendo a tipografia

Suporte a idiomas

Som

Sobre o som

Aplicando som à UI

Atributos do som

Coreografia de som

Iconografia

Ícones de produto

Ícones do sistema

Ícones animados

Forma

Sobre a forma

Forma e hierarquia

Forma como expressão

Forma e movimento

Aplicando formas à interface

Movimento

Entendendo o movimento

O sistema de movimento

Velocidade

Coreografia

Personalização

Interação

Gestos

Seleção

Estados

Comunicação

Confirmação e reconhecimento

Formatos de dados

Visualização de dados

Estados vazios

Ajuda e feedback

Imagens

Tela de abertura

Onboarding

Estados offline

Escrita

Aprendizado de máquina

Padrões de aprendizado de máquina

Detecção de objetos: câmera ao vivo

Detecção de objetos: imagem estática

Leitura de código de barras

Diretrizes do Material

Material Theming

Visão geral

Implementando seu tema

Usabilidade

Acessibilidade

Bidirecionalidade

Diretrizes de plataforma

Barras do Android

Impressão digital no Android

Feedback tátil do Android

Ícones do Android

Navegação entre apps no Android

Notificações no Android

Permissões do Android

Slices do Android

Tela dividida no Android

Deslizar para atualizar no Android

Barra de ferramentas de seleção de texto no Android

Widget do Android

Adaptação multiplataforma

Componentes

Barras de aplicativo: inferior

Barras de aplicativo superiores

Backdrop

Banners

Navegação inferior

Botões

Botões: botão de ação flutuante

Cartões

Caixas de seleção

Chips

Tabelas de dados

Seletores de data

Diálogos

Divisores

Listas de imagens

Listas

Menus

Gaveta de navegação

Trilho de navegação

Indicadores de progresso

Botões de opção

Folhas inferiores

Folhas laterais

Controles deslizantes

Snackbars

Interruptores

Abas

Campos de texto

Seletores de horário

Tooltips

Nesta página

Detecção de objetos: câmera ao vivo ​

A câmera ao vivo de um dispositivo pode ser usada para detectar objetos em um ambiente por meio de aprendizado de máquina.

Imagem principal de detecção de objetos: câmera ao vivo

Uso ​

O feed ao vivo de uma câmera pode ser usado para identificar objetos no mundo físico. Usando o modo de “streaming” da API de Detecção e Rastreamento de Objetos do ML Kit, o feed da câmera detecta objetos que podem ser usados como entrada para uma pesquisa visual (uma consulta de pesquisa que usa uma imagem como entrada) com o modelo de classificação de imagens do seu próprio app.

Pesquisar com uma câmera ao vivo pode ajudar os usuários a saber mais sobre os objetos ao redor, seja um artefato em um museu ou um item à venda.

Estas diretrizes abordam a detecção de um objeto por vez.

A pesquisa visual em uma câmera ao vivo pode ajudar os usuários a identificar objetos ao redor, como uma espécie de planta.

Documentação da API do ML Kit

Guias para desenvolvedores sobre detecção de objetos

Link relacionado

Exemplo – Android

App de demonstração do ML Kit para Android

Link relacionado

Exemplo – iOS

App de demonstração do ML Kit para iOS

Link relacionado

Princípios ​

O design deste recurso é baseado nos seguintes princípios:

Navegue com a câmera do dispositivo

Em vez de digitar um termo de pesquisa, o usuário usa a câmera do dispositivo como um “controle remoto” para pesquisar conteúdo visual.

Para orientar os usuários sobre como pesquisar com a câmera, ofereça onboarding e instruções persistentes.

Uma experiência de onboarding breve e animada pode ajudar os usuários a entender como mover e posicionar a câmera do dispositivo para pesquisar.

Mantenha a visualização da câmera desobstruída e legível

Para maximizar a área visível da câmera, alinhe os componentes de UI do app com as bordas superior e inferior da tela, garantindo que texto e ícones permaneçam legíveis quando posicionados sobre o feed ao vivo da câmera.

Quaisquer elementos não acionáveis exibidos sobre o feed ao vivo da câmera devem ser translúcidos para minimizar a obstrução da visualização.

A maioria dos elementos é posicionada intencionalmente ao longo das bordas superior e inferior da tela para maximizar a visualização do feed da câmera
A maioria dos elementos é posicionada intencionalmente ao longo das bordas superior e inferior da tela para maximizar a visualização do feed da câmera.

Ofereça feedback

Usar uma câmera como ferramenta de pesquisa introduz requisitos de uso específicos. A qualidade da imagem precisa ser adequada, e os usuários devem saber como corrigir problemas causados pela iluminação ou pela distância excessiva de um objeto.

Os estados de erro devem:

  • Indicar erros usando várias indicações de design (como componentes e movimento)
  • Incluir explicações de como os usuários podem melhorar a pesquisa
Banners oferecem uma maneira proeminente de informar aos usuários que algo deu errado na pesquisa
Banners oferecem uma forma proeminente de informar os usuários de que algo deu errado na pesquisa, além de espaço para incluir um link para uma seção de Ajuda com mais informações.

Componentes ​

O recurso de detecção de objetos com câmera ao vivo usa componentes existentes do Material Design e novos elementos específicos para interação com a câmera. Para conferir amostras de código e demonstrações dos novos elementos (como o retículo), consulte o código-fonte dos apps de demonstração do ML Kit com Material Design para Android e iOS.

Principais elementos nas fases de uma experiência de pesquisa visual com câmera ao vivo
Principais elementos nas fases de uma experiência de pesquisa visual com câmera ao vivo:
1. Barra de aplicativo superior
2. Retículo
3. Marcador de objeto
4. Tooltip
5. Imagem detectada
6. Folha inferior modal
Componentes

Barra de aplicativo superior ​


A barra de aplicativo superior oferece acesso permanente às seguintes ações:

  • Um botão para sair da experiência de pesquisa
  • Um botão de alternância para aumentar o brilho (usando o flash da câmera)
  • Uma seção de Ajuda para solucionar problemas de pesquisa
Faça: use um scrim com gradiente ou uma cor sólida no contêiner da barra de apps superior para garantir que as ações fiquem legíveis sobre o feed da câmera

Faça

Use um scrim com gradiente ou uma cor sólida no contêiner da barra de aplicativo superior para garantir que as ações fiquem legíveis sobre o feed da câmera.

Barra de aplicativo superior

A barra de aplicativo superior exibe informações e ações referentes à visualização atual.

Artigo relacionado

Retículo ​

O retículo é um indicador visual que fornece um ponto de mira para o usuário focar ao detectar objetos com a câmera (o nome é inspirado nos visores das câmeras). Ele usa uma animação pulsante para informar ao usuário quando a câmera está procurando ativamente objetos.

Quando a câmera ao vivo é apontada para um objeto, o retículo se transforma em um indicador de progresso determinado, sinalizando o início de uma pesquisa visual.

O retículo deve ter diferentes designs e efeitos de animação para comunicar os principais estados do app, como quando a câmera está procurando objetos ou quando ocorreu um erro.

Estados do retículo:

1. Percepção: uma animação pulsante indica que o app está procurando objetos
2. Início da pesquisa: ocorre após um atraso definido pelo desenvolvedor e é expresso com um indicador de progresso determinado
3. Necessidade de aproximação: o círculo central do retículo se reduz até o tamanho mínimo de detecção, indicando que o usuário precisa se aproximar do objeto
4. Erros detectados: a borda do retículo muda de traço contínuo para pontilhado

Marcador de objeto ​

A API de Detecção e Rastreamento de Objetos do ML Kit inclui uma opção para detectar um “objeto proeminente”. Essa opção detecta e rastreia apenas o maior objeto próximo ao centro da câmera. Depois de detectado, o objeto deve ser marcado com uma borda retangular contínua.

Se o app exigir um tamanho mínimo de imagem para objetos detectados, o marcador de objeto deverá mudar para exibir uma borda retangular parcial (mostrando apenas os cantos da borda). Isso indica que um objeto foi detectado, mas que a pesquisa não pode começar até que o usuário se aproxime.

Uma borda parcial e uma mensagem de tooltip podem informar aos usuários que um objeto foi detectado e que eles precisam se aproximar para começar a pesquisa.

Tooltip ​

Os tooltips exibem texto informativo aos usuários. Eles indicam estados (como “Pesquisando…”) e orientam o usuário para a próxima etapa (como “Aponte a câmera para uma planta”).

Faça: escreva tooltips curtos usando termos adequados ao seu público

Faça

Escreva tooltips curtos usando termos adequados ao seu público.
Não escreva tooltips com verbos de ação, como “Toque para pesquisar”, já que tooltips não são acionáveis

Não faça

Não escreva tooltips com verbos de ação, como “Toque para pesquisar”, já que tooltips não são acionáveis.

Não coloque mensagens de erro em um tooltip

Não faça

Não coloque mensagens de erro em um tooltip. Os erros devem ser exibidos em um banner para dar mais ênfase e fornecer espaço para exibir ações.

Tooltips

Exibe texto informativo quando os usuários passam o cursor, colocam o foco ou tocam em um elemento

Artigo relacionado

Imagem detectada ​


Ao detectar um objeto, a API de Detecção e Rastreamento de Objetos do ML Kit cria uma versão recortada da imagem, que é usada para realizar uma pesquisa visual com o modelo de classificação de imagens do seu app.

A imagem recortada é exibida para:

  • Confirmar o objeto detectado
  • Comparar com as imagens dos resultados da pesquisa
  • Explicar eventuais erros relacionados à imagem (como quando ela tem baixa qualidade ou contém vários objetos)
Posicionar uma miniatura da imagem do objeto detectado perto dos resultados da pesquisa pode ajudar os usuários a identificar a melhor correspondência
Posicionar uma miniatura da imagem do objeto detectado perto dos resultados da pesquisa pode ajudar os usuários a identificar a melhor correspondência.

Folha inferior modal ​

Folhas inferiores modais fornecem acesso aos resultados da pesquisa visual. O layout e o conteúdo de cada folha dependem do caso de uso do app, do número de resultados e do nível de confiança desses resultados.

Em uma folha inferior modal, listas ou grades de imagens podem exibir vários resultados da pesquisa visual
Em uma folha inferior modal, listas ou grades de imagens podem exibir vários resultados da pesquisa visual. A folha pode ser aberta até a altura total da tela para ver resultados adicionais.
Uma folha inferior modal pode exibir um único resultado, adaptando seu layout ao conteúdo
Uma folha inferior modal pode exibir um único resultado, adaptando seu layout ao conteúdo.

Folhas inferiores

Superfícies com conteúdo complementar ancoradas à borda inferior da tela.

Artigo relacionado

Experiência ​

A pesquisa visual com câmera ao vivo acontece em três fases:

  1. Percepção: use a câmera para procurar dados de entrada
  2. Reconhecimento: detecte e identifique um objeto
  3. Comunicação: se um objeto correspondente for encontrado, informe o usuário

Sensoriamento ​

A detecção de objetos começa quando o recurso de pesquisa visual é aberto. A “percepção” designa o momento em que a câmera procura objetos no feed ao vivo. Durante essa fase, o app deve:

  • Descrever como o recurso funciona
  • Comunicar as ações do app
  • Orientar o usuário sobre como controlar a câmera e sugerir ajustes

Descreva como o recurso funciona ​

Ofereça aos usuários instruções para usar a câmera como um “controle remoto” para pesquisar objetos no ambiente, descrevendo a experiência por meio de onboarding e conteúdo de ajuda.

Faça: explique a interação com uma experiência de onboarding de uma única tela

Faça

Explique a interação com uma experiência de onboarding de uma única tela. Recomenda-se usar animações para demonstrar ao usuário como mover o dispositivo.
Não exija um processo de onboarding extenso que descreva todos os estados de erro possíveis

Não faça

Não exija um processo de onboarding extenso que descreva todos os estados de erro possíveis. Forneça mais informações somente quando o usuário encontrar um problema.

Faça: tenha uma seção de Ajuda dedicada com informações que incluam os tipos de objetos que podem ser detectados

Faça

Ofereça uma seção de Ajuda dedicada com informações que incluam os tipos de objetos que podem ser detectados, como obter os melhores resultados e como as imagens são usadas.

Comunique as ações do app

Enquanto a câmera pesquisa, o retículo pulsa para indicar que a câmera está “procurando”, e um tooltip orienta o usuário a apontá-la para objetos.

Faça

Forneça ao usuário indicações, como um retículo animado e um tooltip, para mostrar como essa UI difere do uso da câmera para tirar uma foto.

Oriente sobre os ajustes

Às vezes, as condições do ambiente dificultam a detecção de um objeto, como em locais que:

  • Estão muito iluminados ou muito escuros para distinguir um objeto do fundo
  • Têm objetos sobrepostos que são difíceis de diferenciar uns dos outros

Se muito tempo passar sem que um objeto seja detectado, interrompa a animação do retículo e direcione o usuário ao conteúdo de Ajuda.

Se um tempo limite de detecção for atingido, informe aos usuários que algo está errado: interrompa a animação do retículo e destaque o conteúdo de Ajuda.

Reconhecimento ​

Quando um objeto for detectado pela câmera, o app deve:

  1. Marcar o objeto detectado
  2. Exibir um aviso para o usuário iniciar a pesquisa
  3. Exibir o progresso da pesquisa

Identifique o objeto detectado

Para indicar quando a câmera encontrou um objeto, interrompa a animação do retículo e marque o objeto detectado com uma borda.

Uma borda retangular aparece ao redor de um objeto para indicar que ele foi reconhecido
Uma borda retangular aparece ao redor de um objeto para indicar que ele foi reconhecido.

Peça ao usuário para pesquisar

Oriente o usuário a manter o objeto detectado no centro da câmera. Antes de iniciar a pesquisa, adicione um pequeno atraso, acompanhado de um indicador de progresso determinado no retículo. Isso dá ao usuário tempo para:

  • Confirmar a intenção de pesquisar (os usuários mantêm a câmera do dispositivo parada)
  • Cancelar a pesquisa (os usuários afastam a câmera do objeto)

Você pode personalizar a duração do atraso.

Um atraso permite que os usuários cancelem a pesquisa, se necessário.

Exiba o progresso da pesquisa

Assim que uma pesquisa começa, a detecção de objetos é interrompida e o feed ao vivo da câmera é pausado. Isso evita que novas pesquisas sejam iniciadas (e permite que o usuário mova o dispositivo para uma posição mais confortável).

O progresso da pesquisa é sinalizado por um indicador de progresso indeterminado e uma mensagem de tooltip.

Vários recursos visuais (movimento, scrim e texto) são usados para sinalizar que a pesquisa começou e que os usuários devem aguardar o carregamento dos resultados.

Solução de problemas ​

Durante a fase de reconhecimento, dois problemas podem afetar a qualidade dos resultados da pesquisa:

Tamanho pequeno da imagem: se um objeto detectado estiver muito longe da câmera, ele não produzirá uma imagem de alta qualidade (conforme o tamanho mínimo de imagem definido por você).

Para indicar que a detecção não foi concluída, exiba uma borda parcial ao redor do objeto (em vez de uma borda completa) e mostre uma mensagem de tooltip orientando o usuário a se aproximar.

Uma borda parcial e uma mensagem de tooltip podem informar aos usuários que um objeto foi detectado e que eles precisam se aproximar para começar a pesquisa.

Conexão de rede: uma conexão de rede estável é necessária se o seu modelo de classificação de imagens estiver hospedado na nuvem. Se a conexão falhar, exiba um banner indicando que é necessário estar conectado à internet para continuar.

Problemas de rede podem ser comunicados aos usuários com um banner
Problemas de rede podem ser comunicados aos usuários com um banner, junto com uma ação para tentar novamente caso o problema tenha sido resolvido.

Comunicação ​

Os resultados de uma pesquisa visual são exibidos em uma folha inferior modal. Durante essa fase, o app deve:

  • Exibir os resultados
  • Exibir o objeto detectado
  • Oferecer navegação rápida

Seu app deve definir um limite de confiança para exibir os resultados da pesquisa visual. A “confiança” se refere à avaliação feita por um modelo de ML sobre a precisão de uma previsão. Para a pesquisa visual, o nível de confiança de cada resultado indica o quanto o modelo considera esse resultado semelhante à imagem fornecida.

Faça: ordene os resultados da pesquisa visual pela confiança do seu modelo para garantir que os itens com maior probabilidade de correspondência sejam vistos primeiro

Faça

Ordene os resultados da pesquisa visual pela confiança do seu modelo para garantir que os itens com maior probabilidade de correspondência sejam vistos primeiro.
Faça: mostre apenas o resultado com a maior confiança quando o caso de uso exigir uma correspondência exata

Faça

Mostre apenas o resultado com a maior confiança quando o caso de uso exigir uma correspondência exata.

Exiba o objeto detectado

Para permitir a comparação entre o objeto detectado e os resultados da pesquisa, exiba uma miniatura do objeto detectado acima da folha inferior modal.

Faça: inclua a imagem detectada do objeto para comparar com as imagens dos resultados da pesquisa

Faça

Inclua a imagem detectada do objeto para comparar com as imagens dos resultados da pesquisa.

Ofereça navegação rápida ​

Depois de ver os resultados, os usuários podem realizar ações diferentes:

  • Para voltar à câmera, o usuário pode tocar no scrim ou no cabeçalho da folha inferior modal.
  • Para sair da câmera, o usuário pode interagir com um resultado, navegar para outra parte do app ou tocar no botão “X” para fechar a visualização da câmera e voltar ao app.

Tocar no cabeçalho da folha inferior ou no scrim leva os usuários de volta à visualização da câmera ao vivo para pesquisar.
Mostre apenas o resultado com a maior confiança quando o caso de uso exigir uma correspondência exata.

Avalie os resultados da pesquisa ​

Em alguns casos, os resultados da pesquisa visual podem não atender às expectativas dos usuários, como nos seguintes cenários:

Nenhum resultado encontrado

Uma pesquisa pode não retornar correspondências por vários motivos, incluindo:

  • O objeto não faz parte do conjunto conhecido de objetos nem é semelhante a ele
  • O objeto foi detectado de um ângulo não reconhecível
  • A imagem tem baixa qualidade, o que dificulta o reconhecimento dos principais detalhes do objeto

Exiba um banner para explicar a ausência de resultados e oriente os usuários a uma seção de Ajuda com informações sobre como melhorar a pesquisa.

Um banner oferece espaço para explicação e um link para o conteúdo de Ajuda se nenhum resultado de pesquisa for encontrado
Um banner oferece espaço para explicação e um link para o conteúdo de Ajuda se nenhum resultado de pesquisa for encontrado.

Resultados ruins

Se uma pesquisa retornar apenas resultados com pontuações de baixa confiança, você pode pedir ao usuário para pesquisar novamente (com dicas de como melhorar a pesquisa).

Faça: inclua um link para o conteúdo de Ajuda quando todos os resultados tiverem baixa confiança

Faça

Inclua um link para o conteúdo de Ajuda quando todos os resultados tiverem baixa confiança.

Explicabilidade + confiança

Explicação de previsões, recomendações e outras saídas de IA

Link relacionado

Erros + falha graciosa

Como lidar com erros de ML

Link relacionado

Tematização ​

Tema Material do Shrine ​

A pesquisa visual com câmera ao vivo é usada no fluxo de compra do app Shrine.

Formas angulares usadas na marca do Shrine são aplicadas a elementos principais, como o retículo
As formas angulares usadas na marca do Shrine são aplicadas a elementos principais, como o retículo.
Os estilos de cor e tipografia do Shrine são aplicados aos resultados da pesquisa visual para manter a consistência com o restante do app
Os estilos de cor e tipografia do Shrine são aplicados aos resultados da pesquisa visual para manter a consistência com o restante do app.

Retículo ​

O retículo do Shrine usa um formato de losango para refletir o estilo de forma do Shrine (que usa cortes angulares).

Diagrama do logotipo geométrico do Shrine, um botão com cantos cortados de 4dp, um retículo com formato de losango
1. O logotipo geométrico do Shrine
2. Um botão com cantos cortados de 4dp
3. Um retículo com formato de losango

O tooltip do Shrine é destacado pelo uso de cores, tipografia e posicionamento personalizados.

Tooltips geralmente são componentes de baixa ênfase cuja largura é baseada no texto
1. Tooltips geralmente são componentes de baixa ênfase cuja largura depende do texto.
2. O tooltip do Shrine usa cores e tipografia personalizadas e estende seu contêiner até as bordas da tela.

Shrine

Shrine é uma marca de estilo de vida e moda que demonstra como o Material Design pode ser usado no e-commerce.

Artigo relacionado

Pager
AnteriorPadrões de aprendizado de máquina
PróximoDetecção de objetos: imagem estática

Distribuído sob a Licença Apache-2.0.

Copyright © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

Distribuído sob a Licença Apache-2.0.

Copyright © 2018-Present Google