Skip to content
Material Design 2
Main Navigation
v3
v2
v1

Français

English
简体中文
繁體中文
Español
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

Français

English
简体中文
繁體中文
Español
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

Apparence

Sidebar Navigation

Système Material

Introduction

Études Material

À propos des études Material

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Fondements Material

Environnement

Surfaces

Élévation

Lumière et ombres

Mise en page

Comprendre la mise en page

Densité de pixels

Grille de mise en page adaptative

Méthodes d'espacement

Comportement des composants

Application de la densité

Navigation

Comprendre la navigation

Transitions de navigation

Recherche

Couleur

Le système de couleurs

Application de la couleur à l'interface utilisateur

Utilisation de la couleur

Lisibilité du texte

Thème sombre

Typographie

Le système typographique

Comprendre la typographie

Prise en charge des langues

Son

À propos du son

Appliquer le son à l'interface utilisateur

Attributs sonores

Chorégraphie du son

Iconographie

Icônes de produit

Icônes système

Icônes animées

Forme

À propos des formes

Forme et hiérarchie

La forme en tant qu'expression

Forme et animation

Appliquer des formes à l'interface utilisateur

Animation

Comprendre l'animation

Le système d'animation

Vitesse

Chorégraphie

Personnalisation

Interaction

Gestes

Sélection

États

Communication

Confirmation et accusé de réception

Formats de données

Visualisation de données

États vides

Aide et commentaires

Visuels

Écran de lancement

Intégration (Onboarding)

États hors ligne

Rédaction

Apprentissage automatique

Modèles de conception pour l'apprentissage automatique

Détection d'objets : caméra en direct

Détection d'objets : image statique

Lecture de codes-barres

Lignes directrices Material

Material Theming

Vue d'ensemble

Mise en œuvre de votre thème

Utilisabilité

Accessibilité

Bidirectionnalité

Lignes directrices par plateforme

Barres Android

Empreinte digitale Android

Retours haptiques Android

Icônes Android

Navigation entre applications sous Android

Notifications sur Android

Autorisations Android

Slices Android

Écran partagé Android

Android : balayer pour actualiser

Barre d'outils de sélection de texte sous Android

Widget Android

Adaptation multiplateforme

Composants

Barres d'application : barre inférieure

Barres d'application : barre d'application supérieure

Backdrop

Bannières

Navigation inférieure

Boutons

Boutons : bouton d'action flottant

Cartes

Cases à cocher

Puces

Tableaux de données

Sélecteurs de date

Boîtes de dialogue

Séparateurs

Listes d'images

Listes

Menus

Tiroir de navigation

Rail de navigation

Indicateurs de progression

Boutons radio

Feuilles inférieures

Panneaux latéraux

Curseurs

Snackbars

Commutateurs

Onglets

Champs de texte

Sélecteurs d'heure

Infobulles

Sur cette page

Détection d'objets : caméra en direct ​

La caméra en direct d'un appareil peut être utilisée pour détecter des objets dans un environnement à l'aide de l'apprentissage automatique.

Image principale de Détection d'objets : caméra en direct

Utilisation ​

Le flux vidéo en direct d'une caméra peut être utilisé pour identifier des objets dans le monde physique. Grâce au mode « streaming » de l'API de détection et de suivi d'objets de ML Kit, ce flux permet de détecter des objets et de les utiliser comme entrée pour effectuer une recherche visuelle (une requête de recherche basée sur une image en entrée) avec votre propre modèle de classification d'images.

La recherche avec une caméra en direct peut aider les utilisateurs à en savoir plus sur les objets qui les entourent, qu'il s'agisse d'un artefact dans un musée ou d'un article à acheter.

Ces recommandations couvrent la détection d'un seul objet à la fois.

La recherche visuelle via une caméra en direct peut aider les utilisateurs à identifier les objets qui les entourent, comme une espèce de plante.

Documentation de l'API ML Kit

Guides du développeur pour la détection d'objets

Lien connexe

Exemple – Android

Application de démonstration ML Kit pour Android

Lien connexe

Exemple – iOS

Application de démonstration ML Kit pour iOS

Lien connexe

Principes ​

La conception de cette fonctionnalité repose sur les principes suivants :

Naviguer avec la caméra de l'appareil

Au lieu de saisir un terme de recherche, la caméra de l'appareil est utilisée comme une « télécommande » pour rechercher du contenu visuel.

Pour apprendre aux utilisateurs à rechercher avec leur caméra, fournissez un processus d'intégration et des instructions affichées en permanence.

Une courte expérience d'intégration avec animation peut aider les utilisateurs à comprendre comment déplacer et positionner la caméra de leur appareil pour effectuer une recherche.

Garder la caméra dégagée et lisible

Pour maximiser la zone visible de la caméra, alignez les composants d'interface de l'application sur les bords supérieur et inférieur de l'écran, en veillant à ce que le texte et les icônes restent lisibles lorsqu'ils sont placés devant le flux en direct de la caméra.

Tout élément non interactif affiché devant le flux en direct de la caméra doit être translucide afin de gêner le moins possible la caméra.

La plupart des éléments sont volontairement placés le long des bords supérieur et inférieur de l'écran pour maximiser la vue du flux de la caméra
La plupart des éléments sont volontairement placés le long des bords supérieur et inférieur de l'écran pour maximiser la vue du flux de la caméra.

Fournir un retour

L'utilisation d'une caméra comme outil de recherche impose des exigences d'utilisabilité spécifiques : la qualité de l'image doit être adéquate, et les utilisateurs doivent savoir comment corriger les problèmes d'image causés par l'éclairage ou par une distance trop grande par rapport à l'objet.

Les états d'erreur doivent :

  • Indiquer les erreurs à l'aide de plusieurs signaux de conception (tels que des composants et des animations)
  • Inclure des explications sur la manière dont les utilisateurs peuvent améliorer leur recherche
Les bannières offrent un moyen visible d'informer les utilisateurs qu'un problème est survenu lors de leur recherche
Les bannières offrent un moyen visible d'informer les utilisateurs qu'un problème est survenu lors de leur recherche, ainsi qu'un espace pour renvoyer vers une section d'aide pour plus d'informations.

Composants ​

La fonctionnalité de détection d'objets par caméra en direct combine des composants Material Design existants et de nouveaux éléments spécifiques à l'interaction avec la caméra. Pour des exemples de code et des démonstrations des nouveaux éléments (comme le réticule), consultez le code source des applications de démonstration Material Design de ML Kit pour Android et iOS.

Éléments clés aux différentes étapes d'une expérience de recherche visuelle par caméra en direct
Éléments clés aux différentes étapes d'une expérience de recherche visuelle par caméra en direct :
1. Barre d'application supérieure
2. Réticule
3. Marqueur d'objet
4. Infobulle
5. Image détectée
6. Feuille inférieure modale
Composants

Barre d'application supérieure ​


La barre d'application supérieure fournit un accès permanent aux actions suivantes :

  • Un bouton pour quitter l'expérience de recherche
  • Un bouton bascule pour augmenter la luminosité (via le flash de la caméra)
  • Une section d'aide pour résoudre les problèmes de recherche
À faire : utiliser un voile en dégradé ou une couleur unie pour le conteneur de la barre d'application supérieure afin de garantir que ses actions restent lisibles sur le flux de la caméra

À faire

Utilisez un voile en dégradé ou une couleur unie pour le conteneur de la barre d'application supérieure afin de garantir que ses actions restent lisibles sur le flux de la caméra.

Barre d'application supérieure

La barre d'application supérieure affiche des informations et des actions relatives à la vue actuelle.

Article connexe

Réticule ​

Le réticule est un indicateur visuel qui fournit une cible sur laquelle les utilisateurs peuvent se concentrer lors de la détection d'objets avec une caméra (son nom s'inspire des viseurs d'appareils photo). Une animation de pulsation signale à l'utilisateur que la caméra recherche activement des objets.

Lorsque la caméra en direct est pointée vers un objet, le réticule se transforme en indicateur de progression déterminé pour signaler qu'une recherche visuelle a commencé.

Le réticule doit présenter des apparences et des effets d'animation différents pour communiquer les états clés de l'application, par exemple lorsque la caméra recherche des objets ou lorsqu'une erreur s'est produite.

États du réticule :

1. La perception utilise une animation de pulsation pour indiquer que l'application recherche des objets
2. Le démarrage d'une recherche se produit après un délai prédéfini par le développeur, indiqué par un indicateur de progression déterminé
3. La nécessité de se rapprocher d'un objet est exprimée par le rétrécissement du cercle central du réticule jusqu'à ce que la taille minimale de détection soit atteinte
4. Toute erreur détectée fait passer la bordure du réticule d'un trait continu à un trait pointillé

Marqueur d'objet ​

L'API de détection et de suivi d'objets de ML Kit contient une option permettant de détecter un « objet prédominant » : elle détecte et suit le plus grand objet situé près du centre de la caméra. Une fois l'objet détecté, vous devez le marquer avec une bordure rectangulaire continue.

Si votre application exige une taille d'image minimale pour les objets détectés, le marqueur d'objet doit changer pour afficher une bordure rectangulaire partielle (n'affichant que les coins de la bordure). Cela indique qu'un objet a été détecté, mais qu'il ne peut pas être recherché tant que l'utilisateur ne s'en est pas rapproché.

Une bordure partielle et un message d'infobulle peuvent informer les utilisateurs qu'un objet a été détecté et qu'ils doivent se rapprocher pour commencer leur recherche.

Infobulle ​

Les infobulles affichent un texte informatif aux utilisateurs. Elles indiquent des états (par exemple « Recherche en cours… ») et invitent l'utilisateur à passer à l'étape suivante (par exemple « Pointez votre caméra vers une plante »).

À faire : rédiger des infobulles courtes en utilisant des termes adaptés à votre audience

À faire

Rédigez des infobulles courtes en utilisant des termes adaptés à votre audience.
À ne pas faire : rédiger des infobulles avec des verbes d'action, tels que « Appuyer pour rechercher », car les infobulles ne sont pas interactives

À ne pas faire

N'utilisez pas de verbes d'action dans les infobulles, tels que « Appuyer pour rechercher », car les infobulles ne sont pas interactives.

À ne pas faire : placer des messages d'erreur dans une infobulle

À ne pas faire

Ne placez pas de messages d'erreur dans une infobulle. Les erreurs doivent être placées dans une bannière pour une meilleure visibilité et pour offrir l'espace nécessaire à l'affichage d'actions.

Infobulles

Afficher un texte informatif lorsque les utilisateurs survolent un élément, lui donnent le focus ou le touchent

Article connexe

Image détectée ​


Lors de la détection d'un objet, l'API de détection et de suivi d'objets de ML Kit crée une version recadrée de l'image, qui est utilisée pour effectuer une recherche visuelle à l'aide de votre modèle de classification d'images.

L'image recadrée est affichée pour :

  • Confirmer l'objet détecté
  • Permettre sa comparaison avec les images des résultats de recherche
  • Expliquer toute erreur liée à l'image (par exemple si elle est de mauvaise qualité ou contient plusieurs objets)
Placer une vignette de l'image de l'objet détecté à proximité des résultats de recherche peut aider les utilisateurs à identifier la meilleure correspondance
Placer une vignette de l'image de l'objet détecté à proximité des résultats de recherche peut aider les utilisateurs à identifier la meilleure correspondance.

Feuille inférieure modale ​

Les feuilles inférieures modales donnent accès aux résultats de la recherche visuelle. Leur mise en page et leur contenu dépendent du cas d'utilisation de votre application, du nombre de résultats et du niveau de confiance de ces résultats.

Dans une feuille inférieure modale, des listes ou des grilles d'images peuvent afficher plusieurs résultats de recherche visuelle
Dans une feuille inférieure modale, des listes ou des grilles d'images peuvent afficher plusieurs résultats de recherche visuelle. La feuille peut être étendue sur toute la hauteur de l'écran pour consulter des résultats supplémentaires.
Une feuille inférieure modale peut afficher un seul résultat, en adaptant sa mise en page au contenu
Une feuille inférieure modale peut afficher un seul résultat, en adaptant sa mise en page au contenu.

Feuilles inférieures

Surfaces contenant du contenu supplémentaire, ancrées en bas de l'écran.

Article connexe

Expérience ​

La recherche visuelle par caméra en direct se déroule en trois phases :

  1. Percevoir : utiliser la caméra pour rechercher une entrée visuelle
  2. Reconnaître : détecter et identifier un objet
  3. Communiquer : si un objet correspondant est trouvé, le signaler à l'utilisateur

Percevoir ​

La détection d'objets commence dès l'ouverture de la fonctionnalité de recherche visuelle. La « perception » désigne le fait que la caméra recherche des objets dans le flux en direct. Pendant cette phase, l'application doit :

  • Décrire le fonctionnement de la fonctionnalité
  • Communiquer les actions de l'application
  • Guider l'utilisateur dans le contrôle de la caméra et suggérer des ajustements

Décrire le fonctionnement de la fonctionnalité ​

Fournissez aux utilisateurs des instructions sur l'utilisation de la caméra comme une « télécommande » pour rechercher des objets dans l'environnement, en décrivant l'expérience à travers le contenu d'intégration et d'aide.

À faire : expliquer l'interaction avec une expérience d'intégration sur un seul écran

À faire

Expliquez l'interaction avec une expérience d'intégration sur un seul écran. Une animation est recommandée pour montrer à l'utilisateur comment déplacer son appareil.
À ne pas faire : imposer un processus d'intégration long qui décrit chaque état d'erreur possible

À ne pas faire

N'imposez pas un processus d'intégration long qui décrit chaque état d'erreur possible. Attendez que l'utilisateur rencontre un problème pour fournir des informations supplémentaires.

À faire : prévoir une section d'aide dédiée avec des informations incluant les types d'objets détectables

À faire

Prévoyez une section d'aide dédiée comprenant des informations sur les types d'objets détectables, la manière d'obtenir les meilleurs résultats et l'utilisation des images.

Communiquer les actions de l'application

Pendant que la caméra effectue la recherche, le réticule s'anime par pulsation pour indiquer que la caméra « regarde », et une infobulle invite l'utilisateur à pointer la caméra vers des objets.

À faire

Donnez à l'utilisateur des repères visuels, comme un réticule animé et une infobulle, pour indiquer en quoi cette interface diffère de l'utilisation de la caméra pour prendre une photo.

Guider les ajustements

Parfois, les conditions environnementales rendent difficile la détection d'un objet, comme dans des environnements qui :

  • Sont trop lumineux ou trop sombres pour distinguer un objet de son arrière-plan
  • Comportent des objets qui se chevauchent et qui sont difficiles à distinguer les uns des autres

Si aucun objet n'a été détecté après un délai important, arrêtez l'animation du réticule et dirigez l'utilisateur vers la documentation d'aide.

Si le délai de détection est dépassé, informez les utilisateurs qu'un problème est survenu : arrêtez l'animation du réticule et mettez en avant le contenu d'aide.

Reconnaître ​

Lorsqu'un objet a été détecté par la caméra, l'application doit :

  1. Marquer l'objet détecté
  2. Afficher une invite permettant à l'utilisateur de démarrer une recherche
  3. Afficher la progression de la recherche

Identifier l'objet détecté

Pour indiquer que la caméra a trouvé un objet, arrêtez l'animation du réticule et marquez l'objet détecté avec une bordure.

Une bordure rectangulaire apparaît autour d'un objet détecté pour indiquer qu'un objet a été reconnu
Une bordure rectangulaire apparaît autour d'un objet détecté pour indiquer qu'un objet a été reconnu.

Inviter à effectuer une recherche

Invitez l'utilisateur à maintenir l'objet détecté au centre de la caméra. Avant de démarrer la recherche, ajoutez un court délai, accompagné d'un indicateur de progression déterminé dans le réticule. Cela laisse à l'utilisateur le temps de :

  • Confirmer son intention de rechercher (en maintenant la caméra de l'appareil immobile)
  • Annuler la recherche (en éloignant la caméra de l'objet)

Vous pouvez personnaliser la durée du délai.

Un délai permet aux utilisateurs d'annuler une recherche si nécessaire.

Afficher la progression de la recherche

Une fois la recherche lancée, la détection d'objets s'arrête et le flux en direct de la caméra est mis en pause. Cela empêche de nouvelles recherches (et permet à l'utilisateur de déplacer son appareil vers une position plus confortable).

La progression de la recherche est indiquée par un indicateur de progression indéterminé et un message d'infobulle.

Plusieurs signaux visuels (animation, voile et texte) sont utilisés pour indiquer que la recherche a commencé et que les utilisateurs doivent attendre le chargement des résultats.

Effectuer des corrections ​

Pendant l'étape de reconnaissance, deux problèmes peuvent affecter la qualité des résultats de recherche :

Taille d'image trop petite : si un objet détecté est trop éloigné de la caméra, il ne produira pas une image de haute qualité (selon la taille d'image minimale que vous avez définie).

Pour indiquer que la détection n'est pas terminée, affichez une bordure partielle autour de l'objet (au lieu d'une bordure complète) et ajoutez un message d'infobulle invitant l'utilisateur à se rapprocher.

Une bordure partielle et un message d'infobulle peuvent informer les utilisateurs qu'un objet a été détecté et qu'ils doivent se rapprocher pour commencer leur recherche.

Connexion réseau : une connexion réseau stable est nécessaire si votre modèle de classification d'images se trouve dans le cloud. En cas d'échec de la connexion, affichez une bannière indiquant qu'une connexion Internet est requise pour continuer.

Les problèmes de réseau peuvent être communiqués aux utilisateurs avec une bannière
Les problèmes de réseau peuvent être communiqués aux utilisateurs avec une bannière, accompagnée d'une action permettant de relancer la requête une fois le problème résolu.

Communiquer ​

Les résultats d'une recherche visuelle sont affichés dans une feuille inférieure modale. Pendant cette phase, l'application doit :

  • Afficher les résultats
  • Afficher l'objet détecté
  • Offrir une navigation rapide

Votre application doit définir un seuil de confiance pour l'affichage des résultats de la recherche visuelle. La « confiance » désigne l'évaluation par un modèle d'apprentissage automatique de la précision d'une prédiction. Pour la recherche visuelle, le niveau de confiance de chaque résultat indique à quel point le modèle estime que ce résultat est similaire à l'image fournie.

À faire : classer les résultats de recherche visuelle selon le niveau de confiance de votre modèle pour garantir que les éléments les plus susceptibles de correspondre apparaissent en premier

À faire

Classez les résultats de recherche visuelle selon le niveau de confiance de votre modèle afin de garantir que les éléments les plus susceptibles de correspondre apparaissent en premier.
À faire : afficher uniquement le résultat présentant le niveau de confiance le plus élevé lorsqu'une correspondance exacte est justifiée par le cas d'utilisation

À faire

Affichez uniquement le résultat présentant le niveau de confiance le plus élevé lorsqu'une correspondance exacte est justifiée par le cas d'utilisation.

Afficher l'objet détecté

Pour permettre la comparaison entre l'objet détecté et les résultats de recherche, affichez une vignette de l'objet détecté au-dessus de la feuille inférieure modale.

À faire : inclure l'image de l'objet détecté pour la comparer aux images des résultats de recherche

À faire

Incluez l'image de l'objet détecté pour la comparer aux images des résultats de recherche.

Offrir une navigation rapide ​

Après avoir consulté les résultats, les utilisateurs peuvent effectuer différentes actions :

  • Revenir à la caméra en appuyant sur le voile ou sur l'en-tête de la feuille inférieure modale.
  • Quitter la vue caméra en interagissant avec un résultat, en naviguant ailleurs dans l'application, ou en fermant la caméra et en revenant à l'application à l'aide du bouton « X ».

En appuyant sur l'en-tête de la feuille inférieure ou sur le voile, les utilisateurs reviennent à la vue de la caméra en direct pour effectuer une recherche.
En interagissant avec un résultat ou en appuyant sur le bouton « X », les utilisateurs quittent la vue caméra et accèdent au contenu correspondant.

Évaluer les résultats de recherche ​

Dans certains cas, les résultats de la recherche visuelle peuvent ne pas répondre aux attentes des utilisateurs, comme dans les scénarios suivants :

Aucun résultat trouvé

Une recherche peut ne renvoyer aucune correspondance pour plusieurs raisons, notamment :

  • L'objet ne fait pas partie de l'ensemble d'objets connu, ou ne lui est pas similaire
  • L'objet a été détecté sous un angle que le modèle ne reconnaît pas
  • L'image est de mauvaise qualité, rendant les détails clés de l'objet difficiles à reconnaître

Affichez une bannière pour expliquer l'absence de résultats et guider les utilisateurs vers une section d'aide contenant des informations sur la manière d'améliorer leur recherche.

Une bannière offre un espace d'explication et un lien vers le contenu d'aide si aucun résultat de recherche n'est trouvé
Une bannière offre un espace d'explication et un lien vers le contenu d'aide si aucun résultat de recherche n'est trouvé.

Résultats médiocres

Si une recherche ne renvoie que des résultats avec de faibles scores de confiance, vous pouvez inviter l'utilisateur à effectuer une nouvelle recherche (avec des conseils pour l'améliorer).

À faire : créer un lien vers le contenu d'aide lorsque tous les résultats présentent un faible niveau de confiance

À faire

Créez un lien vers le contenu d'aide lorsque tous les résultats présentent un faible niveau de confiance.

Explicabilité + confiance

Expliquer les prédictions, les recommandations et autres résultats produits par l'IA

Lien connexe

Erreurs + gestion élégante des échecs

Comment gérer les erreurs d'apprentissage automatique

Lien connexe

Thématisation ​

Thème Material de Shrine ​

La recherche visuelle par caméra en direct est utilisée dans le parcours d'achat de l'application Shrine.

Les formes anguleuses utilisées dans la marque Shrine sont appliquées à des éléments clés tels que le réticule
Les formes anguleuses utilisées dans la marque Shrine sont appliquées à des éléments clés tels que le réticule.
Les styles de couleur et de typographie de Shrine sont appliqués aux résultats de recherche visuelle pour rester cohérents avec le reste de l'application
Les styles de couleur et de typographie de Shrine sont appliqués aux résultats de recherche visuelle pour rester cohérents avec le reste de l'application.

Réticule ​

Le réticule de Shrine utilise une forme de losange pour refléter le style de forme de Shrine (qui utilise des coupes anguleuses).

Schéma du logo géométrique de Shrine, d'un bouton avec des coins coupés de 4dp et d'un réticule en forme de losange
1. Le logo géométrique de Shrine
2. Un bouton avec des coins coupés de 4dp
3. Un réticule en forme de losange

L'infobulle de Shrine est mise en valeur grâce à des couleurs, une typographie et un positionnement personnalisés.

Les infobulles sont généralement des composants discrets dont la largeur dépend de leur texte
1. Les infobulles sont généralement des composants discrets dont la largeur dépend de leur texte.
2. L'infobulle de Shrine utilise des couleurs et une typographie personnalisées, et étend son conteneur jusqu'aux bords de l'écran.

Shrine

Shrine est une marque de style de vie et de mode qui démontre comment Material Design peut être utilisé dans le commerce électronique.

Article connexe

Pager
Page précédenteModèles de conception pour l'apprentissage automatique
Page suivanteDétection d'objets : image statique

Publié sous la licence Apache-2.0.

Copyright © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

Publié sous la licence Apache-2.0.

Copyright © 2018-Present Google