Détection d'objets : caméra en direct
La caméra en direct d'un appareil peut être utilisée pour détecter des objets dans un environnement à l'aide de l'apprentissage automatique.

Utilisation
Le flux vidéo en direct d'une caméra peut être utilisé pour identifier des objets dans le monde physique. Grâce au mode « streaming » de l'API de détection et de suivi d'objets de ML Kit, ce flux permet de détecter des objets et de les utiliser comme entrée pour effectuer une recherche visuelle (une requête de recherche basée sur une image en entrée) avec votre propre modèle de classification d'images.
La recherche avec une caméra en direct peut aider les utilisateurs à en savoir plus sur les objets qui les entourent, qu'il s'agisse d'un artefact dans un musée ou d'un article à acheter.
Ces recommandations couvrent la détection d'un seul objet à la fois.
Principes
La conception de cette fonctionnalité repose sur les principes suivants :
Naviguer avec la caméra de l'appareil
Au lieu de saisir un terme de recherche, la caméra de l'appareil est utilisée comme une « télécommande » pour rechercher du contenu visuel.
Pour apprendre aux utilisateurs à rechercher avec leur caméra, fournissez un processus d'intégration et des instructions affichées en permanence.
Garder la caméra dégagée et lisible
Pour maximiser la zone visible de la caméra, alignez les composants d'interface de l'application sur les bords supérieur et inférieur de l'écran, en veillant à ce que le texte et les icônes restent lisibles lorsqu'ils sont placés devant le flux en direct de la caméra.
Tout élément non interactif affiché devant le flux en direct de la caméra doit être translucide afin de gêner le moins possible la caméra.

Fournir un retour
L'utilisation d'une caméra comme outil de recherche impose des exigences d'utilisabilité spécifiques : la qualité de l'image doit être adéquate, et les utilisateurs doivent savoir comment corriger les problèmes d'image causés par l'éclairage ou par une distance trop grande par rapport à l'objet.
Les états d'erreur doivent :
- Indiquer les erreurs à l'aide de plusieurs signaux de conception (tels que des composants et des animations)
- Inclure des explications sur la manière dont les utilisateurs peuvent améliorer leur recherche

Composants
La fonctionnalité de détection d'objets par caméra en direct combine des composants Material Design existants et de nouveaux éléments spécifiques à l'interaction avec la caméra. Pour des exemples de code et des démonstrations des nouveaux éléments (comme le réticule), consultez le code source des applications de démonstration Material Design de ML Kit pour Android et iOS.

1. Barre d'application supérieure
2. Réticule
3. Marqueur d'objet
4. Infobulle
5. Image détectée
6. Feuille inférieure modale

Barre d'application supérieure
La barre d'application supérieure fournit un accès permanent aux actions suivantes :
- Un bouton pour quitter l'expérience de recherche
- Un bouton bascule pour augmenter la luminosité (via le flash de la caméra)
- Une section d'aide pour résoudre les problèmes de recherche

À faire
Réticule
Le réticule est un indicateur visuel qui fournit une cible sur laquelle les utilisateurs peuvent se concentrer lors de la détection d'objets avec une caméra (son nom s'inspire des viseurs d'appareils photo). Une animation de pulsation signale à l'utilisateur que la caméra recherche activement des objets.
Lorsque la caméra en direct est pointée vers un objet, le réticule se transforme en indicateur de progression déterminé pour signaler qu'une recherche visuelle a commencé.
1. La perception utilise une animation de pulsation pour indiquer que l'application recherche des objets
2. Le démarrage d'une recherche se produit après un délai prédéfini par le développeur, indiqué par un indicateur de progression déterminé
3. La nécessité de se rapprocher d'un objet est exprimée par le rétrécissement du cercle central du réticule jusqu'à ce que la taille minimale de détection soit atteinte
4. Toute erreur détectée fait passer la bordure du réticule d'un trait continu à un trait pointillé
Marqueur d'objet
L'API de détection et de suivi d'objets de ML Kit contient une option permettant de détecter un « objet prédominant » : elle détecte et suit le plus grand objet situé près du centre de la caméra. Une fois l'objet détecté, vous devez le marquer avec une bordure rectangulaire continue.
Si votre application exige une taille d'image minimale pour les objets détectés, le marqueur d'objet doit changer pour afficher une bordure rectangulaire partielle (n'affichant que les coins de la bordure). Cela indique qu'un objet a été détecté, mais qu'il ne peut pas être recherché tant que l'utilisateur ne s'en est pas rapproché.
Infobulle
Les infobulles affichent un texte informatif aux utilisateurs. Elles indiquent des états (par exemple « Recherche en cours… ») et invitent l'utilisateur à passer à l'étape suivante (par exemple « Pointez votre caméra vers une plante »).

À faire

À ne pas faire

À ne pas faire
Image détectée
Lors de la détection d'un objet, l'API de détection et de suivi d'objets de ML Kit crée une version recadrée de l'image, qui est utilisée pour effectuer une recherche visuelle à l'aide de votre modèle de classification d'images.
L'image recadrée est affichée pour :
- Confirmer l'objet détecté
- Permettre sa comparaison avec les images des résultats de recherche
- Expliquer toute erreur liée à l'image (par exemple si elle est de mauvaise qualité ou contient plusieurs objets)

Feuille inférieure modale
Les feuilles inférieures modales donnent accès aux résultats de la recherche visuelle. Leur mise en page et leur contenu dépendent du cas d'utilisation de votre application, du nombre de résultats et du niveau de confiance de ces résultats.


Expérience
La recherche visuelle par caméra en direct se déroule en trois phases :
- Percevoir : utiliser la caméra pour rechercher une entrée visuelle
- Reconnaître : détecter et identifier un objet
- Communiquer : si un objet correspondant est trouvé, le signaler à l'utilisateur
Percevoir
La détection d'objets commence dès l'ouverture de la fonctionnalité de recherche visuelle. La « perception » désigne le fait que la caméra recherche des objets dans le flux en direct. Pendant cette phase, l'application doit :
- Décrire le fonctionnement de la fonctionnalité
- Communiquer les actions de l'application
- Guider l'utilisateur dans le contrôle de la caméra et suggérer des ajustements
Décrire le fonctionnement de la fonctionnalité
Fournissez aux utilisateurs des instructions sur l'utilisation de la caméra comme une « télécommande » pour rechercher des objets dans l'environnement, en décrivant l'expérience à travers le contenu d'intégration et d'aide.

À faire

À ne pas faire

À faire
Communiquer les actions de l'application
Pendant que la caméra effectue la recherche, le réticule s'anime par pulsation pour indiquer que la caméra « regarde », et une infobulle invite l'utilisateur à pointer la caméra vers des objets.
À faire
Guider les ajustements
Parfois, les conditions environnementales rendent difficile la détection d'un objet, comme dans des environnements qui :
- Sont trop lumineux ou trop sombres pour distinguer un objet de son arrière-plan
- Comportent des objets qui se chevauchent et qui sont difficiles à distinguer les uns des autres
Si aucun objet n'a été détecté après un délai important, arrêtez l'animation du réticule et dirigez l'utilisateur vers la documentation d'aide.
Reconnaître
Lorsqu'un objet a été détecté par la caméra, l'application doit :
- Marquer l'objet détecté
- Afficher une invite permettant à l'utilisateur de démarrer une recherche
- Afficher la progression de la recherche
Identifier l'objet détecté
Pour indiquer que la caméra a trouvé un objet, arrêtez l'animation du réticule et marquez l'objet détecté avec une bordure.

Inviter à effectuer une recherche
Invitez l'utilisateur à maintenir l'objet détecté au centre de la caméra. Avant de démarrer la recherche, ajoutez un court délai, accompagné d'un indicateur de progression déterminé dans le réticule. Cela laisse à l'utilisateur le temps de :
- Confirmer son intention de rechercher (en maintenant la caméra de l'appareil immobile)
- Annuler la recherche (en éloignant la caméra de l'objet)
Vous pouvez personnaliser la durée du délai.
Afficher la progression de la recherche
Une fois la recherche lancée, la détection d'objets s'arrête et le flux en direct de la caméra est mis en pause. Cela empêche de nouvelles recherches (et permet à l'utilisateur de déplacer son appareil vers une position plus confortable).
La progression de la recherche est indiquée par un indicateur de progression indéterminé et un message d'infobulle.
Effectuer des corrections
Pendant l'étape de reconnaissance, deux problèmes peuvent affecter la qualité des résultats de recherche :
Taille d'image trop petite : si un objet détecté est trop éloigné de la caméra, il ne produira pas une image de haute qualité (selon la taille d'image minimale que vous avez définie).
Pour indiquer que la détection n'est pas terminée, affichez une bordure partielle autour de l'objet (au lieu d'une bordure complète) et ajoutez un message d'infobulle invitant l'utilisateur à se rapprocher.
Connexion réseau : une connexion réseau stable est nécessaire si votre modèle de classification d'images se trouve dans le cloud. En cas d'échec de la connexion, affichez une bannière indiquant qu'une connexion Internet est requise pour continuer.

Communiquer
Les résultats d'une recherche visuelle sont affichés dans une feuille inférieure modale. Pendant cette phase, l'application doit :
- Afficher les résultats
- Afficher l'objet détecté
- Offrir une navigation rapide
Votre application doit définir un seuil de confiance pour l'affichage des résultats de la recherche visuelle. La « confiance » désigne l'évaluation par un modèle d'apprentissage automatique de la précision d'une prédiction. Pour la recherche visuelle, le niveau de confiance de chaque résultat indique à quel point le modèle estime que ce résultat est similaire à l'image fournie.

À faire

À faire
Afficher l'objet détecté
Pour permettre la comparaison entre l'objet détecté et les résultats de recherche, affichez une vignette de l'objet détecté au-dessus de la feuille inférieure modale.

À faire
Offrir une navigation rapide
Après avoir consulté les résultats, les utilisateurs peuvent effectuer différentes actions :
- Revenir à la caméra en appuyant sur le voile ou sur l'en-tête de la feuille inférieure modale.
- Quitter la vue caméra en interagissant avec un résultat, en naviguant ailleurs dans l'application, ou en fermant la caméra et en revenant à l'application à l'aide du bouton « X ».
Évaluer les résultats de recherche
Dans certains cas, les résultats de la recherche visuelle peuvent ne pas répondre aux attentes des utilisateurs, comme dans les scénarios suivants :
Aucun résultat trouvé
Une recherche peut ne renvoyer aucune correspondance pour plusieurs raisons, notamment :
- L'objet ne fait pas partie de l'ensemble d'objets connu, ou ne lui est pas similaire
- L'objet a été détecté sous un angle que le modèle ne reconnaît pas
- L'image est de mauvaise qualité, rendant les détails clés de l'objet difficiles à reconnaître
Affichez une bannière pour expliquer l'absence de résultats et guider les utilisateurs vers une section d'aide contenant des informations sur la manière d'améliorer leur recherche.

Résultats médiocres
Si une recherche ne renvoie que des résultats avec de faibles scores de confiance, vous pouvez inviter l'utilisateur à effectuer une nouvelle recherche (avec des conseils pour l'améliorer).

À faire
Thématisation
Thème Material de Shrine
La recherche visuelle par caméra en direct est utilisée dans le parcours d'achat de l'application Shrine.


Réticule
Le réticule de Shrine utilise une forme de losange pour refléter le style de forme de Shrine (qui utilise des coupes anguleuses).

2. Un bouton avec des coins coupés de 4dp
3. Un réticule en forme de losange
L'infobulle de Shrine est mise en valeur grâce à des couleurs, une typographie et un positionnement personnalisés.

2. L'infobulle de Shrine utilise des couleurs et une typographie personnalisées, et étend son conteneur jusqu'aux bords de l'écran.