Détection d'objets : image statique
Grâce au machine learning (apprentissage automatique), il est possible de détecter des objets à partir d'une image fournie.

Utilisation
Les photographies permettent de détecter et d'identifier des objets dans le monde physique grâce à la recherche visuelle, c'est-à-dire une requête de recherche utilisant une image comme entrée. À l'aide de modèles de machine learning, les résultats de la recherche visuelle peuvent fournir aux utilisateurs davantage d'informations sur un élément, qu'il s'agisse d'une espèce de plante ou d'un article à acheter.
Le mode « statique » de l'API ML Kit de détection et de suivi d'objets permet de détecter jusqu'à cinq objets dans une image fournie et d'afficher les résultats correspondants à l'aide de votre propre modèle de classification d'images.
Principes
La conception de cette fonctionnalité repose sur les principes suivants :
Garder les images nettes et lisibles
Alignez les composants de l'interface caméra sur les bords supérieur et inférieur de l'écran, en veillant à ce que le texte et les icônes restent lisibles lorsqu'ils sont placés devant une image.
Tout élément non interactif affiché devant le flux vidéo en direct de la caméra doit être translucide afin de minimiser l'obstruction du champ de la caméra.

Fournir un retour
L'utilisation d'une image pour rechercher des objets introduit des exigences d'utilisation spécifiques : des objets qui se chevauchent ou qui sont partiellement coupés peuvent compliquer leur identification.
Les états d'erreur doivent être communiqués à l'aide de plusieurs signaux visuels (tels que des composants et des animations) et inclure des explications indiquant aux utilisateurs comment améliorer leur recherche.

Composants
La fonctionnalité de détection d'objets dans une image statique repose sur des composants Material Design existants ainsi que sur de nouveaux éléments spécifiques à l'interaction avec une image. Pour des exemples de code et des démonstrations de ces nouveaux éléments (tels que les marqueurs d'objets), consultez le code source de l'application de démonstration ML Kit Material Design sur Android.

1. Barre d'application supérieure
2. Marqueur d'objet
3. Infobulle
4. Cartes
5. Image détectée
6. Feuille inférieure modale

Barre d'application supérieure
La barre d'application supérieure offre un accès permanent aux actions suivantes :
- Un bouton pour quitter l'expérience de recherche
- Un bouton bascule pour améliorer la luminosité (en activant le flash de la caméra)
- Une section d'aide pour résoudre les problèmes de recherche

À faire
Marqueurs d'objets
Les marqueurs d'objets sont des indicateurs circulaires et surélevés placés au centre d'un objet détecté. Chaque marqueur est associé à une carte en bas de l'écran, qui affiche un aperçu des résultats de l'objet correspondant. Lorsque la carte devient visible à l'écran, le marqueur d'objet associé augmente en taille.
Appuyer sur un marqueur d'objet (ou sur sa carte de résultats) ouvre une feuille inférieure modale affichant tous les résultats de recherche visuelle de l'objet.
Infobulle
Les infobulles fournissent aux utilisateurs un texte informatif. Elles peuvent par exemple indiquer un état (« Recherche en cours… ») ou inviter l'utilisateur à passer à l'étape suivante (« Appuyez sur un point ou une carte pour voir les résultats »).

À faire

À ne pas faire

À ne pas faire
Cartes
Les cartes offrent un aperçu des résultats de recherche visuelle associés à un objet. Elles sont disposées dans un carrousel à défilement horizontal, organisé en fonction de la position horizontale de chaque objet.
Chaque carte est associée à un marqueur d'objet. Lorsque la carte devient visible à l'écran, son marqueur d'objet associé augmente en taille. Appuyer sur une carte (ou sur son marqueur d'objet) ouvre une feuille inférieure modale qui affiche tous les résultats de recherche visuelle de l'objet.
Feuille inférieure modale
Les feuilles inférieures modales donnent accès aux résultats de recherche visuelle. Leur mise en page et leur contenu dépendent du cas d'utilisation de votre application, du nombre de résultats et du niveau de confiance de ces résultats.


Expérience
La recherche visuelle d'objets à partir d'une image comprend trois phases :
- Entrée : sélectionner une image à rechercher
- Reconnaissance : détecter et identifier des objets
- Communication : si des objets correspondants sont trouvés, afficher les résultats
Entrée
La recherche visuelle commence lorsqu'un utilisateur sélectionne une image. Pour augmenter les chances de succès, recommandez aux utilisateurs les types d'images les plus adaptés à la recherche.

À faire

À faire
Reconnaissance
Lorsqu'un ou plusieurs objets sont détectés dans une image, l'application doit :
- Indiquer qu'elle attend les résultats
- Afficher la progression de la recherche
Les objets détectés par l'API ML Kit de détection et de suivi d'objets sont ensuite comparés à un ensemble d'images connues issues de votre modèle de classification d'images, afin de trouver des résultats correspondants.
Le fait qu'un objet soit détecté dans une photo ne garantit pas que des résultats correspondants seront trouvés. Par conséquent, les objets ne doivent pas être marqués comme détectés tant que des résultats de recherche valides n'ont pas été renvoyés.

À faire

À ne pas faire
Conseils d'ajustement
Les facteurs suivants peuvent influer sur la détection et l'identification des objets (cette liste n'est pas exhaustive) :
- Qualité d'image médiocre
- Taille de l'objet trop petite dans l'image
- Contraste faible entre l'objet et son arrière-plan
- Objet présenté sous un angle méconnaissable
- Perte de la connexion réseau nécessaire à la recherche

À faire
Communication
Les résultats des objets détectés sont présentés aux utilisateurs de la manière suivante :
- En plaçant des marqueurs d'objets au centre de chaque objet détecté
- En affichant un aperçu des résultats de chaque objet sur une carte (dans le cadre d'un carrousel de cartes)
Votre application doit définir un seuil de confiance pour l'affichage des résultats de recherche visuelle. La « confiance » désigne l'évaluation, par un modèle de ML, de la fiabilité d'une prédiction. Pour la recherche visuelle, le niveau de confiance de chaque résultat indique à quel point le modèle estime que le résultat est similaire à l'image fournie.
Si un ou plusieurs objets de l'image ont des résultats de recherche, l'application doit les identifier à l'aide de marqueurs d'objets et d'un carrousel de cartes présentant un aperçu des résultats de chaque objet. Appuyer sur un marqueur ou une carte ouvre une feuille inférieure modale qui affiche les résultats de l'objet.
À faire
À faire
Évaluer les résultats de recherche
Dans certains cas, les résultats de recherche visuelle peuvent ne pas répondre aux attentes des utilisateurs, comme dans les cas suivants :
Aucun résultat trouvé
Une recherche peut ne renvoyer aucun résultat pour plusieurs raisons, notamment :
- L'objet ne fait pas partie de l'ensemble d'objets connus, ou ne ressemble à aucun objet connu
- L'objet a été détecté sous un angle que le modèle de recherche visuelle ne reconnaît pas
- La qualité d'image est médiocre, ce qui rend les détails clés de l'objet difficiles à reconnaître
Affichez une bannière pour expliquer l'absence de résultats et orientez les utilisateurs vers une section d'aide, où ils trouveront des conseils pour améliorer leur recherche.

Résultats insatisfaisants
Si une recherche renvoie uniquement des résultats dont les scores de confiance sont faibles, vous pouvez inviter l'utilisateur à relancer une recherche, en lui fournissant des conseils pour l'améliorer.

À faire
Thématisation
Thème Material Design de Shrine
Le parcours d'achat de l'application Shrine permet aux utilisateurs d'effectuer une recherche visuelle de produits à l'aide d'une photo.


Marqueurs d'objets
Les marqueurs d'objets de Shrine utilisent une forme de losange pour refléter le style de formes de Shrine (qui repose sur des angles coupés).

2. Un bouton avec des coins coupés de 4 dp
3. Un marqueur d'objet en forme de losange
Pour aider les utilisateurs à associer les cartes de résultats aux objets potentiellement détectés, les marqueurs d'objets augmentent généralement en taille lorsque leur carte de résultats correspondante est sélectionnée dans le carrousel. Au lieu de recourir à cette mise en évidence par la taille, Shrine applique des styles de couleur et de bordure personnalisés.

2. Les marqueurs d'objets de Shrine utilisent des différences de couleur et de style de bordure pour indiquer l'objet actuel. Le conteneur du marqueur passe du #FFFFFF à la couleur On Surface de Shrine (#442C2E) et est doté d'une bordure #FFFFFF de 6 dp.
Cartes
Les cartes de résultats de Shrine utilisent des couleurs, une typographie et des formes personnalisées.

2. Les cartes de Shrine utilisent la police Rubik pour le contenu, Shrine Pink 900 (#442C2E) comme couleur On Surface et des coins coupés de 8 dp.