Objekterkennung: Statisches Bild
Mithilfe maschinellen Lernens können Objekte in einem bereitgestellten Bild erkannt werden.

Verwendung
Fotos können für eine visuelle Suche verwendet werden (eine Suchanfrage, die ein Bild als Eingabe nutzt), um Objekte in der realen Welt zu erkennen und zu identifizieren. Mithilfe von Machine-Learning-Modellen liefern die Ergebnisse der visuellen Suche zusätzliche Informationen über einen Gegenstand – etwa ob es sich um eine Pflanzenart oder ein zum Kauf angebotenes Produkt handelt.
Der „statische“ Modus der Object Detection & Tracking API von ML Kit erkennt bis zu fünf Objekte in einem bereitgestellten Bild und kann mithilfe Ihres eigenen Bildklassifizierungsmodells passende Ergebnisse anzeigen.
Grundsätze
Das Design für diese Funktion basiert auf den folgenden Grundsätzen:
Bilder klar und lesbar halten
Richten Sie die UI-Komponenten der Kamera an den oberen und unteren Bildschirmrändern aus, und stellen Sie sicher, dass Text und Symbole lesbar bleiben, wenn sie über dem Bild platziert werden.
Alle nicht interaktiven Elemente, die über dem Live-Kamerabild angezeigt werden, sollten halbtransparent sein, um das Kamerabild möglichst wenig zu verdecken.

Feedback geben
Die visuelle Suche mit Bildern birgt besondere Herausforderungen für die Bedienbarkeit. Überlappende oder angeschnittene Objekte können die Identifizierung erschweren.
Fehlerzustände sollten über mehrere Gestaltungselemente (z. B. Komponenten und Animationen) vermittelt werden und Erklärungen enthalten, wie Nutzer ihre Suche verbessern können.

Komponenten
Die Objekterkennung in statischen Bildern basiert auf vorhandenen Material-Design-Komponenten sowie auf neuen Elementen, die speziell für die Interaktion mit einem Bild entwickelt wurden. Codebeispiele und Demos zu den neuen Elementen (z. B. Objektmarkern) finden Sie im Quellcode der ML Kit Material Design Showcase-App für Android.

1. Top App Bar
2. Objektmarker
3. Tooltip
4. Karten
5. Erkanntes Bild
6. Modales Bottom Sheet

Top App Bar
Die Top App Bar bietet dauerhaften Zugriff auf folgende Aktionen:
- Eine Schaltfläche zum Verlassen der Suche
- Einen Umschalter für den Kamerablitz, um die Bildhelligkeit zu verbessern
- Einen Hilfebereich zur Fehlerbehebung bei Suchproblemen

Empfohlen
Objektmarker
Objektmarker sind runde, erhabene Indikatoren, die über der Mitte eines erkannten Objekts platziert werden. Jedem Marker ist eine Karte am unteren Bildschirmrand zugeordnet, die eine Vorschau der Ergebnisse des jeweiligen Objekts anzeigt. Wird die Karte in den Sichtbereich gescrollt, vergrößert sich der zugehörige Objektmarker.
Durch Tippen auf einen Objektmarker (oder seine Ergebniskarte) öffnet sich ein modales Bottom Sheet, das die vollständigen visuellen Suchergebnisse eines Objekts anzeigt.
Tooltip
Tooltips zeigen den Nutzern informative Texte an. Beispielsweise geben sie Zustände wieder (etwa mit der Meldung „Suche läuft…“) und leiten den Nutzer zum nächsten Schritt an (etwa mit der Meldung „Tippen Sie auf einen Objektmarker oder eine Karte, um Ergebnisse anzuzeigen“).

Empfohlen

Vermeiden

Vermeiden
Karten
Karten bieten eine Vorschau der visuellen Suchergebnisse eines Objekts. Sie sind in einem horizontal scrollenden Karussell angeordnet und nach der horizontalen Position der einzelnen Objekte im Bild sortiert.
Jede Karte ist einem Objektmarker zugeordnet. Wird die Karte in den Sichtbereich gescrollt, vergrößert sich der zugehörige Objektmarker. Durch Tippen auf eine Karte (oder ihren Objektmarker) öffnet sich ein modales Bottom Sheet, das die vollständigen visuellen Suchergebnisse eines Objekts anzeigt.
Modales Bottom Sheet
Modale Bottom Sheets bieten Zugriff auf die visuellen Suchergebnisse. Ihr Layout und ihre Inhalte hängen vom Anwendungsfall Ihrer App, der Anzahl der Ergebnisse und deren Konfidenz ab.


Ablauf
Die visuelle Objektsuche anhand eines Bildes erfolgt in drei Phasen:
- Eingabe: Bild für die Suche auswählen
- Erkennung: Objekte erkennen und identifizieren
- Kommunikation: Wenn passende Objekte gefunden wurden, Ergebnisse anzeigen
Eingabe
Die visuelle Suche beginnt, wenn ein Nutzer ein Bild auswählt. Um die Erfolgswahrscheinlichkeit einer Suche zu erhöhen, empfehlen Sie den Nutzern die für die Suche am besten geeigneten Bildtypen.

Empfohlen

Empfohlen
Erkennung
Wenn ein oder mehrere Objekte in einem Bild erkannt wurden, sollte die App:
- mitteilen, dass sie auf Ergebnisse wartet
- den Suchfortschritt anzeigen
Die von der ML Kit Object Detection & Tracking API erkannten Objekte werden anschließend mit den bekannten Bildern aus Ihrem Bildklassifizierungsmodell verglichen, um passende Ergebnisse zu ermitteln.
Selbst wenn ein Objekt auf einem Foto erkannt wurde, ist nicht garantiert, dass passende Ergebnisse gefunden werden. Daher sollten Objekte erst dann als erkannt markiert werden, wenn gültige Suchergebnisse vorliegen.

Empfohlen

Vermeiden
Hinweise zur Erkennung
Die folgenden Faktoren können sich darauf auswirken, ob Objekte erkannt und identifiziert werden (diese Liste ist nicht erschöpfend):
- Schlechte Bildqualität
- Zu geringe Objektgröße im Bild
- Geringer Kontrast zwischen einem Objekt und seinem Hintergrund
- Objekt aus einem ungünstigen Winkel dargestellt
- Verlust der für die Suche erforderlichen Netzwerkverbindung

Empfohlen
Kommunikation
Die Ergebnisse erkannter Objekte werden den Nutzern wie folgt präsentiert:
- Platzieren von Objektmarkern über jedem erkannten Objekt
- Anzeigen einer Vorschau der Ergebnisse des jeweiligen Objekts auf einer Karte (als Teil eines Kartenkarussells)
Ihre App sollte einen Konfidenzschwellenwert für die Anzeige visueller Suchergebnisse festlegen. „Konfidenz“ bezeichnet, wie sicher sich ein ML-Modell bei einer Vorhersage ist. Bei der visuellen Suche gibt das Konfidenzniveau eines Ergebnisses an, wie ähnlich das Modell das Ergebnis dem bereitgestellten Bild einschätzt.
Wenn für ein oder mehrere Objekte im Bild Suchergebnisse vorliegen, sollte die App diese erkannten Objekte mithilfe von Objektmarkern und einem Kartenkarussell kennzeichnen, das eine Vorschau der Ergebnisse der einzelnen Objekte zeigt. Durch Tippen auf einen Marker oder eine Karte öffnet sich ein modales Bottom Sheet, das die Ergebnisse eines Objekts anzeigt.
Empfohlen
Empfohlen
Auswertung der Suchergebnisse
In einigen Fällen erfüllen visuelle Suchergebnisse möglicherweise nicht die Erwartungen der Nutzer, etwa in den folgenden Szenarien:
Keine Ergebnisse gefunden
Eine Suche kann aus mehreren Gründen ohne Treffer bleiben, darunter:
- Ein Objekt gehört nicht zu den bekannten Objekten oder ähnelt ihnen nicht
- Es wurde aus einem Winkel erfasst, der für das visuelle Suchmodell nicht erkennbar ist
- Schlechte Bildqualität, sodass wichtige Details des Objekts schwer erkennbar sind
Zeigen Sie ein Banner an, das erklärt, dass keine Ergebnisse vorliegen, und verweisen Sie die Nutzer auf einen Hilfebereich mit Informationen zur Verbesserung ihrer Suche.

Schlechte Ergebnisse
Wenn eine Suche nur Ergebnisse mit geringer Konfidenz liefert, können Sie den Nutzer bitten, die Suche zu wiederholen (mit Tipps zur Verbesserung ihrer Suche).

Empfohlen
Theming und Anpassung
Shrine Material-Theme
Der Kaufablauf der Shrine-App ermöglicht es Nutzern, mithilfe eines Fotos eine visuelle Suche nach Produkten durchzuführen.


Objektmarker
Die Objektmarker von Shrine sind rautenförmig und spiegeln so den Formstil von Shrine wider (mit abgefasten Ecken).

2. Eine Schaltfläche mit 4dp abgefasten Ecken
3. Ein Objektmarker mit Rautenform
Um Nutzern die Zuordnung von Ergebniskarten zu potenziell erkannten Objekten zu erleichtern, vergrößern sich Objektmarker in der Regel, wenn ihre zugehörige Ergebniskarte im Karussell ausgewählt wird. Statt die Größe des Objektmarkers zu verändern, um ihn hervorzuheben, wendet Shrine eigene Farb- und Rahmenstile an.

2. Die Objektmarker von Shrine unterscheiden sich in Farb- und Rahmenstil, um das aktuell ausgewählte Objekt zu kennzeichnen. Die Containerfarbe des Markers wechselt von #FFFFFF zu der On-Surface-Farbe von Shrine (#442C2E) und erhält einen 6dp-Rahmen in #FFFFFF.
Karten
Die Ergebniskarten von Shrine verwenden eigene Farb-, Typografie- und Formstile.

2. Die Karten von Shrine verwenden die Schriftart Rubik für Inhalte, Shrine Pink 900 (#442C2E) als On-Surface-Farbe und haben 8dp abgefaste Ecken.