Objekterkennung: Live-Kamera
Mithilfe von maschinellem Lernen kann die Live-Kamera eines Geräts genutzt werden, um Objekte in der Umgebung zu erkennen.

Verwendung
Der Live-Feed einer Kamera kann verwendet werden, um Objekte in der realen Welt zu identifizieren. Mithilfe des „Streaming“-Modus der ML Kit API zur Objekterkennung und zum Objekt-Tracking erkennt der Kamera-Feed Objekte und verwendet sie als Eingabe für eine visuelle Suche mit dem Bildklassifizierungsmodell Ihrer App (eine Suchanfrage, die ein Bild statt eines Suchbegriffs verwendet).
Die Suche mit einer Live-Kamera kann Nutzern helfen, mehr über Objekte in ihrer Umgebung zu erfahren – ob es sich um ein Exponat in einem Museum oder um ein Produkt zum Kauf handelt.
Diese Richtlinien behandeln die Erkennung von immer nur einem Objekt gleichzeitig.
Grundsätze
Das Design dieser Funktion basiert auf den folgenden Grundsätzen:
Mit der Gerätekamera navigieren
Statt einen Suchbegriff einzugeben, dient die Gerätekamera als „Fernbedienung“ für die Suche nach visuellen Inhalten.
Um Nutzern zu vermitteln, wie sie mit ihrer Kamera suchen, stellen Sie Onboarding-Inhalte und dauerhaft sichtbare Anweisungen bereit.
Das Kamerabild frei halten und UI-Elemente lesbar halten
Richten Sie die UI-Komponenten der App an den oberen und unteren Bildschirmrändern aus, um den sichtbaren Bereich der Kamera zu maximieren, und stellen Sie sicher, dass Text und Symbole lesbar bleiben, wenn sie über dem Live-Feed der Kamera platziert werden.
Alle nicht interaktiven Elemente, die über dem Live-Kamera-Feed angezeigt werden, sollten halbtransparent sein, damit sie das Kamerabild möglichst wenig verdecken.

Feedback geben
Die Verwendung einer Kamera als Suchwerkzeug stellt besondere Anforderungen an die Bedienung. Die Bildqualität muss ausreichend sein, und die Nutzer müssen wissen, wie sie Bildprobleme beheben können, die durch ungünstige Beleuchtung oder einen zu großen Abstand zu einem Objekt entstehen.
Fehlerzustände sollten folgende Kriterien erfüllen:
- Fehler mithilfe mehrerer Gestaltungsmittel anzeigen (z. B. Komponenten und Bewegung)
- Erläuterungen enthalten, wie die Nutzer ihre Suche verbessern können

Komponenten
Die Funktion zur Objekterkennung mit der Live-Kamera verwendet sowohl vorhandene Material-Design-Komponenten als auch neue Elemente, die speziell für die Kamerainteraktion entwickelt wurden. Codebeispiele und Demos der neuen Elemente (z. B. des Fadenkreuzes) finden Sie im Quellcode der ML Kit Material Design Showcase-Apps für Android und iOS.

1. Top App Bar
2. Fadenkreuz
3. Objektmarkierung
4. Tooltip
5. Erkanntes Bild
6. Modales Bottom Sheet

Top App Bar
Die Top App Bar bietet ständigen Zugriff auf die folgenden Aktionen:
- Eine Schaltfläche zum Verlassen des Sucherlebnisses
- Einen Schalter zum Aufhellen des Bildes (über den Kamerablitz)
- Einen Hilfebereich zur Fehlerbehebung bei Suchproblemen

Richtig
Fadenkreuz
Das Fadenkreuz ist ein visueller Indikator, der Nutzern ein Ziel bietet, auf das sie sich beim Erkennen von Objekten mit der Kamera fokussieren können (der Name ist vom Sucher einer Kamera inspiriert). Es verwendet eine pulsierende Animation, um dem Nutzer anzuzeigen, dass die Kamera aktiv nach Objekten sucht.
Wenn die Live-Kamera auf ein Objekt gerichtet ist, verwandelt sich das Fadenkreuz in eine bestimmte Fortschrittsanzeige, um anzuzeigen, dass eine visuelle Suche begonnen hat.
1. Beim Erfassen zeigt eine pulsierende Animation an, dass die App nach Objekten sucht
2. Das Starten einer Suche erfolgt nach einer vordefinierten Verzögerung (vom Entwickler festgelegt) und wird durch eine bestimmte Fortschrittsanzeige angezeigt
3. Der Bedarf, näher an ein Objekt heranzugehen, wird dargestellt, indem sich der innere Kreis des Fadenkreuzes verkleinert, bis die Mindestgröße für die Erkennung erreicht ist
4. Bei Fehlern ändert sich die Umrandung des Fadenkreuzes von einer durchgezogenen Linie zu einer gepunkteten Linie
Objektmarkierung
Die ML Kit API zur Objekterkennung und zum Objekt-Tracking enthält eine Option zur Erkennung eines „prominenten Objekts“. Diese Option erkennt und verfolgt das größte einzelne Objekt nahe der Mitte des Kamerabildes. Sobald ein Objekt erkannt wurde, sollten Sie es mit einer durchgezogenen rechteckigen Umrandung markieren.
Wenn Ihre App eine Mindestbildgröße für erkannte Objekte erfordert, sollte sich die Objektmarkierung ändern, sodass die rechteckige Umrandung nur teilweise angezeigt wird (lediglich ihre Ecken werden dargestellt). Dies zeigt an, dass ein Objekt erkannt wurde, die Suche aber erst beginnen kann, wenn der Nutzer näher an das Objekt herangeht.
Tooltip
Tooltips zeigen Nutzern informativen Text an. Sie geben sowohl Zustände wieder (z. B. mit einer Meldung wie „Suche läuft…“) als auch leiten den Nutzer zum nächsten Schritt an (z. B. mit einer Meldung wie „Richten Sie Ihre Kamera auf eine Pflanze“).

Richtig

Falsch

Falsch
Erkanntes Bild
Nach der Erkennung eines Objekts erstellt die ML Kit API zur Objekterkennung und zum Objekt-Tracking eine zugeschnittene Version des Bildes, die als Eingabe für eine visuelle Suche mit Ihrem Bildklassifizierungsmodell verwendet wird.
Das zugeschnittene Bild wird angezeigt, um:
- das erkannte Objekt zu bestätigen
- den Vergleich mit den Bildern der Suchergebnisse zu ermöglichen
- Fehler im Zusammenhang mit dem Bild zu erklären (z. B. wenn es eine geringe Qualität aufweist oder mehrere Objekte enthält)

Modales Bottom Sheet
Modale Bottom Sheets bieten Zugriff auf die Ergebnisse der visuellen Suche. Ihr Layout und ihr Inhalt hängen vom Anwendungsfall Ihrer App, der Anzahl der Ergebnisse und dem Konfidenzniveau dieser Ergebnisse ab.


Erlebnis
Die visuelle Suche mit der Live-Kamera erfolgt in drei Phasen:
- Erfassen: Die Kamera verwenden, um nach Objekten zu suchen
- Erkennen: Ein Objekt entdecken und identifizieren
- Kommunizieren: Dem Nutzer mitteilen, dass ein passendes Objekt gefunden wurde
Erfassen
Die Objekterkennung beginnt, wenn die visuelle Suche aufgerufen wird. „Erfassen“ bezeichnet den Vorgang, bei dem die Kamera im Live-Kamera-Feed nach Objekten sucht. In dieser Phase sollte die App:
- Beschreiben, wie die Funktion funktioniert
- Die Aktionen der App kommunizieren
- Den Nutzer anleiten, wie er die Kamera steuert, und Anpassungen vorschlagen
Beschreiben, wie die Funktion funktioniert
Bieten Sie Nutzern eine Anleitung dazu an, wie sie die Kamera als „Fernbedienung“ verwenden, um nach Objekten in der Umgebung zu suchen, und beschreiben Sie das Erlebnis durch Onboarding- und Hilfeinhalte.

Richtig

Falsch

Richtig
Die Aktionen der App kommunizieren
Während die Kamera nach Objekten sucht, pulsiert das Fadenkreuz, und ein Tooltip fordert den Nutzer auf, die Kamera auf Objekte zu richten.
Richtig
Nutzer bei Anpassungen anleiten
Manchmal erschweren Umgebungsbedingungen das Erkennen eines Objekts, z. B. an Orten, die:
- zu hell oder zu dunkel sind, um ein Objekt vor dem Hintergrund zu identifizieren
- überlappende Objekte aufweisen, die schwer voneinander zu unterscheiden sind
Wenn auch nach längerer Zeit kein Objekt erkannt wurde, stoppen Sie die Fadenkreuz-Animation und verweisen Sie den Nutzer auf die Hilfedokumentation.
Erkennen
Wenn ein Objekt von der Kamera erkannt wurde, sollte die App:
- Das erkannte Objekt markieren
- Den Nutzer zum Starten der Suche auffordern
- Den Suchfortschritt anzeigen
Das erkannte Objekt identifizieren
Um anzuzeigen, dass die Kamera ein Objekt gefunden hat, stoppen Sie die Animation des Fadenkreuzes und markieren Sie das erkannte Objekt mit einer Umrandung.

Zur Suche auffordern
Weisen Sie den Nutzer an, das erkannte Objekt in der Mitte des Kamerabildes zu halten. Fügen Sie vor dem Start der Suche eine kurze Zeitverzögerung hinzu, die von einer bestimmten Fortschrittsanzeige im Fadenkreuz begleitet wird. Dies gibt dem Nutzer Zeit, entweder:
- die Suchabsicht zu bestätigen (die Gerätekamera bleibt ruhig)
- die Suche abzubrechen (die Kamera wird nicht mehr auf das Objekt gerichtet)
Sie können die Länge der Verzögerung anpassen.
Den Suchfortschritt anzeigen
Sobald eine Suche beginnt, stoppt die Objekterkennung und der Live-Kamera-Feed pausiert. So werden neue Suchen verhindert (und der Nutzer kann sein Gerät in eine bequemere Haltung bringen).
Der Suchfortschritt wird durch eine unbestimmte Fortschrittsanzeige und eine Tooltip-Nachricht signalisiert.
Korrekturen vornehmen
In der Erkennungsphase können zwei Probleme die Qualität der Suchergebnisse beeinträchtigen:
Geringe Bildgröße: Wenn ein erkanntes Objekt zu weit von der Kamera entfernt ist, hat das Bild keine ausreichende Qualität (abhängig von der von Ihnen festgelegten Mindestbildgröße).
Um anzuzeigen, dass die Erkennung nicht abgeschlossen ist, zeigen Sie eine teilweise Umrandung um das Objekt an (anstelle einer vollständigen Umrandung) und geben Sie eine Tooltip-Meldung aus, die den Nutzer auffordert, näher an das Objekt heranzugehen.
Netzwerkverbindung: Eine stabile Netzwerkverbindung ist erforderlich, wenn Ihr Bildklassifizierungsmodell in der Cloud ausgeführt wird. Wenn die Verbindung ausfällt, zeigen Sie ein Banner an, das darauf hinweist, dass eine Internetverbindung benötigt wird, um fortzufahren.

Kommunizieren
Die Ergebnisse einer visuellen Suche werden in einem modalen Bottom Sheet angezeigt. In dieser Phase sollte die App:
- Die Ergebnisse anzeigen
- Das erkannte Objekt anzeigen
- Eine schnelle Navigation bereitstellen
Ihre App sollte einen Konfidenzschwellenwert für die Anzeige visueller Suchergebnisse festlegen. „Konfidenz“ bezeichnet die Einschätzung eines ML-Modells, wie genau eine Vorhersage ist. Bei der visuellen Suche gibt das Konfidenzniveau jedes Ergebnisses an, wie ähnlich das Modell es dem bereitgestellten Bild hält.

Richtig

Richtig
Das erkannte Objekt anzeigen
Um einen Vergleich zwischen dem erkannten Objekt und den Suchergebnissen zu ermöglichen, zeigen Sie eine Miniaturansicht des erkannten Objekts über dem modalen Bottom Sheet an.

Richtig
Eine schnelle Navigation bereitstellen
Nach dem Anzeigen der Ergebnisse können Nutzer unterschiedliche Aktionen ausführen:
- Um zur Kamera zurückzukehren, können Nutzer auf den Scrim oder den Header des modalen Bottom Sheets tippen.
- Um die Kameraansicht zu verlassen, kann ein Nutzer ein Ergebnis auswählen, anderweitig in der App navigieren oder die Kamera durch Tippen auf die Schaltfläche „X“ schließen und zur App zurückkehren.
Bewertung von Suchergebnissen
In einigen Fällen erfüllen die Ergebnisse der visuellen Suche möglicherweise nicht die Erwartungen der Nutzer, wie in den folgenden Szenarien:
Keine Ergebnisse gefunden
Eine Suche kann aus mehreren Gründen ergebnislos bleiben, darunter:
- Ein Objekt gehört nicht zum bekannten Objektbestand oder ähnelt keinem Objekt in diesem Bestand
- Ein Objekt wurde aus einem ungewohnten Blickwinkel erfasst
- Ein Bild ist von geringer Qualität, sodass wichtige Details des Objekts schwer zu erkennen sind
Zeigen Sie ein Banner an, um zu erklären, dass es keine Ergebnisse gibt, und verweisen Sie die Nutzer auf einen Hilfebereich mit Informationen zur Verbesserung der Suche.

Schlechte Ergebnisse
Wenn eine Suche nur Ergebnisse mit niedrigen Konfidenzwerten liefert, können Sie den Nutzer bitten, erneut zu suchen (mit Tipps zur Verbesserung der Suche).

Richtig
Theming und Anpassung
Shrine Material-Theme
Die visuelle Suche mit der Live-Kamera wird im Kaufablauf der Shrine-App verwendet.


Fadenkreuz
Das Fadenkreuz von Shrine verwendet eine Rautenform, um den Formstil der Marke widerzuspiegeln (der abgeschrägte Kanten aufweist).

2. Eine Schaltfläche mit 4dp abgeschnittenen Ecken
3. Ein Fadenkreuz in Rautenform
Der Tooltip von Shrine wird durch individuelle Farben, Typografie und Platzierung hervorgehoben.

2. Der Tooltip von Shrine verwendet individuelle Farben und Typografie und erweitert seinen Container bis zu den Bildschirmrändern.