Wykrywanie obiektów: kamera na żywo
Podgląd na żywo z kamery urządzenia może służyć do wykrywania obiektów w otoczeniu za pomocą uczenia maszynowego.

Zastosowanie
Podgląd na żywo z kamery może służyć do identyfikowania obiektów w świecie fizycznym. Korzystając z trybu przesyłania strumieniowego („streaming”) interfejsu Object Detection & Tracking API w ML Kit, można wykrywać obiekty w obrazie z kamery i używać ich jako danych wejściowych do wyszukiwania wizualnego (czyli zapytania, w którym obraz zastępuje tekst) przeprowadzanego przy użyciu własnego modelu klasyfikacji obrazów aplikacji.
Wyszukiwanie za pomocą kamery na żywo może pomóc użytkownikom dowiedzieć się więcej o obiektach w ich otoczeniu — niezależnie od tego, czy to artefakt w muzeum, czy produkt na sprzedaż.
Niniejsze wytyczne dotyczą wykrywania jednego obiektu na raz.
Zasady
Projektowanie tej funkcji opiera się na następujących zasadach:
Nawigacja za pomocą kamery urządzenia
Zamiast wpisywać frazę wyszukiwania, użytkownicy używają kamery urządzenia jako „pilota” do wyszukiwania treści wizualnych.
Aby użytkownicy nauczyli się wyszukiwać za pomocą kamery, zapewnij wprowadzenie (onboarding) oraz stale widoczne instrukcje.
Zachowaj czytelność podglądu kamery
Aby zmaksymalizować widoczny obszar podglądu z kamery, wyrównaj komponenty interfejsu aplikacji do górnej i dolnej krawędzi ekranu, dbając o to, aby tekst i ikony pozostawały czytelne na tle podglądu na żywo z kamery.
Wszystkie nieinteraktywne elementy wyświetlane przed podglądem na żywo z kamery powinny być półprzezroczyste, aby w jak najmniejszym stopniu zasłaniały obraz kamery.

Zapewnij informacje zwrotne
Użycie kamery jako narzędzia wyszukiwania wiąże się ze specyficznymi wymaganiami: obraz musi mieć odpowiednią jakość, a użytkownicy powinni wiedzieć, jak zaradzić problemom z oświetleniem lub zbyt dużą odległością od obiektu.
Stany błędów powinny:
- Sygnalizować problem za pomocą kilku wskazówek projektowych (takich jak komponenty i ruch)
- Zawierać wyjaśnienia, jak użytkownik może poprawić swoje wyszukiwanie

Komponenty
Funkcja wykrywania obiektów za pomocą kamery na żywo korzysta zarówno z istniejących komponentów Material Design, jak i nowych elementów specyficznych dla interakcji z kamerą. Przykłady kodu i demonstracje nowych elementów (takich jak celownik) znajdziesz w kodzie źródłowym aplikacji demonstracyjnych ML Kit Material Design dla Androida i iOS.

1. Górny pasek aplikacji
2. Celownik
3. Znacznik obiektu
4. Dymek podpowiedzi
5. Obraz wykrytego obiektu
6. Modalny dolny arkusz

Górny pasek aplikacji
Górny pasek aplikacji zapewnia stały dostęp do następujących działań:
- Przycisk służący do wyjścia z trybu wyszukiwania
- Przełącznik zwiększający jasność (za pomocą lampy błyskowej kamery)
- Sekcja pomocy przy rozwiązywaniu problemów z wyszukiwaniem

Zalecane
Celownik
Celownik to wskaźnik wizualny wyznaczający punkt, na którym użytkownicy skupiają uwagę podczas wykrywania obiektów za pomocą kamery (jego nazwa nawiązuje do celowników w wizjerach aparatów). Pulsująca animacja informuje użytkownika, że kamera aktywnie szuka obiektów.
Gdy kamera na żywo jest skierowana na obiekt, celownik przekształca się w określony wskaźnik postępu, wskazujący, że rozpoczęło się wyszukiwanie wizualne.
1. Skanowanie używa pulsującej animacji, aby wskazać, że aplikacja szuka obiektów
2. Rozpoczęcie wyszukiwania następuje po ustalonym z góry opóźnieniu (zdefiniowanym przez programistę) i jest sygnalizowane określonym wskaźnikiem postępu
3. Potrzeba zbliżenia się do obiektu jest sygnalizowana zmniejszaniem się środkowego okręgu celownika, aż osiągnie on minimalny, wykrywalny rozmiar
4. Wystąpienie błędu zmienia obramowanie celownika z linii ciągłej na kropkowaną
Znacznik obiektu
Interfejs Object Detection & Tracking API w ML Kit zawiera opcję wykrywania „najbardziej widocznego obiektu”. Opcja ta wykrywa i śledzi pojedynczy, największy obiekt znajdujący się w pobliżu środka kadru kamery. Po wykryciu obiektu należy oznaczyć go ciągłą prostokątną ramką.
Jeśli aplikacja wymaga minimalnego rozmiaru obrazu dla wykrywanych obiektów, znacznik obiektu powinien zmienić się w częściową prostokątną ramkę (wyświetlającą tylko narożniki obramowania). Oznacza to, że obiekt został wykryty, ale wyszukiwanie nie może się rozpocząć, dopóki użytkownik się nie zbliży.
Podpowiedź
Dymki podpowiedzi wyświetlają użytkownikom tekst informacyjny. Przekazują zarówno informacje o stanie (na przykład komunikat „Wyszukiwanie…”), jak i zachęty do wykonania następnego kroku (na przykład komunikat „Skieruj kamerę na roślinę”).

Zalecane

Niezalecane

Niezalecane
Obraz wykrytego obiektu
Po wykryciu obiektu interfejs Object Detection & Tracking API w ML Kit tworzy przyciętą wersję obrazu, która jest używana do przeprowadzenia wyszukiwania wizualnego przy użyciu modelu klasyfikacji obrazów aplikacji.
Przycięty obraz jest wyświetlany, aby:
- Potwierdzić wykryty obiekt
- Porównać go z obrazami wyników wyszukiwania
- Wyjaśnić wszelkie błędy związane z obrazem (na przykład niską jakość lub obecność wielu obiektów)

Modalny dolny arkusz
Modalne dolne arkusze zapewniają dostęp do wyników wyszukiwania wizualnego. Ich układ i zawartość zależą od przypadku użycia w aplikacji, liczby wyników oraz poziomu ufności tych wyników.


Przebieg interakcji
Wyszukiwanie wizualne za pomocą kamery na żywo odbywa się w trzech fazach:
- Skanowanie (Sense): Użycie kamery do wyszukania obiektu, który posłuży jako dane wejściowe
- Rozpoznawanie (Recognize): Wykrycie i zidentyfikowanie obiektu
- Prezentowanie wyników (Communicate): Poinformowanie użytkownika o znalezionym dopasowaniu
Skanowanie
Wykrywanie obiektów rozpoczyna się po otwarciu funkcji wyszukiwania wizualnego. „Skanowanie” oznacza, że kamera szuka obiektów w podglądzie na żywo. W tej fazie aplikacja powinna:
- Opisywać, jak działa funkcja
- Informować o działaniach aplikacji
- Wskazywać, jak użytkownik może sterować kamerą, i sugerować korekty
Opisz, jak działa funkcja
Zapewnij użytkownikom instrukcje dotyczące używania kamery jako „pilota” do wyszukiwania obiektów w otoczeniu, opisując ten proces za pomocą treści wprowadzających (onboarding) i treści pomocy.

Zalecane

Niezalecane

Zalecane
Informuj o działaniach aplikacji
Gdy kamera prowadzi wyszukiwanie, celownik pulsuje, wskazując, że kamera „patrzy”, a podpowiedź zachęca użytkownika do skierowania jej na obiekty.
Zalecane
Wskazuj wymagane korekty
Czasami warunki otoczenia utrudniają wykrycie obiektu, na przykład gdy:
- jest zbyt jasno lub zbyt ciemno, aby odróżnić obiekt od tła
- obiekty się nakładają i są trudne do rozróżnienia
Jeśli przez dłuższy czas nie uda się wykryć żadnego obiektu, zatrzymaj animację celownika i skieruj użytkownika do sekcji pomocy.
Rozpoznawanie
Gdy kamera wykryje obiekt, aplikacja powinna:
- Oznaczyć wykryty obiekt
- Wyświetlić zachętę do rozpoczęcia wyszukiwania
- Wyświetlić postęp wyszukiwania
Zidentyfikuj wykryty obiekt
Aby wskazać, że kamera znalazła obiekt, zatrzymaj animację celownika i oznacz wykryty obiekt ramką.

Zachęć do wyszukiwania
Poinstruuj użytkownika, aby utrzymywał wykryty obiekt w środku kadru kamery. Przed rozpoczęciem wyszukiwania dodaj krótkie opóźnienie, któremu towarzyszy określony wskaźnik postępu w celowniku. Daje to użytkownikowi czas, aby:
- Potwierdzić zamiar wyszukiwania (użytkownicy trzymają kamerę urządzenia nieruchomo)
- Anulować wyszukiwanie (użytkownicy odsuwają kamerę od obiektu)
Możesz dostosować długość opóźnienia.
Wyświetl postęp wyszukiwania
Po rozpoczęciu wyszukiwania wykrywanie obiektów zostaje zatrzymane, a podgląd na żywo z kamery zostaje wstrzymany. Dzięki temu nie można rozpocząć nowego wyszukiwania (a użytkownik może ustawić urządzenie w wygodniejszej pozycji).
Postęp wyszukiwania jest sygnalizowany przez nieokreślony wskaźnik postępu oraz komunikat podpowiedzi.
Wprowadź korekty
Na etapie rozpoznawania dwa problemy mogą wpływać na jakość wyników wyszukiwania:
Mały rozmiar obrazu: Jeśli wykryty obiekt znajduje się zbyt daleko od kamery, nie można z niego uzyskać obrazu wysokiej jakości, ponieważ aplikacja wymaga ustalonego minimalnego rozmiaru obrazu.
Aby wskazać, że wykrywanie nie zostało zakończone, wyświetl wokół obiektu częściową ramkę (zamiast pełnej) oraz podpowiedź zachęcającą użytkownika do zbliżenia się.
Połączenie sieciowe: Stabilne połączenie jest wymagane, jeśli model klasyfikacji obrazów znajduje się w chmurze. Jeśli połączenie internetowe zostanie utracone, wyświetl baner wskazujący, że do kontynuowania potrzebny jest dostęp do internetu.

Prezentowanie wyników
Wyniki wyszukiwania wizualnego są wyświetlane w modalnym dolnym arkuszu. W tej fazie aplikacja powinna:
- Wyświetlać wyniki
- Wyświetlać wykryty obiekt
- Zapewniać szybką nawigację
Aplikacja powinna określić próg ufności wyświetlania wyników wyszukiwania wizualnego. „Ufność” oznacza ocenę przez model ML tego, na ile dokładna jest jego predykcja. W przypadku wyszukiwania wizualnego poziom ufności każdego wyniku wskazuje, na ile model uważa go za podobny do dostarczonego obrazu.

Zalecane

Zalecane
Wyświetl wykryty obiekt
Aby umożliwić porównanie z wynikami wyszukiwania, wyświetl miniaturę wykrytego obiektu nad modalnym dolnym arkuszem.

Zalecane
Zapewnij szybką nawigację
Po obejrzeniu wyników użytkownicy mogą podjąć różne działania:
- Aby wrócić do kamery, użytkownik może dotknąć przyciemnienia lub nagłówka modalnego dolnego arkusza.
- Aby wyjść z trybu kamery, użytkownik może wybrać wynik, przejść do innego miejsca w aplikacji albo dotknąć przycisku „X”, aby zamknąć kamerę i wrócić do aplikacji.
Ocena wyników wyszukiwania
W niektórych przypadkach wyniki wyszukiwania wizualnego mogą nie spełniać oczekiwań użytkowników, na przykład w następujących scenariuszach:
Brak wyników
Wyszukiwanie może zakończyć się bez dopasowań z kilku powodów, w tym:
- Obiekt nie należy do znanego zbioru obiektów ani nie jest do nich podobny
- Obiekt został wykryty pod nietypowym kątem
- Obraz może mieć niską jakość, przez co kluczowe szczegóły obiektu są trudne do rozpoznania
Jeśli nie ma wyników, wyświetl baner z wyjaśnieniem i skieruj użytkowników do sekcji pomocy, w której dowiedzą się, jak poprawić wyszukiwanie.

Słabe wyniki
Jeśli wyszukiwanie zwróci wyłącznie wyniki o niskiej ufności, możesz poprosić użytkownika o ponowne wyszukanie, podając wskazówki, jak poprawić wyszukiwanie.

Zalecane
Motywy
Motyw Shrine Material
Wyszukiwanie wizualne za pomocą kamery na żywo jest używane w procesie zakupowym aplikacji Shrine.


Celownik
Celownik w Shrine ma kształt rombu, który odzwierciedla styl kształtów Shrine (oparty na skośnych cięciach).

2. Przycisk ze ściętymi narożnikami 4dp
3. Celownik o kształcie rombu
Dymek podpowiedzi w Shrine jest wyróżniony dzięki niestandardowym kolorom, typografii i umiejscowieniu.

2. Dymek podpowiedzi w Shrine używa niestandardowych kolorów i typografii, a jego kontener sięga krawędzi ekranu.