Wykrywanie obiektów: obraz statyczny
Dzięki uczeniu maszynowemu można wykrywać obiekty na podstawie dostarczonego obrazu.

Zastosowanie
Zdjęcia mogą służyć do wykrywania i identyfikowania obiektów w świecie fizycznym poprzez wyszukiwanie wizualne (zapytanie, w którym dane wejściowe stanowi obraz). Modele uczenia maszynowego pozwalają dostarczyć użytkownikowi więcej informacji o danym przedmiocie – czy to o gatunku rośliny, czy o produkcie dostępnym do kupienia.
Tryb „statyczny” interfejsu API ML Kit do wykrywania i śledzenia obiektów umożliwia wykrycie do pięciu obiektów na dostarczonym obrazie oraz wyświetlenie pasujących wyników przy użyciu własnego modelu klasyfikacji obrazów.
Zasady
Projekt tej funkcji opiera się na następujących zasadach:
Dbaj o wyraźne i czytelne obrazy
Umieszczaj komponenty interfejsu aparatu wzdłuż górnej i dolnej krawędzi ekranu, aby tekst i ikony pozostały czytelne na tle obrazu.
Wszystkie nieinteraktywne elementy wyświetlane na tle podglądu z kamery powinny być półprzezroczyste, aby jak najmniej go zasłaniały.

Dostarczaj użytkownikom informację zwrotną
Wyszukiwanie obiektów za pomocą obrazu wiąże się ze szczególnymi wymaganiami dotyczącymi sposobu użytkowania. Zachodzące na siebie lub przycięte obiekty mogą utrudniać ich identyfikację.
Błędy należy komunikować za pomocą różnych sygnałów projektowych (takich jak komponenty i ruch) oraz wyjaśniać, jak użytkownicy mogą poprawić swoje wyszukiwanie.

Komponenty
Funkcja wykrywania obiektów na obrazie statycznym wykorzystuje istniejące komponenty Material Design oraz nowe elementy specyficzne dla interakcji z obrazem. Przykłady kodu i demonstracje nowych elementów (takich jak znaczniki obiektów) znajdziesz w kodzie źródłowym aplikacji demonstracyjnej ML Kit Material Design dla Androida.

1. Górny pasek aplikacji
2. Znacznik obiektu
3. Podpowiedź
4. Karty
5. Wykryty obraz
6. Modalny dolny arkusz

Górny pasek aplikacji
Górny pasek aplikacji zapewnia stały dostęp do następujących akcji:
- Przycisk umożliwiający wyjście z trybu wyszukiwania
- Przełącznik zwiększający jasność (za pomocą lampy błyskowej aparatu)
- Sekcja pomocy służąca do rozwiązywania problemów z wyszukiwaniem

Zalecane
Znaczniki obiektów
Znaczniki obiektów to okrągłe, uniesione wskaźniki umieszczane przed środkiem wykrytego obiektu. Każdy znacznik jest powiązany z kartą u dołu ekranu, która wyświetla podgląd wyników dla danego obiektu. Gdy karta pojawi się w widoku, odpowiadający jej znacznik obiektu powiększa się.
Dotknięcie znacznika obiektu (lub powiązanej z nim karty z wynikami) otwiera modalny dolny arkusz wyświetlający pełne wyniki wyszukiwania wizualnego dla danego obiektu.
Podpowiedzi
Podpowiedzi (tooltips) wyświetlają użytkownikom tekst informacyjny – na przykład informują o stanie (np. komunikat „Wyszukiwanie…”) oraz wskazują kolejny krok (np. komunikat „Dotknij kropki lub karty, aby zobaczyć wyniki”).

Zalecane

Niezalecane

Niezalecane
Karty
Karty zapewniają podgląd wyników wyszukiwania wizualnego dla obiektu. Są ułożone w poziomo przewijanej karuzeli, uporządkowanej według poziomego umiejscowienia każdego obiektu.
Każda karta jest powiązana ze znacznikiem obiektu. Gdy karta pojawi się w widoku, powiązany z nią znacznik obiektu powiększa się. Dotknięcie karty (lub powiązanego z nią znacznika obiektu) otwiera modalny dolny arkusz wyświetlający pełne wyniki wyszukiwania wizualnego dla danego obiektu.
Modalny dolny arkusz
Modalne dolne arkusze zapewniają dostęp do wyników wyszukiwania wizualnego. Ich układ i treść zależą od przypadku użycia aplikacji, liczby wyników oraz poziomu ufności wyników.


Przebieg wyszukiwania
Wizualne wyszukiwanie obiektów na podstawie obrazu przebiega w trzech fazach:
- Dane wejściowe: wybierz obraz do wyszukiwania
- Rozpoznawanie: wykryj i zidentyfikuj obiekty
- Prezentacja wyników: jeśli znaleziono pasujące obiekty, wyświetl wyniki
Dane wejściowe
Wyszukiwanie wizualne rozpoczyna się, gdy użytkownik wybierze obraz. Aby zwiększyć szanse na udane wyszukiwanie, udzielaj użytkownikom wskazówek dotyczących rodzajów obrazów najlepiej nadających się do wyszukiwania.

Zalecane

Zalecane
Rozpoznawanie
Gdy na obrazie zostanie wykryty co najmniej jeden obiekt, aplikacja powinna:
- poinformować, że czeka na wyniki,
- wyświetlić postęp wyszukiwania.
Obiekty wykryte przez interfejs API ML Kit do wykrywania i śledzenia obiektów są następnie porównywane ze zbiorem znanych obrazów z Twojego modelu klasyfikacji obrazów w celu znalezienia pasujących wyników.
Nawet jeśli obiekt zostanie wykryty na zdjęciu, nie gwarantuje to znalezienia pasujących wyników. Dlatego obiekty nie powinny być oznaczane jako wykryte, dopóki nie zostaną zwrócone prawidłowe wyniki wyszukiwania.

Zalecane

Niezalecane
Wskazówki dotyczące poprawy wykrywania
O następujące czynniki może zależeć to, czy obiekty zostaną wykryte i zidentyfikowane (lista nie jest wyczerpująca):
- słaba jakość obrazu,
- mały rozmiar obiektu na obrazie,
- niski kontrast między obiektem a tłem,
- obiekt pokazany pod kątem, którego model nie jest w stanie rozpoznać,
- utrata połączenia sieciowego potrzebnego do ukończenia wyszukiwania.

Zalecane
Prezentacja wyników
Wyniki dla wykrytych obiektów przedstawia się użytkownikom poprzez:
- umieszczenie znaczników obiektów przed każdym wykrytym obiektem,
- wyświetlenie podglądu wyników danego obiektu na karcie (w ramach karuzeli kart).
Aplikacja powinna ustawić próg ufności dla wyświetlania wyników wyszukiwania wizualnego. „Ufność” oznacza ocenę dokładności prognozy dokonaną przez model uczenia maszynowego. W przypadku wyszukiwania wizualnego poziom ufności każdego wyniku wskazuje, na ile model uznaje go za podobny do dostarczonego obrazu.
Jeśli co najmniej jeden obiekt na obrazie ma wyniki wyszukiwania, aplikacja powinna zidentyfikować te wykryte obiekty za pomocą znaczników obiektów oraz karuzeli kart z podglądem wyników każdego obiektu. Dotknięcie znacznika lub karty otwiera modalny dolny arkusz pokazujący wyniki dla danego obiektu.
Zalecane
Zalecane
Ocena wyników wyszukiwania
W niektórych przypadkach wyniki wyszukiwania wizualnego mogą nie spełniać oczekiwań użytkowników – na przykład w następujących scenariuszach:
Brak wyników
Wyszukiwanie może zakończyć się bez dopasowań z kilku powodów, m.in. gdy:
- obiekt nie należy do znanego zestawu obiektów ani nie jest do niego podobny,
- został wykryty z perspektywy, której model wyszukiwania wizualnego nie rozpoznaje,
- słaba jakość obrazu utrudnia rozpoznanie kluczowych szczegółów obiektu.
Wyświetl baner wyjaśniający, że nie ma wyników, i skieruj użytkowników do sekcji pomocy zawierającej informacje o tym, jak poprawić wyszukiwanie.

Słabe wyniki
Jeśli wyszukiwanie zwróci wyłącznie wyniki o niskim poziomie ufności, można poprosić użytkownika o ponowienie wyszukiwania (podając wskazówki, jak je usprawnić).

Zalecane
Motywy
Motyw Material Shrine
Proces zakupowy aplikacji Shrine pozwala użytkownikom przeprowadzić wizualne wyszukiwanie produktów za pomocą zdjęcia.


Znaczniki obiektów
Znaczniki obiektów w Shrine mają kształt rombu, aby odzwierciedlić styl form marki Shrine (oparty na ściętych narożnikach).

2. Przycisk o ściętych narożnikach 4 dp
3. Znacznik obiektu w kształcie rombu
Aby pomóc użytkownikom dopasować karty z wynikami do wykrytych obiektów, znaczniki obiektów zazwyczaj powiększają się, gdy odpowiadająca im karta zostanie wybrana w karuzeli. Shrine zamiast zmieniać rozmiar znacznika obiektu w celu jego wyróżnienia, stosuje niestandardowe style koloru i obramowania.

2. Znaczniki obiektów w Shrine wykorzystują różnicę w kolorze i stylach obramowania, aby wskazać bieżący obiekt. Kolor kontenera znacznika zmienia się z #FFFFFF na kolor Na powierzchni (On Surface) marki Shrine (#442C2E) i otrzymuje obramowanie o grubości 6 dp w kolorze #FFFFFF.
Karty
Karty z wynikami w Shrine używają niestandardowych stylów kolorów, typografii i kształtów.

2. Karty w Shrine używają czcionki Rubik dla treści oraz koloru Shrine Pink 900 (#442C2E) jako koloru „Na powierzchni” (On Surface) i mają ścięte narożniki 8 dp.