Detekce objektů: statický obrázek
Pomocí strojového učení lze v poskytnutém obrázku detekovat objekty.

Použití
Pomocí vizuálního vyhledávání (vyhledávacího dotazu, jehož vstupem je obrázek) lze na fotografii detekovat a identifikovat objekty z reálného světa. Modely strojového učení mohou uživatelům ve výsledcích vizuálního vyhledávání poskytnout další informace o dané položce – například jaký je to druh rostliny, nebo zda jde o předmět k nákupu.
„Statický“ režim rozhraní Object Detection & Tracking API sady ML Kit umožňuje v poskytnutém obrázku detekovat až pět objektů a pomocí vašeho vlastního modelu pro klasifikaci obrázků zobrazit odpovídající výsledky.
Zásady
Návrh této funkce vychází z následujících zásad:
Udržujte obrázky zřetelné a čitelné
Zarovnejte komponenty uživatelského rozhraní kamery k horním a spodním okrajům obrazovky a zajistěte, aby text a ikony zůstaly čitelné i tehdy, když jsou umístěny před obrázkem.
Všechny neinteraktivní prvky zobrazené před živým obrazem z kamery by měly být poloprůhledné, aby obraz z kamery co nejméně zakrývaly.

Poskytujte zpětnou vazbu
Vyhledávání objektů pomocí obrázku klade specifické nároky na použití. Překrývající se nebo oříznuté objekty mohou ztížit jejich identifikaci.
Chybové stavy by měly být sdělovány pomocí více designových prostředků (například komponent a pohybu) a měly by obsahovat vysvětlení, jak mohou uživatelé své vyhledávání zlepšit.

Komponenty
Funkce detekce objektů ze statického obrázku využívá stávající komponenty Material Design a nové prvky specifické pro práci s obrázky. Ukázky kódu a demonstrace nových prvků (jako jsou značky objektů) naleznete ve zdrojovém kódu ukázkové aplikace ML Kit Material Design pro Android.

1. Horní lišta aplikace
2. Značka objektu
3. Popisek
4. Karty
5. Detekovaný obrázek
6. Modální spodní panel

Horní lišta aplikace
Horní lišta aplikace poskytuje trvalý přístup k následujícím ovládacím prvkům:
- Tlačítko pro ukončení vyhledávání
- Přepínač pro zvýšení jasu (blesk kamery)
- Sekce nápovědy pro řešení problémů s vyhledáváním

Doporučeno
Značky objektů
Značky objektů jsou kruhové, vyvýšené ukazatele umístěné nad středem detekovaného objektu. Každá značka je přiřazena ke kartě ve spodní části obrazovky, která zobrazuje náhled výsledků daného objektu. Když se karta posunutím dostane do zorného pole, odpovídající značka objektu se zvětší.
Klepnutí na značku objektu (nebo na kartu s jeho výsledky) otevře modální spodní panel zobrazující úplné výsledky vizuálního vyhledávání daného objektu.
Popisek
Popisky zobrazují uživatelům informativní text. Mohou například sdělovat stav („Vyhledávání…“) i vyzývat uživatele k dalšímu kroku („Klepnutím na značku nebo kartu zobrazíte výsledky“).

Doporučeno

Nedoporučeno

Nedoporučeno
Karty
Karty poskytují náhled výsledků vizuálního vyhledávání objektu. Jsou uspořádány ve vodorovně posouvatelném karuselu a seřazeny podle vodorovné polohy jednotlivých objektů.
Každá karta je přiřazena ke značce objektu. Když se karta posunutím dostane do zorného pole, odpovídající značka objektu se zvětší. Klepnutí na kartu (nebo na její značku objektu) otevře modální spodní panel, který zobrazuje úplné výsledky vizuálního vyhledávání daného objektu.
Modální spodní panel
Modální spodní panely poskytují přístup k výsledkům vizuálního vyhledávání. Jejich rozvržení a obsah závisí na případu použití vaší aplikace, na počtu výsledků a na míře jistoty výsledků.


Průběh
Vizuální vyhledávání objektů z obrázku probíhá ve třech fázích:
- Vstup: Vyberte obrázek k vyhledání
- Rozpoznání: Detekujte a identifikujte objekty
- Komunikace: Pokud jsou nalezeny odpovídající objekty, zobrazte výsledky
Vstup
Vizuální vyhledávání začíná výběrem obrázku. Chcete-li zvýšit šanci na úspěšné vyhledávání, doporučte uživatelům nejvhodnější typy obrázků.

Doporučeno

Doporučeno
Rozpoznání
Když je v obrázku detekován jeden nebo více objektů, aplikace by měla:
- Sdělit uživateli, že aplikace čeká na výsledky
- Zobrazit průběh vyhledávání
Objekty detekované rozhraním ML Kit Object Detection & Tracking API se poté porovnají se sadou známých obrázků z vašeho modelu pro klasifikaci obrázků, která slouží k nalezení odpovídajících výsledků.
Detekce objektu na fotografii však nezaručuje, že budou nalezeny odpovídající výsledky. Proto by objekty neměly být označeny jako detekované, dokud nebudou k dispozici platné výsledky vyhledávání.

Doporučeno

Nedoporučeno
Pokyny k úpravám
Na úspěšnou detekci a identifikaci objektů mohou mít vliv následující faktory (seznam není úplný):
- Špatná kvalita obrázku
- Malá velikost objektu na obrázku
- Nízký kontrast mezi objektem a jeho pozadím
- Objekt je zobrazen z úhlu, ze kterého jej nelze rozpoznat
- Síťové připojení potřebné k dokončení vyhledávání není k dispozici

Doporučeno
Komunikace
Výsledky pro detekované objekty jsou uživatelům sdělovány takto:
- Umístěním značek objektů nad každý detekovaný objekt
- Zobrazením náhledu výsledků každého objektu na kartě (jako součást karuselu karet)
Vaše aplikace by měla nastavit práh jistoty pro zobrazování výsledků vizuálního vyhledávání. „Míra jistoty“ vyjadřuje, jak moc ML model důvěřuje přesnosti své predikce. U vizuálního vyhledávání udává míra jistoty každého výsledku, do jaké míry se výsledek podle modelu podobá poskytnutému obrázku.
Pokud má jeden nebo více objektů na obrázku výsledky vyhledávání, aplikace by měla tyto detekované objekty označit pomocí značek objektů a karuselu karet s náhledem výsledků každého objektu. Klepnutí na značku nebo kartu otevře modální spodní panel, který zobrazuje výsledky daného objektu.
Doporučeno
Doporučeno
Vyhodnocování výsledků vyhledávání
V některých případech nemusí výsledky vizuálního vyhledávání splňovat očekávání uživatelů, například v následujících situacích:
Nebyly nalezeny žádné výsledky
Vyhledávání může skončit bez shod, mimo jiné z těchto důvodů:
- Objekt není součástí známé sady objektů ani se jí nepodobá
- Objekt je zobrazen z úhlu, který model vizuálního vyhledávání nerozpoznává
- Špatná kvalita obrázku ztěžuje rozpoznání klíčových detailů objektu
Zobrazte banner, který vysvětlí, že nebyly nalezeny žádné výsledky, a odkáže uživatele na sekci nápovědy s informacemi, jak vyhledávání zlepšit.

Špatné výsledky
Pokud vyhledávání vrátí pouze výsledky s nízkou mírou jistoty, můžete uživatele vyzvat k opakování vyhledávání a nabídnout mu rady, jak jej zlepšit.

Doporučeno
Motivy
Motiv Shrine
Proces nákupu v aplikaci Shrine umožňuje uživatelům provádět vizuální vyhledávání produktů pomocí fotografie.


Značky objektů
Značky objektů aplikace Shrine mají tvar kosočtverce, který odráží tvarový styl značky (se šikmými řezy).

2. Tlačítko se zkosenými rohy o velikosti 4 dp
3. Značka objektu s tvarem kosočtverce
Značky objektů se obvykle zvětší, když je v karuselu vybrána odpovídající karta s výsledky, aby uživatelé mohli karty přiřadit k detekovaným objektům. Shrine však místo zvětšení značky objektu používá ke zvýraznění vlastní styly barev a ohraničení.

2. Značky objektů aplikace Shrine používají k označení aktuálního objektu rozdíl v barvě a stylech ohraničení. Barva kontejneru značky se změní z #FFFFFF na barvu On Surface značky Shrine (#442C2E) a získá ohraničení o tloušťce 6 dp v barvě #FFFFFF.
Karty
Karty s výsledky aplikace Shrine používají vlastní styly barev, typografie a tvarů.

2. Karty aplikace Shrine používají pro obsah písmo Rubik, barvu Shrine Pink 900 (#442C2E) jako svou barvu On Surface a mají zkosené rohy o velikosti 8 dp.