Detekce objektů: živá kamera
Živou kameru zařízení lze pomocí strojového učení využít k detekci objektů v okolním prostředí.

Použití
Živý obraz z kamery lze použít k identifikaci objektů ve fyzickém světě. V režimu streamování rozhraní ML Kit pro detekci a sledování objektů (Object Detection & Tracking API) dokáže kamera detekovat objekty a použít je jako vstup pro vizuální vyhledávání (vyhledávací dotaz, který jako vstup používá obrázek) pomocí modelu klasifikace obrázků vaší aplikace.
Vyhledávání pomocí živé kamery může uživatelům pomoci dozvědět se více o objektech kolem nich, ať už jde o artefakt v muzeu, nebo o zboží ke koupi.
Tyto pokyny předpokládají, že se v daném okamžiku detekuje vždy pouze jeden objekt.
Principy
Návrh této funkce vychází z následujících principů:
Navigujte pomocí kamery zařízení
Namísto zadávání textového vyhledávacího dotazu slouží kamera zařízení jako „dálkový ovladač“ pro vyhledávání vizuálního obsahu.
Chcete-li uživatelům vysvětlit, jak vyhledávat pomocí kamery, poskytněte úvodní seznámení a trvale dostupné pokyny.
Udržujte obraz z kamery přehledný a čitelný
Chcete-li maximalizovat viditelnou plochu kamery, zarovnejte prvky uživatelského rozhraní aplikace k hornímu a dolnímu okraji obrazovky a zajistěte, aby text a ikony zůstaly čitelné i tehdy, když jsou umístěny nad živým obrazem z kamery.
Neinteraktivní prvky zobrazené nad živým obrazem z kamery by měly být poloprůhledné, aby co nejméně překážely výhledu z kamery.

Poskytujte zpětnou vazbu
Práce s kamerou jako s vyhledávacím nástrojem přináší specifické požadavky na použití. Kvalita obrazu musí být dostatečná a uživatelé musí vědět, jak řešit problémy s obrazem způsobené osvětlením nebo příliš velkou vzdáleností od objektu.
Chybové stavy by měly:
- Indikovat chyby pomocí několika designových signálů (například komponent a pohybu)
- Zahrnovat vysvětlení, jak mohou uživatelé vyhledávání zlepšit

Komponenty
Funkce detekce objektů pomocí živé kamery využívá jak stávající komponenty Material Design, tak nové prvky specifické pro interakci s kamerou. Ukázky kódu a demonstrace nových prvků (jako je zaměřovací kříž) naleznete ve zdrojovém kódu ukázkových aplikací ML Kit Material Design pro Android a iOS.

1. Horní aplikační lišta
2. Zaměřovací kříž
3. Označení objektu
4. Tooltipy
5. Detekovaný obrázek
6. Modální spodní panel

Horní aplikační lišta
Horní aplikační lišta poskytuje trvalý přístup k následujícím akcím:
- Tlačítko pro ukončení vyhledávání
- Přepínač pro zlepšení osvětlení (pomocí blesku kamery)
- Sekce nápovědy pro řešení problémů s vyhledáváním

Doporučeno
Zaměřovací kříž
Zaměřovací kříž je vizuální prvek, který označuje místo, na němž se mají uživatelé při detekci objektů pomocí kamery soustředit (jeho název pochází z hledáčku fotoaparátu). Pulzující animace dává uživatelům najevo, že kamera aktivně hledá objekty.
Když je živá kamera namířena na objekt, zaměřovací kříž se změní na ukazatel průběhu s určenou hodnotou a signalizuje, že vizuální vyhledávání začalo.
1. Při vnímání se používá pulzující animace, která naznačuje, že aplikace hledá objekty
2. Zahájení vyhledávání nastane po prodlevě stanovené vývojářem a je vyjádřeno ukazatelem průběhu s určenou hodnotou
3. Nutnost přiblížit se k objektu je vyjádřena zmenšováním středového kruhu zaměřovacího kříže, dokud nedosáhne minimální velikosti potřebné pro detekci
4. Zjištěné chyby změní ohraničení zaměřovacího kříže ze souvislé čáry na přerušovanou
Označení objektu
Rozhraní ML Kit pro detekci a sledování objektů nabízí možnost detekovat „nejvýraznější objekt“. Tento režim detekuje a sleduje jediný největší objekt poblíž středu záběru kamery. Jakmile je objekt detekován, měli byste jej označit souvislým obdélníkovým ohraničením.
Pokud vaše aplikace u detekovaných objektů vyžaduje minimální velikost obrázku, mělo by se označení objektu změnit na částečné obdélníkové ohraničení (zobrazující pouze jeho rohy). Tím se dá najevo, že objekt byl detekován, ale vyhledávání nemůže začít, dokud se uživatel nepřiblíží.
Tooltipy
Tooltipy zobrazují uživatelům informativní text. Mohou signalizovat stav (například zprávou „Vyhledávání…“) i vyzývat uživatele k dalšímu kroku (například zprávou „Namiřte kameru na rostlinu“).

Doporučeno

Nedoporučeno

Nedoporučeno
Detekovaný obrázek
Po detekci objektu vytvoří rozhraní ML Kit pro detekci a sledování objektů oříznutou verzi obrázku, která se používá k vizuálnímu vyhledávání pomocí vašeho modelu klasifikace obrázků.
Oříznutý obrázek se zobrazuje, aby:
- Potvrdil detekovaný objekt
- Umožnil porovnání s obrázky výsledků vyhledávání
- Vysvětlil případné chyby týkající se obrázku (například nízkou kvalitu nebo přítomnost více objektů)

Modální spodní panel
Modální spodní panely poskytují přístup k výsledkům vizuálního vyhledávání. Jejich rozvržení a obsah závisí na případu použití vaší aplikace, počtu výsledků a úrovni spolehlivosti těchto výsledků.


Průběh
Vizuální vyhledávání pomocí živé kamery probíhá ve třech fázích:
- Vnímání: Použijte kameru k získání vstupu
- Rozpoznání: Detekujte a identifikujte objekt
- Komunikace: Pokud je nalezen odpovídající objekt, sdělte to uživateli
Vnímání
Detekce objektů začíná při otevření funkce vizuálního vyhledávání. „Vnímání“ označuje fázi, ve které kamera hledá objekty v živém obrazu. Během této fáze by aplikace měla:
- popisovat, jak funkce funguje,
- sdělovat, co aplikace dělá,
- vést uživatele při ovládání kamery a navrhovat úpravy.
Popište, jak funkce funguje
Poskytněte uživatelům pokyny, jak kameru používat jako „dálkový ovladač“ pro vyhledávání objektů v okolním prostředí. Tento postup vysvětlete v úvodním seznámení a v obsahu nápovědy.

Doporučeno

Nedoporučeno

Doporučeno
Sdělte, co aplikace dělá
Zatímco kamera hledá objekty, zaměřovací kříž pulzuje a tooltip vyzývá uživatele, aby kameru nasměrovali na objekty.
Doporučeno
Veďte uživatele k úpravám
Někdy podmínky prostředí ztěžují detekci objektu, například na místech, která:
- jsou příliš světlá nebo tmavá, než aby v nich bylo možné rozpoznat objekt vůči pozadí,
- obsahují překrývající se objekty, které se obtížně rozlišují.
Pokud objekt delší dobu nelze detekovat, zastavte animaci zaměřovacího kříže a odkažte uživatele na nápovědu.
Rozpoznání
Když kamera objekt detekuje, aplikace by měla:
- Označit detekovaný objekt
- Zobrazit výzvu k zahájení vyhledávání
- Zobrazit průběh vyhledávání
Identifikujte detekovaný objekt
Když kamera objekt najde, zastavte animaci zaměřovacího kříže a označte detekovaný objekt ohraničením.

Vyzvěte k vyhledávání
Vyzvěte uživatele, aby detekovaný objekt udržovali ve středu záběru. Před zahájením vyhledávání zařaďte krátkou prodlevu, během níž se v zaměřovacím kříži zobrazuje ukazatel průběhu s určenou hodnotou. Uživatelé tak mají čas buď:
- potvrdit vyhledávání (udrží-li zařízení v klidu),
- zrušit jej (odkloní-li kameru od objektu).
Délku prodlevy si můžete přizpůsobit.
Zobrazte průběh vyhledávání
Jakmile vyhledávání začne, detekce objektů se zastaví a živý obraz z kamery se pozastaví. Tím se zabrání spuštění nového vyhledávání a uživatel si zároveň může zařízení přesunout do pohodlnější polohy.
Průběh vyhledávání je signalizován ukazatelem průběhu s neurčenou hodnotou a textem tooltipu.
Řešte problémy
Během fáze rozpoznávání mohou kvalitu výsledků vyhledávání ovlivnit dva problémy:
Malá velikost obrázku: Pokud je detekovaný objekt příliš daleko od kamery, nelze vytvořit obrázek vysoké kvality (kvalita se určuje podle minimální velikosti obrázku, kterou jste nastavili).
K naznačení, že detekce není dokončena, zobrazte kolem objektu místo úplného ohraničení částečné ohraničení a zprávu tooltipu vyzývající uživatele, aby se přiblížil.
Síťové připojení: Pokud je váš model klasifikace obrázků hostovaný v cloudu, je nutné stabilní síťové připojení. Pokud se připojení k internetu přeruší, zobrazte banner s upozorněním, že pro pokračování je internetové připojení nezbytné.

Komunikace
Výsledky vizuálního vyhledávání se zobrazují v modálním spodním panelu. Během této fáze by aplikace měla:
- Zobrazit výsledky
- Zobrazit detekovaný objekt
- Poskytnout rychlou navigaci
Vaše aplikace by měla nastavit práh spolehlivosti pro zobrazování výsledků vizuálního vyhledávání. „Spolehlivost“ označuje, jak model strojového učení hodnotí přesnost své predikce. U vizuálního vyhledávání úroveň spolehlivosti každého výsledku udává, nakolik je podle modelu daný výsledek podobný poskytnutému obrázku.

Doporučeno

Doporučeno
Zobrazte detekovaný objekt
Chcete-li umožnit porovnání mezi detekovaným objektem a výsledky vyhledávání, zobrazte miniaturu detekovaného objektu nad modálním spodním panelem.

Doporučeno
Poskytněte rychlou navigaci
Po zobrazení výsledků mohou uživatelé provést různé akce:
- Pro návrat ke kameře mohou uživatelé klepnout na scrim nebo na záhlaví modálního spodního panelu.
- Pro opuštění kamery mohou uživatelé klepnout na výsledek, přejít jinam v aplikaci, nebo kameru zavřít klepnutím na tlačítko X a vrátit se do aplikace.
Vyhodnocování výsledků vyhledávání
V některých případech nemusí výsledky vizuálního vyhledávání splňovat očekávání uživatelů, například v následujících scénářích:
Nebyly nalezeny žádné výsledky
Vyhledávání může skončit bez výsledků z několika důvodů, mimo jiné:
- objekt není součástí známé sady objektů ani jí není podobný,
- objekt byl detekován z nerozpoznaného úhlu,
- obrázek může být nízké kvality, což ztěžuje rozpoznání klíčových detailů objektu.
Pokud nejsou žádné výsledky, zobrazte banner s vysvětlením a odkažte uživatele na sekci nápovědy s informacemi, jak vyhledávání zlepšit.

Neuspokojivé výsledky
Pokud vyhledávání vrátí pouze výsledky s nízkou spolehlivostí, můžete uživatele vyzvat, aby jej zopakovali, a nabídnout jim rady, jak jej zlepšit.

Doporučeno
Motivy
Motiv Material Shrine
Vizuální vyhledávání pomocí živé kamery se používá v nákupním procesu aplikace Shrine.


Zaměřovací kříž
Zaměřovací kříž aplikace Shrine má tvar kosočtverce, který vychází z tvarového stylu Shrine založeného na úhlových řezech.

2. Tlačítko s rohy zkosenými o 4 dp
3. Zaměřovací kříž ve tvaru kosočtverce
Tooltip aplikace Shrine je zvýrazněn pomocí vlastních barev, typografie a umístění.

2. Tooltip aplikace Shrine používá vlastní barvy a typografii a rozšiřuje svůj kontejner až k okrajům obrazovky.