Skip to content
Material Design 2
Main Navigation
v3
v2
v1

čeština

English
简体中文
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
magyar

čeština

English
简体中文
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
magyar

Vzhled

Sidebar Navigation

Systém Material

Úvod

Materialové studie

O materialových studiích

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Základy Material

Prostředí

Povrchy

Elevace

Světlo a stíny

Rozvržení

Rozvržení: základy

Hustota pixelů

Responzivní mřížka rozvržení

Metody rozestupů

Chování komponent

Použití hustoty

Navigace

Porozumění navigaci

Navigační přechody

Vyhledávání

Barva

Systém barev

Použití barev v uživatelském rozhraní

Použití barev

Čitelnost textu

Tmavý motiv

Typografie

Typografický systém

Porozumění typografii

Podpora jazyků

Zvuk

O zvuku

Použití zvuku v uživatelském rozhraní (UI)

Zvukové atributy

Zvuková choreografie

Ikonografie

Produktové ikony

Systémové ikony

Animované ikony

Tvar

O tvaru

Tvar a hierarchie

Tvar jako prostředek vyjádření

Tvar a pohyb

Použití tvarů v uživatelském rozhraní

Pohyb

Porozumění pohybu

Systém pohybu

Rychlost

Choreografie

Přizpůsobení

Interakce

Gesta

Výběr

Stavy

Komunikace

Potvrzení a oznámení

Formáty údajů

Vizualizace dat

Prázdné stavy

Nápověda a zpětná vazba

Obrazový obsah

Úvodní obrazovka

Onboarding

Offline stavy

Psaní textů

Strojové učení

Návrhové vzory pro strojové učení

Detekce objektů: živá kamera

Detekce objektů: statický obrázek

Skenování čárových kódů

Pokyny Material

Material Theming

Přehled

Implementace vašeho motivu

Použitelnost

Přístupnost

Obousměrnost

Pokyny pro platformy

Lišty systému Android

Otisk prstu v systému Android

Haptika v Androidu

Ikony pro Android

Navigace mezi aplikacemi v Androidu

Notifikace v systému Android

Oprávnění v systému Android

Android slices

Rozdělená obrazovka v systému Android

Aktualizace přejetím na Androidu (swipe to refresh)

Panel nástrojů pro výběr textu v Androidu

Widget pro Android

Přizpůsobení napříč platformami

Komponenty

Spodní aplikační lišty

Horní lišty aplikace

Backdrop

Bannery

Spodní navigace

Tlačítka

Tlačítka: plovoucí akční tlačítko

Karty

Zaškrtávací políčka

Čipy

Datové tabulky

Výběr data

Dialogy

Oddělovače

Seznamy obrázků

Seznamy

Nabídky

Navigační zásuvka

Navigační lišta

Ukazatele průběhu

Přepínače

Spodní panely

Boční panely

Posuvníky

Snackbary

Přepínače

Záložky

Textová pole

Výběr času

Tooltipy

Na této stránce

Detekce objektů: živá kamera ​

Živou kameru zařízení lze pomocí strojového učení využít k detekci objektů v okolním prostředí.

Detekce objektů: živá kamera – úvodní obrázek

Použití ​

Živý obraz z kamery lze použít k identifikaci objektů ve fyzickém světě. V režimu streamování rozhraní ML Kit pro detekci a sledování objektů (Object Detection & Tracking API) dokáže kamera detekovat objekty a použít je jako vstup pro vizuální vyhledávání (vyhledávací dotaz, který jako vstup používá obrázek) pomocí modelu klasifikace obrázků vaší aplikace.

Vyhledávání pomocí živé kamery může uživatelům pomoci dozvědět se více o objektech kolem nich, ať už jde o artefakt v muzeu, nebo o zboží ke koupi.

Tyto pokyny předpokládají, že se v daném okamžiku detekuje vždy pouze jeden objekt.

Vizuální vyhledávání v živé kameře může uživatelům pomoci identifikovat objekty kolem nich, například druh rostliny.

Dokumentace k rozhraní ML Kit

Vývojářské příručky k detekci objektů

Související odkaz

Příklad – Android

Ukázková aplikace ML Kit pro Android

Související odkaz

Příklad – iOS

Ukázková aplikace ML Kit pro iOS

Související odkaz

Principy ​

Návrh této funkce vychází z následujících principů:

Navigujte pomocí kamery zařízení

Namísto zadávání textového vyhledávacího dotazu slouží kamera zařízení jako „dálkový ovladač“ pro vyhledávání vizuálního obsahu.

Chcete-li uživatelům vysvětlit, jak vyhledávat pomocí kamery, poskytněte úvodní seznámení a trvale dostupné pokyny.

Krátké animované úvodní seznámení pomůže uživatelům pochopit, jak mají zařízením pohybovat a jak kameru nasměrovat, aby mohli vyhledávat.

Udržujte obraz z kamery přehledný a čitelný

Chcete-li maximalizovat viditelnou plochu kamery, zarovnejte prvky uživatelského rozhraní aplikace k hornímu a dolnímu okraji obrazovky a zajistěte, aby text a ikony zůstaly čitelné i tehdy, když jsou umístěny nad živým obrazem z kamery.

Neinteraktivní prvky zobrazené nad živým obrazem z kamery by měly být poloprůhledné, aby co nejméně překážely výhledu z kamery.

Většina prvků je záměrně umístěna podél horního a spodního okraje obrazovky, aby bylo zobrazení z kamery maximalizováno
Většina prvků je záměrně umístěna podél horního a spodního okraje obrazovky, aby bylo zobrazení z kamery maximalizováno.

Poskytujte zpětnou vazbu

Práce s kamerou jako s vyhledávacím nástrojem přináší specifické požadavky na použití. Kvalita obrazu musí být dostatečná a uživatelé musí vědět, jak řešit problémy s obrazem způsobené osvětlením nebo příliš velkou vzdáleností od objektu.

Chybové stavy by měly:

  • Indikovat chyby pomocí několika designových signálů (například komponent a pohybu)
  • Zahrnovat vysvětlení, jak mohou uživatelé vyhledávání zlepšit
Bannery poskytují výrazný způsob, jak dát uživatelům vědět, že s jejich vyhledáváním není něco v pořádku
Bannery jsou výrazným způsobem, jak uživatelům sdělit, že s vyhledáváním není něco v pořádku. Poskytují také prostor pro odkaz na nápovědu s dalšími informacemi.

Komponenty ​

Funkce detekce objektů pomocí živé kamery využívá jak stávající komponenty Material Design, tak nové prvky specifické pro interakci s kamerou. Ukázky kódu a demonstrace nových prvků (jako je zaměřovací kříž) naleznete ve zdrojovém kódu ukázkových aplikací ML Kit Material Design pro Android a iOS.

Klíčové prvky v jednotlivých fázích vizuálního vyhledávání pomocí živé kamery
Klíčové prvky v jednotlivých fázích vizuálního vyhledávání pomocí živé kamery:
1. Horní aplikační lišta
2. Zaměřovací kříž
3. Označení objektu
4. Tooltipy
5. Detekovaný obrázek
6. Modální spodní panel
Komponenty

Horní aplikační lišta ​


Horní aplikační lišta poskytuje trvalý přístup k následujícím akcím:

  • Tlačítko pro ukončení vyhledávání
  • Přepínač pro zlepšení osvětlení (pomocí blesku kamery)
  • Sekce nápovědy pro řešení problémů s vyhledáváním
Dělejte: použijte pro kontejner horní aplikační lišty překryvnou vrstvu se stínováním nebo plnou barvu, abyste zajistili čitelnost jejích prvků nad obrazem z kamery

Doporučeno

Použijte pro kontejner horní aplikační lišty překryvnou vrstvu se stínováním (scrim) nebo plnou barvu, abyste zajistili čitelnost jejích prvků nad obrazem z kamery.

Horní aplikační lišta

Horní aplikační lišta zobrazuje informace a akce související s aktuální obrazovkou.

Související článek

Zaměřovací kříž ​

Zaměřovací kříž je vizuální prvek, který označuje místo, na němž se mají uživatelé při detekci objektů pomocí kamery soustředit (jeho název pochází z hledáčku fotoaparátu). Pulzující animace dává uživatelům najevo, že kamera aktivně hledá objekty.

Když je živá kamera namířena na objekt, zaměřovací kříž se změní na ukazatel průběhu s určenou hodnotou a signalizuje, že vizuální vyhledávání začalo.

Zaměřovací kříž by měl mít různé podoby a animační efekty, aby komunikoval klíčové stavy aplikace, například když kamera hledá objekty, nebo když došlo k chybě.

Stavy zaměřovacího kříže:

1. Při vnímání se používá pulzující animace, která naznačuje, že aplikace hledá objekty
2. Zahájení vyhledávání nastane po prodlevě stanovené vývojářem a je vyjádřeno ukazatelem průběhu s určenou hodnotou
3. Nutnost přiblížit se k objektu je vyjádřena zmenšováním středového kruhu zaměřovacího kříže, dokud nedosáhne minimální velikosti potřebné pro detekci
4. Zjištěné chyby změní ohraničení zaměřovacího kříže ze souvislé čáry na přerušovanou

Označení objektu ​

Rozhraní ML Kit pro detekci a sledování objektů nabízí možnost detekovat „nejvýraznější objekt“. Tento režim detekuje a sleduje jediný největší objekt poblíž středu záběru kamery. Jakmile je objekt detekován, měli byste jej označit souvislým obdélníkovým ohraničením.

Pokud vaše aplikace u detekovaných objektů vyžaduje minimální velikost obrázku, mělo by se označení objektu změnit na částečné obdélníkové ohraničení (zobrazující pouze jeho rohy). Tím se dá najevo, že objekt byl detekován, ale vyhledávání nemůže začít, dokud se uživatel nepřiblíží.

Částečné ohraničení a zpráva tooltipu mohou uživatele informovat, že objekt byl detekován a že se musí přiblížit, aby mohl zahájit vyhledávání.

Tooltipy ​

Tooltipy zobrazují uživatelům informativní text. Mohou signalizovat stav (například zprávou „Vyhledávání…“) i vyzývat uživatele k dalšímu kroku (například zprávou „Namiřte kameru na rostlinu“).

Dělejte: pište krátké tooltipy s termíny vhodnými pro vaše publikum

Doporučeno

Pište krátké tooltipy s termíny vhodnými pro vaše publikum.
Nedělejte: nepište tooltipy s akčními slovesy, například „Klepněte pro vyhledávání“, protože tooltipy neumožňují akci

Nedoporučeno

Nepište tooltipy s akčními slovesy, například „Klepněte pro vyhledávání“, protože tooltipy neumožňují akci.

Nedělejte: neumisťujte chybové zprávy do tooltipů

Nedoporučeno

Neumisťujte chybové zprávy do tooltipů. Chyby by měly být zobrazeny v banneru, který jejich význam zdůrazní a poskytne prostor pro akce.

Tooltipy

Zobrazují informativní text, když uživatelé najedou na prvek, zaměří se na něj, nebo na něj klepnou

Související článek

Detekovaný obrázek ​


Po detekci objektu vytvoří rozhraní ML Kit pro detekci a sledování objektů oříznutou verzi obrázku, která se používá k vizuálnímu vyhledávání pomocí vašeho modelu klasifikace obrázků.

Oříznutý obrázek se zobrazuje, aby:

  • Potvrdil detekovaný objekt
  • Umožnil porovnání s obrázky výsledků vyhledávání
  • Vysvětlil případné chyby týkající se obrázku (například nízkou kvalitu nebo přítomnost více objektů)
Umístění miniatury obrázku detekovaného objektu poblíž výsledků vyhledávání může uživatelům pomoci identifikovat nejlepší shodu
Umístění miniatury obrázku detekovaného objektu poblíž výsledků vyhledávání může uživatelům pomoci identifikovat nejlepší shodu.

Modální spodní panel ​

Modální spodní panely poskytují přístup k výsledkům vizuálního vyhledávání. Jejich rozvržení a obsah závisí na případu použití vaší aplikace, počtu výsledků a úrovni spolehlivosti těchto výsledků.

V modálním spodním panelu mohou seznamy nebo mřížky obrázků zobrazit více výsledků vizuálního vyhledávání
V modálním spodním panelu mohou seznamy nebo mřížky obrázků zobrazit více výsledků vizuálního vyhledávání. Panel lze otevřít do celé výšky obrazovky, aby bylo možné zobrazit další výsledky.
Modální spodní panel může zobrazit jeden výsledek a přizpůsobit své rozvržení obsahu
Modální spodní panel může zobrazit jeden výsledek a přizpůsobit své rozvržení obsahu.

Spodní panely

Plochy s doplňkovým obsahem ukotvené ke spodní části obrazovky.

Související článek

Průběh ​

Vizuální vyhledávání pomocí živé kamery probíhá ve třech fázích:

  1. Vnímání: Použijte kameru k získání vstupu
  2. Rozpoznání: Detekujte a identifikujte objekt
  3. Komunikace: Pokud je nalezen odpovídající objekt, sdělte to uživateli

Vnímání ​

Detekce objektů začíná při otevření funkce vizuálního vyhledávání. „Vnímání“ označuje fázi, ve které kamera hledá objekty v živém obrazu. Během této fáze by aplikace měla:

  • popisovat, jak funkce funguje,
  • sdělovat, co aplikace dělá,
  • vést uživatele při ovládání kamery a navrhovat úpravy.

Popište, jak funkce funguje ​

Poskytněte uživatelům pokyny, jak kameru používat jako „dálkový ovladač“ pro vyhledávání objektů v okolním prostředí. Tento postup vysvětlete v úvodním seznámení a v obsahu nápovědy.

Dělejte: vysvětlete interakci pomocí úvodního seznámení na jedné obrazovce

Doporučeno

Vysvětlete interakci pomocí úvodního seznámení na jedné obrazovce. Doporučuje se animace, která uživateli demonstruje, jak má zařízením pohybovat.
Nedělejte: nevyžadujte zdlouhavý proces úvodního seznámení, který popisuje všechny možné chybové stavy

Nedoporučeno

Nevyžadujte zdlouhavý proces úvodního seznámení, který popisuje všechny možné chybové stavy. Další informace poskytněte až ve chvíli, kdy uživatel narazí na problém.

Dělejte: vytvořte samostatnou sekci nápovědy s informacemi, které zahrnují druhy objektů, jež lze detekovat

Doporučeno

Vytvořte samostatnou sekci nápovědy s informacemi o druzích objektů, které lze detekovat, o tom, jak dosáhnout nejlepších výsledků, a o tom, jak se obrázky používají.

Sdělte, co aplikace dělá

Zatímco kamera hledá objekty, zaměřovací kříž pulzuje a tooltip vyzývá uživatele, aby kameru nasměrovali na objekty.

Doporučeno

Dávejte uživatelům signály, jako jsou animovaný zaměřovací kříž a tooltip, které naznačují, jak se toto uživatelské rozhraní liší od kamery sloužící k pořizování fotografií.

Veďte uživatele k úpravám

Někdy podmínky prostředí ztěžují detekci objektu, například na místech, která:

  • jsou příliš světlá nebo tmavá, než aby v nich bylo možné rozpoznat objekt vůči pozadí,
  • obsahují překrývající se objekty, které se obtížně rozlišují.

Pokud objekt delší dobu nelze detekovat, zastavte animaci zaměřovacího kříže a odkažte uživatele na nápovědu.

Pokud vyprší časový limit detekce, dejte uživatelům vědět, že není něco v pořádku: zastavte animaci zaměřovacího kříže a zdůrazněte obsah nápovědy.

Rozpoznání ​

Když kamera objekt detekuje, aplikace by měla:

  1. Označit detekovaný objekt
  2. Zobrazit výzvu k zahájení vyhledávání
  3. Zobrazit průběh vyhledávání

Identifikujte detekovaný objekt

Když kamera objekt najde, zastavte animaci zaměřovacího kříže a označte detekovaný objekt ohraničením.

Kolem detekovaného objektu se objeví obdélníkové ohraničení, které naznačuje, že objekt byl rozpoznán
Kolem detekovaného objektu se objeví obdélníkové ohraničení, které naznačuje, že objekt byl rozpoznán.

Vyzvěte k vyhledávání

Vyzvěte uživatele, aby detekovaný objekt udržovali ve středu záběru. Před zahájením vyhledávání zařaďte krátkou prodlevu, během níž se v zaměřovacím kříži zobrazuje ukazatel průběhu s určenou hodnotou. Uživatelé tak mají čas buď:

  • potvrdit vyhledávání (udrží-li zařízení v klidu),
  • zrušit jej (odkloní-li kameru od objektu).

Délku prodlevy si můžete přizpůsobit.

Prodleva umožňuje uživatelům v případě potřeby vyhledávání zrušit.

Zobrazte průběh vyhledávání

Jakmile vyhledávání začne, detekce objektů se zastaví a živý obraz z kamery se pozastaví. Tím se zabrání spuštění nového vyhledávání a uživatel si zároveň může zařízení přesunout do pohodlnější polohy.

Průběh vyhledávání je signalizován ukazatelem průběhu s neurčenou hodnotou a textem tooltipu.

K naznačení, že vyhledávání začalo a uživatelé mají počkat na načtení výsledků, se používá několik designových signálů (pohyb, scrim a text).

Řešte problémy ​

Během fáze rozpoznávání mohou kvalitu výsledků vyhledávání ovlivnit dva problémy:

Malá velikost obrázku: Pokud je detekovaný objekt příliš daleko od kamery, nelze vytvořit obrázek vysoké kvality (kvalita se určuje podle minimální velikosti obrázku, kterou jste nastavili).

K naznačení, že detekce není dokončena, zobrazte kolem objektu místo úplného ohraničení částečné ohraničení a zprávu tooltipu vyzývající uživatele, aby se přiblížil.

Částečné ohraničení a zpráva tooltipu mohou uživatele informovat, že objekt byl detekován a že se musí přiblížit, aby mohl zahájit vyhledávání.

Síťové připojení: Pokud je váš model klasifikace obrázků hostovaný v cloudu, je nutné stabilní síťové připojení. Pokud se připojení k internetu přeruší, zobrazte banner s upozorněním, že pro pokračování je internetové připojení nezbytné.

Problémy se sítí lze uživatelům sdělit pomocí banneru
Na problémy se sítí lze uživatele upozornit bannerem, který nabízí akci pro opakování dotazu, jakmile se problém vyřeší.

Komunikace ​

Výsledky vizuálního vyhledávání se zobrazují v modálním spodním panelu. Během této fáze by aplikace měla:

  • Zobrazit výsledky
  • Zobrazit detekovaný objekt
  • Poskytnout rychlou navigaci

Vaše aplikace by měla nastavit práh spolehlivosti pro zobrazování výsledků vizuálního vyhledávání. „Spolehlivost“ označuje, jak model strojového učení hodnotí přesnost své predikce. U vizuálního vyhledávání úroveň spolehlivosti každého výsledku udává, nakolik je podle modelu daný výsledek podobný poskytnutému obrázku.

Dělejte: seřaďte výsledky vizuálního vyhledávání podle spolehlivosti vašeho modelu, aby se nejlépe odpovídající položky zobrazily jako první

Doporučeno

Seřaďte výsledky vizuálního vyhledávání podle spolehlivosti vašeho modelu, aby se nejlépe odpovídající položky zobrazily jako první.
Dělejte: zobrazte pouze výsledek s nejvyšší spolehlivostí, pokud daný případ použití vyžaduje přesnou shodu

Doporučeno

Zobrazte pouze výsledek s nejvyšší spolehlivostí, pokud daný případ použití vyžaduje přesnou shodu.

Zobrazte detekovaný objekt

Chcete-li umožnit porovnání mezi detekovaným objektem a výsledky vyhledávání, zobrazte miniaturu detekovaného objektu nad modálním spodním panelem.

Dělejte: zahrňte detekovaný obrázek objektu pro porovnání s obrázky výsledků vyhledávání

Doporučeno

Zahrňte detekovaný obrázek objektu pro porovnání s obrázky výsledků vyhledávání.

Poskytněte rychlou navigaci ​

Po zobrazení výsledků mohou uživatelé provést různé akce:

  • Pro návrat ke kameře mohou uživatelé klepnout na scrim nebo na záhlaví modálního spodního panelu.
  • Pro opuštění kamery mohou uživatelé klepnout na výsledek, přejít jinam v aplikaci, nebo kameru zavřít klepnutím na tlačítko X a vrátit se do aplikace.

Klepnutí na záhlaví spodního panelu nebo na scrim vrátí uživatele zpět na obrazovku s živou kamerou, kde mohou pokračovat ve vyhledávání.
Zobrazte pouze výsledek s nejvyšší spolehlivostí, pokud daný případ použití vyžaduje přesnou shodu.

Vyhodnocování výsledků vyhledávání ​

V některých případech nemusí výsledky vizuálního vyhledávání splňovat očekávání uživatelů, například v následujících scénářích:

Nebyly nalezeny žádné výsledky

Vyhledávání může skončit bez výsledků z několika důvodů, mimo jiné:

  • objekt není součástí známé sady objektů ani jí není podobný,
  • objekt byl detekován z nerozpoznaného úhlu,
  • obrázek může být nízké kvality, což ztěžuje rozpoznání klíčových detailů objektu.

Pokud nejsou žádné výsledky, zobrazte banner s vysvětlením a odkažte uživatele na sekci nápovědy s informacemi, jak vyhledávání zlepšit.

Banner poskytuje prostor pro vysvětlení a odkaz na obsah nápovědy, pokud nebyly nalezeny žádné výsledky vyhledávání
Banner poskytuje prostor pro vysvětlení a odkaz na obsah nápovědy, pokud nebyly nalezeny žádné výsledky vyhledávání.

Neuspokojivé výsledky

Pokud vyhledávání vrátí pouze výsledky s nízkou spolehlivostí, můžete uživatele vyzvat, aby jej zopakovali, a nabídnout jim rady, jak jej zlepšit.

Dělejte: odkazujte na obsah nápovědy, když mají všechny výsledky nízkou spolehlivost

Doporučeno

Odkazujte na obsah nápovědy, když mají všechny výsledky nízkou spolehlivost.

Vysvětlitelnost + důvěryhodnost

Vysvětlování predikcí, doporučení a dalších výstupů AI

Související odkaz

Chyby + elegantní selhání

Jak zpracovat chyby ML

Související odkaz

Motivy ​

Motiv Material Shrine ​

Vizuální vyhledávání pomocí živé kamery se používá v nákupním procesu aplikace Shrine.

Úhlové tvary z vizuálního stylu Shrine se uplatňují u klíčových prvků, jako je zaměřovací kříž
Úhlové tvary z vizuálního stylu Shrine se uplatňují u klíčových prvků, jako je zaměřovací kříž.
Barevné a typografické styly aplikace Shrine se používají i na výsledcích vizuálního vyhledávání, aby byly v souladu se zbytkem aplikace
Barevné a typografické styly aplikace Shrine se používají i na výsledcích vizuálního vyhledávání, aby byly v souladu se zbytkem aplikace.

Zaměřovací kříž ​

Zaměřovací kříž aplikace Shrine má tvar kosočtverce, který vychází z tvarového stylu Shrine založeného na úhlových řezech.

Schéma geometrického loga aplikace Shrine, tlačítka s rohy zkosenými o 4 dp a zaměřovacího kříže ve tvaru kosočtverce
1. Geometrické logo aplikace Shrine
2. Tlačítko s rohy zkosenými o 4 dp
3. Zaměřovací kříž ve tvaru kosočtverce

Tooltip aplikace Shrine je zvýrazněn pomocí vlastních barev, typografie a umístění.

Tooltipy jsou obvykle méně výrazné komponenty, jejichž šířka vychází z jejich textu
1. Tooltipy jsou obvykle méně výrazné komponenty, jejichž šířka vychází z jejich textu.
2. Tooltip aplikace Shrine používá vlastní barvy a typografii a rozšiřuje svůj kontejner až k okrajům obrazovky.

Shrine

Shrine je značka životního stylu a módy, která ukazuje, jak lze Material Design použít v e-commerce.

Související článek

Pager
Předchozí stránkaNávrhové vzory pro strojové učení
Další stránkaDetekce objektů: statický obrázek

Vydáno pod licencí Apache-2.0.

Copyright © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

Vydáno pod licencí Apache-2.0.

Copyright © 2018-Present Google