Tárgyfelismerés: élő kamera
Az eszköz élő kamerája gépi tanulással használható a környezetben lévő tárgyak észlelésére.

Használat
A kamera élő képe a fizikai világban lévő tárgyak azonosítására használható. Az ML Kit Object Detection & Tracking API „streaming” módjával a kameraképen észlelhetők a tárgyak, majd az észlelt tárgyak az alkalmazás saját képosztályozó modelljével elvégzett vizuális keresés bemeneteként szolgálhatnak (a vizuális keresés olyan keresési lekérdezés, amely képet használ bemenetként).
Az élő kamerával végzett keresés segíthet a felhasználóknak többet megtudni a körülöttük lévő tárgyakról, legyen szó egy múzeumi műtárgyról vagy egy megvásárolható termékről.
Ezek az irányelvek egyszerre csak egyetlen tárgy észlelésére vonatkoznak.
Alapelvek
A funkció tervezése a következő elveken alapul:
Keresés az eszköz kamerájával
Keresési kifejezés beírása helyett a felhasználó az eszköz kameráját használja „távirányítóként” a vizuális tartalmak keresésére.
Hogy a felhasználók megértsék, hogyan kereshetnek a kamerájukkal, biztosítson bevezető útmutatást, valamint állandóan látható utasításokat.
A kamerakép maradjon tiszta és jól látható
A kamerakép látható területének maximalizálása érdekében igazítsa az alkalmazás felhasználói felületének elemeit a képernyő felső és alsó széleihez, és gondoskodjon arról, hogy a szövegek és ikonok az élő kamerakép előtt is olvashatók maradjanak.
Minden, az élő kamerakép előtt megjelenő, nem interaktív elem legyen félig átlátszó, hogy a lehető legkevésbé takarja a kameraképet.

Biztosítson visszajelzést
A kamera keresési eszközként való használata sajátos követelményekkel jár: a képminőségnek megfelelőnek kell lennie, és a felhasználóknak tudniuk kell, hogyan orvosolhatók a nem megfelelő világításból vagy a tárgytól való túl nagy távolságból eredő képproblémák.
A hibaállapotoknak a következőket kell megvalósítaniuk:
- A hibák jelzése több tervezési jelzéssel (például komponensekkel és mozgással)
- Magyarázat arra vonatkozóan, hogyan javíthatják a felhasználók a keresésüket

Komponensek
Az élő kamerás tárgyfelismerési funkció a meglévő Material Design komponenseket és a kamerainterakcióra jellemző új elemeket egyaránt használja. Az új elemek (például a célkereszt) kódmintáiért és demóiért tekintse meg az ML Kit Material Design bemutatóalkalmazások forráskódját Androidra és iOS-re.

1. Felső alkalmazássáv
2. Célkereszt
3. Tárgyjelölő
4. Eszköztipp
5. Észlelt kép
6. Modális alsó lap

Felső alkalmazássáv
A felső alkalmazássáv állandó hozzáférést biztosít a következő műveletekhez:
- Egy gomb a keresésből való kilépéshez
- Egy kapcsológomb a fényerő javításához (a kamera vakuja segítségével)
- Egy Súgó szakasz a keresési problémák elhárításához

Ajánlott
Célkereszt
A célkereszt egy vizuális jelző, amely célpontot ad a felhasználónak a tárgyak kamerával való észlelésekor (a nevét a fényképezőgépek keresője ihlette). Pulzáló animációt használ, hogy jelezze a felhasználónak, amikor a kamera éppen tárgyakat keres.
Amikor az élő kamera egy tárgyra van irányítva, a célkereszt határozott értékű folyamatjelzővé alakul át, jelezve, hogy a vizuális keresés megkezdődött.
1. Az érzékelés pulzáló animációt használ, jelezve, hogy az alkalmazás éppen tárgyakat keres
2. A keresés megkezdése egy előre beállított késleltetés (a fejlesztő által meghatározott) után történik, amit határozott értékű folyamatjelző jelez
3. A tárgyhoz való közelebb kerülés szükségességét a célkereszt középső körének méretcsökkenése fejezi ki, amíg a kör el nem éri a minimálisan észlelhető méretet
4. Bármilyen észlelt hiba esetén a célkereszt körvonala folytonos vonalról szaggatott vonalra változik
Tárgyjelölő
Az ML Kit Object Detection & Tracking API lehetőséget kínál a „legszembetűnőbb tárgy” észlelésére. Ez a lehetőség a kamera közepe közelében lévő legnagyobb tárgyat észleli és követi. Az észlelés után folytonos téglalap alakú szegéllyel jelölje meg a tárgyat.
Ha az alkalmazás minimális képméretet ír elő az észlelt tárgyakra, a tárgyjelölő részleges téglalap alakú szegélyre vált át (csak a szegély sarkait megjelenítve). Ez azt jelzi, hogy a rendszer észlelt egy tárgyat, de a keresés addig nem indítható, amíg a felhasználó közelebb nem kerül.
Eszköztipp
Az eszköztippek tájékoztató szöveget jelenítenek meg a felhasználóknak. Ezek egyaránt kifejezhetnek állapotokat (például egy „Keresés…” üzenettel), és a következő lépésre is ösztönözhetik a felhasználót (például egy „Irányítsa a kameráját egy növényre” üzenettel).

Ajánlott

Kerülendő

Kerülendő
Észlelt kép
Egy tárgy észlelésekor az ML Kit Object Detection & Tracking API létrehozza a kép egy kivágott változatát, amelyet az alkalmazás a képosztályozó modelljével végzett vizuális kereséshez használ fel.
A kivágott kép az alábbi célokat szolgálja:
- Az észlelt tárgy megerősítését
- Összehasonlítást a keresési eredmények képeivel
- A képhez kapcsolódó hibák magyarázatát (például ha a kép alacsony minőségű, vagy több tárgyat tartalmaz)

Modális alsó lap
A modális alsó lapok hozzáférést biztosítanak a vizuális keresési eredményekhez. Elrendezésük és tartalmuk az alkalmazás használati esetétől, az eredmények számától, valamint az eredmények megbízhatósági szintjétől függ.


Élmény
Az élő kamerás vizuális keresés három fázisban zajlik:
- Érzékelés: Bevitel megkeresése a kamera segítségével
- Felismerés: Egy tárgy észlelése és azonosítása
- Kommunikáció: Ha a keresés egyező tárgyat talál, azt közölni kell a felhasználóval
Érzékelés
A tárgyfelismerés akkor kezdődik, amikor a felhasználó megnyitja a vizuális keresési funkciót. Az „érzékelés” arra utal, hogy a kamera az élő kamerakép adatfolyamában keres tárgyakat. Ebben a fázisban az alkalmazásnak:
- Le kell írnia, hogyan működik a funkció
- Láthatóvá kell tennie az alkalmazás műveleteit
- Útmutatást kell adnia arra vonatkozóan, hogyan irányítsa a felhasználó a kamerát, és javasolnia kell a beállításokat
Írja le, hogyan működik a funkció
Biztosítson a felhasználóknak útmutatást arról, hogyan használják a kamerát „távirányítóként” a környezetben lévő tárgyak keresésére, és írja le az élményt bevezető útmutatással és súgótartalommal.

Ajánlott

Kerülendő

Ajánlott
Tegye láthatóvá az alkalmazás műveleteit
Amíg a kamera keres, a célkereszt pulzál, jelezve, hogy a kamera éppen „figyel”, és egy eszköztipp pedig felszólítja a felhasználót, hogy irányítsa a kamerát a tárgyakra.
Ajánlott
Segítsen a beállításokban
Néha a környezeti körülmények megnehezítik egy tárgy észlelését, például olyan helyeken, ahol:
- Túl erős a fény, vagy túl sötét a környezet ahhoz, hogy a tárgy elkülönüljön a háttértől
- Átfedő tárgyak vannak, amelyeket nehéz megkülönböztetni egymástól
Ha hosszú ideig nem sikerül tárgyat észlelni, állítsa le a célkereszt animációját, és irányítsa a felhasználót a súgótartalomhoz.
Felismerés
Amikor a kamera észlelt egy tárgyat, az alkalmazásnak:
- Meg kell jelölnie az észlelt tárgyat
- Felszólítást kell megjelenítenie a felhasználó számára a keresés megkezdéséhez
- Meg kell jelenítenie a keresési előrehaladást
Azonosítsa az észlelt tárgyat
Annak jelzésére, hogy a kamera talált egy tárgyat, állítsa le a célkereszt animációját, és jelölje meg az észlelt tárgyat egy szegéllyel.

Felszólítás a keresésre
Utasítsa a felhasználót, hogy tartsa az észlelt tárgyat a kamerakép közepén. A keresés megkezdése előtt iktasson be rövid késleltetést, amelyet a célkeresztben egy határozott értékű folyamatjelző kísér. Ez időt ad a felhasználónak arra, hogy:
- Megerősítse a keresési szándékot (a felhasználók mozdulatlanul tartják az eszköz kameráját)
- Megszakítsa a keresést (a felhasználók elmozdítják a kamerát a tárgytól)
A késleltetés hosszát testre szabhatja.
Jelenítse meg a keresési előrehaladást
Miután elindult a keresés, leáll a tárgyfelismerés, és az élő kamerakép is szünetel. Ez megakadályozza az új kereséseket (és lehetővé teszi a felhasználó számára, hogy az eszközt kényelmesebb helyzetbe mozgassa).
A keresési előrehaladást egy határozatlan folyamatjelző és egy eszköztipp jelzi.
Hibák kezelése
A felismerési szakaszban két probléma befolyásolhatja a keresési eredmények minőségét:
Kis képméret: Ha egy észlelt tárgy túl messze van a kamerától, a róla készült kép nem lesz jó minőségű (az alkalmazásban beállított minimális képméret alapján).
Annak jelzésére, hogy az észlelés nem fejeződött be, jelenítsen meg részleges szegélyt a tárgy körül (teljes szegély helyett), és jelenítsen meg egy eszköztippet, amely arra ösztönzi a felhasználót, hogy menjen közelebb a tárgyhoz.
Hálózati kapcsolat: Stabil hálózati kapcsolat szükséges, ha a képosztályozó modell a felhőben található. Ha az internetkapcsolat megszakad, jelenítsen meg egy bannert, amely jelzi, hogy a folytatáshoz internetkapcsolatra van szükség.

Kommunikáció
A vizuális keresés eredményei egy modális alsó lapon jelennek meg. Ebben a fázisban az alkalmazásnak:
- Meg kell jelenítenie az eredményeket
- Meg kell jelenítenie az észlelt tárgyat
- Gyors navigációt kell biztosítania
Az alkalmazásnak meg kell határoznia egy megbízhatósági küszöbértéket a vizuális keresési eredmények megjelenítéséhez. A „megbízhatóság” annak értékelésére utal, hogy az ML-modell mennyire tartja pontosnak az előrejelzését. A vizuális keresés esetében az egyes eredmények megbízhatósági szintje azt jelzi, hogy a modell mennyire tartja az adott eredményt hasonlónak a bemenetként megadott képhez.

Ajánlott

Ajánlott
Jelenítse meg az észlelt tárgyat
Hogy az észlelt tárgy összehasonlítható legyen a keresési eredményekkel, jelenítse meg az észlelt tárgy bélyegképét a modális alsó lap felett.

Ajánlott
Biztosítson gyors navigációt
Az eredmények megtekintése után a felhasználók különböző műveleteket hajthatnak végre:
- A kamerához való visszatéréshez a felhasználók az árnyékoló rétegre vagy a modális alsó lap fejlécére koppinthatnak.
- A kamerából való kilépéshez a felhasználó kiválaszthat egy eredményt, továbbléphet az alkalmazás más részére, vagy az „X” gombra koppintva bezárhatja a kamerát, és visszatérhet az alkalmazásba.
A keresési eredmények értékelése
Bizonyos esetekben a vizuális keresési eredmények nem felelhetnek meg a felhasználói elvárásoknak, például az alábbi helyzetekben:
Nincs találat
Egy keresés több okból is zárulhat találat nélkül, például:
- Egy tárgy nem része az ismert tárgyak halmazának, vagy nem hasonlít azokhoz
- Egy tárgyat olyan szögből észleltek, amelyből nem azonosítható
- Előfordulhat, hogy a kép alacsony minőségű, ami megnehezíti a tárgy kulcsfontosságú részleteinek felismerését
Jelenítsen meg egy bannert, amely jelzi, ha nincs találat, és irányítsa a felhasználókat a Súgó szakaszhoz, ahol a keresés javítására vonatkozó információk találhatók.

Gyenge eredmények
Ha egy keresés csak alacsony megbízhatósági pontszámú eredményeket ad vissza, megkérheti a felhasználót, hogy keressen újra (tippekkel a keresés javításához).

Ajánlott
Témázás
Shrine Material téma
Az élő kamerás vizuális keresés a Shrine alkalmazás vásárlási folyamatában jelenik meg.


Célkereszt
A Shrine célkeresztje rombusz alakot használ, hogy tükrözze a Shrine formavilágát (amely szögletes vágásokat használ).

2. Egy 4dp-s levágott sarkú gomb
3. Egy rombusz alakú célkereszt
A Shrine eszköztippje egyedi színekkel, tipográfiával és elhelyezéssel kap kiemelést.

2. A Shrine eszköztippje egyedi színeket és tipográfiát használ, és a konténerét a képernyő széleiig terjeszti ki.