Objektumészlelés: statikus kép
Gépi tanulással objektumok észlelhetők egy adott képen.

Használat
A fotók a fizikai világban található objektumok észlelésére és azonosítására használhatók vizuális keresés végrehajtásával (vagyis olyan keresési lekérdezéssel, amely bemenetként képet használ). Gépi tanulási modellek segítségével a vizuális keresés eredményei további információkat szolgáltathatnak a felhasználóknak egy adott tárgyról – legyen szó akár egy növényfajról, akár egy megvásárolható árucikkről.
Az ML Kit Object Detection & Tracking API „statikus" módja lehetővé teszi, hogy az alkalmazás egy adott képen legfeljebb öt objektumot észleljen, az egyező találatokat pedig az Ön képosztályozási modellje segítségével megjelenítse.
Alapelvek
A funkció tervezését a következő alapelvek vezérlik:
A képek legyenek élesek és jól kivehetők
Igazítsa a kamera felhasználói felületének elemeit a képernyő felső és alsó széleihez, hogy a szövegek és ikonok akkor is jól olvashatók maradjanak, amikor képek fölé kerülnek.
A valós idejű kamerakép fölött megjelenő, nem interaktív elemek legyenek áttetszőek, hogy a lehető legkevésbé takarják a kameraképet.

Nyújtson visszajelzést
A képpel való objektumkeresés egyedi használati követelményeket támaszt. Az átfedő vagy részben látható objektumok megnehezíthetik az azonosítást.
A hibaállapotokat többféle tervezői jelzéssel kell jelezni (például komponensekkel és mozgással), és egyúttal meg kell magyarázni a felhasználóknak, hogyan javíthatják a keresésüket.

Komponensek
A statikus képen alapuló objektumészlelési funkció meglévő Material Design komponenseket, valamint a képpel való interakcióra szolgáló új elemeket használ. Az új elemek (például az objektumjelölők) kódmintáiért és demóiért tekintse meg az Androidra készült ML Kit Material Design bemutatóalkalmazás forráskódját.

1. Felső alkalmazássáv
2. Objektumjelölő
3. Tooltipp
4. Kártyák
5. Észlelt kép
6. Modális alsó lap

Felső alkalmazássáv
A felső alkalmazássáv állandó hozzáférést biztosít a következő műveletekhez:
- Egy gomb a keresésből való kilépéshez
- Egy kapcsoló a fényerő növeléséhez (a kamera vakujának használatával)
- Egy súgószakasz a keresési problémák elhárításához

Ajánlott
Objektumjelölők
Az objektumjelölők kör alakú, megemelt indikátorok, amelyeket az észlelt objektumok közepe elé helyeznek el. Minden jelölőhöz tartozik egy kártya a képernyő alján, amely a hozzá tartozó objektum találatainak előnézetét jeleníti meg. Amikor a kártya bekerül a látható területre, a megfelelő objektumjelölő mérete megnő.
Egy objektumjelölő (vagy a hozzá tartozó találatkártya) megkoppintása megnyit egy modális alsó lapot, amely megjeleníti az objektum összes vizuális keresési találatát.
Eszköztipp
A tooltippek tájékoztató szöveget jelenítenek meg a felhasználóknak. Egyaránt jeleznek állapotokat (például a „Keresés folyamatban…" üzenettel), és a következő lépésre ösztönzik a felhasználót (például az „A találatok megtekintéséhez koppintson egy objektumjelölőre vagy kártyára" üzenettel).

Ajánlott

Kerülendő

Kerülendő
Kártyák
A kártyák előnézetet nyújtanak egy adott objektum vizuális keresési találatairól. Ezek egy vízszintesen görgethető körhintában helyezkednek el, az egyes objektumok vízszintes pozíciója alapján rendezve.
Minden kártyához egy objektumjelölő tartozik. Amikor a kártya bekerül a látható területre, a hozzá tartozó objektumjelölő mérete megnő. Egy kártya (vagy a hozzá tartozó objektumjelölő) megkoppintása megnyit egy modális alsó lapot, amely megjeleníti az objektum összes vizuális keresési találatát.
Modális alsó lap
A modális alsó lapok hozzáférést biztosítanak a vizuális keresési találatokhoz. Elrendezésük és tartalmuk az Ön alkalmazásának használati esetétől, a találatok számától és konfidenciaszintjétől függ.


Élmény
A képen alapuló vizuális objektumkeresés három fázisban zajlik:
- Bevitel: Válasszon ki egy képet a kereséshez
- Felismerés: Észlelje és azonosítsa az objektumokat
- Kommunikáció: Ha egyező objektumok találhatók, jelenítse meg a találatokat
Bevitel
A vizuális keresés elindul, amikor a felhasználó kiválaszt egy képet. A sikeres keresés esélyének növelése érdekében adjon tanácsot a felhasználóknak arról, hogy milyen képtípusok a legalkalmasabbak a kereséshez.

Ajánlott

Ajánlott
Felismerés
Ha egy képen egy vagy több objektumot észleltek, az alkalmazásnak a következőket kell tennie:
- Jelezni, hogy az alkalmazás a találatokra vár
- Megjeleníteni a keresés előrehaladását
Az ML Kit Object Detection & Tracking API által észlelt objektumokat a rendszer ezután az Ön képosztályozási modelljéből származó ismert képhalmazzal hasonlítja össze, hogy megtalálja az egyező találatokat.
Még ha egy objektumot észlelnek is egy fotón, ez nem garantálja, hogy lesznek egyező találatok. Ezért az objektumokat addig nem szabad észleltként megjelölni, amíg érvényes keresési találatok nem állnak rendelkezésre.

Ajánlott

Kerülendő
Útmutatás a keresés javításához
A következő tényezők befolyásolhatják, hogy az objektumok észlelésre és azonosításra kerülnek-e (a lista nem teljes körű):
- Gyenge képminőség
- Kis objektumméret a képen
- Alacsony kontraszt az objektum és a háttér között
- Az objektum felismerhetetlen szögből látható
- A keresés befejezéséhez szükséges hálózati kapcsolat megszakadása

Ajánlott
Kommunikáció
Az észlelt objektumokhoz tartozó találatok a következő módon jelennek meg a felhasználóknak:
- Objektumjelölők elhelyezésével minden észlelt objektum elé
- Az egyes objektumok találatainak előnézetét egy kártyán megjelenítve (a kártyákból álló körhinta részeként)
Az Ön alkalmazásának meg kell határoznia egy konfidenciaküszöböt a vizuális keresési találatok megjelenítéséhez. A „konfidencia" azt fejezi ki, hogy egy ML-modell mennyire tartja pontosnak az előrejelzését. A vizuális keresésnél az egyes találatok konfidenciaszintje azt jelzi, hogy a modell szerint mennyire hasonlít az adott képhez.
Ha a képen egy vagy több objektumhoz tartoznak keresési találatok, az alkalmazásnak az észlelt objektumokat objektumjelölőkkel, valamint egy kártyákból álló, az egyes objektumok találatának előnézetét megjelenítő körhintával kell azonosítania. Egy jelölő vagy kártya megkoppintása megnyit egy modális alsó lapot, amely megjeleníti az objektum találatait.
Ajánlott
Ajánlott
A keresési eredmények értékelése
Bizonyos esetekben a vizuális keresési találatok nem felelnek meg a felhasználói elvárásoknak, például a következő forgatókönyvekben:
Nincs találat
Egy keresés több okból is végződhet találat nélkül, például:
- Az objektum nem része az ismert objektumhalmaznak, és egyik elemére sem hasonlít
- Olyan szögből észlelték, amelyet a vizuális keresési modell nem ismer fel
- Gyenge képminőség, amely megnehezíti az objektum kulcsfontosságú részleteinek felismerését
Jelenítsen meg egy bannert, ha nincsenek találatok, és irányítsa a felhasználókat egy súgószakaszhoz, ahol információt kaphatnak arról, hogyan javíthatják a keresésüket.

Gyenge találatok
Ha egy keresés csak alacsony konfidenciapontszámú találatokat ad vissza, felkérheti a felhasználót az újrapróbálkozásra (tippekkel a keresés javításához).

Ajánlott
Témázás
Shrine Material téma
A Shrine alkalmazás vásárlási folyamata lehetővé teszi a felhasználók számára, hogy fotó segítségével termékekre vonatkozó vizuális keresést végezzenek.


Objektumjelölők
A Shrine objektumjelölői rombusz alakot használnak, hogy tükrözzék a Shrine alakstílusát (amely ferde kivágásokat alkalmaz).

2. Egy 4dp kivágott sarkú gomb
3. Egy rombusz alakú objektumjelölő
Hogy a felhasználók össze tudják párosítani a találatkártyákat a lehetséges észlelt objektumokkal, az objektumjelölők mérete jellemzően megnő, amikor a hozzájuk tartozó találatkártya ki van választva a körhintában. A Shrine azonban nem a méret megváltoztatásával emeli ki őket, hanem egyéni szín- és szegélystílusokat alkalmaz.

2. A Shrine objektumjelölői szín- és szegélystílusbeli különbséggel jelzik az aktuális objektumot. A jelölő konténerének színe #FFFFFF-ről a Shrine On Surface színére (#442C2E) változik, és 6dp vastagságú #FFFFFF szegélyt kap.
Kártyák
A Shrine találatkártyái egyéni színeket, tipográfiát és alakstílusokat használnak.

2. A Shrine kártyái a Rubik betűtípust használják a tartalomhoz, a Shrine Pink 900 (#442C2E) színt használják On Surface színként, és 8dp kivágott sarkuk van.