Rilevamento di oggetti: immagine statica
Grazie al machine learning, è possibile rilevare oggetti a partire da un'immagine fornita.

Utilizzo
Le fotografie consentono di rilevare e identificare oggetti nel mondo fisico tramite una ricerca visiva (una query di ricerca che ha come input un'immagine). Grazie ai modelli di machine learning, i risultati della ricerca visiva possono fornire agli utenti ulteriori informazioni su un elemento – che si tratti di una specie vegetale o di un articolo da acquistare.
La modalità “statica” dell'API di rilevamento e monitoraggio degli oggetti (Object Detection & Tracking) di ML Kit consente di rilevare fino a cinque oggetti in un'immagine fornita e di visualizzare i risultati corrispondenti utilizzando il tuo modello di classificazione delle immagini.
Principi
La progettazione di questa funzionalità si basa sui seguenti principi:
Mantieni le immagini nitide e leggibili
Allinea i componenti dell'interfaccia utente della fotocamera ai bordi superiore e inferiore dello schermo, assicurando che il testo e le icone rimangano leggibili quando vengono posizionati sopra l'immagine.
Qualsiasi elemento non interattivo visualizzato sopra l'anteprima live della fotocamera dovrebbe essere traslucido per ridurre al minimo l'ingombro visivo.

Fornisci feedback
L'utilizzo di un'immagine per cercare oggetti introduce particolari considerazioni d'uso. Oggetti sovrapposti o parzialmente ritagliati possono risultare difficili da identificare.
Gli stati di errore dovrebbero essere comunicati con diversi segnali di design (come componenti e movimento) e includere spiegazioni su come gli utenti possono migliorare la propria ricerca.

Componenti
La funzionalità di rilevamento di oggetti a partire da un'immagine statica utilizza i componenti Material Design esistenti e nuovi elementi specifici per l'interazione con un'immagine. Per esempi di codice e demo dei nuovi elementi (come i marcatori di oggetti), consulta il codice sorgente dell'app di esempio di ML Kit Material Design per Android.

1. Barra dell’applicazione superiore
2. Marcatore di oggetto
3. Tooltip
4. Schede
5. Immagine analizzata
6. Modal bottom sheet

Barra dell’applicazione superiore
La barra dell’applicazione superiore fornisce un accesso sempre disponibile alle seguenti azioni:
- Un pulsante per uscire dall'esperienza di ricerca
- Un interruttore per migliorare la luminosità (utilizzando il flash della fotocamera)
- Una sezione di Assistenza per la risoluzione dei problemi di ricerca

Da fare
Marcatori di oggetti
I marcatori di oggetti sono indicatori circolari elevato posizionati al centro di un oggetto rilevato. Ogni marcatore è associato a una scheda nella parte inferiore dello schermo, che mostra un'anteprima dei risultati per l'oggetto corrispondente. Quando la scheda entra nel campo visivo, il marcatore di oggetto corrispondente aumenta di dimensioni.
Toccando un marcatore di oggetto (o la scheda dei risultati corrispondente) si apre un modal bottom sheet che mostra tutti i risultati della ricerca visiva per quell'oggetto.
Tooltip
I tooltip mostrano agli utenti testo informativo. Ad esempio, comunicano lo stato corrente (come nel messaggio “Ricerca in corso…”) e invitano l'utente al passaggio successivo (come nel messaggio “Tocca un marcatore o una scheda per i risultati”).

Da fare

Da non fare

Da non fare
Schede
Le schede forniscono un'anteprima dei risultati della ricerca visiva di un oggetto. Sono disposte in un carosello a scorrimento orizzontale, organizzate in base alla posizione orizzontale di ciascun oggetto.
Ogni scheda è associata a un marcatore di oggetto. Quando la scheda entra nel campo visivo, il marcatore di oggetto correlato aumenta di dimensioni. Toccando una scheda (o il suo marcatore di oggetto) si apre un modal bottom sheet che mostra tutti i risultati della ricerca visiva per quell'oggetto.
Bottom sheet modale
I modal bottom sheet forniscono l'accesso ai risultati della ricerca visiva. Il layout e il contenuto dipendono dal caso d'uso della tua app, dal numero di risultati e dalla loro confidenza.


Esperienza
La ricerca visiva di oggetti a partire da un'immagine avviene in tre fasi:
- Input: Seleziona un'immagine da usare per la ricerca
- Riconoscimento: Rileva e identifica gli oggetti
- Comunicazione: Se vengono trovati oggetti corrispondenti, mostra i risultati
Input
La ricerca visiva inizia quando un utente seleziona un'immagine. Per aumentare le probabilità di successo, consiglia agli utenti i tipi di immagini più adatti a questo scopo.

Da fare

Da fare
Riconoscimento
Quando uno o più oggetti sono stati rilevati in un'immagine, l'app dovrebbe:
- Comunicare che l'app è in attesa dei risultati
- Mostrare l'avanzamento della ricerca
Gli oggetti rilevati dall'API di rilevamento e monitoraggio degli oggetti (Object Detection & Tracking) di ML Kit vengono poi confrontati con le immagini di riferimento del tuo modello di classificazione delle immagini per individuare i risultati corrispondenti.
Anche se un oggetto viene rilevato in una foto, non è garantito che vengano trovati risultati corrispondenti. Pertanto, gli oggetti non dovrebbero essere contrassegnati come rilevati finché non vengono restituiti risultati di ricerca validi.

Da fare

Da non fare
Guida l'utente nelle regolazioni
I seguenti fattori possono influire sul rilevamento e sull'identificazione degli oggetti (questo elenco non è esaustivo):
- Scarsa qualità dell'immagine
- Dimensioni ridotte dell'oggetto nell'immagine
- Basso contrasto tra un oggetto e il suo sfondo
- Oggetto ripreso da un'angolazione non riconoscibile
- Perdita della connessione di rete necessaria per completare la ricerca

Da fare
Comunicazione
I risultati degli oggetti rilevati vengono comunicati agli utenti tramite:
- Il posizionamento di marcatori di oggetti sopra ciascun oggetto rilevato
- La visualizzazione di un'anteprima dei risultati di ciascun oggetto su una schede (come parte di un carosello di schede)
La tua app dovrebbe impostare una soglia di confidenza per la visualizzazione dei risultati della ricerca visiva. La “confidenza” (confidence) indica quanto un modello di ML ritenga accurata una previsione. Per la ricerca visiva, il livello di confidenza di ciascun risultato indica quanto il modello ritiene che il risultato sia simile all'immagine fornita.
Se uno o più oggetti nell'immagine hanno risultati di ricerca, l'app dovrebbe identificare gli oggetti rilevati tramite marcatori di oggetti e un carosello di schede che mostra in anteprima i risultati per ciascun oggetto. Toccando un marcatore o una schede si apre un modal bottom sheet che mostra i risultati di un oggetto.
Da fare
Da fare
Valutazione dei risultati di ricerca
In alcuni casi, i risultati della ricerca visiva potrebbero non soddisfare le aspettative degli utenti, come nei seguenti scenari:
Nessun risultato trovato
Una ricerca può concludersi senza corrispondenze per diversi motivi, tra cui:
- L'oggetto non appartiene all'insieme di oggetti di riferimento, né è simile a essi
- L'oggetto è stato ripreso da un'angolazione che il modello di ricerca visiva non riconosce
- La qualità dell'immagine è scarsa, rendendo difficile riconoscere i dettagli chiave dell'oggetto
Mostra un banner per spiegare l'assenza di risultati e indirizzare gli utenti a una sezione di Assistenza per informazioni su come migliorare la propria ricerca.

Risultati di scarsa qualità
Se una ricerca restituisce solo risultati con punteggi di confidenza bassi, puoi chiedere all'utente di ripetere la ricerca (con suggerimenti su come migliorarla).

Da fare
Personalizzazione del tema
Tema Material di Shrine
Il flusso di acquisto dell'app Shrine consente agli utenti di eseguire una ricerca visiva di prodotti utilizzando una foto.


Marcatori di oggetti
I marcatori di oggetti di Shrine assumono una forma a rombo per richiamare lo stile delle forme di Shrine, basato su tagli angolari.

2. Un pulsante con angoli tagliati di 4dp
3. Un marcatore di oggetto con forma a rombo
Per aiutare gli utenti ad abbinare le schede dei risultati agli oggetti potenzialmente rilevati, i marcatori di oggetti in genere aumentano di dimensioni quando la corrispondente schede dei risultati viene selezionata nel carosello. Invece di modificare le dimensioni del marcatore di oggetto per enfatizzarlo, Shrine applica colori e bordi personalizzati.

2. I marcatori di oggetti di Shrine usano differenze di colore e di stile del bordo per indicare l'oggetto corrente. Il colore del contenitore del marcatore passa da #FFFFFF al colore On Surface di Shrine (#442C2E) e presenta un bordo #FFFFFF di 6dp.
Schede
Le schede dei risultati di Shrine utilizzano stili personalizzati di colore, tipografia e forma.

2. Le schede di Shrine utilizzano il font Rubik per i contenuti, Shrine Pink 900 (#442C2E) come colore On Surface e hanno angoli tagliati di 8dp.