Rilevamento di oggetti: fotocamera in tempo reale
La fotocamera in tempo reale di un dispositivo può essere utilizzata per rilevare oggetti nell'ambiente circostante tramite machine learning.

Utilizzo
Il feed in tempo reale di una fotocamera può essere utilizzato per identificare oggetti nel mondo fisico. Utilizzando la modalità “streaming” dell’Object Detection & Tracking API di ML Kit, è possibile rilevare oggetti nel feed della fotocamera e usarli come input per eseguire una ricerca visiva (una ricerca che utilizza un’immagine come input) con il modello di classificazione delle immagini della tua app.
La ricerca tramite fotocamera in tempo reale può aiutare gli utenti a saperne di più sugli oggetti che li circondano, che si tratti di un reperto in un museo o di un articolo da acquistare.
Queste linee guida riguardano il rilevamento di un singolo oggetto alla volta.
Principi
La progettazione di questa funzionalità si basa sui seguenti principi:
Navigare con la fotocamera del dispositivo
Invece di digitare un termine di ricerca, gli utenti utilizzano la fotocamera del dispositivo come “telecomando” per cercare contenuti visivi.
Per spiegare agli utenti come effettuare ricerche con la propria fotocamera, prevedi un onboarding e istruzioni persistenti.
Mantenere la visuale della fotocamera sgombra e leggibile
Per massimizzare l’area visualizzabile della fotocamera, allinea i componenti dell’interfaccia utente dell’app ai bordi superiore e inferiore dello schermo. Assicurati che testo e icone restino leggibili quando sono posizionati davanti al feed in tempo reale della fotocamera.
Qualsiasi elemento non interattivo mostrato davanti al feed in tempo reale della fotocamera dovrebbe essere traslucido, in modo da ostruire il meno possibile la visuale della fotocamera.

Fornire feedback
L’utilizzo della fotocamera come strumento di ricerca introduce requisiti d’uso particolari. La qualità dell’immagine deve essere adeguata e gli utenti devono sapere come correggere i problemi dovuti all’illuminazione o a una distanza eccessiva dall’oggetto.
Gli stati di errore dovrebbero:
- Segnalare gli errori utilizzando più indicatori visivi (ad esempio componenti e movimento)
- Includere spiegazioni su come gli utenti possono migliorare la loro ricerca

Componenti
La funzionalità di rilevamento di oggetti con la fotocamera in tempo reale utilizza sia componenti Material Design esistenti sia nuovi elementi specifici per l’interazione con la fotocamera. Per esempi di codice e demo dei nuovi elementi (come il reticolo), consulta il codice sorgente delle app di esempio (showcase) di ML Kit Material Design per Android e iOS.

1. Barra dell’applicazione superiore
2. Reticolo
3. Indicatore dell’oggetto
4. Tooltip
5. Immagine rilevata
6. Modal bottom sheet

Barra dell’applicazione superiore
La barra dell’applicazione superiore fornisce accesso persistente alle seguenti azioni:
- Un pulsante per uscire dall’esperienza di ricerca
- Un interruttore per aumentare la luminosità (utilizzando il flash della fotocamera)
- Una sezione Aiuto per la risoluzione dei problemi di ricerca

Consigliato
Reticolo
Il reticolo è un indicatore visivo che fornisce un punto di riferimento su cui gli utenti possono concentrarsi durante il rilevamento di oggetti con la fotocamera (il nome è ispirato ai reticoli dei mirini delle fotocamere). Utilizza un’animazione a impulsi per segnalare all’utente quando la fotocamera sta cercando attivamente oggetti.
Quando la fotocamera in tempo reale è puntata su un oggetto, il reticolo si trasforma in un indicatore di avanzamento determinato per segnalare che è iniziata una ricerca visiva.
1. Nella fase di percezione, un’animazione a impulsi indica che l’app sta cercando oggetti
2. La ricerca si avvia dopo un ritardo predefinito (la cui durata è definita dallo sviluppatore), rappresentato da un indicatore di avanzamento determinato
3. La necessità di avvicinarsi a un oggetto è espressa attraverso la riduzione delle dimensioni del cerchio centrale del reticolo, fino al raggiungimento della dimensione minima rilevabile
4. Eventuali errori rilevati modificano il bordo del reticolo da un tratto continuo a un tratto puntinato
Indicatore dell’oggetto
L’Object Detection & Tracking API di ML Kit contiene un’opzione per rilevare un “oggetto in primo piano”. Questa opzione rileva e traccia il singolo oggetto più grande vicino al centro dell’inquadratura. Una volta rilevato, dovresti contrassegnare l’oggetto con un bordo rettangolare continuo.
Se la tua app richiede una dimensione minima dell’immagine per gli oggetti rilevati, l’indicatore dell’oggetto dovrebbe cambiare per mostrare un bordo rettangolare parziale (visualizzando solo gli angoli del bordo). Ciò comunica che un oggetto è stato rilevato, ma che la ricerca non può iniziare finché l’utente non si avvicina.
Tooltip
I tooltip mostrano agli utenti testo informativo. Comunicano gli stati (ad esempio con un messaggio come “Ricerca in corso…”) e invitano l’utente al passaggio successivo (ad esempio con un messaggio come “Punta la fotocamera su una pianta”).

Consigliato

Sconsigliato

Sconsigliato
Immagine rilevata
Dopo il rilevamento di un oggetto, l’Object Detection & Tracking API di ML Kit crea una versione ritagliata dell’immagine, che viene utilizzata per eseguire una ricerca visiva con il tuo modello di classificazione delle immagini.
L’immagine ritagliata viene visualizzata per:
- Confermare l’oggetto rilevato
- Confrontare l’immagine con le immagini dei risultati di ricerca
- Spiegare eventuali errori relativi all’immagine (ad esempio se è di bassa qualità o contiene più oggetti)

Bottom sheet modale
I modal bottom sheet forniscono l’accesso ai risultati della ricerca visiva. Il layout e il contenuto dipendono dal caso d’uso della tua app, dal numero di risultati e dal livello di attendibilità di tali risultati.


Esperienza
La ricerca visiva con la fotocamera in tempo reale si svolge in tre fasi:
- Percezione: usare la fotocamera per acquisire i dati di input
- Riconoscimento: rilevare e identificare un oggetto
- Comunicazione: se viene trovato un oggetto corrispondente, comunicarlo all’utente
Percezione
Il rilevamento di oggetti inizia all’apertura della funzionalità di ricerca visiva. La “percezione” indica la fase in cui la fotocamera cerca oggetti nel feed in tempo reale. Durante questa fase, l’app dovrebbe:
- Descrivere il funzionamento
- Comunicare le azioni dell’app
- Guidare l’utente nel controllo della fotocamera e suggerire regolazioni
Descrivere il funzionamento
Fornisci agli utenti istruzioni su come utilizzare la fotocamera come “telecomando” per cercare oggetti nell’ambiente, descrivendo l’esperienza attraverso l’onboarding e i contenuti di aiuto.

Consigliato

Sconsigliato

Consigliato
Comunicare le azioni dell’app
Mentre la fotocamera effettua la ricerca, il reticolo pulsa per indicare che la fotocamera sta “guardando” e un tooltip invita l’utente a puntarla sugli oggetti.
Consigliato
Guidare l’utente nelle regolazioni
A volte le condizioni ambientali rendono difficile rilevare un oggetto, ad esempio in luoghi che:
- Sono troppo luminosi o troppo scuri per distinguere l’oggetto dallo sfondo
- Presentano oggetti sovrapposti difficili da distinguere l’uno dall’altro
Se è trascorso molto tempo senza che un oggetto sia stato rilevato, interrompi l’animazione del reticolo e indirizza l’utente ai contenuti di aiuto.
Riconoscimento
Quando un oggetto è stato rilevato dalla fotocamera, l’app dovrebbe:
- Contrassegnare l’oggetto rilevato
- Invitare l’utente ad avviare la ricerca
- Mostrare l’avanzamento della ricerca
Identificare l’oggetto rilevato
Per segnalare che la fotocamera ha trovato un oggetto, interrompi l’animazione del reticolo e contrassegna l’oggetto rilevato con un bordo.

Invitare alla ricerca
Indica all’utente di mantenere l’oggetto rilevato al centro dell’inquadratura. Prima di avviare la ricerca, aggiungi un breve ritardo, accompagnato da un indicatore di avanzamento determinato nel reticolo. Questo dà all’utente il tempo di:
- Confermare l’intenzione di effettuare la ricerca (mantenendo ferma la fotocamera del dispositivo)
- Annullare la ricerca (allontanando la fotocamera dall’oggetto)
Puoi personalizzare la durata del ritardo.
Mostrare l’avanzamento della ricerca
Una volta avviata la ricerca, il rilevamento di oggetti si interrompe e il feed in tempo reale viene messo in pausa. Ciò impedisce l’avvio di nuove ricerche (e consente all’utente di spostare il dispositivo in una posizione più comoda).
L’avanzamento della ricerca è indicato da un indicatore di avanzamento indeterminato e da un messaggio nel tooltip.
Apportare correzioni
Durante la fase di riconoscimento, due problemi possono compromettere la qualità dei risultati di ricerca:
Dimensioni ridotte dell’immagine: se un oggetto rilevato è troppo lontano dalla fotocamera, non genera un’immagine di alta qualità (in base alla dimensione minima dell’immagine impostata).
Per indicare che il rilevamento non è completato, mostra un bordo parziale attorno all’oggetto (invece di un bordo completo) e visualizza un messaggio nel tooltip che invita l’utente ad avvicinarsi.
Connessione di rete: è necessaria una connessione di rete stabile se il tuo modello di classificazione delle immagini si trova nel cloud. Se la connessione a Internet non è disponibile, visualizza un banner che comunica che è necessaria una connessione Internet per procedere.

Comunicazione
I risultati di una ricerca visiva vengono visualizzati in un modal bottom sheet. Durante questa fase, l’app dovrebbe:
- Mostrare i risultati
- Mostrare l’oggetto rilevato
- Consentire una navigazione rapida
La tua app dovrebbe impostare una soglia di attendibilità per la visualizzazione dei risultati della ricerca visiva. Per “attendibilità” si intende la valutazione di un modello di machine learning sull’accuratezza di una previsione. Per la ricerca visiva, il livello di attendibilità di ciascun risultato indica quanto il modello lo ritiene simile all’immagine fornita.

Consigliato

Consigliato
Mostrare l’oggetto rilevato
Per consentire il confronto tra l’oggetto rilevato e i risultati di ricerca, mostra una miniatura dell’oggetto rilevato sopra il modal bottom sheet.

Consigliato
Consentire una navigazione rapida
Dopo aver visualizzato i risultati, gli utenti possono eseguire diverse azioni:
- Per tornare alla fotocamera, gli utenti possono toccare il velo di protezione o l’intestazione del modal bottom sheet.
- Per uscire dalla visualizzazione della fotocamera, gli utenti possono interagire con un risultato, navigare in un’altra parte dell’app oppure chiudere la fotocamera e tornare all’app toccando il pulsante “X”.
Valutare i risultati di ricerca
In alcuni casi, i risultati della ricerca visiva potrebbero non soddisfare le aspettative degli utenti, come nei seguenti scenari:
Nessun risultato trovato
Una ricerca può concludersi senza corrispondenze per diversi motivi, tra cui:
- L’oggetto non fa parte dell’insieme di oggetti noti, né è simile ad alcuno di essi
- L’oggetto è stato rilevato da un’angolazione insolita
- L’immagine potrebbe essere di bassa qualità, rendendo poco riconoscibili i dettagli essenziali dell’oggetto
Mostra un banner per spiegare che non ci sono risultati e indirizza gli utenti a una sezione Aiuto con informazioni su come migliorare la loro ricerca.

Risultati scarsi
Se una ricerca restituisce solo risultati con punteggi di attendibilità bassi, puoi chiedere all’utente di ripetere la ricerca (fornendo suggerimenti su come migliorarla).

Consigliato
Personalizzazione del tema
Tema Material di Shrine
La ricerca visiva con la fotocamera in tempo reale è utilizzata nel flusso di acquisto dell’app Shrine.


Reticolo
Il reticolo di Shrine utilizza una forma a rombo per rispecchiare lo stile delle forme di Shrine (caratterizzato da tagli angolati).

2. Un pulsante con angoli tagliati da 4 dp
3. Un reticolo con forma a rombo
Il tooltip di Shrine viene messo in evidenza tramite colori, tipografia e posizionamento personalizzati.

2. Il tooltip di Shrine utilizza colori e tipografia personalizzati ed estende il proprio contenitore fino ai bordi dello schermo.