Skip to content
Material Design 2
Main Navigation
v3
v2
v1

Italiano

English
简体中文
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Polski
Türkçe
čeština
magyar

Italiano

English
简体中文
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Polski
Türkçe
čeština
magyar

Aspetto

Sidebar Navigation

Sistema Material

Introduzione

Material Studies

A proposito dei Material Studies

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Fondamenti di Material

Ambiente

Superfici

Elevazione

Luce e ombre

Layout

Comprensione del layout

Densità dei pixel

Griglia di layout responsive

Metodi di spaziatura

Comportamento dei componenti

Applicazione della densità

Navigazione

Comprendere la navigazione

Transizioni di navigazione

Ricerca

Colore

Il sistema di colori

Applicare il colore alla UI

Utilizzo del colore

Leggibilità del testo

Tema scuro

Tipografia

Il sistema tipografico

Comprendere la tipografia

Supporto linguistico

Suono

Informazioni sull'audio

Applicazione del suono alla UI

Attributi del suono

Coreografia del suono

Iconografia

Icone di prodotto

Icone di sistema

Icone animate

Forma

Informazioni sulla forma

Forma e gerarchia

La forma come espressione

Forma e movimento

Applicazione delle forme alla UI

Movimento

Comprensione del movimento

Il sistema di movimento

Velocità

Coreografia

Personalizzazione

Interazione

Gesti

Selezione

Stati

Comunicazione

Conferma e riscontro

Formati dei dati

Visualizzazione dei dati

Stati vuoti

Guida e feedback

Immagini

Schermata di avvio

Onboarding

Stati offline

Scrittura

Machine learning

Pattern di machine learning

Rilevamento di oggetti: fotocamera in tempo reale

Rilevamento di oggetti: immagine statica

Scansione di codici a barre

Linee guida Material

Material Theming

Panoramica

Implementazione del tuo tema

Usabilità

Accessibilità

Bidirezionalità

Linee guida per piattaforma

Barre Android

Impronta digitale su Android

Aptica in Android

Icone Android

Navigazione tra app su Android

Notifiche su Android

Autorizzazioni Android

Slice di Android

Schermo diviso su Android

Swipe to refresh su Android

Barra degli strumenti per la selezione del testo su Android

Widget per Android

Adattamento multipiattaforma

Componenti

Barre dell’applicazione: in basso

Barra dell’applicazione in alto

Backdrop

Banner

Navigazione inferiore

Pulsanti

Pulsanti: pulsante d’azione flottante

Schede

Caselle di controllo

Chip

Tabelle dati

Selettori di data

Finestre di dialogo

Divisori

Elenchi di immagini

Elenchi

Menu

Cassetto di navigazione

Barra di navigazione laterale

Indicatori di avanzamento

Pulsanti di opzione

Bottom sheet

Pannelli laterali

Slider

Snackbars

Interruttori

Tab

Campi di testo

Selettori orari

Tooltip

In questa pagina

Rilevamento di oggetti: fotocamera in tempo reale ​

La fotocamera in tempo reale di un dispositivo può essere utilizzata per rilevare oggetti nell'ambiente circostante tramite machine learning.

Immagine principale di Rilevamento di oggetti: fotocamera in tempo reale

Utilizzo ​

Il feed in tempo reale di una fotocamera può essere utilizzato per identificare oggetti nel mondo fisico. Utilizzando la modalità “streaming” dell’Object Detection & Tracking API di ML Kit, è possibile rilevare oggetti nel feed della fotocamera e usarli come input per eseguire una ricerca visiva (una ricerca che utilizza un’immagine come input) con il modello di classificazione delle immagini della tua app.

La ricerca tramite fotocamera in tempo reale può aiutare gli utenti a saperne di più sugli oggetti che li circondano, che si tratti di un reperto in un museo o di un articolo da acquistare.

Queste linee guida riguardano il rilevamento di un singolo oggetto alla volta.

La ricerca visiva con la fotocamera in tempo reale può aiutare gli utenti a identificare gli oggetti che li circondano, come la specie di una pianta.

Documentazione API di ML Kit

Guide per gli sviluppatori sul rilevamento di oggetti

Link correlato

Esempio – Android

App di esempio di ML Kit per Android

Link correlato

Esempio – iOS

App di esempio di ML Kit per iOS

Link correlato

Principi ​

La progettazione di questa funzionalità si basa sui seguenti principi:

Navigare con la fotocamera del dispositivo

Invece di digitare un termine di ricerca, gli utenti utilizzano la fotocamera del dispositivo come “telecomando” per cercare contenuti visivi.

Per spiegare agli utenti come effettuare ricerche con la propria fotocamera, prevedi un onboarding e istruzioni persistenti.

Una breve esperienza di onboarding animata può aiutare gli utenti a capire come orientare e posizionare la fotocamera del dispositivo per effettuare ricerche.

Mantenere la visuale della fotocamera sgombra e leggibile

Per massimizzare l’area visualizzabile della fotocamera, allinea i componenti dell’interfaccia utente dell’app ai bordi superiore e inferiore dello schermo. Assicurati che testo e icone restino leggibili quando sono posizionati davanti al feed in tempo reale della fotocamera.

Qualsiasi elemento non interattivo mostrato davanti al feed in tempo reale della fotocamera dovrebbe essere traslucido, in modo da ostruire il meno possibile la visuale della fotocamera.

La maggior parte degli elementi è posizionata intenzionalmente lungo i bordi superiore e inferiore dello schermo per massimizzare la visualizzazione del feed della fotocamera
La maggior parte degli elementi è posizionata intenzionalmente lungo i bordi superiore e inferiore dello schermo per massimizzare la visualizzazione del feed della fotocamera.

Fornire feedback

L’utilizzo della fotocamera come strumento di ricerca introduce requisiti d’uso particolari. La qualità dell’immagine deve essere adeguata e gli utenti devono sapere come correggere i problemi dovuti all’illuminazione o a una distanza eccessiva dall’oggetto.

Gli stati di errore dovrebbero:

  • Segnalare gli errori utilizzando più indicatori visivi (ad esempio componenti e movimento)
  • Includere spiegazioni su come gli utenti possono migliorare la loro ricerca
I banner forniscono un modo evidente per informare gli utenti che si è verificato un problema con la ricerca
I banner forniscono un modo evidente per informare gli utenti che si è verificato un problema con la ricerca e offrono uno spazio per inserire un link a una sezione Aiuto con ulteriori informazioni.

Componenti ​

La funzionalità di rilevamento di oggetti con la fotocamera in tempo reale utilizza sia componenti Material Design esistenti sia nuovi elementi specifici per l’interazione con la fotocamera. Per esempi di codice e demo dei nuovi elementi (come il reticolo), consulta il codice sorgente delle app di esempio (showcase) di ML Kit Material Design per Android e iOS.

Elementi chiave nelle fasi di un’esperienza di ricerca visiva con fotocamera in tempo reale
Elementi chiave nelle fasi di un’esperienza di ricerca visiva con fotocamera in tempo reale:
1. Barra dell’applicazione superiore
2. Reticolo
3. Indicatore dell’oggetto
4. Tooltip
5. Immagine rilevata
6. Modal bottom sheet
Componenti

Barra dell’applicazione superiore ​


La barra dell’applicazione superiore fornisce accesso persistente alle seguenti azioni:

  • Un pulsante per uscire dall’esperienza di ricerca
  • Un interruttore per aumentare la luminosità (utilizzando il flash della fotocamera)
  • Una sezione Aiuto per la risoluzione dei problemi di ricerca
Consigliato: usare un velo di protezione (scrim) sfumato o un colore pieno per il contenitore della barra dell'app in alto per garantire che le sue azioni siano leggibili sopra il feed della fotocamera

Consigliato

Usa un velo di protezione (scrim) sfumato o un colore pieno per il contenitore della barra dell’applicazione superiore per garantire che le sue azioni siano leggibili sopra il feed della fotocamera.

Barra dell’applicazione superiore

La barra dell’applicazione superiore mostra informazioni e azioni relative alla schermata corrente.

Articolo correlato

Reticolo ​

Il reticolo è un indicatore visivo che fornisce un punto di riferimento su cui gli utenti possono concentrarsi durante il rilevamento di oggetti con la fotocamera (il nome è ispirato ai reticoli dei mirini delle fotocamere). Utilizza un’animazione a impulsi per segnalare all’utente quando la fotocamera sta cercando attivamente oggetti.

Quando la fotocamera in tempo reale è puntata su un oggetto, il reticolo si trasforma in un indicatore di avanzamento determinato per segnalare che è iniziata una ricerca visiva.

Il reticolo dovrebbe presentare un aspetto e degli effetti di animazione diversi per comunicare gli stati chiave dell’app, ad esempio quando la fotocamera sta cercando oggetti o quando si è verificato un errore.

Stati del reticolo:

1. Nella fase di percezione, un’animazione a impulsi indica che l’app sta cercando oggetti
2. La ricerca si avvia dopo un ritardo predefinito (la cui durata è definita dallo sviluppatore), rappresentato da un indicatore di avanzamento determinato
3. La necessità di avvicinarsi a un oggetto è espressa attraverso la riduzione delle dimensioni del cerchio centrale del reticolo, fino al raggiungimento della dimensione minima rilevabile
4. Eventuali errori rilevati modificano il bordo del reticolo da un tratto continuo a un tratto puntinato

Indicatore dell’oggetto ​

L’Object Detection & Tracking API di ML Kit contiene un’opzione per rilevare un “oggetto in primo piano”. Questa opzione rileva e traccia il singolo oggetto più grande vicino al centro dell’inquadratura. Una volta rilevato, dovresti contrassegnare l’oggetto con un bordo rettangolare continuo.

Se la tua app richiede una dimensione minima dell’immagine per gli oggetti rilevati, l’indicatore dell’oggetto dovrebbe cambiare per mostrare un bordo rettangolare parziale (visualizzando solo gli angoli del bordo). Ciò comunica che un oggetto è stato rilevato, ma che la ricerca non può iniziare finché l’utente non si avvicina.

Un bordo parziale e un messaggio nel tooltip possono informare gli utenti che un oggetto è stato rilevato e che devono avvicinarsi per iniziare la ricerca.

Tooltip ​

I tooltip mostrano agli utenti testo informativo. Comunicano gli stati (ad esempio con un messaggio come “Ricerca in corso…”) e invitano l’utente al passaggio successivo (ad esempio con un messaggio come “Punta la fotocamera su una pianta”).

Consigliato: scrivere tooltip brevi utilizzando termini adatti al proprio pubblico

Consigliato

Scrivi tooltip brevi utilizzando termini adatti al tuo pubblico.
Sconsigliato: scrivere tooltip con verbi d’azione, come “Tocca per cercare”, poiché i tooltip non sono interattivi

Sconsigliato

Non scrivere tooltip con verbi d’azione, come “Tocca per cercare”, poiché i tooltip non sono interattivi.

Sconsigliato: inserire messaggi di errore in un tooltip

Sconsigliato

Non inserire messaggi di errore in un tooltip. Gli errori dovrebbero essere inseriti in un banner per dare loro maggiore risalto e per avere spazio sufficiente per mostrare le azioni.

Tooltip

Mostrano testo informativo quando gli utenti passano il mouse sopra un elemento, lo selezionano da tastiera o lo toccano

Articolo correlato

Immagine rilevata ​


Dopo il rilevamento di un oggetto, l’Object Detection & Tracking API di ML Kit crea una versione ritagliata dell’immagine, che viene utilizzata per eseguire una ricerca visiva con il tuo modello di classificazione delle immagini.

L’immagine ritagliata viene visualizzata per:

  • Confermare l’oggetto rilevato
  • Confrontare l’immagine con le immagini dei risultati di ricerca
  • Spiegare eventuali errori relativi all’immagine (ad esempio se è di bassa qualità o contiene più oggetti)
Posizionare una miniatura dell’immagine dell’oggetto rilevato accanto ai risultati di ricerca può aiutare gli utenti a identificare la corrispondenza migliore
Posizionare una miniatura dell’immagine dell’oggetto rilevato accanto ai risultati di ricerca può aiutare gli utenti a identificare la corrispondenza migliore.

Bottom sheet modale ​

I modal bottom sheet forniscono l’accesso ai risultati della ricerca visiva. Il layout e il contenuto dipendono dal caso d’uso della tua app, dal numero di risultati e dal livello di attendibilità di tali risultati.

In un modal bottom sheet, elenchi o griglie di immagini possono mostrare più risultati di ricerca visiva
In un modal bottom sheet, elenchi o griglie di immagini possono mostrare più risultati di ricerca visiva. Il bottom sheet può essere aperto fino all’altezza completa dello schermo per visualizzare risultati aggiuntivi.
Un modal bottom sheet può mostrare un singolo risultato, adattando il proprio layout al contenuto
Un modal bottom sheet può mostrare un singolo risultato, adattando il proprio layout al contenuto.

Bottom sheets

Superfici con contenuti supplementari, ancorate alla parte inferiore dello schermo.

Articolo correlato

Esperienza ​

La ricerca visiva con la fotocamera in tempo reale si svolge in tre fasi:

  1. Percezione: usare la fotocamera per acquisire i dati di input
  2. Riconoscimento: rilevare e identificare un oggetto
  3. Comunicazione: se viene trovato un oggetto corrispondente, comunicarlo all’utente

Percezione ​

Il rilevamento di oggetti inizia all’apertura della funzionalità di ricerca visiva. La “percezione” indica la fase in cui la fotocamera cerca oggetti nel feed in tempo reale. Durante questa fase, l’app dovrebbe:

  • Descrivere il funzionamento
  • Comunicare le azioni dell’app
  • Guidare l’utente nel controllo della fotocamera e suggerire regolazioni

Descrivere il funzionamento ​

Fornisci agli utenti istruzioni su come utilizzare la fotocamera come “telecomando” per cercare oggetti nell’ambiente, descrivendo l’esperienza attraverso l’onboarding e i contenuti di aiuto.

Consigliato: spiegare l’interazione con un’esperienza di onboarding su una sola schermata

Consigliato

Spiega l’interazione con un’esperienza di onboarding su una sola schermata. Si consiglia di utilizzare un’animazione per mostrare all’utente come spostare il dispositivo.
Sconsigliato: richiedere un lungo processo di onboarding che descriva ogni possibile stato di errore

Sconsigliato

Non richiedere un lungo processo di onboarding che descriva ogni possibile stato di errore. Fornisci ulteriori informazioni solo quando l’utente riscontra un problema.

Consigliato: prevedere una sezione Aiuto dedicata con informazioni che includano i tipi di oggetti che possono essere rilevati

Consigliato

Prevedi una sezione Aiuto dedicata con informazioni che includano i tipi di oggetti che possono essere rilevati, come ottenere i migliori risultati e come vengono utilizzate le immagini.

Comunicare le azioni dell’app

Mentre la fotocamera effettua la ricerca, il reticolo pulsa per indicare che la fotocamera sta “guardando” e un tooltip invita l’utente a puntarla sugli oggetti.

Consigliato

Fornisci all’utente segnali, come un reticolo animato e un tooltip, per indicare in che cosa questa interfaccia utente differisce dall’utilizzo della fotocamera per scattare una foto.

Guidare l’utente nelle regolazioni

A volte le condizioni ambientali rendono difficile rilevare un oggetto, ad esempio in luoghi che:

  • Sono troppo luminosi o troppo scuri per distinguere l’oggetto dallo sfondo
  • Presentano oggetti sovrapposti difficili da distinguere l’uno dall’altro

Se è trascorso molto tempo senza che un oggetto sia stato rilevato, interrompi l’animazione del reticolo e indirizza l’utente ai contenuti di aiuto.

Se viene attivato un timeout del rilevamento, informa gli utenti che si è verificato un problema: interrompi l’animazione del reticolo ed evidenzia i contenuti di aiuto.

Riconoscimento ​

Quando un oggetto è stato rilevato dalla fotocamera, l’app dovrebbe:

  1. Contrassegnare l’oggetto rilevato
  2. Invitare l’utente ad avviare la ricerca
  3. Mostrare l’avanzamento della ricerca

Identificare l’oggetto rilevato

Per segnalare che la fotocamera ha trovato un oggetto, interrompi l’animazione del reticolo e contrassegna l’oggetto rilevato con un bordo.

Un bordo rettangolare appare attorno a un oggetto rilevato per indicare che l’oggetto è stato riconosciuto
Un bordo rettangolare appare attorno a un oggetto rilevato per indicare che l’oggetto è stato riconosciuto.

Invitare alla ricerca

Indica all’utente di mantenere l’oggetto rilevato al centro dell’inquadratura. Prima di avviare la ricerca, aggiungi un breve ritardo, accompagnato da un indicatore di avanzamento determinato nel reticolo. Questo dà all’utente il tempo di:

  • Confermare l’intenzione di effettuare la ricerca (mantenendo ferma la fotocamera del dispositivo)
  • Annullare la ricerca (allontanando la fotocamera dall’oggetto)

Puoi personalizzare la durata del ritardo.

Il ritardo consente agli utenti di annullare una ricerca, se necessario.

Mostrare l’avanzamento della ricerca

Una volta avviata la ricerca, il rilevamento di oggetti si interrompe e il feed in tempo reale viene messo in pausa. Ciò impedisce l’avvio di nuove ricerche (e consente all’utente di spostare il dispositivo in una posizione più comoda).

L’avanzamento della ricerca è indicato da un indicatore di avanzamento indeterminato e da un messaggio nel tooltip.

Vengono utilizzati diversi indicatori visivi (movimento, velo di protezione e testo) per indicare che la ricerca è iniziata e che gli utenti devono attendere il caricamento dei risultati.

Apportare correzioni ​

Durante la fase di riconoscimento, due problemi possono compromettere la qualità dei risultati di ricerca:

Dimensioni ridotte dell’immagine: se un oggetto rilevato è troppo lontano dalla fotocamera, non genera un’immagine di alta qualità (in base alla dimensione minima dell’immagine impostata).

Per indicare che il rilevamento non è completato, mostra un bordo parziale attorno all’oggetto (invece di un bordo completo) e visualizza un messaggio nel tooltip che invita l’utente ad avvicinarsi.

Un bordo parziale e un messaggio nel tooltip possono informare gli utenti che un oggetto è stato rilevato e che devono avvicinarsi per iniziare la ricerca.

Connessione di rete: è necessaria una connessione di rete stabile se il tuo modello di classificazione delle immagini si trova nel cloud. Se la connessione a Internet non è disponibile, visualizza un banner che comunica che è necessaria una connessione Internet per procedere.

I problemi di rete possono essere comunicati agli utenti con un banner
I problemi di rete possono essere comunicati agli utenti con un banner, insieme a un’azione per ripetere la ricerca una volta risolto il problema.

Comunicazione ​

I risultati di una ricerca visiva vengono visualizzati in un modal bottom sheet. Durante questa fase, l’app dovrebbe:

  • Mostrare i risultati
  • Mostrare l’oggetto rilevato
  • Consentire una navigazione rapida

La tua app dovrebbe impostare una soglia di attendibilità per la visualizzazione dei risultati della ricerca visiva. Per “attendibilità” si intende la valutazione di un modello di machine learning sull’accuratezza di una previsione. Per la ricerca visiva, il livello di attendibilità di ciascun risultato indica quanto il modello lo ritiene simile all’immagine fornita.

Consigliato: ordinare i risultati della ricerca visiva in base all’attendibilità del tuo modello, per garantire che gli elementi con la corrispondenza più probabile vengano mostrati per primi

Consigliato

Ordina i risultati della ricerca visiva in base all’attendibilità del tuo modello, per garantire che gli elementi con la corrispondenza più probabile vengano mostrati per primi.
Consigliato: mostrare solo il risultato con l’attendibilità più alta quando il caso d’uso richiede una corrispondenza esatta

Consigliato

Mostra solo il risultato con l’attendibilità più alta quando il caso d’uso richiede una corrispondenza esatta.

Mostrare l’oggetto rilevato

Per consentire il confronto tra l’oggetto rilevato e i risultati di ricerca, mostra una miniatura dell’oggetto rilevato sopra il modal bottom sheet.

Consigliato: includere l’immagine rilevata dell’oggetto per confrontarla con le immagini dei risultati di ricerca

Consigliato

Includi l’immagine rilevata dell’oggetto per confrontarla con le immagini dei risultati di ricerca.

Consentire una navigazione rapida ​

Dopo aver visualizzato i risultati, gli utenti possono eseguire diverse azioni:

  • Per tornare alla fotocamera, gli utenti possono toccare il velo di protezione o l’intestazione del modal bottom sheet.
  • Per uscire dalla visualizzazione della fotocamera, gli utenti possono interagire con un risultato, navigare in un’altra parte dell’app oppure chiudere la fotocamera e tornare all’app toccando il pulsante “X”.

Toccare l’intestazione del bottom sheet o il velo di protezione riporta gli utenti alla visualizzazione della fotocamera in tempo reale per effettuare ricerche.
Mostra solo il risultato con l’attendibilità più alta quando il caso d’uso richiede una corrispondenza esatta.

Valutare i risultati di ricerca ​

In alcuni casi, i risultati della ricerca visiva potrebbero non soddisfare le aspettative degli utenti, come nei seguenti scenari:

Nessun risultato trovato

Una ricerca può concludersi senza corrispondenze per diversi motivi, tra cui:

  • L’oggetto non fa parte dell’insieme di oggetti noti, né è simile ad alcuno di essi
  • L’oggetto è stato rilevato da un’angolazione insolita
  • L’immagine potrebbe essere di bassa qualità, rendendo poco riconoscibili i dettagli essenziali dell’oggetto

Mostra un banner per spiegare che non ci sono risultati e indirizza gli utenti a una sezione Aiuto con informazioni su come migliorare la loro ricerca.

Un banner fornisce spazio per una spiegazione e un link ai contenuti di aiuto se non vengono trovati risultati di ricerca
Un banner fornisce spazio per una spiegazione e un link ai contenuti di aiuto se non vengono trovati risultati di ricerca.

Risultati scarsi

Se una ricerca restituisce solo risultati con punteggi di attendibilità bassi, puoi chiedere all’utente di ripetere la ricerca (fornendo suggerimenti su come migliorarla).

Consigliato: creare un link ai contenuti di aiuto quando tutti i risultati hanno un’attendibilità bassa

Consigliato

Crea un link ai contenuti di aiuto quando tutti i risultati hanno un’attendibilità bassa.

Spiegabilità + fiducia

Spiegare previsioni, raccomandazioni e altri output dell’IA

Link correlato

Errori + fallimento elegante

Come gestire gli errori del machine learning

Link correlato

Personalizzazione del tema ​

Tema Material di Shrine ​

La ricerca visiva con la fotocamera in tempo reale è utilizzata nel flusso di acquisto dell’app Shrine.

Le forme angolate dell’identità di marca di Shrine sono applicate agli elementi chiave, come il reticolo
Le forme angolate dell'identità del brand di Shrine sono applicate agli elementi chiave, come il reticolo.
Gli stili di colore e tipografia di Shrine sono applicati ai risultati della ricerca visiva per garantire coerenza con il resto dell’app
Gli stili di colore e tipografia di Shrine sono applicati ai risultati della ricerca visiva per garantire coerenza con il resto dell’app.

Reticolo ​

Il reticolo di Shrine utilizza una forma a rombo per rispecchiare lo stile delle forme di Shrine (caratterizzato da tagli angolati).

Diagramma del logo geometrico di Shrine, di un pulsante con angoli tagliati da 4 dp e di un reticolo con forma a rombo
1. Il logo geometrico di Shrine
2. Un pulsante con angoli tagliati da 4 dp
3. Un reticolo con forma a rombo

Il tooltip di Shrine viene messo in evidenza tramite colori, tipografia e posizionamento personalizzati.

I tooltip sono in genere componenti a bassa enfasi la cui larghezza dipende dal testo contenuto
1. I tooltip sono in genere componenti a basso risalto la cui larghezza dipende dal testo contenuto.
2. Il tooltip di Shrine utilizza colori e tipografia personalizzati ed estende il proprio contenitore fino ai bordi dello schermo.

Shrine

Shrine è un brand di moda e lifestyle che dimostra come Material Design possa essere utilizzato nell’e-commerce.

Articolo correlato

Pager
Pagina precedentePattern di machine learning
Pagina successivaRilevamento di oggetti: immagine statica

Rilasciato sotto la licenza Apache-2.0.

Copyright © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

Rilasciato sotto la licenza Apache-2.0.

Copyright © 2018-Present Google