Skip to content
Material Design 2
Main Navigation
v3
v2
v1

繁體中文

English
简体中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

繁體中文

English
简体中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

外觀

Sidebar Navigation

Material 系統

簡介

Material 研究案例

關於 Material 研究案例

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Material 基礎

環境

表面

高度

光與陰影

版面配置

瞭解版面配置

像素密度

回應式版面格線

間距方法

元件行為

應用密度

導覽

瞭解導覽

導覽轉場

搜尋

色彩

色彩系統

將色彩應用至 UI

色彩的運用

文字易讀性

深色主題

字體排印

字型系統

認識字體排印

語言支援

聲音

關於聲音

在 UI 中應用聲音

聲音屬性

音效編排

圖示設計

產品圖示

系統圖示

動態圖示

形狀

關於形狀

形狀與層級

以形狀作為表達

形狀與動態效果

將形狀套用至 UI

動態效果

瞭解動態效果

動態效果系統

速度

編排

自訂

互動

手勢

選取

狀態

溝通

確認與告知

資料格式

資料視覺化

空狀態

說明與意見回饋

圖像

啟動畫面

入門引導

離線狀態

文案撰寫

機器學習

機器學習模式

物件偵測:即時相機

物件偵測:靜態圖片

條碼掃描

Material 指南

Material Theming

總覽

實作您的主題

可用性

無障礙功能

雙向性

平台準則

Android 系統列

Android 指紋

Android 觸覺回饋

Android 圖示

Android 應用程式之間的導覽

Android 通知

Android 權限

Android Slices

Android 分割畫面

Android 滑動重新整理

Android 文字選取工具列

Android 小工具

跨平台調適

元件

底部應用程式列

頂部應用程式列

背景板

橫幅(Banners)

底部導覽

按鈕

按鈕:浮動操作按鈕

卡片

核取方塊

Chips

資料表格

日期選擇器

對話方塊

分隔線

圖片清單

清單

選單

導覽匣

導覽軌

進度指示器

選項按鈕

底部面板

側邊面板

滑桿

Snackbars

開關

分頁標籤(Tabs)

文字欄位

時間選擇器

工具提示(Tooltips)

本頁導覽

物件偵測:即時相機 ​

透過裝置的即時相機,運用機器學習偵測環境中的物件。

物件偵測:即時相機主視覺圖片

用法 ​

相機的即時畫面可用於識別現實世界中的物件。使用 ML Kit 物件偵測與追蹤 API 的「串流」模式,即可從相機畫面偵測物件,並將偵測結果作為輸入,透過您自家應用程式的圖片分類模型執行視覺搜尋(以圖片作為搜尋查詢)。

即時相機搜尋能協助使用者更了解周遭的物件,無論是博物館中的文物,還是想購買的商品。

本指南涵蓋每次僅偵測單一物件的情境。

即時相機中的視覺搜尋可協助使用者識別周遭的物件,例如辨識植物的種類。

ML Kit API 文件

物件偵測的開發人員指南

相關連結

範例 – Android

Android 版 ML Kit 展示應用程式

相關連結

範例 – iOS

iOS 版 ML Kit 展示應用程式

相關連結

原則 ​

此功能的設計基於以下原則:

以裝置相機搜尋視覺內容

不需輸入搜尋字詞,而是將裝置相機作為搜尋視覺內容的「遙控器」。

為了讓使用者了解如何以相機進行搜尋,請提供新手引導與常駐的操作說明。

簡短的動畫式新手引導,能協助使用者了解如何移動裝置並調整相機位置來進行搜尋。

保持相機畫面淨空且清晰易讀

為了最大化相機的可視範圍,請將應用程式的 UI 元件對齊螢幕的頂端與底部邊緣,並確保文字與圖示疊加在相機即時畫面上時仍清晰易讀。

顯示在即時相機畫面上的任何非互動元素,都應採用半透明設計,以盡量減少對相機畫面的遮擋。

大部分元素都刻意放置於螢幕的頂端與底部邊緣,以最大化相機畫面的可視範圍
大部分元素都刻意放置於螢幕的頂端與底部邊緣,以最大化相機畫面的可視範圍。

提供回饋

以相機作為搜尋工具會帶來獨特的使用需求:圖片品質必須達到一定水準,且使用者需要知道如何修正因光線不佳或距離過遠造成的圖片問題。

錯誤狀態的設計應該:

  • 透過多種設計線索指出錯誤(例如元件與動態效果)
  • 包含說明,告知使用者如何改善搜尋
橫幅提供醒目的方式,讓使用者知道搜尋出了問題
橫幅能醒目地告知使用者搜尋出了問題,並提供連結至說明區以取得更多資訊的空間。

元件 ​

即時相機物件偵測功能同時使用了現有的 Material Design 元件,以及專為相機互動設計的新元素。如需新元素(例如準星)的程式碼範例與示範,請參閱 ML Kit Material Design 展示應用程式的原始碼:Android 與 iOS。

即時相機視覺搜尋體驗各階段的關鍵元素
即時相機視覺搜尋體驗各階段的關鍵元素:
1. 頂部應用程式列
2. 準星
3. 物件標記
4. 工具提示
5. 偵測到的圖片
6. 模態底部工作表
元件

頂部應用程式列 ​


頂部應用程式列讓使用者能夠隨時使用以下操作:

  • 透過按鈕離開搜尋體驗
  • 使用切換開關提升亮度(開啟相機的閃光燈)
  • 存取說明區,排解搜尋問題
建議:使用漸層遮罩或純色作為頂部應用程式列的容器,確保其操作項目在相機畫面上清晰易讀

建議

使用漸層遮罩或純色作為頂部應用程式列的容器,確保其操作項目在相機畫面上清晰易讀。

頂部應用程式列

頂部應用程式列會顯示與目前檢視畫面相關的資訊與操作。

相關文章

準星 ​

準星是一種視覺指示器,為使用者提供一個在使用相機偵測物件時可專注對準的目標(其名稱靈感來自相機觀景窗)。它使用脈動動畫,告知使用者相機目前正在主動搜尋物件。

當即時相機對準某個物件時,準星會轉換為確定性進度指示器,表示視覺搜尋已開始。

準星應採用不同的設計與動畫效果,以傳達關鍵的應用程式狀態,例如相機正在搜尋物件或發生錯誤時。

準星的狀態:

1. 感應階段使用脈動動畫,表示應用程式正在搜尋物件
2. 在預設的延遲時間(由開發人員設定)過後開始搜尋,並以確定性進度指示器呈現
3. 靠近物件的提示,是透過準星中心圓形逐漸縮小來表達,直到物件達到最小可偵測尺寸為止
4. 偵測到錯誤時,準星的邊框會由實線轉為點線

物件標記 ​

ML Kit 的物件偵測與追蹤 API 提供偵測「顯著物件」的選項。此選項會偵測並追蹤位於相機畫面中心附近、且為畫面中最大的單一物件。偵測到物件後,應以實線矩形邊框標示該物件。

如果您的應用程式要求偵測到的物件必須達到最小圖片尺寸,物件標記應改為顯示部分矩形邊框(僅顯示邊框的四個角)。這代表物件已被偵測到,但在使用者靠近之前無法進行搜尋。

部分邊框與工具提示訊息可告知使用者:物件已被偵測到,必須靠近才能開始搜尋。

工具提示 ​

工具提示會向使用者顯示資訊文字。它們既能表示狀態(例如顯示「搜尋中…」的訊息),也能提示使用者進行下一步(例如顯示「將相機對準植物」的訊息)。

建議:撰寫簡短的工具提示,使用適合目標受眾的用語

建議

撰寫簡短的工具提示,使用適合目標受眾的用語。
避免:撰寫含有動作導向用語的工具提示,例如「輕觸即可搜尋」,因為工具提示本身不可操作

不建議

避免撰寫含有動作導向用語的工具提示,例如「輕觸即可搜尋」,因為工具提示本身不可操作。

避免:將錯誤訊息放置於工具提示中

不建議

避免將錯誤訊息放置於工具提示中。錯誤應顯示於橫幅中,以更醒目的方式呈現,並提供空間顯示操作項目。

工具提示

當使用者懸停、聚焦或輕觸元素時顯示資訊文字

相關文章

偵測到的圖片 ​


偵測到物件後,ML Kit 的物件偵測與追蹤 API 會建立該物件的圖片裁切版本,並以您的圖片分類模型執行視覺搜尋。

顯示裁切後的圖片是為了:

  • 確認偵測到的物件
  • 與搜尋結果的圖片進行比較
  • 說明與圖片相關的任何錯誤(例如品質不佳或包含多個物件)
在搜尋結果附近放置偵測物件圖片的縮圖,可協助使用者找出最符合的項目
在搜尋結果附近放置偵測物件圖片的縮圖,可協助使用者找出最符合的項目。

模態底部工作表 ​

模態底部工作表可用於顯示視覺搜尋結果。其版面配置與內容取決於應用程式的使用情境、結果數量,以及各項結果的信心水準。

在模態底部工作表中,可以使用清單或圖片格線顯示多個視覺搜尋結果
在模態底部工作表中,可以使用清單或圖片格線顯示多個視覺搜尋結果。工作表可展開至螢幕的完整高度,以檢視更多結果。
模態底部工作表可顯示單一結果,並依內容調整版面配置
模態底部工作表可顯示單一結果,並依內容調整版面配置。

底部工作表

固定於螢幕底部、包含輔助內容的介面。

相關文章

體驗 ​

即時相機視覺搜尋分為三個階段:

  1. 感應:使用相機尋找輸入內容
  2. 識別:偵測並識別物件
  3. 傳達:如果找到符合的物件,將結果傳達給使用者

感應 ​

物件偵測在視覺搜尋功能開啟時即開始。「感應」是指相機在即時畫面中搜尋物件的階段。在此階段,應用程式應該:

  • 說明此功能的運作方式
  • 傳達應用程式的行為
  • 引導使用者控制相機,並建議調整方式

說明此功能的運作方式 ​

為使用者提供操作說明,讓他們了解如何將相機作為「遙控器」來搜尋環境中的物件,並透過新手引導與說明內容描述整體體驗。

建議:以單一畫面的新手引導體驗說明互動方式

建議

以單一畫面的新手引導說明互動方式,並建議使用動畫向使用者示範如何移動裝置。
避免:要求冗長的新手引導流程,逐一描述所有可能的錯誤狀態

不建議

避免在冗長的新手引導流程中逐一描述所有可能的錯誤狀態。等到使用者實際遇到問題時,再提供進一步資訊。

建議:設置專屬的說明區,其中資訊包含可偵測的物件類型

建議

設置專屬的說明區,並在其中提供可偵測的物件類型、如何取得最佳結果,以及圖片的使用方式等資訊。

傳達應用程式的行為

在相機搜尋時,準星會脈動以表示相機正在「觀看」,同時工具提示會引導使用者將相機對準物件。

建議

提供動態的準星與工具提示等線索,讓使用者明白此介面與使用相機拍照有何不同。

引導調整

有時環境條件會使物件難以偵測,例如以下情況:

  • 環境過亮或過暗,導致物件難以與背景區分
  • 畫面中的物件互相重疊,難以彼此區分

如果經過相當長的時間仍未偵測到物件,請停止準星動畫,並引導使用者前往說明文件。

若發生偵測逾時,請讓使用者知道出了問題:停止準星動畫,並強調說明內容。

識別 ​

當相機偵測到物件時,應用程式應該:

  1. 標示偵測到的物件
  2. 提示使用者開始搜尋
  3. 顯示搜尋進度

識別偵測到的物件

為了表示相機已找到物件,請停止準星的動畫,並以邊框標示偵測到的物件。

偵測到的物件周圍會出現矩形邊框,表示物件已被識別
偵測到的物件周圍會出現矩形邊框,表示物件已被識別。

提示使用者開始搜尋

指示使用者將偵測到的物件保持在相機畫面中心。在開始搜尋之前,加入一段短暫的延遲時間,並在準星上顯示確定性進度指示器。這讓使用者有時間選擇:

  • 確認搜尋意圖(使用者保持裝置相機靜止不動)
  • 取消搜尋(使用者將相機移離物件)

延遲時間的長度可自行設定。

延遲時間讓使用者可以在需要時取消搜尋。

顯示搜尋進度

搜尋一旦開始,物件偵測即停止,且即時相機畫面會暫停。這可防止觸發新的搜尋(並讓使用者有機會將裝置調整至更舒適的位置)。

搜尋進度以不確定性進度指示器與工具提示訊息表示。

使用多種設計線索(動態效果、遮罩與文字)來表示搜尋已開始,並提示使用者等待結果載入。

進行修正 ​

在識別階段,有兩個問題可能會影響搜尋結果的品質:

圖片尺寸過小:如果偵測到的物件距離相機太遠,就無法產生高品質的圖片(圖片品質取決於您所設定的最小圖片尺寸)。

為了表示偵測尚未完成,請在物件周圍顯示部分邊框(而非完整邊框),並顯示工具提示訊息,提示使用者靠近物件。

部分邊框與工具提示訊息可告知使用者:物件已被偵測到,必須靠近才能開始搜尋。

網路連線:如果您的圖片分類模型位於雲端,則需要穩定的網路連線。如果連線失敗,請顯示橫幅,告知使用者需要有網路連線才能繼續。

網路問題可以透過橫幅傳達給使用者
網路問題可以透過橫幅傳達給使用者,並附上重試查詢的操作(前提是問題已解決)。

傳達 ​

視覺搜尋的結果會顯示在模態底部工作表中。在此階段,應用程式應該:

  • 顯示結果
  • 顯示偵測到的物件
  • 提供快速導覽

您的應用程式應設定顯示視覺搜尋結果的信心閾值。「信心」是指機器學習模型對其預測準確度的評估。對於視覺搜尋而言,每個結果的信心水準表示模型認為該結果與所提供圖片的相似程度。

建議:依模型的信心水準排序視覺搜尋結果,確保最可能符合的項目優先顯示

建議

依模型的信心水準排序視覺搜尋結果,確保最可能符合的項目優先顯示。
建議:當使用情境需要精確相符的結果時,僅顯示信心水準最高的結果

建議

當使用情境需要精確相符的結果時,僅顯示信心水準最高的結果。

顯示偵測到的物件

為了便於比較偵測到的物件與搜尋結果,請在模態底部工作表上方顯示偵測物件的縮圖。

建議:包含物件的偵測圖片,以便與搜尋結果圖片進行比較

建議

包含物件的偵測圖片,以便與搜尋結果圖片進行比較。

提供快速導覽 ​

檢視結果後,使用者可能會採取不同的操作:

  • 若要返回相機畫面,使用者可以輕觸遮罩或模態底部工作表的標題列。
  • 若要離開相機,使用者可以與某個結果互動、前往應用程式中的其他頁面,或輕觸「X」按鈕關閉相機並返回應用程式。

輕觸底部工作表的標題列或遮罩,可讓使用者返回即時相機畫面繼續搜尋。
當使用情境需要精確相符的結果時,僅顯示信心水準最高的結果。

評估搜尋結果 ​

在某些情況下,視覺搜尋結果可能不如使用者預期,例如以下情境:

找不到結果

搜尋可能因多種原因而找不到任何相符結果,包括:

  • 物件不屬於已知物件集,或與已知物件不相似
  • 偵測物件時的角度無法辨識
  • 圖片品質不佳,導致物件的關鍵細節難以辨識

顯示橫幅說明找不到結果,並引導使用者前往說明區,取得如何改善搜尋的資訊。

若未找到任何搜尋結果,橫幅可提供說明空間與說明內容的連結
若未找到任何搜尋結果,橫幅可提供說明空間與說明內容的連結。

結果品質不佳

如果搜尋結果的信心分數都偏低,您可以請使用者再次搜尋(並提供改善搜尋的提示)。

建議:當所有結果的信心水準都偏低時,連結至說明內容

建議

當所有結果的信心水準都偏低時,連結至說明內容。

可解釋性 + 信任

說明預測、推薦與其他 AI 輸出結果

相關連結

錯誤 + 妥善處理失敗

如何處理機器學習錯誤

相關連結

主題設定 ​

Shrine Material 主題 ​

即時相機視覺搜尋用於 Shrine 應用程式的購買流程。

Shrine 品牌使用的帶稜角形狀應用於準星等關鍵元素
Shrine 品牌使用的帶稜角形狀也應用於準星等關鍵元素。
Shrine 的色彩與字型字體排印樣式應用於視覺搜尋結果,與應用程式的其他部分保持一致
Shrine 的色彩與字型字體排印樣式也應用於視覺搜尋結果,與應用程式的其他部分保持一致。

準星 ​

Shrine 的準星使用菱形形狀,以反映其形狀樣式(採用切角形狀)。

示意圖:Shrine 的幾何標誌、具有 4dp 切角的按鈕、具有菱形形狀的準星
1. Shrine 的幾何標誌
2. 具有 4dp 切角的按鈕
3. 具有菱形形狀的準星

Shrine 的工具提示透過自訂的色彩、字型字體排印與位置加以強調。

工具提示通常是視覺層級較低的次要元件,其寬度取決於文字內容
1. 工具提示通常是視覺層級較低的次要元件,其寬度取決於文字內容。
2. Shrine 的工具提示使用自訂色彩與字型字體排印,並將其容器延伸至螢幕邊緣。

Shrine

Shrine 是一個生活風格與時尚品牌,展示如何在電子商務中運用 Material Design。

相關文章

Pager
上一頁機器學習模式
下一頁物件偵測:靜態圖片

以 Apache-2.0 授權條款 發布。

版權所有 © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

以 Apache-2.0 授權條款 發布。

版權所有 © 2018-Present Google