物件偵測:即時相機
透過裝置的即時相機,運用機器學習偵測環境中的物件。

用法
相機的即時畫面可用於識別現實世界中的物件。使用 ML Kit 物件偵測與追蹤 API 的「串流」模式,即可從相機畫面偵測物件,並將偵測結果作為輸入,透過您自家應用程式的圖片分類模型執行視覺搜尋(以圖片作為搜尋查詢)。
即時相機搜尋能協助使用者更了解周遭的物件,無論是博物館中的文物,還是想購買的商品。
本指南涵蓋每次僅偵測單一物件的情境。
原則
此功能的設計基於以下原則:
以裝置相機搜尋視覺內容
不需輸入搜尋字詞,而是將裝置相機作為搜尋視覺內容的「遙控器」。
為了讓使用者了解如何以相機進行搜尋,請提供新手引導與常駐的操作說明。
保持相機畫面淨空且清晰易讀
為了最大化相機的可視範圍,請將應用程式的 UI 元件對齊螢幕的頂端與底部邊緣,並確保文字與圖示疊加在相機即時畫面上時仍清晰易讀。
顯示在即時相機畫面上的任何非互動元素,都應採用半透明設計,以盡量減少對相機畫面的遮擋。

提供回饋
以相機作為搜尋工具會帶來獨特的使用需求:圖片品質必須達到一定水準,且使用者需要知道如何修正因光線不佳或距離過遠造成的圖片問題。
錯誤狀態的設計應該:
- 透過多種設計線索指出錯誤(例如元件與動態效果)
- 包含說明,告知使用者如何改善搜尋

元件
即時相機物件偵測功能同時使用了現有的 Material Design 元件,以及專為相機互動設計的新元素。如需新元素(例如準星)的程式碼範例與示範,請參閱 ML Kit Material Design 展示應用程式的原始碼:Android 與 iOS。

1. 頂部應用程式列
2. 準星
3. 物件標記
4. 工具提示
5. 偵測到的圖片
6. 模態底部工作表

頂部應用程式列
頂部應用程式列讓使用者能夠隨時使用以下操作:
- 透過按鈕離開搜尋體驗
- 使用切換開關提升亮度(開啟相機的閃光燈)
- 存取說明區,排解搜尋問題

建議
準星
準星是一種視覺指示器,為使用者提供一個在使用相機偵測物件時可專注對準的目標(其名稱靈感來自相機觀景窗)。它使用脈動動畫,告知使用者相機目前正在主動搜尋物件。
當即時相機對準某個物件時,準星會轉換為確定性進度指示器,表示視覺搜尋已開始。
1. 感應階段使用脈動動畫,表示應用程式正在搜尋物件
2. 在預設的延遲時間(由開發人員設定)過後開始搜尋,並以確定性進度指示器呈現
3. 靠近物件的提示,是透過準星中心圓形逐漸縮小來表達,直到物件達到最小可偵測尺寸為止
4. 偵測到錯誤時,準星的邊框會由實線轉為點線
物件標記
ML Kit 的物件偵測與追蹤 API 提供偵測「顯著物件」的選項。此選項會偵測並追蹤位於相機畫面中心附近、且為畫面中最大的單一物件。偵測到物件後,應以實線矩形邊框標示該物件。
如果您的應用程式要求偵測到的物件必須達到最小圖片尺寸,物件標記應改為顯示部分矩形邊框(僅顯示邊框的四個角)。這代表物件已被偵測到,但在使用者靠近之前無法進行搜尋。
工具提示
工具提示會向使用者顯示資訊文字。它們既能表示狀態(例如顯示「搜尋中…」的訊息),也能提示使用者進行下一步(例如顯示「將相機對準植物」的訊息)。

建議

不建議

不建議
偵測到的圖片
偵測到物件後,ML Kit 的物件偵測與追蹤 API 會建立該物件的圖片裁切版本,並以您的圖片分類模型執行視覺搜尋。
顯示裁切後的圖片是為了:
- 確認偵測到的物件
- 與搜尋結果的圖片進行比較
- 說明與圖片相關的任何錯誤(例如品質不佳或包含多個物件)

模態底部工作表
模態底部工作表可用於顯示視覺搜尋結果。其版面配置與內容取決於應用程式的使用情境、結果數量,以及各項結果的信心水準。


體驗
即時相機視覺搜尋分為三個階段:
- 感應:使用相機尋找輸入內容
- 識別:偵測並識別物件
- 傳達:如果找到符合的物件,將結果傳達給使用者
感應
物件偵測在視覺搜尋功能開啟時即開始。「感應」是指相機在即時畫面中搜尋物件的階段。在此階段,應用程式應該:
- 說明此功能的運作方式
- 傳達應用程式的行為
- 引導使用者控制相機,並建議調整方式
說明此功能的運作方式
為使用者提供操作說明,讓他們了解如何將相機作為「遙控器」來搜尋環境中的物件,並透過新手引導與說明內容描述整體體驗。

建議

不建議

建議
傳達應用程式的行為
在相機搜尋時,準星會脈動以表示相機正在「觀看」,同時工具提示會引導使用者將相機對準物件。
建議
引導調整
有時環境條件會使物件難以偵測,例如以下情況:
- 環境過亮或過暗,導致物件難以與背景區分
- 畫面中的物件互相重疊,難以彼此區分
如果經過相當長的時間仍未偵測到物件,請停止準星動畫,並引導使用者前往說明文件。
識別
當相機偵測到物件時,應用程式應該:
- 標示偵測到的物件
- 提示使用者開始搜尋
- 顯示搜尋進度
識別偵測到的物件
為了表示相機已找到物件,請停止準星的動畫,並以邊框標示偵測到的物件。

提示使用者開始搜尋
指示使用者將偵測到的物件保持在相機畫面中心。在開始搜尋之前,加入一段短暫的延遲時間,並在準星上顯示確定性進度指示器。這讓使用者有時間選擇:
- 確認搜尋意圖(使用者保持裝置相機靜止不動)
- 取消搜尋(使用者將相機移離物件)
延遲時間的長度可自行設定。
顯示搜尋進度
搜尋一旦開始,物件偵測即停止,且即時相機畫面會暫停。這可防止觸發新的搜尋(並讓使用者有機會將裝置調整至更舒適的位置)。
搜尋進度以不確定性進度指示器與工具提示訊息表示。
進行修正
在識別階段,有兩個問題可能會影響搜尋結果的品質:
圖片尺寸過小:如果偵測到的物件距離相機太遠,就無法產生高品質的圖片(圖片品質取決於您所設定的最小圖片尺寸)。
為了表示偵測尚未完成,請在物件周圍顯示部分邊框(而非完整邊框),並顯示工具提示訊息,提示使用者靠近物件。
網路連線:如果您的圖片分類模型位於雲端,則需要穩定的網路連線。如果連線失敗,請顯示橫幅,告知使用者需要有網路連線才能繼續。

傳達
視覺搜尋的結果會顯示在模態底部工作表中。在此階段,應用程式應該:
- 顯示結果
- 顯示偵測到的物件
- 提供快速導覽
您的應用程式應設定顯示視覺搜尋結果的信心閾值。「信心」是指機器學習模型對其預測準確度的評估。對於視覺搜尋而言,每個結果的信心水準表示模型認為該結果與所提供圖片的相似程度。

建議

建議
顯示偵測到的物件
為了便於比較偵測到的物件與搜尋結果,請在模態底部工作表上方顯示偵測物件的縮圖。

建議
提供快速導覽
檢視結果後,使用者可能會採取不同的操作:
- 若要返回相機畫面,使用者可以輕觸遮罩或模態底部工作表的標題列。
- 若要離開相機,使用者可以與某個結果互動、前往應用程式中的其他頁面,或輕觸「X」按鈕關閉相機並返回應用程式。
評估搜尋結果
在某些情況下,視覺搜尋結果可能不如使用者預期,例如以下情境:
找不到結果
搜尋可能因多種原因而找不到任何相符結果,包括:
- 物件不屬於已知物件集,或與已知物件不相似
- 偵測物件時的角度無法辨識
- 圖片品質不佳,導致物件的關鍵細節難以辨識
顯示橫幅說明找不到結果,並引導使用者前往說明區,取得如何改善搜尋的資訊。

結果品質不佳
如果搜尋結果的信心分數都偏低,您可以請使用者再次搜尋(並提供改善搜尋的提示)。

建議
主題設定
Shrine Material 主題
即時相機視覺搜尋用於 Shrine 應用程式的購買流程。


準星
Shrine 的準星使用菱形形狀,以反映其形狀樣式(採用切角形狀)。

2. 具有 4dp 切角的按鈕
3. 具有菱形形狀的準星
Shrine 的工具提示透過自訂的色彩、字型字體排印與位置加以強調。

2. Shrine 的工具提示使用自訂色彩與字型字體排印,並將其容器延伸至螢幕邊緣。