物件偵測:靜態圖片
運用機器學習,可以從使用者提供的圖片中偵測物件。

用法
透過執行視覺搜尋(以圖片作為輸入的搜尋查詢),相片可用於偵測和辨識現實世界中的物件。視覺搜尋的結果由機器學習模型產生,可以為使用者提供關於某件物品的更多資訊——無論它是一種植物,還是一件可供購買的商品。
「ML Kit 物件偵測與追蹤 API」的「靜態」模式可讓您在提供的圖片中偵測最多五個物件,並使用您自己的圖片分類模型顯示相符的結果。
原則
此功能的設計依循以下原則:
保持圖片清晰易讀
將相機 UI 元件對齊螢幕的頂部和底部邊緣,確保文字和圖示放置在圖片前方時仍清晰易讀。
顯示在即時相機畫面前方的任何非互動性元素,都應呈半透明狀態,以盡量減少對相機畫面的遮擋。

提供回饋
以圖片搜尋物件會帶來獨特的使用情境:重疊或被裁切的物件可能導致難以辨識。
錯誤狀態應透過多種設計線索(例如元件和動態效果)來傳達,並提供改善搜尋的方法說明。

元件
靜態圖片物件偵測功能使用現有的 Material Design 元件,以及專為與圖片互動而設計的新元素。如需新元素(例如物件標記)的程式碼範例和示範,請查看 Android 版 ML Kit Material Design 展示應用程式的原始碼。

1. 頂部應用程式列
2. 物件標記
3. 工具提示
4. 卡片
5. 已偵測的圖片
6. 模態底部工作表

頂部應用程式列
頂部應用程式列可持續提供以下操作:
- 結束搜尋體驗的按鈕
- 提高亮度的開關(使用相機的閃光燈)
- 前往說明專區,排解搜尋問題

建議
物件標記
物件標記是放置在已偵測物件中心前方的圓形浮動指示器。每個標記都與螢幕底部的一張卡片配對,卡片會顯示對應物件搜尋結果的預覽。當卡片滑入檢視區時,與其配對的物件標記會放大。
輕觸物件標記(或其結果卡片)會開啟一個模態底部工作表,顯示該物件的完整視覺搜尋結果。
工具提示
工具提示會向使用者顯示說明性文字。例如,工具提示既能以訊息表達狀態(如「正在搜尋…」),也能提示使用者進行下一步操作(如「輕觸物件標記或卡片以查看結果」)。

建議

不建議

不建議
卡片
卡片提供物件視覺搜尋結果的預覽。卡片以可水平捲動的輪播形式排列,並根據對應物件在圖片中的水平位置排序。
每張卡片都與一個物件標記配對。當卡片滑入檢視區時,與其配對的物件標記會放大。輕觸卡片(或其物件標記)會開啟一個模態底部工作表,顯示該物件的完整視覺搜尋結果。
模態底部工作表
模態底部工作表可讓使用者檢視視覺搜尋結果。其版面配置和內容取決於您應用程式的使用情境、結果數量以及結果的信賴度。


體驗
以圖片進行視覺物件搜尋包含三個階段:
- 輸入:選取要搜尋的圖片
- 辨識:偵測和辨識物件
- 傳達:如果找到相符的物件,則顯示結果
輸入
當使用者選取圖片時,視覺搜尋即開始。為了提高搜尋成功的機率,應向使用者建議最適合搜尋的圖片類型。

建議

建議
辨識
當從圖片中偵測到一個或多個物件時,應用程式應:
- 告知使用者應用程式正在等待結果
- 顯示搜尋進度
ML Kit 物件偵測與追蹤 API 偵測到的物件,隨後會與您圖片分類模型中的一組已知圖片進行比對,以尋找相符的結果。
即使物件已從相片中偵測到,也不能保證一定會找到相符的結果。因此,在傳回有效的搜尋結果之前,不應將物件標示為已偵測。

建議

不建議
調整指引
下列因素(僅列舉部分)可能會影響物件能否被偵測和辨識:
- 圖片品質不佳
- 圖片中的物件太小
- 物件與其背景之間的對比度低
- 物件以無法辨識的角度呈現
- 完成搜尋所需的網路連線中斷

建議
傳達
已偵測物件的搜尋結果會透過以下方式呈現給使用者:
- 在每個已偵測物件的前方放置物件標記
- 在卡片上顯示每個物件搜尋結果的預覽(作為卡片輪播的一部分)
您的應用程式應設定顯示視覺搜尋結果的信賴度閾值。「信賴度」是指機器學習模型對其預測準確度的評估。在視覺搜尋中,每個結果的信賴度表示模型認為該物件與所提供圖片的相似程度。
如果圖片中有一個或多個物件具有搜尋結果,應用程式應在這些已偵測的物件上放置物件標記,並以卡片輪播預覽每個物件的結果。輕觸標記或卡片會開啟一個模態底部工作表,顯示該物件的結果。
建議
建議
評估搜尋結果
在某些情況下,視覺搜尋結果可能不符合使用者的期望,例如以下幾種情境:
找不到結果
搜尋可能不會回傳任何相符的結果,原因包括:
- 物件不屬於已知物件集合,或與該集合不相似
- 物件是從視覺搜尋模型無法辨識的角度偵測到的
- 圖片品質不佳,導致物件的關鍵細節難以辨識
顯示橫幅來說明沒有結果的情況,並引導使用者前往說明專區,了解如何改善搜尋。

結果不佳
如果所有搜尋結果的信賴度分數皆偏低,可以請使用者再次搜尋(並提供改善搜尋的提示)。

建議
主題設定
Shrine Material 主題
Shrine 應用程式的購買流程讓使用者可以使用相片對產品進行視覺搜尋。


物件標記
Shrine 的物件標記使用菱形,以反映 Shrine 的形狀樣式(採用斜切角)。

2. 具有 4dp 切角的按鈕
3. 菱形物件標記
選取輪播中的結果卡片時,對應的物件標記通常會放大,以便使用者對照結果與偵測到的物件。Shrine 沒有透過改變物件標記的大小來強調它,而是套用了自訂的色彩和邊框樣式。

2. Shrine 的物件標記使用色彩和邊框樣式的差異來指示目前的物件。標記的容器色彩會從 #FFFFFF 變更為 Shrine 的 On Surface 色彩(#442C2E),並套用 6dp 的 #FFFFFF 邊框。
卡片
Shrine 的結果卡片使用自訂的色彩、字體和形狀樣式。

2. Shrine 的卡片內容使用 Rubik 字體,以 Shrine Pink 900(#442C2E)作為其 On Surface 色彩,且具有 8dp 的切角。