对象检测:静态图片
借助机器学习,可以从用户提供的图片中检测出对象。

用法
通过视觉搜索(一种以图片作为输入的搜索方式),可以从照片中检测并识别现实世界中的对象。借助机器学习模型,视觉搜索可以向用户呈现某件物品的更多信息——无论它是一种植物,还是一件可供购买的商品。
ML Kit 的对象检测与跟踪 API 提供“静态”模式,可在用户提供的图片中检测最多五个对象,并使用你自己的图像分类模型显示匹配结果。
设计原则
此功能的设计基于以下原则:
保持图片清晰易读
将相机界面组件沿屏幕顶部和底部边缘对齐,确保覆盖在图片上的文字和图标依然清晰易读。
覆盖在实时相机画面上的所有非交互元素都应采用半透明样式,以尽量减少对画面的遮挡。

提供反馈
基于图片的搜索对交互设计提出了特殊要求:重叠或被裁剪的对象可能难以辨认。
错误状态应通过多种设计手段(例如组件和动效)传达,并说明用户如何改进搜索。

组件
静态图片对象检测功能复用了现有的 Material Design 组件,并引入了针对图片交互的新元素。如需获取新元素(例如对象标记)的代码示例和演示,请查看 Android 上的 ML Kit Material Design 展示应用的源代码。

1. 顶部应用栏
2. 对象标记
3. 工具提示
4. 卡片
5. 检测到的图片
6. 模态底部工作表

顶部应用栏
顶部应用栏始终提供以下操作:
- 退出搜索的按钮
- 亮度开关(使用相机闪光灯)
- 用于排查搜索问题的“帮助”入口

推荐
对象标记
对象标记是覆盖在检测到的对象中心处的圆形浮动指示器。每个标记都与屏幕底部的一张卡片配对,该卡片显示对应对象的搜索结果预览。当卡片滚动进入视图时,相应的对象标记会放大。
点按对象标记(或其结果卡片)会打开一个模态底部工作表,显示该对象的完整视觉搜索结果。
工具提示
工具提示用于向用户显示说明性文字。例如,既可用于传达状态(如“正在搜索……”),也可用于引导用户进行下一步操作(如“点按圆点或卡片查看结果”)。

推荐

不推荐

不推荐
卡片
卡片用于预览对象的视觉搜索结果。它们以水平滚动的轮播形式排列,并按对象在图片中水平方向上的位置排序。
每张卡片都与一个对象标记配对。当卡片滚动进入视图时,其关联的对象标记会放大。点按卡片(或其对象标记)会打开一个模态底部工作表,显示该对象的完整视觉搜索结果。
模态底部工作表
模态底部工作表用于展示视觉搜索结果。其布局和内容取决于应用的使用场景、结果数量以及结果置信度。


体验
基于图片的视觉对象搜索包括三个阶段:
- 输入:选择要搜索的图片
- 识别:检测并识别对象
- 展示:如果找到匹配的对象,则显示结果
输入
当用户选择一张图片后,视觉搜索随即开始。为提高搜索成功率,应建议用户选择最适合搜索的图片类型。

推荐

推荐
识别
从图片中检测到一个或多个对象后,应用应:
- 告知用户应用正在等待结果
- 显示搜索进度
ML Kit 检测到的对象随后会与你的图像分类模型中的一组已知图片进行比对,以查找匹配结果。
需要注意的是,即使从照片中检测到了对象,也不一定存在匹配的结果。因此,在有效的搜索结果返回之前,不应将对象标记为已识别。

推荐

不推荐
影响识别的因素
以下仅列举部分可能影响对象检测和识别的因素:
- 图片质量差
- 图片中对象尺寸过小
- 对象与背景之间对比度低
- 对象的拍摄角度难以辨认
- 搜索过程中网络连接中断

推荐
展示
检测结果通过以下方式呈现给用户:
- 在每个检测到的对象上方放置对象标记
- 以卡片轮播的形式显示每个对象的搜索结果预览
你的应用应设置一个用于显示视觉搜索结果的置信度阈值。“置信度”是指机器学习模型对自身预测准确程度的评估。对于视觉搜索,每个结果的置信度表示模型认为其与输入图片的相似程度。
如果图片中有一个或多个对象存在搜索结果,应用应使用对象标记以及卡片轮播来标识这些检测到的对象,并预览每个对象的结果。点按标记或卡片会打开一个模态底部工作表,显示该对象的结果。
推荐
推荐
评估搜索结果
在某些情况下,视觉搜索结果可能无法满足用户的预期,例如以下场景:
未找到结果
搜索可能因多种原因返回无匹配结果,包括:
- 对象不属于已知对象集,或与已知对象集不相似
- 对象的角度是视觉搜索模型无法识别的
- 图片质量差,导致对象的关键细节难以识别
应显示横幅说明没有结果的情况,并引导用户前往“帮助”部分,了解如何改进搜索。

结果不佳
如果仅返回低置信度的结果,可提示用户重新搜索,并提供改进搜索的技巧。

推荐
主题
Shrine Material 主题
Shrine 应用的购买流程允许用户通过照片对商品进行视觉搜索。


对象标记
Shrine 的对象标记采用菱形,以体现 Shrine 的形状风格(斜切角设计)。

2. 一个 4dp 切角的按钮
3. 一个菱形的对象标记
为了帮助用户将结果卡片与检测到的对象相匹配,当轮播中的结果卡片被选中时,对象标记通常会放大。Shrine 并未通过改变对象标记的大小来突出显示它,而是采用了自定义的颜色和边框样式。

2. Shrine 的对象标记通过颜色和边框样式的变化来指示当前对象:标记的容器颜色从 #FFFFFF 变为 Shrine 的 On Surface 颜色(#442C2E),并添加 6dp 的 #FFFFFF 边框。
卡片
Shrine 的结果卡片使用了自定义的颜色、字体和形状样式。

2. Shrine 的卡片内容使用 Rubik 字体,On Surface 颜色为 Shrine Pink 900(#442C2E),切角为 8dp。