物体检测:实时相机
通过机器学习,可以使用设备的实时相机检测环境中的物体。

用法
相机的实时画面可用于识别现实世界中的物体。借助 ML Kit 对象检测和跟踪 API 的“流式传输”模式,应用可以检测相机实时画面中的物体,并将其作为输入,使用应用自身的图像分类模型执行视觉搜索(一种以图像作为输入的搜索查询)。
使用实时相机进行搜索,可以帮助用户进一步了解身边的物体,无论是博物馆里的文物,还是想要购买的商品。
本指南涵盖每次只检测一个物体的场景。
设计原则
此功能的设计基于以下原则:
使用设备相机进行搜索
用户无需输入搜索词,只需将设备相机作为“遥控器”,即可搜索视觉内容。
为了让用户了解如何使用相机进行搜索,应提供引导教程和常驻的操作提示。
保持相机画面清晰、元素易读
为了最大限度地保留相机画面的可见区域,应将应用的 UI 组件靠齐至屏幕顶部和底部边缘,并确保文字和图标在相机实时画面之上仍然清晰易读。
任何显示在实时相机画面之上且不可操作的元素,都应采用半透明样式,以尽量减少对画面的遮挡。

提供反馈
将相机用作搜索工具会带来一些特殊的使用要求:图像质量需要足够好,用户也需要了解如何解决因光照不佳或距离物体过远导致的图像问题。
错误状态的呈现应当:
- 使用多种设计提示来指示错误(例如组件和动效)
- 说明用户如何改进搜索

组件
实时相机物体检测功能既使用了现有的 Material Design 组件,也使用了相机交互专属的新元素。如需查看新元素(例如准星)的代码示例和演示,请分别查看面向 Android 和 iOS 的 ML Kit Material Design 演示应用源代码。

1. 顶部应用栏
2. 准星
3. 物体标记
4. 工具提示
5. 检测到的图像
6. 模态底部工作表

顶部应用栏
顶部应用栏始终提供以下操作:
- 用于退出搜索的按钮
- 用于调高亮度的切换按钮(使用相机闪光灯)
- 用于排查搜索问题的帮助部分

推荐
准星
准星是一种视觉指示器,在用户使用相机检测物体时为其提供一个可以聚焦的目标(其名称来源于相机取景器)。它使用脉冲动画来告知用户相机正在主动寻找物体。
当实时相机对准某个物体时,准星会转换为确定性进度指示器,表示视觉搜索已经开始。
1. 感知状态使用脉冲动画表示应用正在寻找物体
2. 在预设延迟(由开发者设置)结束后开始搜索,准星随之转换为确定性进度指示器
3. 需要靠近物体时,准星的中心圆会不断缩小,直至达到最小可检测尺寸
4. 发生任何错误时,准星的边框会从实线变为点线
物体标记
ML Kit 对象检测和跟踪 API 提供了检测“显著物体”的选项。此选项会检测并跟踪相机视野中心附近最大的单个物体。检测到物体后,应使用实线矩形边框将其标记出来。
如果你的应用对检测到的物体有最小图像尺寸要求,物体标记应改为显示部分矩形边框(仅显示边框的四个角)。这表示物体已被检测到,但在用户靠近之前无法进行搜索。
工具提示
工具提示用于向用户显示提示文字。它既可以表达当前状态(例如“正在搜索…”之类的消息),也可以引导用户进行下一步操作(例如“将相机对准植物”之类的消息)。

推荐

不推荐

不推荐
检测到的图像
检测到物体后,ML Kit 对象检测和跟踪 API 会创建图像的裁剪版本,供你的图像分类模型执行视觉搜索。
显示裁剪后的图像是为了:
- 确认检测到的物体
- 与搜索结果图像进行对比
- 说明与图像相关的错误(例如图像质量不佳或包含多个物体)

模态底部工作表
模态底部工作表用于展示视觉搜索结果。其布局和内容取决于应用的使用场景、结果数量以及结果的置信度。


体验
实时相机视觉搜索分为三个阶段:
- 感知:使用相机寻找物体
- 识别:检测并识别物体
- 传达:如果找到匹配的物体,将其传达给用户
感知
打开视觉搜索功能后,物体检测随即开始。“感知”是指相机在实时画面中寻找物体。在此阶段,应用应当:
- 说明该功能的工作原理
- 传达应用正在执行的操作
- 引导用户控制相机,并给出调整建议
说明该功能的工作原理
向用户提供将相机用作“遥控器”来搜索环境中物体的说明,并通过引导教程和帮助内容介绍这一体验。

推荐

不推荐

推荐
传达应用正在执行的操作
在相机搜索过程中,准星会以脉冲方式闪动,表示相机正在“搜寻”,同时工具提示会引导用户将相机对准物体。
推荐
引导用户进行调整
有时环境条件会让物体难以被检测到,例如以下场景:
- 环境过亮或过暗,导致物体无法与背景区分开
- 物体重叠,彼此之间难以区分
如果较长时间仍未检测到物体,应停止准星动画,并引导用户查看帮助文档。
识别
当相机检测到物体后,应用应当:
- 标记检测到的物体
- 提示用户开始搜索
- 显示搜索进度
识别检测到的物体
为了表明相机已找到物体,应停止准星的动画,并用边框标记检测到的物体。

提示开始搜索
提示用户将检测到的物体保持在相机画面中央。在开始搜索之前,设置一段短暂延迟,并在准星中显示确定性进度指示器。这使用户有时间选择以下任一操作:
- 确认搜索意图(用户保持设备相机不动)
- 取消搜索(用户将相机从物体上移开)
你可以自定义延迟的时长。
显示搜索进度
搜索一旦开始,物体检测就会停止,实时相机画面也会暂停。这样可以避免发起新的搜索,同时也让用户可以将设备调整到更舒适的位置。
搜索进度通过不确定性进度指示器和工具提示消息来表示。
处理识别问题
在识别阶段,有两种问题可能影响搜索结果的质量:
图像尺寸过小:如果检测到的物体距离相机太远,就无法生成高质量的图像(取决于你设置的最小图像尺寸)。
为了表明检测尚未完成,应在物体周围显示部分边框(而非完整边框),并显示工具提示消息,引导用户靠近物体。
网络连接:如果你的图像分类模型部署在云端,则需要稳定的网络连接。如果网络连接中断,应显示横幅,提示用户需要联网才能继续。

传达
视觉搜索的结果显示在模态底部工作表中。在此阶段,应用应当:
- 显示结果
- 显示检测到的物体
- 提供快速导航
你的应用应为视觉搜索结果设置置信度阈值。“置信度”是指机器学习模型对预测准确程度的评估。对于视觉搜索,每个结果的置信度表示模型认为它与所提供图像的相似程度。

推荐

推荐
显示检测到的物体
为了便于将检测到的物体与搜索结果进行对比,应在模态底部工作表上方显示所检测物体的缩略图。

推荐
提供快速导航
查看结果后,用户可能会执行不同的操作:
- 要返回相机视图,用户可以点按遮罩或模态底部工作表的头部。
- 要退出相机视图,用户可以点按某个结果跳转到应用的其他页面,或点按“X”按钮关闭相机并返回应用。
评估搜索结果
在某些情况下,视觉搜索结果可能不符合用户预期,例如以下场景:
未找到结果
搜索可能因多种原因未返回任何匹配结果,包括:
- 物体不属于已知物体集合,或与之不相似
- 物体是从难以识别的角度被检测到的
- 图像质量可能较低,导致物体的关键细节难以识别
显示横幅说明未找到结果的情况,并引导用户前往帮助部分,了解如何改进搜索。

结果不佳
如果搜索返回的结果置信度都很低,可以请用户重新搜索(并提供改进搜索的提示)。

推荐
主题
Shrine Material 主题
实时相机视觉搜索用于 Shrine 应用的购买流程。


准星
Shrine 的准星采用菱形,以体现 Shrine 的形状风格(该风格使用斜切角)。

2. 带 4dp 切角的按钮
3. 菱形准星
Shrine 的工具提示通过自定义颜色、文字样式和位置得到强调。

2. Shrine 的工具提示使用自定义颜色和文字样式,并将其容器延伸至屏幕边缘。