Skip to content
Material Design 2
Main Navigation
v3
v2
v1

简体中文

English
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

简体中文

English
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
日本語
한국어
Italiano
Polski
Türkçe
čeština
magyar

主题

Sidebar Navigation

Material 系统

简介

Material 案例研究

关于 Material 案例研究

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Material 基础

环境

表面

海拔(Elevation)

光与阴影

布局

了解布局

像素密度

响应式布局网格

间距方法

组件行为

应用密度

导航

了解导航

导航转场

搜索

颜色

色彩系统

为 UI 应用颜色

颜色的使用

文本可读性

深色主题

字体排印

字体系统

理解字体排印

语言支持

声音

关于声音

将声音应用于 UI

声音属性

声音编排

图标

产品图标

系统图标

动画图标

形状

关于形状

形状与层级

形状即表达

形状与动效

将形状应用于 UI

动效

理解动效

动效系统

速度

编排(Choreography)

自定义

交互

手势

选择

状态

沟通

确认与告知

数据格式

数据可视化

空状态

帮助与反馈

图像

启动屏幕

新手引导

离线状态

文案写作

机器学习

机器学习模式

物体检测:实时相机

对象检测:静态图片

条形码扫描

Material 指南

Material 主题化

概述

实现你的主题

可用性

无障碍

双向性

平台指南

Android 系统栏

Android 指纹

Android 触觉反馈

Android 图标

Android 应用间导航

Android 通知

Android 权限

Android 切片

Android 分屏

Android 下拉刷新

Android 文本选择工具栏

Android 小组件

跨平台适配

组件

底部应用栏

顶部应用栏

背景板

横幅

底部导航

按钮

按钮:浮动操作按钮

卡片

复选框

标签(Chips)

数据表

日期选择器

对话框

分隔线

图片列表

列表

菜单

导航抽屉

导航轨道

进度指示器

单选按钮

底部工作表

侧边工作表(Sheets: side)

滑块

提示条

开关

标签页

文本框

时间选择器

工具提示

页面导航

物体检测:实时相机 ​

通过机器学习,可以使用设备的实时相机检测环境中的物体。

物体检测:实时相机主图

用法 ​

相机的实时画面可用于识别现实世界中的物体。借助 ML Kit 对象检测和跟踪 API 的“流式传输”模式,应用可以检测相机实时画面中的物体,并将其作为输入,使用应用自身的图像分类模型执行视觉搜索(一种以图像作为输入的搜索查询)。

使用实时相机进行搜索,可以帮助用户进一步了解身边的物体,无论是博物馆里的文物,还是想要购买的商品。

本指南涵盖每次只检测一个物体的场景。

实时相机中的视觉搜索可以帮助用户识别身边的物体,例如植物种类。

ML Kit API 文档

物体检测开发者指南

相关链接

示例 – Android

面向 Android 的 ML Kit 演示应用

相关链接

示例 – iOS

面向 iOS 的 ML Kit 演示应用

相关链接

设计原则 ​

此功能的设计基于以下原则:

使用设备相机进行搜索

用户无需输入搜索词,只需将设备相机作为“遥控器”,即可搜索视觉内容。

为了让用户了解如何使用相机进行搜索,应提供引导教程和常驻的操作提示。

简短的动画引导体验可以帮助用户理解如何移动设备并调整相机位置以进行搜索。

保持相机画面清晰、元素易读

为了最大限度地保留相机画面的可见区域,应将应用的 UI 组件靠齐至屏幕顶部和底部边缘,并确保文字和图标在相机实时画面之上仍然清晰易读。

任何显示在实时相机画面之上且不可操作的元素,都应采用半透明样式,以尽量减少对画面的遮挡。

大多数元素都特意放置在屏幕的顶部和底部边缘,以最大限度地展示相机画面
大多数元素都特意放置在屏幕的顶部和底部边缘,以最大限度地展示相机画面。

提供反馈

将相机用作搜索工具会带来一些特殊的使用要求:图像质量需要足够好,用户也需要了解如何解决因光照不佳或距离物体过远导致的图像问题。

错误状态的呈现应当:

  • 使用多种设计提示来指示错误(例如组件和动效)
  • 说明用户如何改进搜索
横幅提供了一种醒目的方式,让用户知道搜索出了问题
横幅提供了一种醒目的方式,让用户知道搜索出了问题,并留出空间放置指向帮助部分的链接,以便了解更多信息。

组件 ​

实时相机物体检测功能既使用了现有的 Material Design 组件,也使用了相机交互专属的新元素。如需查看新元素(例如准星)的代码示例和演示,请分别查看面向 Android 和 iOS 的 ML Kit Material Design 演示应用源代码。

实时相机视觉搜索体验各阶段的关键元素
实时相机视觉搜索体验各阶段的关键元素:
1. 顶部应用栏
2. 准星
3. 物体标记
4. 工具提示
5. 检测到的图像
6. 模态底部工作表
组件

顶部应用栏 ​


顶部应用栏始终提供以下操作:

  • 用于退出搜索的按钮
  • 用于调高亮度的切换按钮(使用相机闪光灯)
  • 用于排查搜索问题的帮助部分
推荐:为顶部应用栏的容器使用渐变遮罩或纯色,确保其操作在相机画面之上清晰易读

推荐

顶部应用栏的容器应使用渐变遮罩或纯色,确保其操作在相机画面之上清晰易读。

顶部应用栏

顶部应用栏显示与当前视图相关的信息和操作。

相关文章

准星 ​

准星是一种视觉指示器,在用户使用相机检测物体时为其提供一个可以聚焦的目标(其名称来源于相机取景器)。它使用脉冲动画来告知用户相机正在主动寻找物体。

当实时相机对准某个物体时,准星会转换为确定性进度指示器,表示视觉搜索已经开始。

准星应采用不同的设计和动画效果来传达关键应用状态,例如相机正在寻找物体时或发生错误时。

准星的状态:

1. 感知状态使用脉冲动画表示应用正在寻找物体
2. 在预设延迟(由开发者设置)结束后开始搜索,准星随之转换为确定性进度指示器
3. 需要靠近物体时,准星的中心圆会不断缩小,直至达到最小可检测尺寸
4. 发生任何错误时,准星的边框会从实线变为点线

物体标记 ​

ML Kit 对象检测和跟踪 API 提供了检测“显著物体”的选项。此选项会检测并跟踪相机视野中心附近最大的单个物体。检测到物体后,应使用实线矩形边框将其标记出来。

如果你的应用对检测到的物体有最小图像尺寸要求,物体标记应改为显示部分矩形边框(仅显示边框的四个角)。这表示物体已被检测到,但在用户靠近之前无法进行搜索。

部分边框和工具提示消息可以告知用户物体已被检测到,需要靠近才能开始搜索。

工具提示 ​

工具提示用于向用户显示提示文字。它既可以表达当前状态(例如“正在搜索…”之类的消息),也可以引导用户进行下一步操作(例如“将相机对准植物”之类的消息)。

推荐:使用适合目标受众的术语编写简短的工具提示

推荐

使用适合目标受众的术语编写简短的工具提示。
不要:不要在工具提示中使用动作动词,例如“点按以搜索”,因为工具提示本身不可操作

不推荐

不要在工具提示中使用动作动词,例如“点按以搜索”,因为工具提示本身不可操作。

不要:不要将错误信息放在工具提示中

不推荐

不要将错误信息放在工具提示中。错误信息应显示在横幅中,以便更加醒目,并为相关操作留出空间。

工具提示

当用户悬停、聚焦或点按某个元素时,显示提示性文字

相关文章

检测到的图像 ​


检测到物体后,ML Kit 对象检测和跟踪 API 会创建图像的裁剪版本,供你的图像分类模型执行视觉搜索。

显示裁剪后的图像是为了:

  • 确认检测到的物体
  • 与搜索结果图像进行对比
  • 说明与图像相关的错误(例如图像质量不佳或包含多个物体)
将检测到的物体图像缩略图放在搜索结果附近,可以帮助用户确定最佳匹配项
将检测到的物体图像缩略图放在搜索结果附近,可以帮助用户确定最佳匹配项。

模态底部工作表 ​

模态底部工作表用于展示视觉搜索结果。其布局和内容取决于应用的使用场景、结果数量以及结果的置信度。

在模态底部工作表中,列表或图片网格可以显示多个视觉搜索结果
在模态底部工作表中,列表或图片网格可以显示多个视觉搜索结果。面板可以展开至整个屏幕高度,以查看更多结果。
模态底部工作表可以显示单个结果,并根据内容调整其布局
模态底部工作表可以显示单个结果,并根据内容调整其布局。

底部工作表

固定在屏幕底部、用于承载补充内容的表面。

相关文章

体验 ​

实时相机视觉搜索分为三个阶段:

  1. 感知:使用相机寻找物体
  2. 识别:检测并识别物体
  3. 传达:如果找到匹配的物体,将其传达给用户

感知 ​

打开视觉搜索功能后,物体检测随即开始。“感知”是指相机在实时画面中寻找物体。在此阶段,应用应当:

  • 说明该功能的工作原理
  • 传达应用正在执行的操作
  • 引导用户控制相机,并给出调整建议

说明该功能的工作原理 ​

向用户提供将相机用作“遥控器”来搜索环境中物体的说明,并通过引导教程和帮助内容介绍这一体验。

推荐:通过单屏引导体验说明交互方式

推荐

通过单屏引导体验说明交互方式。建议使用动画向用户演示如何移动设备。
不要:不要设计冗长的引导流程来描述每一种可能的错误状态

不推荐

不要设计冗长的引导流程来描述每一种可能的错误状态。待用户遇到问题时,再提供更多信息。

推荐:设置专门的帮助部分,其中的信息包括可检测的物体种类

推荐

设置专门的帮助部分,其中的信息包括可检测的物体种类、如何获得最佳结果,以及图像的使用方式。

传达应用正在执行的操作

在相机搜索过程中,准星会以脉冲方式闪动,表示相机正在“搜寻”,同时工具提示会引导用户将相机对准物体。

推荐

为用户提供视觉提示(例如准星动画和工具提示),以说明此界面与使用相机拍照的区别。

引导用户进行调整

有时环境条件会让物体难以被检测到,例如以下场景:

  • 环境过亮或过暗,导致物体无法与背景区分开
  • 物体重叠,彼此之间难以区分

如果较长时间仍未检测到物体,应停止准星动画,并引导用户查看帮助文档。

如果检测超时,应告知用户出现问题:停止准星动画,并突出显示帮助内容。

识别 ​

当相机检测到物体后,应用应当:

  1. 标记检测到的物体
  2. 提示用户开始搜索
  3. 显示搜索进度

识别检测到的物体

为了表明相机已找到物体,应停止准星的动画,并用边框标记检测到的物体。

检测到的物体周围出现矩形边框,表示物体已被识别
检测到的物体周围出现矩形边框,表示物体已被识别。

提示开始搜索

提示用户将检测到的物体保持在相机画面中央。在开始搜索之前,设置一段短暂延迟,并在准星中显示确定性进度指示器。这使用户有时间选择以下任一操作:

  • 确认搜索意图(用户保持设备相机不动)
  • 取消搜索(用户将相机从物体上移开)

你可以自定义延迟的时长。

这段延迟让用户可以在需要时取消搜索。

显示搜索进度

搜索一旦开始,物体检测就会停止,实时相机画面也会暂停。这样可以避免发起新的搜索,同时也让用户可以将设备调整到更舒适的位置。

搜索进度通过不确定性进度指示器和工具提示消息来表示。

使用多种设计提示(动效、遮罩和文字)表示搜索已经开始,用户需等待结果加载。

处理识别问题 ​

在识别阶段,有两种问题可能影响搜索结果的质量:

图像尺寸过小:如果检测到的物体距离相机太远,就无法生成高质量的图像(取决于你设置的最小图像尺寸)。

为了表明检测尚未完成,应在物体周围显示部分边框(而非完整边框),并显示工具提示消息,引导用户靠近物体。

部分边框和工具提示消息可以告知用户物体已被检测到,需要靠近才能开始搜索。

网络连接:如果你的图像分类模型部署在云端,则需要稳定的网络连接。如果网络连接中断,应显示横幅,提示用户需要联网才能继续。

网络问题可以通过横幅告知用户
网络问题可以通过横幅告知用户,并在问题解决后提供重新搜索的操作。

传达 ​

视觉搜索的结果显示在模态底部工作表中。在此阶段,应用应当:

  • 显示结果
  • 显示检测到的物体
  • 提供快速导航

你的应用应为视觉搜索结果设置置信度阈值。“置信度”是指机器学习模型对预测准确程度的评估。对于视觉搜索,每个结果的置信度表示模型认为它与所提供图像的相似程度。

推荐:按模型的置信度对视觉搜索结果排序,确保最可能匹配的结果排在前面

推荐

按模型的置信度对视觉搜索结果排序,确保最可能匹配的结果排在前面。
推荐:当使用场景需要精确匹配时,仅显示置信度最高的结果

推荐

当使用场景需要精确匹配时,仅显示置信度最高的结果。

显示检测到的物体

为了便于将检测到的物体与搜索结果进行对比,应在模态底部工作表上方显示所检测物体的缩略图。

推荐:在结果中展示检测到的物体图像,便于与搜索结果图像对比

推荐

在结果中展示检测到的物体图像,便于与搜索结果图像对比。

提供快速导航 ​

查看结果后,用户可能会执行不同的操作:

  • 要返回相机视图,用户可以点按遮罩或模态底部工作表的头部。
  • 要退出相机视图,用户可以点按某个结果跳转到应用的其他页面,或点按“X”按钮关闭相机并返回应用。

点按底部工作表的头部或遮罩,可让用户返回实时相机视图进行搜索。
点按某个结果或“X”按钮,可让用户退出相机视图并返回应用。

评估搜索结果 ​

在某些情况下,视觉搜索结果可能不符合用户预期,例如以下场景:

未找到结果

搜索可能因多种原因未返回任何匹配结果,包括:

  • 物体不属于已知物体集合,或与之不相似
  • 物体是从难以识别的角度被检测到的
  • 图像质量可能较低,导致物体的关键细节难以识别

显示横幅说明未找到结果的情况,并引导用户前往帮助部分,了解如何改进搜索。

如果未找到搜索结果,横幅提供了说明空间以及指向帮助内容的链接
如果未找到搜索结果,横幅提供了说明空间以及指向帮助内容的链接。

结果不佳

如果搜索返回的结果置信度都很低,可以请用户重新搜索(并提供改进搜索的提示)。

推荐:当所有结果的置信度都较低时,提供指向帮助内容的链接

推荐

当所有结果的置信度都较低时,提供指向帮助内容的链接。

可解释性与信任

解释预测、推荐和其他 AI 输出

相关链接

错误与妥善处理失败

如何处理机器学习错误

相关链接

主题 ​

Shrine Material 主题 ​

实时相机视觉搜索用于 Shrine 应用的购买流程。

Shrine 品牌中使用的斜切形状应用于准星等关键元素
Shrine 品牌中使用的斜切形状应用于准星等关键元素。
Shrine 的颜色和文字样式应用于视觉搜索结果,以与应用的其余部分保持一致
Shrine 的颜色和文字样式应用于视觉搜索结果,以与应用的其余部分保持一致。

准星 ​

Shrine 的准星采用菱形,以体现 Shrine 的形状风格(该风格使用斜切角)。

Shrine 的几何标志、带 4dp 切角的按钮以及菱形准星的示意图
1. Shrine 的几何标志
2. 带 4dp 切角的按钮
3. 菱形准星

Shrine 的工具提示通过自定义颜色、文字样式和位置得到强调。

工具提示通常是弱强调组件,其宽度取决于其中的文字
1. 工具提示通常是弱强调组件,其宽度取决于所显示的文字。
2. Shrine 的工具提示使用自定义颜色和文字样式,并将其容器延伸至屏幕边缘。

Shrine

Shrine 是一个生活方式与时尚品牌,展示了如何在电子商务中运用 Material Design。

相关文章

Pager
上一页机器学习模式
下一页对象检测:静态图片

基于 Apache-2.0 许可证 发布。

Copyright © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

基于 Apache-2.0 许可证 发布。

Copyright © 2018-Present Google