Skip to content
Material Design 2
Main Navigation
v3
v2
v1

日本語

English
简体中文
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
한국어
Italiano
Polski
Türkçe
čeština
magyar

日本語

English
简体中文
繁體中文
Español
Français
Русский
Português – Brasil
Deutsch
한국어
Italiano
Polski
Türkçe
čeština
magyar

外観

Sidebar Navigation

Material システム

はじめに

Material スタディ

Material スタディについて

Basil

Crane

Fortnightly

Owl

Rally

Reply

Shrine

Material 基礎

環境

サーフェス

エレベーション

光と影

レイアウト

レイアウトの理解

ピクセル密度

レスポンシブレイアウトグリッド

スペーシング手法

コンポーネントの動作

密度の適用

ナビゲーション

ナビゲーションについて

ナビゲーショントランジション

検索

カラー

カラーシステム

UI へのカラーの適用

カラーの使用方法

テキストの視認性

ダークテーマ

タイポグラフィ

タイプシステム

タイポグラフィの理解

言語サポート

サウンド

サウンドについて

UIへのサウンドの適用

サウンドの属性

サウンドコレオグラフィー

アイコノグラフィ

プロダクトアイコン

システムアイコン

アニメーションアイコン

シェイプ

シェイプについて

シェイプと階層

シェイプによる表現

シェイプとモーション

UI へのシェイプの適用

モーション

モーションの理解

モーションシステム

速度

コレオグラフィー

カスタマイズ

インタラクション

ジェスチャー

選択

状態

コミュニケーション

確認と通知

データ形式

データの可視化

空の状態

ヘルプとフィードバック

画像

起動画面

オンボーディング

オフライン状態

ライティング

機械学習

機械学習パターン

物体検出:ライブカメラ

オブジェクト検出: 静的画像

バーコードスキャン

Material ガイドライン

マテリアルテーマ設定

概要

テーマの適用

ユーザビリティ

アクセシビリティ

双方向性

プラットフォーム ガイドライン

Android バー

Android の指紋認証

Android ハプティクス

Android アイコン

Android アプリ間のナビゲーション

Android の通知

Android の権限

Android スライス

Android の分割画面

Android のスワイプで更新

Android テキスト選択ツールバー

Android ウィジェット

クロスプラットフォームへの対応

コンポーネント

アプリバー:ボトム

トップアプリバー

バックドロップ

バナー

ボトムナビゲーション

ボタン

ボタン:フローティングアクションボタン

カード

チェックボックス

チップ

データテーブル

日付ピッカー

ダイアログ

ディバイダー

画像リスト

リスト

メニュー

ナビゲーションドロワー

ナビゲーションレール

進行状況インジケーター

ラジオボタン

シート: ボトムシート

シート:サイド

スライダー

スナックバー

スイッチ

タブ

テキストフィールド

時刻ピッカー

ツールチップ

このページの内容

物体検出:ライブカメラ ​

デバイスのライブカメラを機械学習と組み合わせることで、周囲の環境にある物体を検出できます。

物体検出:ライブカメラのヒーロー画像

使用方法 ​

カメラのライブフィードは、現実世界の物体を識別するために利用できます。ML Kit のオブジェクト検出とトラッキング API の「ストリーミング」モードを使用すると、カメラフィード内の物体を検出し、その物体を入力として、アプリ独自の画像分類モデルによるビジュアル検索(画像を入力とする検索クエリ)を実行できます。

ライブカメラを使った検索は、博物館の展示品でも、購入を検討している商品でも、ユーザーが身の回りの物についてより深く知る助けになります。

このガイドラインでは、一度に 1 つの物体を検出する場合を扱います。

ライブカメラでのビジュアル検索は、植物の種類など、ユーザーの身の回りの物を識別するのに役立ちます。

ML Kit API ドキュメント

物体検出に関するデベロッパーガイド

関連リンク

サンプル – Android

Android 向け ML Kit ショーケースアプリ

関連リンク

サンプル – iOS

iOS 向け ML Kit ショーケースアプリ

関連リンク

原則 ​

この機能のデザインは、次の原則に基づいています。

デバイスのカメラで検索する

検索語を入力する代わりに、デバイスのカメラを「リモコン」として使い、ビジュアルコンテンツを検索します。

ユーザーがカメラで検索する方法を理解できるよう、オンボーディングと、画面に常時表示されるガイダンスを提供します。

短いアニメーション付きのオンボーディングは、検索のためにデバイスのカメラをどのように動かし、位置を合わせればよいかをユーザーが理解するのに役立ちます。

カメラの映像をはっきりと見やすく保つ

カメラの表示領域を最大化するには、アプリの UI コンポーネントを画面の上下端に揃えます。また、カメラのライブフィードの前面に重ねるテキストやアイコンは、常に判読できるようにします。

ライブカメラフィードの前面に表示される操作できない要素は、カメラの映像の妨げを最小限に抑えるため、半透明にする必要があります。

カメラの映像を最大限に見やすくするため、ほとんどの要素が画面の上下端に意図的に配置されている
カメラの映像を最大限に見やすくするため、ほとんどの要素は意図的に画面の上下端に配置されています。

フィードバックを提供する

カメラを検索ツールとして使用する場合は、特有の使用要件が伴います。十分な画質を確保するとともに、照明や物体との距離に起因する画像の問題を、ユーザーがどう解決すればよいかを把握できるようにする必要があります。

エラー状態では、次のことを行う必要があります。

  • 複数のデザイン要素(コンポーネントやモーションなど)を使ってエラーを示す
  • 検索を改善する方法の説明を含める
バナーは、検索に問題が発生したことをユーザーに知らせるための目立つ方法を提供する
バナーは、検索に問題が発生したことをユーザーに知らせる目立つ手段となるとともに、詳細情報を掲載したヘルプセクションへのリンクを表示するスペースも確保します。

コンポーネント ​

ライブカメラによる物体検出機能は、既存の Material Design コンポーネントと、カメラ操作に固有の新しい要素の両方を使用します。レティクルなどの新しい要素のコードサンプルやデモについては、Android 向けと iOS 向けの ML Kit Material Design ショーケースアプリのソースコードをご覧ください。

ライブカメラでのビジュアル検索体験の各段階における主要要素
ライブカメラでのビジュアル検索体験の各段階における主要要素は次のとおりです。
1. トップアプリバー
2. レティクル
3. 物体マーカー
4. ツールチップ
5. 検出された画像
6. モーダルボトムシート
コンポーネント

トップアプリバー ​


トップアプリバーからは、次のアクションに常にアクセスできます。

  • 検索体験を終了するためのボタン
  • 明るさを改善するためのトグル(カメラのフラッシュを使用)
  • 検索の問題をトラブルシューティングするためのヘルプセクション
推奨:カメラフィードの上でもアクションが視認できるよう、トップアプリバーのコンテナにグラデーションのスクリムまたは単色を使用する

推奨

カメラフィードの上でもアクションが視認できるよう、トップアプリバーのコンテナにはグラデーションのスクリムまたは単色を使用します。

トップアプリバー

トップアプリバーには、現在のビューに関する情報とアクションが表示されます。

関連記事

レティクル ​

レティクルは、カメラで物体を検出する際に、ユーザーが注目すべきターゲットを示す視覚的なインジケーターです(その名前はカメラのファインダーに由来します)。カメラがアクティブに物体を探していることをユーザーに伝えるため、パルスアニメーションを使用します。

カメラを物体に向けると、レティクルは確定進行状況インジケーターに変化し、ビジュアル検索が開始されたことを示します。

レティクルは、カメラが物体を探しているときやエラーが発生したときなど、アプリの重要な状態に応じて、異なるデザインとアニメーションを使い分ける必要があります。

レティクルの状態は次のとおりです。

1. 感知中は、アプリが物体を探していることをパルスアニメーションで示します
2. 検索の開始は、デベロッパーが設定した遅延時間の経過後に、確定進行状況インジケーターで示されます
3. 物体に近づく必要がある場合は、レティクルの中心の円が最小検出サイズに達するまで小さくなります
4. エラーが検出されると、レティクルの枠線が実線から点線に変わります

物体マーカー ​

ML Kit のオブジェクト検出とトラッキング API には、「最も目立つ物体」を検出するオプションがあります。このオプションは、カメラの中心付近にある最も大きい単一の物体を検出してトラッキングします。物体が検出されたら、その物体を実線の長方形の枠線でマークします。

アプリで検出された物体に最小画像サイズを要求する場合は、物体マーカーを部分的な長方形の枠線(四隅のみを表示)に変更します。これは、物体は検出されたものの、ユーザーが近づくまで検索を開始できないことを示します。

部分的な枠線とツールチップのメッセージにより、物体が検出されたこと、および検索を開始するにはもっと近づく必要があることをユーザーに知らせることができます。

ツールチップ ​

ツールチップは、ユーザーに情報を伝えるテキストを表示します。状態の表示(例:「検索中…」)と、ユーザーを次のステップへ促す案内(例:「カメラを植物に向けてください」)の両方に使用されます。

推奨:対象ユーザーに適した用語で短いツールチップを書く

推奨

対象ユーザーに適した用語を使用して、短いツールチップを書きます。
ツールチップは操作対象ではないため、「タップして検索」のようなアクションを促す表現を使ったツールチップは書かない

非推奨

ツールチップはタップなどの操作対象ではないため、「タップして検索」のような行動を促す表現は使わないでください。

エラーメッセージをツールチップに表示しない

非推奨

エラーメッセージをツールチップに表示しないでください。エラーは、視覚的な強調度を高め、アクションを表示するスペースを確保するために、バナーに表示します。

ツールチップ

要素のホバー時、フォーカス時、またはタップ時に情報テキストを表示します

関連記事

検出された画像 ​


物体を検出すると、ML Kit のオブジェクト検出とトラッキング API は画像の切り抜きを作成します。この切り抜き画像は、アプリの画像分類モデルを使ってビジュアル検索を実行するために使用されます。

切り抜き画像は、次の目的で表示されます。

  • 検出された物体を確認する
  • 検索結果の画像と比較する
  • 画像に関連するエラーを説明する(画質が低い場合や、複数の物体が写っている場合など)
検出された物体の画像のサムネイルを検索結果の近くに配置すると、ユーザーが最適な一致を特定しやすくなる
検出された物体の画像のサムネイルを検索結果の近くに配置すると、ユーザーが最適な一致を特定するのに役立ちます。

モーダルボトムシート ​

モーダルボトムシートは、ビジュアル検索の結果を表示します。レイアウトとコンテンツは、アプリのユースケース、結果の数、結果の信頼度に応じて異なります。

モーダルボトムシートでは、リストや画像グリッドで複数のビジュアル検索結果を表示できる
モーダルボトムシートでは、リストや画像グリッドで複数のビジュアル検索結果を表示できます。シートは画面の高さいっぱいまで開いて、追加の結果を表示できます。
モーダルボトムシートは、コンテンツに合わせてレイアウトを調整し、単一の結果を表示できる
モーダルボトムシートは、コンテンツに合わせてレイアウトを調整し、単一の結果を表示できます。

ボトムシート

画面の下部に固定され、補足コンテンツを含むサーフェスです。

関連記事

検索体験 ​

ライブカメラでのビジュアル検索は、次の 3 つのフェーズで行われます。

  1. 感知:カメラを使って検索の入力を探す
  2. 認識:物体を検出して識別する
  3. 伝達:一致する物体が見つかった場合、その結果をユーザーに伝える

感知 ​

ビジュアル検索機能を開くと、物体検出が始まります。「感知」とは、カメラがライブ映像内で物体を探している状態を指します。このフェーズでは、アプリは次のことを行う必要があります。

  • 機能の仕組みを説明する
  • アプリの動作を伝える
  • カメラの操作方法を案内し、調整を提案する

機能の仕組みを説明する ​

オンボーディングとヘルプコンテンツを通じてこの機能を説明し、カメラを「リモコン」として使い、周囲の物体を検索する方法をユーザーに案内します。

推奨:1 画面のオンボーディングで操作を説明する

推奨

1 画面のオンボーディングで操作方法を説明します。デバイスの動かし方をユーザーに示すには、アニメーションを使用することをおすすめします。
考えられるすべてのエラー状態を説明する長大なオンボーディングプロセスを必須にしない

非推奨

考えられるすべてのエラー状態を説明する長大なオンボーディングプロセスを必須にしないでください。詳細な情報は、ユーザーが実際に問題に遭遇した時点で提供します。

推奨:検出できる物体の種類などを含む情報を掲載した専用のヘルプセクションを設ける

推奨

専用のヘルプセクションを設け、検出できる物体の種類、最良の結果を得る方法、画像の使用方法などの情報を掲載します。

アプリの動作を伝える

カメラが検索している間、レティクルはパルスアニメーションでカメラが「見ている」ことを示し、ツールチップはユーザーにカメラを物体へ向けるよう促します。

推奨

アニメーション表示のレティクルやツールチップなどの手がかりを使って、この UI が写真撮影時のカメラ利用とどのように異なるのかをユーザーに示します。

調整方法を案内する

環境条件によっては、物体の検出が難しくなることがあります。たとえば、次のような場所です。

  • 明るすぎたり暗すぎたりして、物体を背景から識別できない場所
  • 物体が重なり合っていて、互いに区別しにくい場所

物体の検出に長い時間がかかっている場合は、レティクルのアニメーションを停止し、ユーザーをヘルプコンテンツへ誘導します。

検出のタイムアウトが発生した場合は、何か問題が起きていることをユーザーに知らせます。レティクルのアニメーションを停止し、ヘルプコンテンツを強調します。

認識 ​

カメラが物体を検出したら、アプリは次のことを行う必要があります。

  1. 検出された物体をマークする
  2. ユーザーに検索の開始を促すプロンプトを表示する
  3. 検索の進行状況を表示する

検出された物体を識別する

カメラが物体を見つけたことを示すには、レティクルのアニメーションを停止し、検出された物体を枠線でマークします。

物体が認識されたことを示すために、検出された物体の周囲に長方形の枠線が表示される
物体が認識されたことを示すために、検出された物体の周囲に長方形の枠線が表示されます。

検索を促す

検出された物体をカメラの中心に保つようユーザーに指示します。検索を開始する前に短い遅延時間を設け、レティクル内に確定進行状況インジケーターを表示します。これにより、ユーザーは次のいずれかの操作を行う時間を確保できます。

  • 検索の意思を確認する(デバイスのカメラを動かさずに保つ)
  • 検索をキャンセルする(カメラを物体から離す)

遅延時間はカスタマイズできます。

遅延時間があれば、ユーザーは必要に応じて検索をキャンセルできます。

検索の進行状況を表示する

検索が開始されると、物体の検出は停止し、ライブカメラのフィードは一時停止します。これにより、新たな検索の発生を防ぐとともに、ユーザーはデバイスをより楽な位置に持ち替えることができます。

検索の進行状況は、不確定進行状況インジケーターとツールチップのメッセージで示されます。

複数のデザイン要素(モーション、スクリム、テキスト)を使用して、検索が開始されたことと、結果の読み込みを待つ必要があることを示します。

問題への対処 ​

認識ステージでは、次の 2 つの問題が検索結果の品質に影響を与える可能性があります。

画像サイズが小さい:検出された物体がカメラから遠すぎると、高品質な画像を得られません(設定した最小画像サイズに基づいて判定されます)。

検出が完了していないことを示すため、物体の周囲に完全な枠線の代わりに部分的な枠線を表示し、もっと近づくよう促すツールチップのメッセージを表示します。

部分的な枠線とツールチップのメッセージにより、物体が検出されたこと、および検索を開始するにはもっと近づく必要があることをユーザーに知らせることができます。

ネットワーク接続:画像分類モデルがクラウド上にある場合は、安定したネットワーク接続が必要です。インターネット接続が切断された場合は、続行するにはインターネット接続が必要であることを伝えるバナーを表示します。

ネットワークの問題はバナーでユーザーに伝えることができる
ネットワークの問題はバナーでユーザーに伝えることができます。問題が解決した場合は、クエリを再試行するアクションも併せて表示します。

伝達 ​

ビジュアル検索の結果は、モーダルボトムシートに表示されます。このフェーズでは、アプリは次のことを行う必要があります。

  • 結果を表示する
  • 検出された物体を表示する
  • 高速なナビゲーションを提供する

アプリでは、ビジュアル検索の結果を表示するための信頼度しきい値を設定する必要があります。「信頼度」とは、ML モデルが予測の正確さを評価する指標です。ビジュアル検索では、各結果の信頼度は、モデルがその結果を入力画像とどの程度類似していると判断しているかを示します。

推奨:モデルの信頼度に基づいてビジュアル検索結果を並べ替え、一致の可能性が最も高いアイテムが先頭に表示されるようにする

推奨

モデルの信頼度に基づいてビジュアル検索の結果を並べ替え、一致の可能性が最も高いアイテムが先頭に表示されるようにします。
推奨:ユースケースで完全一致が求められる場合は、信頼度が最も高い結果のみを表示する

推奨

ユースケースで完全一致が求められる場合は、信頼度が最も高い結果のみを表示します。

検出された物体を表示する

検出された物体と検索結果を比較できるようにするため、検出画像のサムネイルをモーダルボトムシートの上部に表示します。

推奨:検索結果の画像と比較できるよう、検出された物体の画像を含める

推奨

検索結果の画像と比較できるよう、検出された物体の画像を含めます。

高速なナビゲーションを提供する ​

結果を確認した後、ユーザーはさまざまな操作を行えます。

  • カメラに戻るには、スクリムまたはモーダルボトムシートのヘッダーをタップします。
  • カメラを終了するには、結果を選択する、アプリ内の別の場所に移動する、「X」ボタンをタップしてカメラを閉じる、のいずれかの操作を行います。

ボトムシートのヘッダーまたはスクリムをタップすると、ユーザーはライブカメラビューに戻って検索を続けることができます。
結果を選択するか、「X」ボタンをタップしてカメラを閉じると、ユーザーはアプリに戻ります。

検索結果の評価 ​

次のような場合は、ビジュアル検索の結果がユーザーの期待に沿わないことがあります。

結果が見つからない

検索で一致する結果が得られない理由はいくつか考えられます。たとえば、次のとおりです。

  • 物体が既知の物体セットに含まれていないか、類似していない
  • 物体が認識できない角度から検出された
  • 画像の品質が低く、物体の重要な細部を認識しにくい

結果がない場合は、その旨を説明するバナーを表示し、検索を改善する方法に関する情報を掲載したヘルプセクションへユーザーを誘導します。

検索結果が見つからない場合、バナーは説明のためのスペースとヘルプコンテンツへのリンクを提供する
検索結果が見つからない場合、バナーは説明のためのスペースとヘルプコンテンツへのリンクを提供します。

信頼度の低い結果

検索で信頼度スコアの低い結果のみが返された場合は、検索を改善するためのヒントを添えて、ユーザーに再検索を促します。

推奨:すべての結果の信頼度が低い場合はヘルプコンテンツへのリンクを掲載する

推奨

すべての結果の信頼度が低い場合は、ヘルプコンテンツへのリンクを掲載します。

説明可能性 + 信頼

予測、レコメンデーション、その他の AI 出力の説明

関連リンク

エラー + 適切な失敗処理

ML エラーへの対処方法

関連リンク

テーマ設定 ​

Shrine マテリアルテーマ ​

ライブカメラでのビジュアル検索は、Shrine アプリの購入フローで使用されています。

Shrine のブランドで使われている斜めの形状は、レティクルなどの主要要素に適用されている
Shrine のブランドで使われている斜めのシェイプは、レティクルなどの主要要素に適用されています。
アプリの他の部分と一貫性を持たせるため、Shrine の配色とタイポグラフィのスタイルがビジュアル検索結果に適用されている
アプリの他の部分と一貫性を持たせるため、Shrine の配色とタイポグラフィのスタイルがビジュアル検索の結果に適用されています。

レティクル ​

Shrine のレティクルは、Shrine のシェイプスタイル(斜めのカット)を反映したダイヤモンド形です。

Shrine の幾何学的ロゴ、4dp の角がカットされたボタン、ダイヤモンド形のレティクルの図
1. Shrine の幾何学的ロゴ
2. 4dp の角がカットされたボタン
3. ダイヤモンド形のレティクル

Shrine のツールチップは、カスタムの色、タイポグラフィ、配置を使って強調されています。

ツールチップは通常、幅がテキストの量に応じて決まる強調度の低いコンポーネントである
1. ツールチップは通常、幅がテキストの量に応じて決まる、強調度の低いコンポーネントです。
2. Shrine のツールチップはカスタムの色とタイポグラフィを使用し、コンテナを画面の端まで広げています。

Shrine

Shrine は、Material Design を eコマースに活用する方法を示す、ライフスタイルとファッションのブランドです。

関連記事

Pager
前のページ機械学習パターン
次のページオブジェクト検出: 静的画像

Apache-2.0 ライセンス の下で公開されています。

Copyright © 2018-Present Google

https://m2.material.io/design/machine-learning/object-detection-live-camera.html

Apache-2.0 ライセンス の下で公開されています。

Copyright © 2018-Present Google