物体検出:ライブカメラ
デバイスのライブカメラを機械学習と組み合わせることで、周囲の環境にある物体を検出できます。

使用方法
カメラのライブフィードは、現実世界の物体を識別するために利用できます。ML Kit のオブジェクト検出とトラッキング API の「ストリーミング」モードを使用すると、カメラフィード内の物体を検出し、その物体を入力として、アプリ独自の画像分類モデルによるビジュアル検索(画像を入力とする検索クエリ)を実行できます。
ライブカメラを使った検索は、博物館の展示品でも、購入を検討している商品でも、ユーザーが身の回りの物についてより深く知る助けになります。
このガイドラインでは、一度に 1 つの物体を検出する場合を扱います。
原則
この機能のデザインは、次の原則に基づいています。
デバイスのカメラで検索する
検索語を入力する代わりに、デバイスのカメラを「リモコン」として使い、ビジュアルコンテンツを検索します。
ユーザーがカメラで検索する方法を理解できるよう、オンボーディングと、画面に常時表示されるガイダンスを提供します。
カメラの映像をはっきりと見やすく保つ
カメラの表示領域を最大化するには、アプリの UI コンポーネントを画面の上下端に揃えます。また、カメラのライブフィードの前面に重ねるテキストやアイコンは、常に判読できるようにします。
ライブカメラフィードの前面に表示される操作できない要素は、カメラの映像の妨げを最小限に抑えるため、半透明にする必要があります。

フィードバックを提供する
カメラを検索ツールとして使用する場合は、特有の使用要件が伴います。十分な画質を確保するとともに、照明や物体との距離に起因する画像の問題を、ユーザーがどう解決すればよいかを把握できるようにする必要があります。
エラー状態では、次のことを行う必要があります。
- 複数のデザイン要素(コンポーネントやモーションなど)を使ってエラーを示す
- 検索を改善する方法の説明を含める

コンポーネント
ライブカメラによる物体検出機能は、既存の Material Design コンポーネントと、カメラ操作に固有の新しい要素の両方を使用します。レティクルなどの新しい要素のコードサンプルやデモについては、Android 向けと iOS 向けの ML Kit Material Design ショーケースアプリのソースコードをご覧ください。

1. トップアプリバー
2. レティクル
3. 物体マーカー
4. ツールチップ
5. 検出された画像
6. モーダルボトムシート

トップアプリバー
トップアプリバーからは、次のアクションに常にアクセスできます。
- 検索体験を終了するためのボタン
- 明るさを改善するためのトグル(カメラのフラッシュを使用)
- 検索の問題をトラブルシューティングするためのヘルプセクション

推奨
レティクル
レティクルは、カメラで物体を検出する際に、ユーザーが注目すべきターゲットを示す視覚的なインジケーターです(その名前はカメラのファインダーに由来します)。カメラがアクティブに物体を探していることをユーザーに伝えるため、パルスアニメーションを使用します。
カメラを物体に向けると、レティクルは確定進行状況インジケーターに変化し、ビジュアル検索が開始されたことを示します。
1. 感知中は、アプリが物体を探していることをパルスアニメーションで示します
2. 検索の開始は、デベロッパーが設定した遅延時間の経過後に、確定進行状況インジケーターで示されます
3. 物体に近づく必要がある場合は、レティクルの中心の円が最小検出サイズに達するまで小さくなります
4. エラーが検出されると、レティクルの枠線が実線から点線に変わります
物体マーカー
ML Kit のオブジェクト検出とトラッキング API には、「最も目立つ物体」を検出するオプションがあります。このオプションは、カメラの中心付近にある最も大きい単一の物体を検出してトラッキングします。物体が検出されたら、その物体を実線の長方形の枠線でマークします。
アプリで検出された物体に最小画像サイズを要求する場合は、物体マーカーを部分的な長方形の枠線(四隅のみを表示)に変更します。これは、物体は検出されたものの、ユーザーが近づくまで検索を開始できないことを示します。
ツールチップ
ツールチップは、ユーザーに情報を伝えるテキストを表示します。状態の表示(例:「検索中…」)と、ユーザーを次のステップへ促す案内(例:「カメラを植物に向けてください」)の両方に使用されます。

推奨

非推奨

非推奨
検出された画像
物体を検出すると、ML Kit のオブジェクト検出とトラッキング API は画像の切り抜きを作成します。この切り抜き画像は、アプリの画像分類モデルを使ってビジュアル検索を実行するために使用されます。
切り抜き画像は、次の目的で表示されます。
- 検出された物体を確認する
- 検索結果の画像と比較する
- 画像に関連するエラーを説明する(画質が低い場合や、複数の物体が写っている場合など)

モーダルボトムシート
モーダルボトムシートは、ビジュアル検索の結果を表示します。レイアウトとコンテンツは、アプリのユースケース、結果の数、結果の信頼度に応じて異なります。


検索体験
ライブカメラでのビジュアル検索は、次の 3 つのフェーズで行われます。
- 感知:カメラを使って検索の入力を探す
- 認識:物体を検出して識別する
- 伝達:一致する物体が見つかった場合、その結果をユーザーに伝える
感知
ビジュアル検索機能を開くと、物体検出が始まります。「感知」とは、カメラがライブ映像内で物体を探している状態を指します。このフェーズでは、アプリは次のことを行う必要があります。
- 機能の仕組みを説明する
- アプリの動作を伝える
- カメラの操作方法を案内し、調整を提案する
機能の仕組みを説明する
オンボーディングとヘルプコンテンツを通じてこの機能を説明し、カメラを「リモコン」として使い、周囲の物体を検索する方法をユーザーに案内します。

推奨

非推奨

推奨
アプリの動作を伝える
カメラが検索している間、レティクルはパルスアニメーションでカメラが「見ている」ことを示し、ツールチップはユーザーにカメラを物体へ向けるよう促します。
推奨
調整方法を案内する
環境条件によっては、物体の検出が難しくなることがあります。たとえば、次のような場所です。
- 明るすぎたり暗すぎたりして、物体を背景から識別できない場所
- 物体が重なり合っていて、互いに区別しにくい場所
物体の検出に長い時間がかかっている場合は、レティクルのアニメーションを停止し、ユーザーをヘルプコンテンツへ誘導します。
認識
カメラが物体を検出したら、アプリは次のことを行う必要があります。
- 検出された物体をマークする
- ユーザーに検索の開始を促すプロンプトを表示する
- 検索の進行状況を表示する
検出された物体を識別する
カメラが物体を見つけたことを示すには、レティクルのアニメーションを停止し、検出された物体を枠線でマークします。

検索を促す
検出された物体をカメラの中心に保つようユーザーに指示します。検索を開始する前に短い遅延時間を設け、レティクル内に確定進行状況インジケーターを表示します。これにより、ユーザーは次のいずれかの操作を行う時間を確保できます。
- 検索の意思を確認する(デバイスのカメラを動かさずに保つ)
- 検索をキャンセルする(カメラを物体から離す)
遅延時間はカスタマイズできます。
検索の進行状況を表示する
検索が開始されると、物体の検出は停止し、ライブカメラのフィードは一時停止します。これにより、新たな検索の発生を防ぐとともに、ユーザーはデバイスをより楽な位置に持ち替えることができます。
検索の進行状況は、不確定進行状況インジケーターとツールチップのメッセージで示されます。
問題への対処
認識ステージでは、次の 2 つの問題が検索結果の品質に影響を与える可能性があります。
画像サイズが小さい:検出された物体がカメラから遠すぎると、高品質な画像を得られません(設定した最小画像サイズに基づいて判定されます)。
検出が完了していないことを示すため、物体の周囲に完全な枠線の代わりに部分的な枠線を表示し、もっと近づくよう促すツールチップのメッセージを表示します。
ネットワーク接続:画像分類モデルがクラウド上にある場合は、安定したネットワーク接続が必要です。インターネット接続が切断された場合は、続行するにはインターネット接続が必要であることを伝えるバナーを表示します。

伝達
ビジュアル検索の結果は、モーダルボトムシートに表示されます。このフェーズでは、アプリは次のことを行う必要があります。
- 結果を表示する
- 検出された物体を表示する
- 高速なナビゲーションを提供する
アプリでは、ビジュアル検索の結果を表示するための信頼度しきい値を設定する必要があります。「信頼度」とは、ML モデルが予測の正確さを評価する指標です。ビジュアル検索では、各結果の信頼度は、モデルがその結果を入力画像とどの程度類似していると判断しているかを示します。

推奨

推奨
検出された物体を表示する
検出された物体と検索結果を比較できるようにするため、検出画像のサムネイルをモーダルボトムシートの上部に表示します。

推奨
高速なナビゲーションを提供する
結果を確認した後、ユーザーはさまざまな操作を行えます。
- カメラに戻るには、スクリムまたはモーダルボトムシートのヘッダーをタップします。
- カメラを終了するには、結果を選択する、アプリ内の別の場所に移動する、「X」ボタンをタップしてカメラを閉じる、のいずれかの操作を行います。
検索結果の評価
次のような場合は、ビジュアル検索の結果がユーザーの期待に沿わないことがあります。
結果が見つからない
検索で一致する結果が得られない理由はいくつか考えられます。たとえば、次のとおりです。
- 物体が既知の物体セットに含まれていないか、類似していない
- 物体が認識できない角度から検出された
- 画像の品質が低く、物体の重要な細部を認識しにくい
結果がない場合は、その旨を説明するバナーを表示し、検索を改善する方法に関する情報を掲載したヘルプセクションへユーザーを誘導します。

信頼度の低い結果
検索で信頼度スコアの低い結果のみが返された場合は、検索を改善するためのヒントを添えて、ユーザーに再検索を促します。

推奨
テーマ設定
Shrine マテリアルテーマ
ライブカメラでのビジュアル検索は、Shrine アプリの購入フローで使用されています。


レティクル
Shrine のレティクルは、Shrine のシェイプスタイル(斜めのカット)を反映したダイヤモンド形です。

2. 4dp の角がカットされたボタン
3. ダイヤモンド形のレティクル
Shrine のツールチップは、カスタムの色、タイポグラフィ、配置を使って強調されています。

2. Shrine のツールチップはカスタムの色とタイポグラフィを使用し、コンテナを画面の端まで広げています。