オブジェクト検出: 静的画像
機械学習を使用すると、指定された画像からオブジェクトを検出できます。

使用方法
写真でビジュアル検索(画像を入力とする検索クエリ)を行うことで、現実世界のオブジェクトを検出して識別できます。機械学習モデルを使用したビジュアル検索の結果は、そのアイテムが植物の一種なのか、購入対象の商品なのかといった、アイテムに関する詳しい情報をユーザーに伝えられます。
ML Kit のオブジェクト検出とトラッキング API の「静的」モードでは、指定された画像内の最大 5 つのオブジェクトを検出し、独自の画像分類モデルを使用して一致する結果を表示できます。
原則
この機能のデザインは、以下の原則に基づいています。
画像を鮮明で判読しやすい状態に保つ
カメラの UI コンポーネントは画面の上下端に配置し、画像の上に重ねて表示するテキストやアイコンが判読しやすい状態を保ちます。
ライブカメラフィードの上に表示される操作対象ではない要素は、カメラ映像をできる限り遮らないよう、半透明にします。

フィードバックを提供する
画像を使ったオブジェクトの検索には、独自の利用上の考慮事項があります。たとえば、オブジェクト同士が重なっていたり、一部が欠けていたりすると、識別が難しくなることがあります。
エラー状態は、コンポーネントやモーションなど、複数のデザイン的手がかりで伝えます。その際、検索を改善する方法についての説明も含める必要があります。

コンポーネント
静的画像のオブジェクト検出機能では、既存の Material Design コンポーネントと、画像とのインタラクションに特有の新しい要素を併用します。新しい要素(オブジェクトマーカーなど)のコードサンプルやデモについては、Android 向け ML Kit Material Design ショーケースアプリのソースコードをご覧ください。

1. トップアプリバー
2. オブジェクトマーカー
3. ツールチップ
4. カード
5. 検出された画像
6. モーダルボトムシート

トップアプリバー
トップアプリバーからは、次の操作に常にアクセスできます。
- 検索エクスペリエンスを終了するボタン
- 明るさを調整するトグルボタン(カメラのフラッシュを使用)
- 検索に関する問題を解決するためのヘルプセクション

推奨
オブジェクトマーカー
オブジェクトマーカーは、検出されたオブジェクトの中心に重ねて表示される、エレベーションのある円形のインジケーターです。各マーカーは画面下部のカードと 1 対 1 で対応しており、カードにはそのオブジェクトの結果のプレビューが表示されます。カードをスクロールして画面内に表示すると、対応するオブジェクトマーカーのサイズが大きくなります。
オブジェクトマーカー(または対応する結果カード)をタップすると、そのオブジェクトのビジュアル検索結果全体を表示するモーダルボトムシートが開きます。
ツールチップ
ツールチップは、ユーザーに情報を伝えるテキストを表示します。たとえば、「検索中…」というメッセージで現在の状態を伝えたり、「ドットまたはカードをタップして結果を確認」というメッセージで次の操作を促したりできます。

推奨

非推奨

非推奨
カード
カードは、オブジェクトのビジュアル検索結果のプレビューを表示します。カードは横方向にスクロールできるカルーセルとして配置され、各オブジェクトの水平位置に対応した順序で並びます。
各カードはオブジェクトマーカーと対応しています。カードをスクロールして画面内に表示すると、対応するオブジェクトマーカーのサイズが大きくなります。カード(または対応するオブジェクトマーカー)をタップすると、そのオブジェクトのビジュアル検索結果全体を表示するモーダルボトムシートが開きます。
モーダルボトムシート
モーダルボトムシートからは、ビジュアル検索結果にアクセスできます。レイアウトとコンテンツは、アプリのユースケース、結果の数、結果の信頼度に応じて異なります。


エクスペリエンス
画像からのビジュアル検索は、3 つのフェーズで行われます。
- 入力: 検索する画像を選択する
- 認識: オブジェクトを検出して識別する
- 結果の伝達: 一致するオブジェクトが見つかった場合、結果を表示する
入力
ビジュアル検索は、ユーザーが画像を選択すると開始されます。検索が成功する可能性を高めるために、検索に最も適した画像の種類についてユーザーにガイダンスを提供します。

推奨

推奨
認識
画像から 1 つ以上のオブジェクトが検出されたら、アプリは以下を行う必要があります。
- アプリが結果を待っていることをユーザーに伝える
- 検索の進行状況を表示する
ML Kit オブジェクト検出とトラッキング API で検出されたオブジェクトは、一致する結果を見つけるために、画像分類モデルに登録された既知の画像セットと照合されます。
写真からオブジェクトが検出されても、一致する結果が必ず見つかるとは限りません。そのため、有効な検索結果が得られるまで、オブジェクトを検出済みとして表示してはなりません。

推奨

非推奨
調整に関するガイダンス
オブジェクトの検出と識別の成否に影響する可能性のある要因は以下のとおりです(このリストは網羅的ではありません)。
- 画質が悪い
- 画像内でオブジェクトが小さすぎる
- オブジェクトと背景のコントラストが低い
- オブジェクトが認識できない角度から写っている
- 検索の完了に必要なネットワーク接続が切断されている

推奨
結果の伝達
検出されたオブジェクトの結果は、以下の方法でユーザーに伝えられます。
- 検出された各オブジェクトの上にオブジェクトマーカーを重ねて配置する
- 各オブジェクトの結果のプレビューをカードに表示する(カードのカルーセルの一部として)
アプリでは、ビジュアル検索結果を表示するための信頼度のしきい値を設定する必要があります。「信頼度」とは、ML モデルによる予測の確からしさの評価です。ビジュアル検索では、各結果の信頼度は、モデルがその結果を指定された画像にどれだけ類似していると判断しているかを示します。
画像内の 1 つ以上のオブジェクトに検索結果がある場合、アプリは、オブジェクトマーカーと、各オブジェクトの結果をプレビューするカードのカルーセルを使って、検出されたオブジェクトを明示する必要があります。マーカーまたはカードをタップすると、そのオブジェクトの結果を表示するモーダルボトムシートが開きます。
推奨
推奨
検索結果の評価
場合によっては、次のようなシナリオで、ビジュアル検索結果がユーザーの期待を満たさないことがあります。
結果が見つからない
検索で一致する結果が得られない理由には、以下のようなものがあります。
- オブジェクトが既知のオブジェクトセットに含まれていない、またはそれに類似していない
- ビジュアル検索モデルが認識できない角度からオブジェクトが検出された
- 画像の品質が低く、オブジェクトの重要な細部が認識しにくい
結果がない場合は、バナーを表示してその旨を説明し、検索を改善する方法については、ヘルプセクションへユーザーを案内します。

精度の低い結果
検索で信頼度スコアの低い結果のみが得られた場合は、検索を改善するためのヒントとともに、ユーザーに再検索を促すことができます。

推奨
テーマ設定
Shrine マテリアルテーマ
Shrine アプリの購入フローでは、ユーザーは写真を使って商品のビジュアル検索を行うことができます。


オブジェクトマーカー
Shrine のオブジェクトマーカーは、Shrine のシェイプスタイル(斜めにカットしたシェイプ)を反映して、ダイヤモンド形を使用しています。

2. 4dp のカットコーナーを持つボタン
3. ダイヤモンド形のオブジェクトマーカー
ユーザーが結果カードと検出された各オブジェクトを対応付けられるようにするため、オブジェクトマーカーは通常、カルーセルで対応する結果カードが選択されるとサイズが大きくなります。マーカーのサイズ変更による強調表示の代わりに、Shrine ではカスタムカラーとボーダースタイルを適用しています。

2. Shrine のオブジェクトマーカーは、カラーとボーダースタイルの違いで現在のオブジェクトを示します。マーカーのコンテナの色は #FFFFFF から Shrine の On Surface カラー(#442C2E)に変わり、6dp の #FFFFFF ボーダーが適用されます。
カード
Shrine の結果カードは、カスタムカラー、タイポグラフィ、シェイプスタイルを使用しています。

2. Shrine のカードは、コンテンツのフォントに Rubik、On Surface カラーに Shrine Pink 900(#442C2E)を使用し、角を 8dp カットしています。