객체 감지: 실시간 카메라
머신러닝을 활용하면 기기의 실시간 카메라로 주변 환경의 객체를 감지할 수 있습니다.

사용 방법
카메라의 실시간 스트림은 현실 세계의 객체를 식별하는 데 사용할 수 있습니다. ML Kit 객체 감지 및 추적 API의 “스트리밍” 모드를 사용하면 카메라 스트림에서 객체를 감지하고, 감지된 객체를 입력으로 사용해 앱 고유의 이미지 분류 모델로 시각 검색(이미지를 입력으로 사용하는 검색 쿼리)을 수행할 수 있습니다.
실시간 카메라로 검색하면 박물관의 유물이든 구매하려는 상품이든, 사용자가 주변 사물에 대해 더 많이 알아가는 데 도움이 됩니다.
이 가이드라인은 한 번에 하나의 객체만 감지하는 방식을 다룹니다.
원칙
이 기능의 디자인은 다음 원칙을 기반으로 합니다:
기기 카메라로 탐색하기
검색어를 입력하는 대신 기기 카메라를 “리모컨”처럼 사용해 시각 콘텐츠를 검색합니다.
사용자가 카메라로 검색하는 방법을 알 수 있도록 온보딩과 지속적인 안내를 제공하세요.
카메라 화면을 가리지 않고 가독성 유지하기
카메라의 가시 영역을 최대화하려면 앱의 UI 컴포넌트를 화면 상단과 하단 가장자리에 정렬하세요. 이렇게 하면 텍스트와 아이콘이 실시간 카메라 스트림 위에 배치되더라도 가독성을 유지할 수 있습니다.
실시간 카메라 스트림 위에 표시되는 상호작용할 수 없는 요소는 카메라를 가리는 정도를 최소화하기 위해 반투명하게 표시해야 합니다.

피드백 제공하기
카메라를 검색 도구로 사용하면 고유한 사용 요구 사항이 생깁니다. 이미지 품질이 충분해야 하며, 조명이 좋지 않거나 사물이 너무 멀어서 발생한 이미지 문제를 사용자가 해결하는 방법을 알고 있어야 합니다.
오류 상태는 다음을 반영해야 합니다:
- 여러 디자인 단서(컴포넌트, 모션 등)를 활용해 오류 표시하기
- 사용자가 검색을 개선할 수 있는 방법에 대한 설명 포함하기

컴포넌트
실시간 카메라 객체 감지 기능은 기존 Material Design 컴포넌트와 카메라 상호작용에 특화된 새로운 요소를 모두 사용합니다. 새로운 요소(예: 레티클)의 코드 샘플과 데모는 Android 및 iOS용 ML Kit Material Design 쇼케이스 앱의 소스 코드를 참고하세요.

1. 상단 앱 바
2. 레티클
3. 객체 마커
4. 툴팁
5. 감지된 이미지
6. 모달 바텀 시트

상단 앱 바
상단 앱 바에서는 다음 기능에 항상 접근할 수 있습니다:
- 검색 경험을 종료하는 버튼
- 밝기를 개선하는 토글(카메라 플래시 사용)
- 검색 문제 해결을 위한 도움말 섹션

권장
레티클
레티클(조준선)은 카메라로 객체를 감지할 때 사용자가 초점을 맞출 대상을 제공하는 시각 표시기로, 이름은 카메라 뷰파인더에서 따온 것입니다. 레티클은 펄싱 애니메이션을 사용해 카메라가 객체를 탐색하고 있음을 사용자에게 알립니다.
실시간 카메라를 객체에 향하게 하면 레티클이 확정형 진행 표시기로 전환되어 시각 검색이 시작되었음을 나타냅니다.
1. 감지는 펄싱 애니메이션을 사용해 앱이 객체를 찾고 있음을 나타냅니다
2. 검색은 개발자가 설정한 지연 시간이 지난 후 시작되며 확정형 진행 표시기로 표현됩니다
3. 객체에 더 가까이 이동해야 할 필요성은 레티클의 중앙 원 크기가 최소 감지 크기에 도달할 때까지 줄어드는 방식으로 표현됩니다
4. 오류가 감지되면 레티클의 테두리가 실선에서 점선으로 변경됩니다
객체 마커
ML Kit의 객체 감지 및 추적 API에는 “눈에 띄는 객체”를 감지하는 옵션이 있습니다. 이 옵션은 카메라 중앙 근처에서 가장 큰 단일 객체를 감지하고 추적합니다. 객체가 감지되면 실선 사각형 테두리로 객체를 표시해야 합니다.
앱에서 감지된 객체에 최소 이미지 크기를 요구하는 경우, 객체 마커는 테두리의 모서리만 표시하는 부분 사각형 테두리로 변경해야 합니다. 이는 객체가 감지되었지만 사용자가 더 가까이 이동하기 전까지는 검색을 시작할 수 없음을 나타냅니다.
툴팁
툴팁은 사용자에게 안내 텍스트를 표시하며, “검색 중…” 같은 상태 메시지와 “식물에 카메라를 향하세요” 같은 다음 단계 안내 메시지 모두에 사용됩니다.

권장

권장하지 않음

권장하지 않음
감지된 이미지
객체가 감지되면 ML Kit의 객체 감지 및 추적 API는 잘라낸 이미지를 생성하며, 이 이미지는 앱의 이미지 분류 모델로 시각 검색을 실행하는 데 사용됩니다.
잘라낸 이미지는 다음과 같은 목적으로 표시됩니다:
- 감지된 객체 확인하기
- 검색 결과 이미지와 비교하기
- 이미지 관련 오류 설명하기(예: 이미지 품질이 낮거나 여러 객체가 포함된 경우)

모달 바텀 시트
모달 바텀 시트는 시각 검색 결과에 접근할 수 있게 해 줍니다. 레이아웃과 콘텐츠는 앱의 사용 사례, 결과 개수, 결과의 신뢰도 수준에 따라 달라집니다.


경험
실시간 카메라 시각 검색은 세 단계로 진행됩니다:
- 센싱: 카메라를 사용하여 스캔할 입력을 찾습니다
- 인식: 객체를 감지하고 식별합니다
- 결과 전달: 일치하는 객체를 찾으면 사용자에게 알립니다
센싱
시각 검색 기능이 열리면 객체 감지가 시작됩니다. “감지”란 카메라가 실시간 스트림에서 객체를 찾는 것을 의미합니다. 이 단계에서 앱은 다음을 수행해야 합니다:
- 기능의 작동 방식 설명하기
- 앱의 동작 전달하기
- 사용자가 카메라를 조작하는 방법을 안내하고 조정을 제안하기
기능의 작동 방식 설명하기
온보딩과 도움말 콘텐츠를 통해 이 경험을 설명하고, 카메라를 “리모컨”처럼 사용해 주변 환경의 객체를 검색하는 방법을 사용자에게 안내하세요.

권장

권장하지 않음

권장
앱의 동작 전달하기
카메라가 검색하는 동안 레티클이 펄싱 애니메이션으로 카메라가 “보고 있음”을 나타내고, 툴팁은 사용자에게 객체에 카메라를 향하도록 안내합니다.
권장
조정 안내하기
때때로 다음과 같은 환경 조건 때문에 객체 감지가 어려워질 수 있습니다:
- 너무 밝거나 어두워서 배경 속 객체를 식별하기 어려운 곳
- 서로 구분하기 어려운 객체들이 겹쳐 있는 곳
상당한 시간이 지나도 객체가 감지되지 않으면 레티클 애니메이션을 멈추고 사용자를 도움말 문서로 안내하세요.
인식
카메라에서 객체가 감지되면 앱은 다음을 수행해야 합니다:
- 감지된 객체 표시하기
- 검색 시작을 안내하는 프롬프트 표시하기
- 검색 진행 상황 표시하기
감지된 객체 식별하기
카메라가 객체를 찾았음을 나타내려면 레티클의 애니메이션을 멈추고 감지된 객체를 테두리로 표시하세요.

검색 시작 안내하기
감지된 객체를 카메라 중앙에 두도록 사용자에게 안내하세요. 검색을 시작하기 전에 짧은 지연 시간을 두고 레티클에 확정형 진행 표시기를 함께 표시하세요. 이 시간 동안 사용자는 다음 중 하나를 선택할 수 있습니다:
- 검색 의도 확정(사용자가 기기 카메라를 가만히 유지)
- 검색 취소(사용자가 카메라를 객체에서 멀리 이동)
지연 시간의 길이는 조절할 수 있습니다.
검색 진행 상황 표시하기
검색이 시작되면 객체 감지가 중지되고 실시간 카메라 스트림이 일시 정지됩니다. 이렇게 하면 새로운 검색이 시작되지 않으며, 사용자는 기기를 더 편안한 위치로 옮길 수 있습니다.
검색 진행 상황은 비확정형 진행 표시기와 툴팁 메시지로 표시됩니다.
문제 수정하기
인식 단계에서는 두 가지 문제가 검색 결과 품질에 영향을 줄 수 있습니다:
작은 이미지 크기: 감지된 객체가 카메라에서 너무 멀면 고품질 이미지가 생성되지 않습니다(앱에서 설정한 최소 이미지 크기 기준).
감지가 아직 완료되지 않았음을 나타내려면 객체 주위에 전체 테두리 대신 부분 테두리를 표시하고, 더 가까이 이동하도록 안내하는 툴팁 메시지를 보여 주세요.
네트워크 연결: 이미지 분류 모델이 클라우드에 있는 경우 안정적인 네트워크 연결이 필요합니다. 네트워크 연결에 실패하면 계속하려면 네트워크 연결이 필요하다는 배너를 표시하세요.

결과 전달
시각 검색 결과는 모달 바텀 시트에 표시됩니다. 이 단계에서 앱은 다음을 수행해야 합니다:
- 결과 표시하기
- 감지된 객체 표시하기
- 빠른 탐색 제공하기
앱은 시각 검색 결과를 표시하기 위한 신뢰도 임계값을 설정해야 합니다. “신뢰도”란 ML 모델이 예측이 얼마나 정확한지 평가한 수준을 의미합니다. 시각 검색에서 각 결과의 신뢰도 수준은 모델이 그 결과가 제공된 이미지와 얼마나 유사하다고 판단하는지를 나타냅니다.

권장

권장
감지된 객체 표시하기
감지된 객체와 검색 결과를 비교할 수 있도록 감지된 객체의 썸네일을 모달 바텀 시트 위에 표시하세요.

권장
빠른 탐색 제공하기
결과를 확인한 후 사용자는 다양한 작업을 수행할 수 있습니다:
- 스크림이나 모달 바텀 시트의 헤더를 탭하면 카메라로 돌아갈 수 있습니다.
- 카메라를 종료하려면 결과를 탭해 상호작용하거나 앱의 다른 곳으로 이동할 수 있습니다. 또한 “X” 버튼을 탭해 카메라를 닫고 앱으로 돌아갈 수 있습니다.
검색 결과 평가
일부 경우에는 시각 검색 결과가 사용자 기대에 미치지 못할 수 있습니다. 예를 들어 다음과 같은 시나리오가 있습니다:
검색 결과 없음
검색이 일치 항목을 찾지 못한 채 끝나는 데에는 여러 가지 이유가 있습니다:
- 객체가 알려진 객체 집합에 속하지 않거나 유사하지 않은 경우
- 모델이 인식하지 못하는 각도에서 객체가 감지된 경우
- 이미지 품질이 낮아 객체의 핵심 세부 정보를 인식하기 어려운 경우
결과가 없으면 이를 설명하는 배너를 표시하고, 검색을 개선하는 방법에 대한 정보가 담긴 도움말 섹션으로 사용자를 안내하세요.

신뢰도가 낮은 결과
검색이 신뢰도가 낮은 결과만 반환하는 경우, 검색 개선 팁을 제공하고 다시 검색하도록 사용자에게 요청할 수 있습니다.

권장
테마 설정
Shrine 머티리얼 테마
실시간 카메라 시각 검색은 Shrine 앱의 구매 흐름에서 사용됩니다.


레티클
Shrine의 레티클은 각진 절단 형태의 모양 스타일을 반영해 다이아몬드 모양을 사용합니다.

2. 모서리를 4dp로 자른 버튼
3. 다이아몬드 모양의 레티클
Shrine의 툴팁은 맞춤 색상, 타이포그래피, 배치를 사용하여 강조됩니다.

2. Shrine의 툴팁은 맞춤 색상과 타이포그래피를 사용하며 컨테이너를 화면 가장자리까지 확장합니다.