Nesne algılama: canlı kamera
Bir cihazın canlı kamerası, makine öğrenimi kullanılarak ortamdaki nesneleri algılamak için kullanılabilir.

Kullanım
Kameranın canlı akışı, fiziksel dünyadaki nesneleri tanımlamak için kullanılabilir. ML Kit'in Nesne Algılama ve İzleme API'sinin 'akış' (streaming) modu sayesinde, kamera akışındaki nesneler algılanabilir ve bu nesneler, uygulamanızın kendi görüntü sınıflandırma modeliyle görsel arama (girdi olarak bir görüntü kullanan arama sorgusu) yapmak için girdi olarak kullanılabilir.
Canlı bir kamerayla arama, kullanıcıların çevrelerindeki nesneler hakkında daha fazla bilgi edinmesine yardımcı olabilir; ister müzedeki bir eser ister satın alınacak bir ürün olsun.
Bu yönergeler, aynı anda yalnızca tek bir nesnenin algılanmasını kapsar.
İlkeler
Bu özellik için tasarım, aşağıdaki ilkelere dayanır:
Cihaz kamerasıyla arama
Arama terimi yazmak yerine, görsel içerik aramak için cihaz kamerası bir 'uzaktan kumanda' olarak kullanılır.
Kullanıcıları kamerayla arama yapma konusunda eğitmek için onboarding (kullanıcı hazırlama) ve sürekli görünür talimatlar sağlayın.
Kamera görüntüsünü net ve okunaklı tutun
Kameranın görünür alanını en üst düzeye çıkarmak için uygulamanın arayüz bileşenlerini ekranın üst ve alt kenarlarına hizalayın; metinlerin ve simgelerin, kameranın canlı akışının önüne yerleştirildiğinde okunabilir kalmasını sağlayın.
Canlı kamera akışının önünde görüntülenen etkileşimli olmayan öğeler, kamera görüntüsünü mümkün olduğunca az engellemek için yarı saydam olmalıdır.

Geri bildirim sağlayın
Kamerayı bir arama aracı olarak kullanmak, kendine özgü gereksinimler doğurur. Görüntü kalitesi yeterli olmalı ve kullanıcılar, yetersiz aydınlatmadan veya nesneye olan fazla mesafeden kaynaklanan görüntü sorunlarını nasıl giderebileceklerini bilmelidir.
Hata durumlarında:
- Hataları, birden çok tasarım ipucu (bileşenler ve hareket gibi) kullanarak belirtin
- Kullanıcıların aramalarını nasıl iyileştirebileceklerini açıklayan bilgiler ekleyin

Bileşenler
Canlı kameralı nesne algılama özelliği, hem mevcut Material Design bileşenlerini hem de kamera etkileşimine özgü yeni öğeleri kullanır. Yeni öğelere (retikül gibi) ait kod örnekleri ve demolar için ML Kit Material Design tanıtım uygulamalarının Android ve iOS kaynak kodlarına göz atın.

1. Üst uygulama çubuğu
2. Retikül
3. Nesne işaretleyici
4. Araç ipucu
5. Algılanan görüntü
6. Modal alt sayfa

Üst uygulama çubuğu
Üst uygulama çubuğu, aşağıdaki eylemlere sürekli erişim sağlar:
- Arama deneyiminden çıkmak için bir düğme
- Parlaklığı artırmak için bir geçiş düğmesi (kameranın flaşını kullanarak)
- Arama sorunlarını gidermeye yönelik bir Yardım bölümü

Yapın
Retikül
Retikül, kullanıcıların bir kamerayla nesne algılarken odaklanmaları için bir hedef sunan görsel bir göstergedir (adı, kamera vizörlerinden gelir). Retikül, kamera aktif olarak nesne ararken kullanıcıyı bilgilendirmek için nabız gibi atan bir animasyon kullanır.
Canlı kamera bir nesneye doğrultulduğunda, retikül bir görsel aramanın başladığını belirtmek için belirli (determinate) bir ilerleme göstergesine dönüşür.
1. Algı, uygulamanın nesne aradığını belirtmek için nabız gibi atan bir animasyon kullanır
2. Arama, geliştiricinin ayarladığı bir gecikmeden sonra başlatılır ve belirli bir ilerleme göstergesiyle gösterilir
3. Nesneye daha fazla yaklaşılması gerektiği, retikülün merkez dairesinin algılama için gereken en küçük boyuta küçülmesiyle gösterilir
4. Algılanan herhangi bir hata, retikülün kenarlığını kesintisiz bir çizgiden noktalı bir çizgiye dönüştürür
Nesne işaretleyici
ML Kit'in Nesne Algılama ve İzleme API'si, 'öne çıkan bir nesneyi' algılamak için bir seçenek içerir. Bu seçenek, kameranın merkezine yakın olan en büyük nesneyi algılar ve izler. Nesne algılandıktan sonra, onu kesintisiz bir dikdörtgen kenarlıkla işaretlemelisiniz.
Uygulamanız, algılanan nesneler için asgari bir görüntü boyutu gerektiriyorsa, nesne işaretleyici yalnızca kenarlığın köşelerini gösteren kısmi bir dikdörtgen kenarlık gösterecek şekilde değişmelidir. Bu, nesnenin algılandığını ancak kullanıcı yaklaşana kadar arama yapılamayacağını belirtir.
Araç ipucu
Araç ipuçları, kullanıcılara bilgilendirici metinler görüntüler. Hem mevcut durumu bildirirler ('Aranıyor…' gibi bir mesajla) hem de kullanıcıyı bir sonraki adıma yönlendirirler ('Kameranızı bir bitkiye doğrultun' gibi bir mesajla).

Yapın

Yapmayın

Yapmayın
Algılanan görüntü
Bir nesne algılandığında, ML Kit'in Nesne Algılama ve İzleme API'si görüntünün kırpılmış bir kopyasını oluşturur; bu kopya, görüntü sınıflandırma modelinizle bir görsel arama gerçekleştirmek için kullanılır.
Kırpılmış görüntü şu amaçlarla görüntülenir:
- Algılanan nesneyi doğrulamak
- Arama sonuçlarının görselleriyle karşılaştırmak
- Görüntüyle ilgili herhangi bir hatayı açıklamak (görüntünün düşük kaliteli olması veya birden çok nesne içermesi gibi)

Modal alt sayfa
Modal alt sayfalar, görsel arama sonuçlarına erişim sağlar. Bunların düzeni ve içeriği, uygulamanızın kullanım senaryosuna, sonuç sayısına ve sonuçların güven düzeyine bağlıdır.


Deneyim
Canlı kameralı görsel arama üç aşamada gerçekleşir:
- Algı (Sense): Aranacak girdiyi bulmak için kamerayı kullanın
- Tanıma (Recognize): Bir nesneyi algılayın ve tanımlayın
- Bilgilendirme (Communicate): Eşleşen bir nesne bulunursa bunu kullanıcıya iletin
Algılama
Nesne algılama, görsel arama özelliği açıldığında başlar. 'Algı', kameranın canlı akışında nesneleri aramasını ifade eder. Bu aşamada uygulamanın yapması gerekenler:
- Özelliğin nasıl çalıştığını açıklamak
- Uygulamanın ne yaptığını bildirmek
- Kullanıcıya kamerayı nasıl kontrol edeceği konusunda rehberlik etmek ve ayarlama önerileri sunmak
Özelliğin nasıl çalıştığını açıklayın
Kullanıcılara, kamerayı ortamdaki nesneleri aramak için bir 'uzaktan kumanda' gibi kullanmaya dair talimatlar verin; deneyimi onboarding ve yardım içerikleriyle açıklayın.

Yapın

Yapmayın

Yapın
Uygulamanın ne yaptığını bildirin
Kamera arama yaparken retikül, kameranın 'baktığını' belirtmek için nabız gibi atar; bir araç ipucu ise kullanıcıyı kamerayı nesnelere doğrultmaya yönlendirir.
Yapın
Ayarlamalar konusunda rehberlik edin
Bazen çevresel koşullar bir nesnenin algılanmasını zorlaştırır; örneğin şu tür konumlar:
- Nesnenin arka planından ayırt edilemeyecek kadar parlak veya karanlık olan
- Üst üste binen ve birbirinden ayırt edilmesi zor nesneler içeren
Uzun bir süre geçtiği hâlde hiçbir nesne algılanmadıysa, retikül animasyonunu durdurun ve kullanıcıyı Yardım içeriğine yönlendirin.
Tanıma
Kamera bir nesne algıladığında, uygulamanın yapması gerekenler:
- Algılanan nesneyi işaretlemek
- Kullanıcıyı aramayı başlatmaya yönlendiren bir istem görüntülemek
- Arama ilerlemesini görüntülemek
Algılanan nesneyi tanımlayın
Kameranın bir nesne bulduğunu belirtmek için retikülün animasyonunu durdurun ve algılanan nesneyi bir kenarlıkla işaretleyin.

Arama istemi gösterin
Kullanıcıdan, algılanan nesneyi kamera görüntüsünün merkezinde tutmasını isteyin. Aramayı başlatmadan önce kısa bir gecikme ekleyin; bu süre boyunca retikül belirli bir ilerleme göstergesi görüntüler. Bu gecikme, kullanıcıya şu iki seçenekten birini seçmesi için zaman tanır:
- Arama niyetini onaylamak (kullanıcılar cihaz kamerasını sabit tutar)
- Aramayı iptal etmek (kullanıcılar kamerayı nesneden uzaklaştırır)
Gecikmenin süresini özelleştirebilirsiniz.
Arama ilerlemesini görüntüleyin
Arama başladıktan sonra nesne algılama durur ve canlı kamera akışı duraklatılır. Böylece yeni aramalar engellenir (ve kullanıcı, cihazını daha rahat bir konuma alabilir).
Arama ilerlemesi, belirsiz (indeterminate) bir ilerleme göstergesi ve bir araç ipucu mesajıyla belirtilir.
Düzeltmeler yapma
Tanıma aşamasında, arama sonucu kalitesini etkileyebilecek iki sorun vardır:
Küçük görüntü boyutu: Algılanan nesne kameradan çok uzaktaysa, algılama yüksek kaliteli bir görüntü üretmez (görüntü kalitesi, asgari görüntü boyutu ayarınıza göre değerlendirilir).
Algılamanın tamamlanmadığını belirtmek için, nesnenin etrafında tam bir kenarlık yerine kısmi bir kenarlık görüntüleyin ve kullanıcıyı yaklaşmaya yönlendiren bir araç ipucu mesajı gösterin.
Ağ bağlantısı: Görüntü sınıflandırma modeliniz bulutta barındırılıyorsa kararlı bir ağ bağlantısı gerekir. İnternet bağlantısı kesilirse, aramaya devam etmek için internet bağlantısı gerektiğini belirten bir banner görüntüleyin.

Bildirme
Görsel arama sonuçları modal bir alt sayfada görüntülenir. Bu aşamada uygulamanın yapması gerekenler:
- Sonuçları görüntülemek
- Algılanan nesneyi görüntülemek
- Hızlı gezinme sağlamak
Uygulamanız, görsel arama sonuçlarını görüntülemek için bir güven eşiği belirlemelidir. 'Güven', bir ML modelinin bir tahminin ne kadar doğru olma olasılığına dair değerlendirmesidir. Görsel aramada, her sonucun güven düzeyi, modelin söz konusu sonucu sağlanan görsele ne kadar benzer bulduğunu belirtir.

Yapın

Yapın
Algılanan nesneyi görüntüleyin
Algılanan nesne ile arama sonuçları arasında karşılaştırma yapılabilmesi için, algılanan nesnenin küçük bir önizlemesini modal alt sayfanın üzerinde görüntüleyin.

Yapın
Hızlı gezinme sağlayın
Sonuçları görüntüledikten sonra kullanıcılar farklı eylemler gerçekleştirebilir:
- Kameraya dönmek için kullanıcılar scrim üzerine veya modal alt sayfanın başlığına dokunabilir.
- Kameradan çıkmak için kullanıcı bir sonuçla etkileşim kurabilir, uygulamada başka bir yere geçebilir veya 'X' düğmesine dokunarak kamerayı kapatıp uygulamaya geri dönebilir.
Arama sonuçlarını değerlendirme
Bazı durumlarda görsel arama sonuçları kullanıcı beklentilerini karşılamayabilir; örneğin şu senaryolarda:
Sonuç bulunamadı
Bir arama çeşitli nedenlerden dolayı eşleşme olmadan sonuçlanabilir:
- Bir nesne, bilinen nesne kümesine ait değilse veya ona benzemiyorsa
- Bir nesne alışılmadık bir açıdan algılandıysa
- Görüntü düşük kalitedeyse, nesnenin önemli ayrıntılarını ayırt etmek zorlaşabilir
Sonuç yoksa, durumu açıklamak için bir banner görüntüleyin ve kullanıcıları, aramalarını nasıl iyileştirebileceklerine dair bilgi için bir Yardım bölümüne yönlendirin.

Zayıf sonuçlar
Bir arama yalnızca düşük güven skorlarına sahip sonuçlar döndürüyorsa, kullanıcıdan aramasını iyileştirmeye yönelik ipuçlarıyla birlikte yeniden arama yapmasını isteyebilirsiniz.

Yapın
Tema oluşturma
Shrine Material teması
Canlı kameralı görsel arama, Shrine uygulamasının satın alma akışında kullanılır.


Retikül
Shrine'ın retikülü, açılı kesimler kullanan şekil stilini yansıtmak için eşkenar dörtgen bir biçim kullanır.

2. 4dp kesik köşeli bir düğme
3. Eşkenar dörtgen biçiminde bir retikül
Shrine'ın araç ipucu, özel renkler, tipografi ve yerleştirme kullanılarak vurgulanır.

2. Shrine'ın araç ipucu özel renkler ve tipografi kullanır ve kapsayıcısını ekranın kenarlarına kadar uzatır.