Yapay zekâda görünürlük nasıl ölçülür?
Yapay zekâ görünürlüğünü ölçmek için sektörünüzdeki gerçek alıcı soruları, adınız geçmeden, birden çok yapay zekâ asistanına ve birden çok kez sorulur; her cevapta adınızın geçip geçmediği, kimlerin anıldığı ve hangi kaynakların gösterildiği kaydedilir. Tek bir denemeye ya da nereden geldiği gösterilmeyen tek bir puana dayanan ölçüm yanıltıcıdır.
Doğru soru: adınızı içermeyen soru
"X Firması iyi mi?" diye sorarsanız asistan adınızı zaten tekrarlar ve ölçüm anlamsızlaşır. Ölçülmesi gereken, alıcının sizi bilmeden sorduğu sorudur: "Türkiye'de paslanmaz endüstriyel mutfak ekipmanı kimden alınır?" Sorular sektörünüzden, şehrinizden ve müşteri tipinizden türetilmelidir.
Birden çok asistan, birden çok deneme
ChatGPT, Gemini, Perplexity ve diğerleri farklı kaynaklara dayanır ve aynı soruya farklı cevaplar verir. Aynı asistan da aynı soruya her seferinde birebir aynı cevabı vermez. Bu yüzden her soru birkaç asistana, birkaç kez sorulur ve sonucun ne kadar oynadığı da not edilir.
Her cevapta neler kaydedilmeli?
- Adınız geçiyor mu, geçiyorsa kaçıncı sırada?
- Sizin yerinize hangi firmalar anılıyor?
- Asistan hangi siteleri kaynak gösteriyor; sizin siteniz bunlardan biri mi?
- Hakkınızda yanlış bir bilgi var mı?
- Cevabın tam metni, tarihi ve hangi asistanın hangi sürümüyle alındığı.
Tek bir puan neden yetmez?
Piyasadaki birçok araç tek bir görünürlük puanı gösterir ama puanın nereden geldiğini göstermez: kaç soru soruldu, hangi asistan ne dedi, sonuç ne kadar oynak? Arkasındaki cevaplar gösterilmeyen bir sayı doğrulanamaz. İki ölçüm arasındaki küçük fark ölçümün kendi oynaklığının içinde kalıyorsa, "arttı" demek de yanıltıcıdır; doğrusu "sonuç belirsiz" demektir.
Kendiniz nasıl denersiniz?
- Bir alıcının soracağı 10 soru yazın; hiçbirinde firmanızın adı geçmesin.
- Her soruyu en az üç asistana sorun. Kendi hesabınızın geçmişi cevabı etkilemesin diye, oturum açmadan ya da yeni bir sohbetle sorun.
- Her cevap için bir tabloya adınızın geçip geçmediğini, anılan firmaları ve gösterilen kaynakları yazın.
- Aynı soruları iki hafta sonra tekrar sorun ve farkı karşılaştırın.
Ne zaman yardım almalı?
Elle yapılan ölçüm fikir verir ama zahmetlidir: sorular, asistanlar ve tekrarlar çarpıldığında yüzlerce cevap okumak gerekir. GeoAI'ın Tespit Raporu bu işi yapar ve her bulgunun altına ham cevabı koyar; puan vermez, kanıt verir.