KPMG’nin geçen yılın Ekim ayında yayımladığı “Total Experience: Redefining Excellence in the Age of Agentic AI” adlı raporunun yapay zeka kaynaklı hatalar ve uydurma referanslarla dolu olduğu ortaya çıktı. GPTZero tarafından yürütülen inceleme ve Financial Times doğrulamaları, rapordaki birçok atıf ve örneğin ya gerçekte var olmadığını ya da yanlış aktarıldığını gösterdi.
45 Kaynaktan Sadece 5’i Doğru
İncelemeye göre rapordaki 45 kaynaktan yalnızca 5’i gerçek ve doğru şekilde referans verildi. 28 atıf, gerçek kaynakların başlıklarını çarpıtıyor veya içeriğine uymayan eklemeler içeriyordu. 12 atıf ise doğrulanamayacak kadar belirsizdi. GPTZero bu tür hatalı kaynak üretimini vibe citing (uydurma atıf üretimi) olarak tanımladı.
Raporun yalnızca atıfları değil, iddiaları da ciddi sorunlar içeriyordu. GPTZero analizine göre içerikteki iddiaların yaklaşık yarısı yanlış ya da hatalı şekilde aktarılmıştı. Bu durumun, yapay zekâ destekli araştırma araçlarının gerçek dünyada agentic AI örnekleri bulma talebine aşırı uyum sağlamasından kaynaklandığı değerlendirildi.
Örnek hatalar arasında Emirates tarafından geliştirildiği iddia edilen Sara adlı sohbet botunun aslında 2023’te çıkan ve uçuş değiştirme gibi yapay zeka yetenekleri olmayan bir mobil asistan olması yer aldı. UBS’nin yatırım danışmanlığı ve risk yönetiminde yaygın agentic AI kullandığı iddiasının banka tarafından yanlış olduğu belirtildi. Swiss Federal Railways’in yolcular için tercih bazlı, gerçek zamanlı optimize seyahat planlayan AI agentlarına sahip olduğu iddiası da kurum tarafından doğrulanmadı.