Araştırma Soruları
- LLM tabanlı arama, geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimini nasıl etkiler?
- LLM çıktılarındaki hatalara aşırı güven nasıl azaltılabilir?
- Güven sinyalleri (ör. renk kodlu güven vurguları) kullanıcı davranışını nasıl değiştirir?
Sonuçlar
- LLM tabanlı arama, görev tamamlama süresini yarı yarıya kısalttı (1,6 dk vs. 3,4 dk).
- Kullanıcılar daha az ama daha karmaşık sorgular yaptı.
- Rutin görevlerde doğruluk benzerdi, ancak hata içeren görevde LLM kullanıcılarının doğruluğu sert biçimde düştü (47% vs. 93%).
- Katılımcılar LLM deneyimini daha tatmin edici buldu.
- Güven vurguları (renk kodlaması) hataların fark edilmesini sağladı ve doğruluğu iki kat artırdı.
Bulgular
-
Verimlilik: LLM araması %50 daha hızlı, sorgular daha az sayıda ama daha karmaşıktı.
-
Doğruluk ve aşırı güven: Normal görevlerde doğru karar oranı yüksekti, fakat hatalı veride LLM kullanıcıları yanlış sonuçlara aşırı güvendi.
-
Kullanıcı algısı: LLM deneyimi daha tatmin edici görünse de, kullanıcılar hataları fark etmedi.
-
Mitigasyon (Deney 2): Güven vurguları (yeşil = yüksek güven, kırmızı = düşük güven) doğruluğu 26%’dan 53–58% seviyelerine çıkardı; kullanıcılar ek sorgular yaparak yanlışları test etti.
-
LLM Modelleri: 4
-
Sentetik Veri: 0
-
Yöntem: 5
-
Hız: 5
-
Etik: 3
-
Doğruluk Oranı: 5
-
Demografi: 0
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.