Giriş Yap
  • Ana Sayfa
  • Makaleler
  • Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment
Pazarlama Araştırmaları

Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment

Araştırma Soruları

  1. LLM tabanlı arama, geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimini nasıl etkiler?
  2. LLM çıktılarındaki hatalara aşırı güven nasıl azaltılabilir?
  3. Güven sinyalleri (ör. renk kodlu güven vurguları) kullanıcı davranışını nasıl değiştirir?

Sonuçlar

  • LLM tabanlı arama, görev tamamlama süresini yarı yarıya kısalttı (1,6 dk vs. 3,4 dk).
  • Kullanıcılar daha az ama daha karmaşık sorgular yaptı.
  • Rutin görevlerde doğruluk benzerdi, ancak hata içeren görevde LLM kullanıcılarının doğruluğu sert biçimde düştü (47% vs. 93%).
  • Katılımcılar LLM deneyimini daha tatmin edici buldu.
  • Güven vurguları (renk kodlaması) hataların fark edilmesini sağladı ve doğruluğu iki kat artırdı.

Bulgular

  • Verimlilik: LLM araması %50 daha hızlı, sorgular daha az sayıda ama daha karmaşıktı.

  • Doğruluk ve aşırı güven: Normal görevlerde doğru karar oranı yüksekti, fakat hatalı veride LLM kullanıcıları yanlış sonuçlara aşırı güvendi.

  • Kullanıcı algısı: LLM deneyimi daha tatmin edici görünse de, kullanıcılar hataları fark etmedi.

  • Mitigasyon (Deney 2): Güven vurguları (yeşil = yüksek güven, kırmızı = düşük güven) doğruluğu 26%’dan 53–58% seviyelerine çıkardı; kullanıcılar ek sorgular yaparak yanlışları test etti.

  • LLM Modelleri: 4

  • Sentetik Veri: 0

  • Yöntem: 5

  • Hız: 5

  • Etik: 3

  • Doğruluk Oranı: 5

  • Demografi: 0

Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.

4 dakikalık okuma

Diğer ilgili yazılarımız

Analyzing Brand Perception in LLMs

LLM’lerin markalara yönelik yanlılık (bias) ve tutarlılık düzeylerinin değerlendirilmesi.

Devamını oku

Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks

LLM ajanlarının insan davranışlarıyla uyumu; demografik bilgiler ve inanç ağları kullanımı ile görüş taklit doğruluğu.

Devamını oku

Can LLMs Capture Human Preferences?

LLM’lerin insan tercihlerini taklit etme yeteneği ve dil ile chain-of-thought yöntemlerinin etkisi.

Devamını oku

Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment

LLM tabanlı arama sistemlerinin geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimi üzerindeki etkilerinin incelenmesi ve güven vurgularının rolü.

Devamını oku

Do LLM Agents Exhibit Social Behavior?

LLM’lerin sosyal etkileşimlerdeki davranışları, grup kimliği ve karşılıklılık mekanizmaları ile Chain-of-Thought (CoT) süreçlerinin bu davranışları öngörmedeki rolü.

Devamını oku

Enhancing LLM Decision-Making with Factor Profiles and Analogical Reasoning (DEFINE)

LLM’lerin belirsizlik içeren finansal senaryolarda rasyonel karar verme yetenekleri; faktör profilleri ve tarihsel analoji kullanımı ile karar doğruluğu ve şeffaflığın artırılması.

Devamını oku

Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?

LLM’lerin davranışsal ekonomi deneylerindeki insan ajanlarını taklit etme kapasitesi; model çeşitliliği, endowment etkisi ve deneylerin yeniden üretilebilirliği.

Devamını oku