Giriş Yap

LLMs’ Ways of Seeing User Personas

Araştırma Soruları

  • LLM’ler kullanıcı personalarını nasıl algılar ve yorumlar?
  • Kültürel bağlam (özellikle Hindistan’daki kullanıcı profilleri) LLM’lerin yorumlarını nasıl şekillendirir?
  • LLM’ler persona tanımlarından demografik profilleri yeniden kurgulayabilir mi?

Sonuçlar

  • GPT-3.5 ve GPT-4, seçilen üç Hindistan merkezli persona için yüksek uyum gösterdi.
  • En yüksek puan Consistency (Tutarlılık) özelliğine verildi (GPT-3.5: 6.34, GPT-4: 7).
  • En düşük puan Credibility (Gerçeklik) özelliğine verildi (GPT-3.5: 5.67, GPT-4: 6.33).
  • GPT-4, demografik profilleri (yaş, gelir, teknoloji yetkinliği, meslek) tutarlı biçimde yeniden inşa edebildi.
  • İki model arasında yüksek oranda uyum gözlendi.

Bulgular

  • Tutarlılık: LLM’ler en yüksek derecede persona özellikleri arasındaki içsel tutarlılığı yakaladı.

  • Gerçeklik sorunu: Persona “gerçek bir insan gibi mi görünüyor?” sorusuna düşük puan verilmesi beklenen bir sınırlılık olarak ortaya çıktı.

  • Demografik yeniden kurma: Örn. Persona B (Dependent Family Talker) için 50+ yaş, düşük/orta gelir, düşük teknoloji kullanımı tahmin edildi; Persona C için küçük işletme sahibi/girişimci ve orta-yüksek teknoloji yeterliliği öngörüldü.

  • Model uyumu: GPT-3.5 ve GPT-4 benzer derecelendirmeler yaptı, farklar minimaldi.

  • LLM Modelleri: 5

  • Sentetik Veri: 2

  • Yöntem: 4

  • Hız: 1

  • Etik: 2

  • Doğruluk Oranı: 4

  • Demografi: 5

Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.

5 dakikalık okuma

Diğer ilgili yazılarımız

Analyzing Brand Perception in LLMs

LLM’lerin markalara yönelik yanlılık (bias) ve tutarlılık düzeylerinin değerlendirilmesi.

Devamını oku

Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks

LLM ajanlarının insan davranışlarıyla uyumu; demografik bilgiler ve inanç ağları kullanımı ile görüş taklit doğruluğu.

Devamını oku

Can LLMs Capture Human Preferences?

LLM’lerin insan tercihlerini taklit etme yeteneği ve dil ile chain-of-thought yöntemlerinin etkisi.

Devamını oku

Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment

LLM tabanlı arama sistemlerinin geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimi üzerindeki etkilerinin incelenmesi ve güven vurgularının rolü.

Devamını oku

Do LLM Agents Exhibit Social Behavior?

LLM’lerin sosyal etkileşimlerdeki davranışları, grup kimliği ve karşılıklılık mekanizmaları ile Chain-of-Thought (CoT) süreçlerinin bu davranışları öngörmedeki rolü.

Devamını oku

Enhancing LLM Decision-Making with Factor Profiles and Analogical Reasoning (DEFINE)

LLM’lerin belirsizlik içeren finansal senaryolarda rasyonel karar verme yetenekleri; faktör profilleri ve tarihsel analoji kullanımı ile karar doğruluğu ve şeffaflığın artırılması.

Devamını oku

Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?

LLM’lerin davranışsal ekonomi deneylerindeki insan ajanlarını taklit etme kapasitesi; model çeşitliliği, endowment etkisi ve deneylerin yeniden üretilebilirliği.

Devamını oku