Giriş Yap

LLM-Based Doppelgänger Models: Leveraging Synthetic Data for Human-Like Responses in Survey Simulations

Araştırma Soruları

LLM tabanlı bir model bireyin konuşmalarından düşüncelerini ve yargılarını öğrenerek bunları taklit edebilir mi?
Bu tür birey odaklı modeller anket araştırmalarında kullanılabilir mi?
Tek cihazlı (40GB GPU) pratik bir ortamda bireysel görüşlerin simülasyonu yapılabilir mi?

Sonuçlar

Doppelgänger modeli, bireysel görüşleri yüksek doğrulukla taklit edebildi.
5’li ölçekte %67, 3’lü ölçekte %80 doğruluk elde edildi.
Uzun context (örn. 3.000 token) ve fazla epoch doğruluğu artırdı.
GPT-3.5 Turbo ve Gemini gibi ticari modellerden daha yüksek performans gösterdi.
Tek 40GB GPU üzerinde uygulanabilirliği kanıtlandı.

Bulgular

Doppelgänger modeli, yalnızca grup düzeyinde değil bireysel düzeyde de görüşleri yeniden üretme kapasitesine sahip.
Surveyed LLM (0,46/0,65 doğruluk) ve ticari modeller bireysel taklit konusunda yetersiz kaldı.
Yalnızca metadata kullanıldığında tahminler zayıf ve yanlı sonuç verdi.
Ortalama 21 konuşma verisiyle bile model etkin biçimde öğrenme sağlayabildi.
Model, bireysel heterojenliği ve kişiselleştirilmiş yanıtları yansıtma konusunda güçlü bir araç sundu.
LLM Modelleri: 5
Sentetik Veri: 5
Yöntem: 5
Hız: 4
Etik: 2
Doğruluk Oranı: 5
Demografi: 2

Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.

5 dakikalık okuma

Diğer ilgili yazılarımız

Analyzing Brand Perception in LLMs

LLM’lerin markalara yönelik yanlılık (bias) ve tutarlılık düzeylerinin değerlendirilmesi.

Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks

LLM ajanlarının insan davranışlarıyla uyumu; demografik bilgiler ve inanç ağları kullanımı ile görüş taklit doğruluğu.

Can LLMs Capture Human Preferences?

LLM’lerin insan tercihlerini taklit etme yeteneği ve dil ile chain-of-thought yöntemlerinin etkisi.

Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment

LLM tabanlı arama sistemlerinin geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimi üzerindeki etkilerinin incelenmesi ve güven vurgularının rolü.

Do LLM Agents Exhibit Social Behavior?

LLM’lerin sosyal etkileşimlerdeki davranışları, grup kimliği ve karşılıklılık mekanizmaları ile Chain-of-Thought (CoT) süreçlerinin bu davranışları öngörmedeki rolü.

Enhancing LLM Decision-Making with Factor Profiles and Analogical Reasoning (DEFINE)

LLM’lerin belirsizlik içeren finansal senaryolarda rasyonel karar verme yetenekleri; faktör profilleri ve tarihsel analoji kullanımı ile karar doğruluğu ve şeffaflığın artırılması.

Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?

LLM’lerin davranışsal ekonomi deneylerindeki insan ajanlarını taklit etme kapasitesi; model çeşitliliği, endowment etkisi ve deneylerin yeniden üretilebilirliği.