Giriş Yap

Reduce Disparity Between LLMs and Humans: Optimal LLM Sample Calibration

Araştırma Soruları

  • LLM örnekleri demografik gruplara göre nasıl kalibre edilerek insan yanıtlarına daha yakın hale getirilebilir?
  • Bu yaklaşım model-agnostik (her LLM’e uygulanabilir) olabilir mi?
  • Kalibrasyon farklı alanlara veya bölgelere ne ölçüde aktarılabilir?

Sonuçlar

  • Human Mimicry Calibration (HMC), LLM yanıtlarını insan verileriyle hizalamada önemli iyileşme sağladı.
  • HMC, geleneksel nüfus yoğunluğu tabanlı ağırlıklandırmadan daha iyi performans gösterdi.
  • Mekânsal transfer (Teksas → New York, California, Florida) başarılı oldu; konu bazlı transfer (özellikle politika ve hassas konular) sınırlı kaldı.
  • En yüksek ağırlık, genç (18–34) ve düşük gelirli demografilere verildi; bu gruplar insan davranışlarını en iyi yansıtan çıktı.

Bulgular

  • Kalibrasyon tekniği: HMC, LLM’lerin demografik persona taklitlerini ağırlıklandırarak insan verilerine daha yakın hale getiriyor.

  • Performans: HMC, üniform ve nüfus temelli yöntemlere kıyasla %20–30 daha yüksek doğruluk sağladı.

  • Transfer yeteneği: Bölgesel transfer başarıyla gerçekleşti; ancak sektörler arası ve hassas politik konularda doğruluk düştü.

  • Ölçüm metrikleri: Kendall’s Tau ve Wasserstein Distance ile insan-LLM farkı sayısal olarak azaltıldı.

  • İçgörü: Genç ve düşük gelirli gruplar, LLM çıktılarında en temsil edici gruplar olarak öne çıktı.

  • LLM Modelleri: 5

  • Sentetik Veri: 4

  • Yöntem: 5

  • Hız: 3

  • Etik: 3

  • Doğruluk Oranı: 5

  • Demografi: 5

Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.

5 dakikalık okuma

Diğer ilgili yazılarımız

Analyzing Brand Perception in LLMs

LLM’lerin markalara yönelik yanlılık (bias) ve tutarlılık düzeylerinin değerlendirilmesi.

Devamını oku

Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks

LLM ajanlarının insan davranışlarıyla uyumu; demografik bilgiler ve inanç ağları kullanımı ile görüş taklit doğruluğu.

Devamını oku

Can LLMs Capture Human Preferences?

LLM’lerin insan tercihlerini taklit etme yeteneği ve dil ile chain-of-thought yöntemlerinin etkisi.

Devamını oku

Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment

LLM tabanlı arama sistemlerinin geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimi üzerindeki etkilerinin incelenmesi ve güven vurgularının rolü.

Devamını oku

Do LLM Agents Exhibit Social Behavior?

LLM’lerin sosyal etkileşimlerdeki davranışları, grup kimliği ve karşılıklılık mekanizmaları ile Chain-of-Thought (CoT) süreçlerinin bu davranışları öngörmedeki rolü.

Devamını oku

Enhancing LLM Decision-Making with Factor Profiles and Analogical Reasoning (DEFINE)

LLM’lerin belirsizlik içeren finansal senaryolarda rasyonel karar verme yetenekleri; faktör profilleri ve tarihsel analoji kullanımı ile karar doğruluğu ve şeffaflığın artırılması.

Devamını oku

Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?

LLM’lerin davranışsal ekonomi deneylerindeki insan ajanlarını taklit etme kapasitesi; model çeşitliliği, endowment etkisi ve deneylerin yeniden üretilebilirliği.

Devamını oku