Araştırma Soruları
- LLM örnekleri demografik gruplara göre nasıl kalibre edilerek insan yanıtlarına daha yakın hale getirilebilir?
- Bu yaklaşım model-agnostik (her LLM’e uygulanabilir) olabilir mi?
- Kalibrasyon farklı alanlara veya bölgelere ne ölçüde aktarılabilir?
Sonuçlar
- Human Mimicry Calibration (HMC), LLM yanıtlarını insan verileriyle hizalamada önemli iyileşme sağladı.
- HMC, geleneksel nüfus yoğunluğu tabanlı ağırlıklandırmadan daha iyi performans gösterdi.
- Mekânsal transfer (Teksas → New York, California, Florida) başarılı oldu; konu bazlı transfer (özellikle politika ve hassas konular) sınırlı kaldı.
- En yüksek ağırlık, genç (18–34) ve düşük gelirli demografilere verildi; bu gruplar insan davranışlarını en iyi yansıtan çıktı.
Bulgular
-
Kalibrasyon tekniği: HMC, LLM’lerin demografik persona taklitlerini ağırlıklandırarak insan verilerine daha yakın hale getiriyor.
-
Performans: HMC, üniform ve nüfus temelli yöntemlere kıyasla %20–30 daha yüksek doğruluk sağladı.
-
Transfer yeteneği: Bölgesel transfer başarıyla gerçekleşti; ancak sektörler arası ve hassas politik konularda doğruluk düştü.
-
Ölçüm metrikleri: Kendall’s Tau ve Wasserstein Distance ile insan-LLM farkı sayısal olarak azaltıldı.
-
İçgörü: Genç ve düşük gelirli gruplar, LLM çıktılarında en temsil edici gruplar olarak öne çıktı.
-
LLM Modelleri: 5
-
Sentetik Veri: 4
-
Yöntem: 5
-
Hız: 3
-
Etik: 3
-
Doğruluk Oranı: 5
-
Demografi: 5
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.