Araştırma Soruları
- LLM’ler kullanıcı personalarını nasıl algılar ve yorumlar?
- Kültürel bağlam (özellikle Hindistan’daki kullanıcı profilleri) LLM’lerin yorumlarını nasıl şekillendirir?
- LLM’ler persona tanımlarından demografik profilleri yeniden kurgulayabilir mi?
Sonuçlar
- GPT-3.5 ve GPT-4, seçilen üç Hindistan merkezli persona için yüksek uyum gösterdi.
- En yüksek puan Consistency (Tutarlılık) özelliğine verildi (GPT-3.5: 6.34, GPT-4: 7).
- En düşük puan Credibility (Gerçeklik) özelliğine verildi (GPT-3.5: 5.67, GPT-4: 6.33).
- GPT-4, demografik profilleri (yaş, gelir, teknoloji yetkinliği, meslek) tutarlı biçimde yeniden inşa edebildi.
- İki model arasında yüksek oranda uyum gözlendi.
Bulgular
-
Tutarlılık: LLM’ler en yüksek derecede persona özellikleri arasındaki içsel tutarlılığı yakaladı.
-
Gerçeklik sorunu: Persona “gerçek bir insan gibi mi görünüyor?” sorusuna düşük puan verilmesi beklenen bir sınırlılık olarak ortaya çıktı.
-
Demografik yeniden kurma: Örn. Persona B (Dependent Family Talker) için 50+ yaş, düşük/orta gelir, düşük teknoloji kullanımı tahmin edildi; Persona C için küçük işletme sahibi/girişimci ve orta-yüksek teknoloji yeterliliği öngörüldü.
-
Model uyumu: GPT-3.5 ve GPT-4 benzer derecelendirmeler yaptı, farklar minimaldi.
-
LLM Modelleri: 5
-
Sentetik Veri: 2
-
Yöntem: 4
-
Hız: 1
-
Etik: 2
-
Doğruluk Oranı: 4
-
Demografi: 5
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.