Araştırma Soruları
- LLM’lerin markalara yönelik yanlılık gösterme derecesi nedir?
- Bu yanlılığı ölçmek için hangi metrikler kullanılabilir?
- Markalara ilişkin uygun bir test nasıl kurgulanabilir?
- Bu metrikler farklı LLM’lere ve markalara uygulandığında ne sonuç verir?
Sonuçlar
- Tüm LLM’ler marka tercihlerinde tutarlı (transitive) davrandı ve Apple > Samsung > Huawei sıralaması ortaya çıktı.
- ChatGPT-4 en kararlı (decisive) model iken, Gemma en kararsız sonuçları verdi.
- ChatGPT modelleri Apple ve Samsung’a güçlü biçimde pozitif yanlılık gösterirken, Gemma daha düşük pozitif yanlılık ve daha yüksek belirsizlik sergiledi.
- Yöntem, sadece markalar değil, farklı insan merkezli kavramlar için de uygulanabilir.
Bulgular
-
Tercih Boyutu: Tüm modeller mantıksal tutarlılık gösterdi; Apple > Samsung > Huawei
-
Duygu Boyutu:
- Gemma daha tutarlı ama daha az önyargılıydı.
- ChatGPT-3.5 ve ChatGPT-4 Apple ve Samsung’a güçlü pozitif önyargı sergiledi (ör. Apple için %93,6 pozitif yanıt oranı).
- Huawei’ye yönelik cevaplarda modeller arasında farklılıklar gözlendi.
-
Tutarlılık Ölçütleri:
- ChatGPT modelleri düşük entropi ve yüksek kesinlik
- Gemma entropisi 4–5 kat daha yüksek, belirsizlik seviyesi yüksek
- Soru formatları arasında genel uyum; Gemma en fazla sapma gösterdi
-
LLM Modelleri: 5
-
Sentetik Veri: 1
-
Yöntem: 5
-
Hız: 2
-
Etik: 1
-
Doğruluk Oranı: 4
-
Demografi: 0
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.