Giriş Yap
Pazarlama Araştırmaları

Analyzing Brand Perception in LLMs

Araştırma Soruları

  • LLM’lerin markalara yönelik yanlılık gösterme derecesi nedir?
  • Bu yanlılığı ölçmek için hangi metrikler kullanılabilir?
  • Markalara ilişkin uygun bir test nasıl kurgulanabilir?
  • Bu metrikler farklı LLM’lere ve markalara uygulandığında ne sonuç verir?

Sonuçlar

  • Tüm LLM’ler marka tercihlerinde tutarlı (transitive) davrandı ve Apple > Samsung > Huawei sıralaması ortaya çıktı.
  • ChatGPT-4 en kararlı (decisive) model iken, Gemma en kararsız sonuçları verdi.
  • ChatGPT modelleri Apple ve Samsung’a güçlü biçimde pozitif yanlılık gösterirken, Gemma daha düşük pozitif yanlılık ve daha yüksek belirsizlik sergiledi.
  • Yöntem, sadece markalar değil, farklı insan merkezli kavramlar için de uygulanabilir.

Bulgular

  • Tercih Boyutu: Tüm modeller mantıksal tutarlılık gösterdi; Apple > Samsung > Huawei

  • Duygu Boyutu:

    • Gemma daha tutarlı ama daha az önyargılıydı.
    • ChatGPT-3.5 ve ChatGPT-4 Apple ve Samsung’a güçlü pozitif önyargı sergiledi (ör. Apple için %93,6 pozitif yanıt oranı).
    • Huawei’ye yönelik cevaplarda modeller arasında farklılıklar gözlendi.

  • Tutarlılık Ölçütleri:

    • ChatGPT modelleri düşük entropi ve yüksek kesinlik
    • Gemma entropisi 4–5 kat daha yüksek, belirsizlik seviyesi yüksek
    • Soru formatları arasında genel uyum; Gemma en fazla sapma gösterdi

  • LLM Modelleri: 5

  • Sentetik Veri: 1

  • Yöntem: 5

  • Hız: 2

  • Etik: 1

  • Doğruluk Oranı: 4

  • Demografi: 0

Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.

2 dakikalık okuma

Diğer ilgili yazılarımız

Analyzing Brand Perception in LLMs

LLM’lerin markalara yönelik yanlılık (bias) ve tutarlılık düzeylerinin değerlendirilmesi.

Devamını oku

Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks

LLM ajanlarının insan davranışlarıyla uyumu; demografik bilgiler ve inanç ağları kullanımı ile görüş taklit doğruluğu.

Devamını oku

Can LLMs Capture Human Preferences?

LLM’lerin insan tercihlerini taklit etme yeteneği ve dil ile chain-of-thought yöntemlerinin etkisi.

Devamını oku

Comparing Traditional and LLM-based Search for Consumer Choice: A Randomized Experiment

LLM tabanlı arama sistemlerinin geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimi üzerindeki etkilerinin incelenmesi ve güven vurgularının rolü.

Devamını oku

Do LLM Agents Exhibit Social Behavior?

LLM’lerin sosyal etkileşimlerdeki davranışları, grup kimliği ve karşılıklılık mekanizmaları ile Chain-of-Thought (CoT) süreçlerinin bu davranışları öngörmedeki rolü.

Devamını oku

Enhancing LLM Decision-Making with Factor Profiles and Analogical Reasoning (DEFINE)

LLM’lerin belirsizlik içeren finansal senaryolarda rasyonel karar verme yetenekleri; faktör profilleri ve tarihsel analoji kullanımı ile karar doğruluğu ve şeffaflığın artırılması.

Devamını oku

Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?

LLM’lerin davranışsal ekonomi deneylerindeki insan ajanlarını taklit etme kapasitesi; model çeşitliliği, endowment etkisi ve deneylerin yeniden üretilebilirliği.

Devamını oku