Enhancing LLM Decision-Making with Factor Profiles and Analogical Reasoning (DEFINE)

Araştırma Soruları

• LLM’ler belirsizlik içeren karmaşık gerçek dünya senaryolarında (ör. şirket kazanç çağrıları) nasıl daha rasyonel kararlar verebilir?
• Faktör profilleri ile belirsizlik nasıl ölçülebilir?
• Tarihsel benzerliklere dayalı analoji, LLM kararlarını nasıl geliştirebilir ve şeffaflaştırabilir?

Sonuçlar

• DEFINE çerçevesi, diğer yöntemlere göre daha yüksek doğruluk ve F1 skorları elde etti (Acc 29.6%, F1 23.7%).
• Uzun transkriptler yerine faktör profilleri üzerinden özetleme, karar doğruluğunu artırdı.
• Kararlar beş kategoriye (Strong Buy → Strong Sell) daha dengeli dağıldı; özellikle “Strong Buy” tahminlerinde güçlü performans sergilendi.
• Sektörler arası verilerle eğitim, tek sektör veya tek şirket eğitiminden daha iyi sonuç verdi.
• Analoji yöntemi, benzer geçmiş vakalardan %69 oranında doğru sonuç aktardı.

Bulgular

• Performans: DEFINE, DeLLMa ve klasik LLM+CoT yöntemlerini geride bıraktı.

• Verimlilik: Yapılandırılmış faktör özetleri (15 faktör, 3 grup) uzun metinlere göre daha yüksek doğruluk sağladı.

• Denge: Kararlar sadece “Buy” yönünde toplanmadı; daha dengeli çıktı.

• Analoji kullanımı: KL divergence ile benzer örnekler bulunarak kararların %69’u en yakın geçmiş örnekle uyumlu çıktı.

• Beklenmedik bulgular: Bazen düşük pozitif olasılıklarda bile “Buy” kararı verilmesi, yatırımın doğasında olan rasyonel paradoksları yansıttı.

• LLM Modelleri: 5

• Sentetik Veri: 1

• Yöntem: 5

• Hız: 3

• Etik: 1

• Doğruluk Oranı: 5

• Demografi: 0

Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.