Araştırma Soruları
- LLM’ler belirsizlik içeren karmaşık gerçek dünya senaryolarında (ör. şirket kazanç çağrıları) nasıl daha rasyonel kararlar verebilir?
- Faktör profilleri ile belirsizlik nasıl ölçülebilir?
- Tarihsel benzerliklere dayalı analoji, LLM kararlarını nasıl geliştirebilir ve şeffaflaştırabilir?
Sonuçlar
- DEFINE çerçevesi, diğer yöntemlere göre daha yüksek doğruluk ve F1 skorları elde etti (Acc 29.6%, F1 23.7%).
- Uzun transkriptler yerine faktör profilleri üzerinden özetleme, karar doğruluğunu artırdı.
- Kararlar beş kategoriye (Strong Buy → Strong Sell) daha dengeli dağıldı; özellikle “Strong Buy” tahminlerinde güçlü performans sergilendi.
- Sektörler arası verilerle eğitim, tek sektör veya tek şirket eğitiminden daha iyi sonuç verdi.
- Analoji yöntemi, benzer geçmiş vakalardan %69 oranında doğru sonuç aktardı.
Bulgular
-
Performans: DEFINE, DeLLMa ve klasik LLM+CoT yöntemlerini geride bıraktı.
-
Verimlilik: Yapılandırılmış faktör özetleri (15 faktör, 3 grup) uzun metinlere göre daha yüksek doğruluk sağladı.
-
Denge: Kararlar sadece “Buy” yönünde toplanmadı; daha dengeli çıktı.
-
Analoji kullanımı: KL divergence ile benzer örnekler bulunarak kararların %69’u en yakın geçmiş örnekle uyumlu çıktı.
-
Beklenmedik bulgular: Bazen düşük pozitif olasılıklarda bile “Buy” kararı verilmesi, yatırımın doğasında olan rasyonel paradoksları yansıttı.
-
LLM Modelleri: 5
-
Sentetik Veri: 1
-
Yöntem: 5
-
Hız: 3
-
Etik: 1
-
Doğruluk Oranı: 5
-
Demografi: 0
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.