Doğruluk ve sınırlar
SCL raporlarındaki her sayı, dil modellerinin canlandırdığı sentetik tüketicilerin (persona) yanıtlarından gelir. Bu yanıtlar, seçenekler arasındaki farkın yönünü ve kabaca büyüklüğünü görmek için kullanışlıdır; gerçek pazarın ölçümü değildir.
SCL sonuçlarını doğru okumak ve raporlamak
Raporlardaki uyarıların, güven aralıklarının ve gerekçelerin nerede olduğunu gösterir; aynı popülasyonla ikinci bir çalışma kurmayı ve paylaşmadan önce Excel dosyasındaki sayıları kontrol etmeyi anlatır.
Sonuçlar neyi gösterir, neyi göstermez
| Gösterir | Göstermez |
|---|---|
| İki ürün, fiyat ya da mesaj arasındaki tercihin hangi yöne eğildiği | Gerçek pazarda gerçekleşecek satış, pazar payı ya da ciro |
| Farkın kabaca ne kadar büyük olduğu | Ondalığına kadar kesin bir tahmin |
| Hangi grupların farklı tepki verebileceği | Gerçek kişilerin görüşü; personalar gerçek kişi değildir |
| Gerçek tüketicilerle sınanmaya değer hipotezler | Gerçek tüketicilerle yapılmış bir araştırmanın yerini tutan kanıt |
Fiyat raporlarındaki gelir değerleri, test edilen fiyatlardan ve personaların satın alma kararlarından hesaplanır. Bu değerleri pazarınızdaki ciro tahmini olarak okumayın.
SCL ne yapar, ne yapmaz
Yaptıkları
- Popülasyonu nüfus ve anket verilerinden kurar. Personaların yaş, eğitim, il, gelir ve hane özellikleri Türkiye İstatistik Kurumu (TÜİK) verilerinden ve TÜİK Hanehalkı Bütçe Araştırması’ndan, değerleri ise Dünya Değerler Araştırması’ndan örneklenir. Filtre uygulamadığınızda popülasyonun dağılımı Türkiye genelini izler.
- Yanıtları farklı dil modellerine dağıtır. Her persona birkaç dil modelinden birine atanır; böylece tek bir modelin alışkanlıkları sonuçların tamamını belirlemez.
- Bilinen model alışkanlıklarını düzeltir. Anket sorularında seçeneklerin sırası her persona için karıştırılır. Ölçek sorularına, ortadaki seçeneğin yalnızca gerçek kararsızlık için olduğunu hatırlatan bir ifade eklenir. Çoktan Seçmeli Anket’in uygun tek seçimli sorularında, tüm personaların aynı yanıtta toplanmaması için kararsız personaların yanıtı modelin kendi olasılıklarına göre dengelenir; kararından emin personaların yanıtı değişmez. Raporda gördüğünüz yanıtlar bu düzeltmelerden geçmiştir.
- Fiyatları piyasayla karşılaştırır. Fiyat çalışmalarında SCL, ürünün güncel piyasa fiyatını arar. Girdiğiniz fiyatlar bu referansın dışında kalırsa Bu fiyat gerçeği yansıtmıyor olabilir penceresi açılır; piyasa fiyatı bulunduysa Tahmini piyasa fiyatı: ve Tipik aralık: değerleri de bu pencerede görünür.
- Belirsizliği raporda gösterir. Çoktan Seçmeli Anket raporunun İçgörüler sekmesinde, güvenilirlik koşullarını sağlamayan bulguların altında bir uyarı satırı görünür. Karşılaştırma raporu %95 güven aralığını verir. Özelliğin Fiyata Etkisi raporu, özelliğin ödeme istekliliğine (WTP, willingness to pay) etkisi için %95 WTP Etki Aralığı gösterir; bu aralık sıfırı içermiyorsa etkinin yönü daha tutarlıdır.
- Her çalışmayı kayıt altına alır. Hangi popülasyonun, hangi soruların, hangi modellerin ve hangi düzeltme sürümlerinin kullanıldığı her çalışma için bir iç kayıtta tutulur. Bu kayıt uygulamada gösterilmez.
Bu adımların ayrıntısı Sentetik tüketiciler nasıl çalışır? sayfasındadır.
Yapmadıkları
Elinizde aynı konuda gerçek tüketicilerle yapılmış bir araştırma varsa, raporu Excel dosyası olarak indirip iki sonucu kendiniz yan yana koyun. İndirme adımları Dışa aktarma ve indirme sayfasındadır.
Bilinen sınırlar
Uzlaşmacı ve tekdüze yanıtlar
Dil modelleri olumlu ve uzlaşmacı yanıt vermeye, ortalamaya yaklaşmaya ve uç görüşleri az temsil etmeye eğilimlidir. Yukarıdaki düzeltmeler bu eğilimleri azaltır, ortadan kaldırmaz. Marka algısı sorularında SCL’nin o marka hakkında arka plan bilgisi yoksa yanıtlar daha tekdüze ve olumlu çıkabilir. Çoktan Seçmeli Anket’te bu bilgi soru metnindeki marka adıyla eşleştirilir; markanızın adını sorularda açık ve doğru yazın.
Küçük segmentler
- Fiyat Analizi (WTP), Özelliğin Fiyata Etkisi ve Rekabet Analizi (Conjoint) raporlarının segment grafikleri 5’ten az personası olan segmentleri göstermez. Hiçbir segment bu sınıra ulaşmazsa bu raporların bazılarında “Segment verileri yetersiz (her segmentte en az 5 katılımcı gerekli)” mesajını görürsünüz.
- Çoktan Seçmeli Anket raporunun İçgörüler sekmesinde bir segment bulgusu ancak segmentte en az 30 yanıt varsa, fark genel orandan en az 10 puan ise ve istatistiksel test anlamlıysa (p<0,05) güvenilir sayılır. Bu koşulları sağlamayan bir bulgunun altında, sağlanmayan koşulu gösteren sarı bir uyarı satırı görünür (ör. “p>0.05” ya da “n=12<30”).
- Çok sayıda soruyu ve kırılımı aynı anda incelediğinizde bazı “anlamlı” sonuçlar tesadüfen çıkabilir. İstatistik sekmesinde Etki Boyutu “orta” ya da “güçlü” olan ilişkilere öncelik verin.
Örneğin 100 personalık bir popülasyonu on basamaklı gelir grubuna göre böldüğünüzde her grupta ortalama 10 persona kalır. Segmentlere bakacaksanız popülasyonu büyütün ya da daha kaba bir boyut seçin (gelir grubu yerine SES gibi). Ayrıntılar için Segmentasyon sayfasına bakın.
Yeni kategoriler ve dar kitleler
Dil modellerinin, piyasada henüz karşılığı olmayan ürün kategorileri ve çok dar kitleler hakkındaki bilgisi daha azdır. Bu alanlarda çıkan sonuçları ilk hipotez olarak görün ve gerçek tüketicilerle sınayın.
Senaryo ve soru ifadesi
Sonuçlar ürünü, fiyatı ve soruyu nasıl tarif ettiğinize bağlıdır; aynı ürün farklı bir açıklamayla farklı sonuç verebilir. Çoktan Seçmeli Anket’te her soru personaya ayrı sorulur ve persona önceki yanıtlarını görmez; yalnızca koşullu bir soruda, koşulu belirleyen yanıt hatırlatılır. Bu yüzden her soruyu tek başına anlaşılır biçimde yazın.
Personalar ne yapacaklarını söyler. Gerçek satın alma ise raf fiyatı, stok, satış kanalı ve alışkanlık gibi koşullara da bağlıdır.
Tekrarlar arasındaki değişkenlik
Model yanıtları her seferinde aynı çıkmaz. Aynı çalışmayı aynı popülasyonla tekrarladığınızda sonuçlar değişir; fiyat çalışmalarındaki optimal fiyat gibi öne çıkan tek bir rakam, tekrarlar arasında belirgin biçimde kayabilir. Her yeni popülasyon da yeniden örneklenir, bu yüzden aynı filtrelerle ayrı ayrı oluşturulan iki popülasyon birbirinin aynısı değildir.
Yanıt üretemeyen personalar sonuçlardan çıkarılır; raporda gördüğünüz katılımcı sayısı bu nedenle popülasyon büyüklüğünden az olabilir.
İyi uygulamalar
- Popülasyonu ve senaryoyu not edin. Kimleri (popülasyon büyüklüğü, filtreler, sektör) ve neyi (ürün açıklaması, fiyatlar, soru metinleri) test ettiğinizi yazın.
- Alternatifleri aynı popülasyonda karşılaştırın. İki konsepti, fiyatı ya da mesajı karşılaştırırken ikinci çalışmanın popülasyon adımında Mevcut Popülasyonu Seç seçeneğini kullanın (Moda ve Reklam Testi’nde Mevcut popülasyonu kullan). Aksi takdirde farkın bir kısmı popülasyon farkından gelebilir.
- Önemli sonuçları tekrarlayın. Aynı popülasyon ve aynı sorularla ikinci bir çalışma kurun; Çoktan Seçmeli Anket’te soruları Kayıtlı Anketten İçe Aktar ile alabilirsiniz. Yön iki çalışmada da aynı kalıyorsa sonuca daha çok güvenebilirsiniz; yön değişiyorsa net bir fark olmadığını kabul edin. Rapor sayfasındaki Yenile düğmesi personalara yeniden sormaz, yalnızca analizi yeniden yükler.
- Sayıların yanında gerekçelere bakın. Karşılaştırma raporunun Temalar ve Yanıtlar bölümleri, odak grup oturumları ve Reklam Testi raporundaki persona yorumları, personaların gerekçelerini gösterir. Çoktan Seçmeli Anket yalnızca seçimi kaydeder; “neden” sorusunun yanıtını arıyorsanız bu yöntemlerden birini kullanın.
- Uyarıları atlamayın. Uyarı ya da geniş bir güven aralığı gördüğünüzde sonucu daha temkinli yorumlayın.
- Yüksek riskli kararları gerçek tüketicilerle doğrulayın. Bunun için küçük ölçekli bir müşteri testi ya da gerçek tüketicilerle yapılan bir araştırma kullanın; Karşılaştırma raporu da bu öneriyi yapar.
Bulguları kurum içinde raporlamak
SCL bulgularını paylaşırken okurun bunların sentetik tüketici çalışmasından geldiğini ve hangi koşullarda elde edildiğini bilmesi gerekir. Şu kuralları uygulayın:
- Kaynağı adlandırın. “Tüketici anketi” yerine “SCL sentetik tüketici çalışması” yazın.
- Bağlamı verin. Popülasyon büyüklüğünü ve filtrelerini, sektörü, yöntemi, çalışma tarihini ve soru metnini yazın.
- Sayıyı paydasıyla verin. “%42” yerine “200 personanın 84’ü (%42)” yazın. Payda olarak popülasyon büyüklüğünü değil, raporda görünen katılımcı sayısını kullanın.
- Belirsizliği aktarın. Güven aralıklarını ve uyarıları sonuçla birlikte yazın; küçük segmentlerden gelen farkları bulgu olarak sunmayın.
- Pazar payı değil, yön bildirin. “B, bu popülasyonda A’dan daha çok tercih edildi” yazın; “B pazarın %58’ini alır” yazmayın.
- PDF metnini kontrol edin. PDF raporlarının çoğunda yorum ve özet paragraflarını, rapordaki sayılara dayanarak bir dil modeli yazar. Paylaşmadan önce bu metni rapordaki sayılarla karşılaştırın.
- Kaynak dosyayı ekleyin. Excel dosyasının Meta sayfası çalışmanın adını, dışa aktarma tarihini, toplam persona ve toplam yanıt sayısını içerir; Çoktan Seçmeli Anket dosyasında soru metinleri ve seçenekler de bu sayfadadır. Excel dosyasını bulguyla birlikte paylaşın.
- Gerçek verilerle karıştırmayın. SCL sonuçlarını gerçek tüketici araştırmalarıyla aynı tabloda gösterecekseniz her sütunun kaynağını ayrıca belirtin.