KISA TEKNİK NOT ·
Accuracy neden tek başına yetmiyor?
Dengesiz sınıfta yüksek doğruluk, iyi bir model demek olmayabilir.
Basit bir karşı örnek
100 müşterinin 74’ü kalıyor, 26’sı ayrılıyorsa herkese “kalır” diyen bir yöntem %74 doğruluk sağlar. Buna rağmen ayrılan müşterilerden hiçbirini bulamaz: recall sıfırdır.
Birden fazla ölçü
Recall ayrılan müşterilerin ne kadarını bulduğumuzu, precision “ayrılacak” dediklerimizin ne kadarının gerçekten ayrıldığını anlatır. F1 bu ikisini birlikte ele alır. ROC-AUC ise tek bir karar eşiğine bağlı olmadan skorların sınıfları sıralama becerisini ölçer.
Eşik de bir karardır
Eşiği düşürmek daha çok müşteriyi işaretleyebilir; bunun karşılığında yanlış alarm sayısı artabilir. Eşiği seçerken kaçırılan müşterilerle gereksiz müdahalelerin maliyetini birlikte düşünmek gerekir. Test verisine bakarak eşik seçmek yerine ayrı doğrulama verisi kullanılmalıdır.
Demodaki %70 eşiği kayıtlı model ayarından geliyor. Eski yazıdaki recall/F1 sonuçlarıyla karşılaştırırken model sürümü ve eşik aynı olmalıdır.
İlgili projeyi incele →