ai-degerlendirme · derinlemesine

AI sisteminiz %95 başarılı. Bu sayı hangi sorunun cevabı?

Doğru hesaplanmış bir skor, yanlış değerlendirme sorusunun kusursuz cevabı olabilir.

%95.

Tek başına söylendiğinde güçlü görünür. Bir model değerlendirme sunumunda yeşil renkle yazılabilir. Tedarikçi karşılaştırmasında üst sıraya yerleşebilir. Yönetim özetinde “hedef aşıldı” cümlesine dönüşebilir.

Fakat %95’in neyin cevabı olduğunu sormadan bu sayının karar değeri bilinemez.

Paydanın ne olduğu, sınıfların ne kadar dengesiz olduğu, karar eşiğinin nasıl seçildiği ve hatanın hangi kesitte toplandığı bilinmeden “%95” yalnız bir özet değerdir. Özet değer yanlış değildir. Sorun, özetin ayrıntının yerine geçirilmesidir.

Özellikle seyrek ama yüksek etkili vakalarda genel ortalama sakin görünebilir. Kritik olaylar toplam verinin yüzde biri ise, sistem bu vakaların yarısını kaçırdığı hâlde genel doğruluk çok yüksek kalabilir.

GENEL DOĞRULUK: %95
Rutin vakalar: %99
Belirsiz vakalar: %93
Yeni kaynak vakaları: %87
Kritik vakalar: %61

Temsilî değerlendirme örneği. Gerçek müşteri veya proje sonucu değildir. Tek genel skorun farklı veri kesitlerindeki hata dağılımını gizleyebileceğini göstermek için oluşturulmuştur.

Bir metrik, iş kararının kendisi değildir.

Örneğin 10.000 vakanın 9.500’ünü doğru sınıflandıran iki sistem düşünün. Her ikisi de %95 doğruluk raporlar. Birinci sistemin 500 hatası düşük etkili rutin vakalarda yoğunlaşabilir. İkinci sistem 500 kritik vakayı kaçırabilir.

Matematiksel skor aynı. Operasyonel sonuç aynı değil.

Bu nedenle iki sistemi “hangisinin skoru yüksek?” sorusuyla karşılaştırmak bazen yanlış başlangıçtır. Önce hata maliyetinin nerede oluştuğu, hangi kararın geri döndürülebilir olduğu ve hangi hatanın insana aktarılması gerektiği anlaşılmalıdır.

Başarıyı ölçmek yerine hatayı merkeze alınca soru değişir

Değerlendirme kültürü çoğu zaman “ne kadar başarılıyız?” sorusuyla başlar. Oysa bazı sistemlerde daha doğru başlangıç şudur:

Hangi hata kabul edilemez?

Bu sorunun cevabı bir hata maliyeti tablosu kadar açık olabilir. Yanlış pozitif gereksiz inceleme yaratabilir; yanlış negatif kritik olayı görünmez kılabilir. Bir durumda ek iş yükü, diğerinde güvenlik veya finansal etki oluşabilir.

Aynı hata türünün maliyeti de her kesitte eşit olmayabilir. VIP müşteri, kritik altyapı, yüksek tutarlı işlem veya otomatik eylem yetkisi olan vakalar ayrı kabul sınırı gerektirebilir.

Bu soru metrik seçimini değiştirir. Test veri kesitlerini değiştirir. İnsan incelemesinin yerini değiştirir. Kabul kriterini değiştirir.

Bir belge filtreleme sisteminde yanlış pozitiflerin etkisi ile bir zararlı yazılım tespit sisteminde yanlış negatiflerin etkisi aynı değildir. Kendi akademik çalışmalarımda sınıflandırma performans araçlarının seçiminin problem alanına ve hangi hata türünün kritik olduğuna bağlı olduğunu özellikle inceledim.

Bu soruya uzun süredir takılmamın nedeni de budur. PToPI araştırma hattında 29 ölçü ve 28 metriği, toplam 69 araç ve varyantı ilişkileriyle birlikte inceledik. Ortaya çıkan temel ders “daha çok metrik kullanın” değildi. Ölçüm aracının özelliklerini ve problem bağlamını birlikte düşünmeden doğru seçimin yapılamayacağıydı.

Daha sonraki Accuracy Barrier çalışması da yaygın ve anlaşılır bir skor olan doğruluğun bazı raporlama koşullarında neyi gizleyebileceği sorusuna odaklandı. Akademik ayrıntı bir yana, pratik sonuç basittir: Popüler bir metrik, sizin karar sorunuz için otomatik olarak doğru metrik değildir.

Bu, “doğruluk kötüdür, F1 iyidir” gibi basit bir sonuç değildir. Her metrik farklı bir bakış verir. Sorun, metriği bağlamdan koparıp başarı iddiasının kendisine dönüştürmektir.

• Soru: Hangi hata kritik?
• Kesi̇t: Hata nerede yoğunlaşıyor?
• Etki̇: Yanlış karar neye yol açıyor?
• Müdahale: İnsan ne zaman devreye girmeli?

Metrik seçimini model değil, problem belirlemelidir.

Yüksek skor, zayıf test evreninin üzerinde de yükselebilir

Bir değerlendirme veri kümesi gerçek kullanımı temsil etmiyorsa, hesaplanan skor matematiksel olarak doğru ve operasyonel olarak yanıltıcı olabilir.

Şu soruların açık cevabı olmalıdır:

• Test örnekleri gerçek kullanım dağılımını temsil ediyor mu?
• Kolay ve rutin vakalar sonucu baskılıyor mu?
• Kritik ama seyrek uç durumlar ayrı kesit olarak var mı?
• Model veya istem geliştirilirken bu örnekler görülmüş olabilir mi?
• Yeni veri kaynakları, dil, müşteri veya dönem değişikliği testte temsil ediliyor mu?
• Referans cevapların kendisi tutarlı mı?

Bir karşılaştırmalı test (benchmark) yalnızca sabit bir veri dosyası değildir. Karar için tasarlanmış test yapısıdır.

Ortalama, seyrek ama kritik hatayı saklayabilir

Veri kesitleri ayrı raporlanmadığında büyük ve kolay grup genel skoru belirler. Bölge, dil, kaynak, müşteri türü, görev zorluğu veya risk seviyesi gibi kesitler farklı hata örüntüleri taşıyabilir.

Bu nedenle yalnız mikro veya ağırlıklı ortalama görmek yerine, karar açısından kritik kesitleri ayrı incelemek gerekir. Amaç her alt gruba onlarca metrik üretmek değildir. Hatanın nerede yoğunlaştığını ve toplam skorun neyi örttüğünü görebilmektir.

Test evreni ile geliştirme verisi arasındaki sızıntı da ayrı bir risktir. Model doğrudan aynı kayıtları görmemiş olsa bile istemler, örnekler veya elle yapılan düzeltmeler karşılaştırmalı test davranışına göre şekillenmiş olabilir. Bu durumda test, gerçek yeniliği değil geliştirme sürecine uyumu ölçebilir.

Skorun kendisi de belirsizlik taşıyabilir

Yüz örnek üzerindeki %95 ile yüz bin örnek üzerindeki %95 aynı kesinlik hissini vermemelidir. Küçük veya dengesiz test kümelerinde birkaç vaka sonucu belirgin biçimde değiştirebilir. Sonuç tek sayı olarak sunulduğunda bu oynaklık görünmez.

Tekrarlı örnekleme, güven aralığı veya en azından hata sayısının açık verilmesi bu nedenle yararlı olabilir. Her rapor istatistik makalesine dönüşmek zorunda değildir. Fakat karar verici %95’in 95/100 mü, 95.000/100.000 mi olduğunu bilmelidir.

Üretken AI’da belirsizlik başka biçimde çıkar. Aynı sistem aynı görevi farklı çalıştırmalarda farklı tamamlayabilir. Bir kere başarılı olan senaryo, sonraki on çalıştırmanın üçünde kritik hata veriyorsa tek başarılı ekran görüntüsü değerlendirme değildir.

Özellikle üretken AI ve RAG sistemlerinde referans cevap kavramı daha da zorlaşır. Tek doğru cümle olmayabilir. Bu durumda değerlendirme sorusunu parçalara ayırmak gerekir: gerçeklik, bağlama bağlılık, kapsam, görev tamamlama, kaynak kullanımı, kritik hata gibi.

Değerlendirme modelden değil, karardan geriye kurulabilir

KARAR
↓
KRİTİK HATA
↓
TEST SENARYOSU
↓
ÖLÇÜM
↓
KABUL / İNCELE / DURDUR

Basitleştirilmiş kavramsal gösterim. Değerlendirme sorusu, kullanılacak karar ve kabul mantığından geriye kurulabilir.

Örneğin “bu AI yardımcısını üretime alalım mı?” kararı verilecekse yalnızca genel cevap kalitesi yetmeyebilir.

Şunlar ayrı kabul kapıları olabilir:

• kritik bilgi alanlarında kaynak dışı iddia oranı,
• yetkisiz araç çağrısı,
• kişisel veya hassas veriyi yanlış bağlama taşıma,
• belirli görevlerde tamamlamama,
• insana yönlendirilmesi gereken vakaları atlama.

Böylece bir skor raporlamak yerine hangi koşulda kabul, hangi koşulda inceleme ve hangi koşulda durdurma kararı verileceği görünür olur.

Eşik seçimi de bu kararın parçasıdır. Bir sınıflandırıcıda karar eşiğini değiştirmek precision ve recall dengesini değiştirebilir. Bir üretken AI sisteminde ise kaynak dışı iddia, görevi tamamlamama veya yetkisiz araç kullanımı için ayrı eşikler gerekebilir.

Üretken sistemlerde tekrarlanabilirlik sorusu da önemlidir. Aynı istem farklı çalıştırmalarda farklı sonuç üretebiliyorsa tek geçişlik test güven vermeyebilir. Dağılım, kararlılık ve kritik hata tekrarı da değerlendirme tasarımına girebilir.

Amaç daha fazla skor üretmek değil, skorların hangi kararı destekleyebileceğini açıklamaktır.

Tek sayı yerine karar paketi

Bir yönetim özeti yine kısa olabilir. Fakat “%95 başarılı” yerine karar için gerekli birkaç bilgi birlikte sunulabilir: genel sonuç, kritik kesit sonucu, kabul edilemez hata sayısı, değişiklikten sonra gerileyen alan ve kabul kararı.

Örneğin “genel doğruluk %95; kritik vakalarda yakalama %61; iki yeni veri kaynağında belirgin gerileme var; üretime geçiş kritik kesit düzeltilene kadar durduruldu” cümlesi daha uzundur. Ama karar değeri çok daha yüksektir.

Bu yaklaşım tek bir bileşik skor üretme arzusuna da sınır koyar. Bazen farklı kalite boyutlarını tek sayıda eritmek, yöneticinin işini kolaylaştırmak yerine hangi riskin kabul edildiğini görünmez hâle getirir.

Tedarikçi skorlarını karşılaştırmak için önce test sözleşmesini karşılaştırın

İki tedarikçi “%95 başarı” diyebilir. Biri kolay vakaları ağırlıklı test etmiş, diğeri kritik vakaları ayrı raporlamış olabilir. Biri en iyi eşikteki sonucu, diğeri varsayılan eşikteki sonucu paylaşmış olabilir. Birinin veri kümesi geliştirme sürecine çok yakındır; diğerinin gerçekten görülmemiş verisi vardır.

Bu durumda skorları yan yana koymak sayısal bir karşılaştırma üretir, fakat adil bir değerlendirme üretmeyebilir. Test evreni, referans tanımı, eşik, tekrar sayısı ve hata kesitleri ortaklaşmadan “hangisi daha iyi?” sorusu erken sorulmuş olur.

Bağımsız değerlendirme tam da burada değerlidir: modeli seçmekten önce karşılaştırmanın hangi kurallarla yapılacağını görünür hâle getirir.

İlk soru “hangi metriği kullanalım?” olmamalı

Accuracy, precision, recall, F1, MCC, AUC, exact match, faithfulness veya başka bir ölçüm aracı seçilebilir. Bazen birkaçını birlikte kullanmak gerekir. Bazen yeni bir kesit analizi daha değerlidir.

LLM ve RAG değerlendirmelerinde de aynı refleks geçerlidir. Faithfulness yüksek olabilir ama görev tamamlanmıyordur. İnsan tercihi güçlü olabilir ama kritik kaynak dışı iddialar seyrektir ve ağır etkilidir. Exact match düşük olabilir çünkü birden fazla doğru ifade vardır.

Ölçüm araçları birbirinin rakibi olmak zorunda değildir. Her biri farklı bir soruya cevap verebilir. Mesele, cevap vermediği sorunun yerine kullanılmamasıdır.

Değişiklik sonrası aynı kabul sorusunu yeniden sorabilmelisiniz

Model sürümü, istem, bilgi getirme ayarı, araç tanımı veya veri kaynağı değiştiğinde yalnız genel skoru yeniden çalıştırmak yeterli olmayabilir. Değişiklik belirli bir hata türünü düzeltirken başka bir kesiti bozabilir.

Bu nedenle değerlendirme yapısı regresyon sorusunu da taşımalıdır: Hangi kritik testler her değişiklikte yeniden çalışacak? Hangi yeni hata örüntüsü kalıcı test setine eklenecek? Kabul kriteri değiştiyse eski sonuçlarla karşılaştırma nasıl yorumlanacak?

İyi değerlendirme tek seferlik rapor değil, sistem değişirken karar mantığını koruyan bir karşılaştırma zemini olabilir.

Ben değerlendirmeye şu sırayla başlamayı tercih ederim:

1. Hangi kararı vermeye çalışıyoruz?
2. Başarı ve başarısızlık bu bağlamda ne demek?
3. Hangi hata kritik?
4. Bu hata hangi veri kesitinde görünür?
5. Referans veya beklenen davranış nasıl tanımlanır?
6. Hangi ölçüm bu bilgiyi gerçekten verir?
7. Hangi eşik hangi kabul kararına bağlanır?

%95 iyi olabilir. Ama önce hangi sorunun cevabı olduğunu bilin.

İLGİLİ ÇALIŞMA ALANI

Bağımsız AI değerlendirme

Başarı iddiasını kullanım amacı, test yapısı, hata örüntüleri ve karar etkisi açısından bağımsız olarak sınayın.

Hizmeti inceleyin →

10 DK OKUMA