İkili çapraz entropi

Bu problemde iki sınıflı bir sınıflandırmanın (classification) kaybını hesaplarsın. Model, her örnek (sample) için etiketin (label) 1 olma olasılığını tahmin eder. Bu tahminlerin (prediction) ne kadar iyi olduğunu ölçen kayıp fonksiyonu (loss function), ikili çapraz entropidir (binary cross-entropy).

binary_cross_entropy(p, y, eps=1e-12) fonksiyonunu yaz. Girdiler şunlardır:

• p: modelin tahmin ettiği olasılıklar ($\hat{p}_i$).
• y: gerçek label’lar (0 ya da 1).

p ve y, şekli (shape) (n,) olan birer dizidir (array). Ortalama loss’u bir float olarak döndür:

Köşeli parantezde şunlar kalır:

• Label 1 ise yalnızca $\ln \hat{p}_i$.
• Label 0 ise yalnızca $\ln(1 - \hat{p}_i)$.

Yani loss, doğru sınıfa verilen olasılığın negatif logaritmasıdır. Model doğru sınıfa ne kadar yüksek olasılık verirse loss o kadar küçük olur.

Sorun, $\hat{p}_i$ tam $0$ ya da $1$ olduğunda çıkar. $\ln 0 = -\infty$ olur ve çarpan $0$ olsa bile $0 \cdot (-\infty)$ nan verir. Yani kesin ve doğru bir tahmin bile loss’u bozar.

Sayısal kararlılık (numerical stability) için p’yi önce [eps, 1 - eps] aralığına kırp (clip). Böylece logaritmaya hiçbir zaman $0$ girmez.

Örnekler

Gereksinimler

• p ve y aynı (n,) shape’inde array’lerdir ve en az bir örnek içerir.
• p’nin değerleri $[0, 1]$ aralığındadır (uçlar dahil). y’nin değerleri 0 ya da 1’dir.
• Dönüş değeri tek bir float: array ya da liste değil.
• np.mean’in verdiği np.float64 de kabul edilir. float(...) ile çevirmek zorunda değilsin.
• Kırpmayı iki uçta da yap, eps parametresiyle: p’yi [eps, 1 - eps] aralığına çek. $\hat{p}_i = 0$ ya da $\hat{p}_i = 1$ iken sonuç sonlu olmalı (nan ya da inf değil).
• Doğal logaritma (np.log) kullan. Toplamı değil, ortalamayı döndür.
• p’yi ve y’yi değiştirme. Fonksiyon bittiğinde onu çağıran kodun array’leri aynı kalmalı.

Binary cross-entropy, modelin emin olduğu hataları ağır cezalandırır. Label 1 iken loss şöyle değişir:

$\hat{p} \to 0$ giderken loss sonsuza büyür. Aynı hatanın ortalama kare hata (mean squared error, MSE) karşılığı en fazla $1$‘dir.

Kırpma, sonsuz loss’u sınırlı bir sayıya çevirir. Label 1 iken $\hat{p} = 0$ ise loss $-\ln \epsilon$ olur. $\epsilon = 10^{-12}$ için bu yaklaşık $27{,}6$‘dır.

Küçük bir $\epsilon$ gerçekçi olasılıklarda sonucu neredeyse hiç değiştirmez. Çünkü modeller bu kadar uç olasılıkları nadiren verir.

Olasılıklar sigmoid’den (her sayıyı 0 ile 1 arasına sıkıştıran fonksiyon) geliyorsa binary cross-entropy’nin gradyanı (gradient) çok sade çıkar. Loss’un ham skora (logit) göre türevi $\hat{p} - y$ olur.

Model emin ama yanlışken iki loss farklı davranır:

Daha fazlası için Lojistik regresyon dersine bak.

Çözüm üç adımdır:

1. Olasılıkları [eps, 1 - eps] aralığına kırp.
2. İki terimi topla.
3. Toplamın negatif ortalamasını al.

Kodda bu adımlar şöyle görünür:

import numpy as npdef binary_cross_entropy(p: np.ndarray, y: np.ndarray, eps: float = 1e-12) -> float:    p = np.clip(p, eps, 1 - eps)    return float(-np.mean(y * np.log(p) + (1 - y) * np.log(1 - p)))

Sık yapılan hata, kırpmayı yalnızca bir uçta yapmaktır: np.clip(p, eps, 1).

Bu $\hat{p} = 0$‘ı düzeltir. Ama $\hat{p} = 1$ iken np.log(1 - p) yine $\ln 0$ verir ve loss inf ya da nan olur.

Kırpmayı np.log(p + eps) gibi bir toplamla değiştirmek de aynı sonucu vermez. Toplam değerleri $1$‘in üstüne taşırır ve kırpmanın tanımladığı sınırı tutmaz.