Çok sınıflı çapraz entropi

Çok sınıflı bir sınıflandırma (classification) modeli, her örnek (sample) için $K$ sınıfın her birine bir skor verir. Bu ham skorlar (logits) herhangi bir gerçek sayı olabilir. Softmax onları toplamı $1$ olan olasılıklara (probability) çevirir.

Çapraz entropi (cross-entropy) kaybı (loss), modelin doğru sınıfa verdiği olasılığın ne kadar düşük olduğunu ölçer:

• Olasılık $1$‘e yakınsa kayıp $0$‘a yakındır.
• Olasılık $0$‘a yakınsa kayıp büyür.

cross_entropy(logits, y) fonksiyonunu yaz. Girdiler şunlardır:

• logits: şekli (shape) (n, k) olan bir dizi (array). Her satır bir örneğin logits’idir.
• y: (n,) shape’inde bir tam sayı array’i. Her örneğin doğru sınıfını, $0$ ile $K - 1$ arasında bir etiket (label) olarak verir.

Fonksiyon örneklerin loss’unun ortalamasını döndürmeli:

Burada:

• $Z$: logits.
• $P$: softmax’ın olasılıkları.
• $P_{i,\,y_i}$: $i$. örneğin doğru sınıfa verdiği olasılık.
• $\log$: doğal logaritma.

Formülü bu sırayla hesaplamak işe yaramaz. Sonuç, logits çok büyük ya da birbirinden çok uzak olsa da sonlu ve doğru çıkmalı.

Örneğin logits = [[1000.0, 0.0]] ve y = [1] için loss 1000’dir. Önce olasılıkları hesaplayıp sonra logaritma almak ona ulaşamaz.

Fonksiyon tek bir Python float döndürmeli.

Örnekler

Gereksinimler

• logits (n, k) shape’inde bir float array’i, y (n,) shape’inde bir tam sayı array’idir. Her y[i], 0 ile k - 1 arasındadır.
• Dönüş değeri tek bir float: array ya da liste değil. np.mean’in verdiği np.float64 de kabul edilir. float(...) ile çevirmek zorunda değilsin.
• Örnekler üzerinde ortalama al, toplam değil.
• Sonuç, logits ne kadar büyük olursa olsun sonlu ve doğru olmalı. Doğru sınıfın olasılığı 0’a yuvarlansa bile loss inf ya da nan çıkmamalı.
• logits’i ve y’yi değiştirme. Fonksiyon bittiğinde çağıran kodun array’leri aynı kalmalı.
• Örnekler üzerinde döngü kullanma: birkaç NumPy ifadesi yeter.

Doğru sınıfa verilen olasılık düştükçe loss hızla artar. Üç sınıflı bir örneğin logits’i $(2, 1, 0)$ olsun. Softmax bunları yaklaşık $(0{,}665;\ 0{,}245;\ 0{,}090)$ olasılıklarına çevirir.

Loss, doğru sınıfa göre değişir:

• Doğru sınıf $0$ ise loss $-\ln 0{,}665 \approx 0{,}41$ olur.
• Doğru sınıf $2$ ise loss $-\ln 0{,}090 \approx 2{,}41$ olur.

Olasılık $0$‘a giderken loss sonsuza gider. Birçok örnek olduğunda loss, her örneğin değerinin ortalamasıdır.

Lojistik regresyondaki ikili çapraz entropi (binary cross-entropy), $K = 2$ olan bu formülün özel hâlidir.

Loss’u bu sırayla hesaplamak sayısal olarak kırılgandır. $Z = (1000, 0)$ ve doğru sınıf $1$ olsun:

1. Softmax $(1, e^{-1000})$ verir.
2. $e^{-1000}$ float’ta $0$‘a yuvarlanır.
3. $-\log 0 = \infty$ çıkar.

Oysa gerçek loss sonludur: $-Z_{i,1} + \log(e^{1000} + e^0) \approx 0 + 1000 = 1000$.

Logaritmayı softmax’ın içinde hesaplarsan olasılık hiç oluşmaz:

Toplamın logaritması için kullanılan maksimumu çıkarma hilesine log-sum-exp denir. PyTorch’un cross_entropy’si ve Keras’ın from_logits=True seçeneği bu yüzden olasılığı değil logits’i alır.

Daha fazlası için Nöronlar ve aktivasyonlar dersine bak.

Logaritmayı softmax’ın içinde hesapla, böylece olasılık hiç oluşmaz.

1. Her satırdan kendi maksimumunu çıkar.
2. $\log P$‘yi, logaritmayı softmax’ın içinde hesaplayarak bul.
3. Doğru sınıfların değerlerini seç.
4. Ortalamalarının eksisini döndür.

keepdims=True maksimumu ve toplamı (n, 1) shape’inde bir sütun olarak tutar. .reshape(-1, 1) de aynı işi görür. log_probs[np.arange(n), y] ise her satırdan y[i]. sütunu seçer.

import numpy as npdef cross_entropy(logits: np.ndarray, y: np.ndarray) -> float:    n = logits.shape[0]    shifted = logits - logits.max(axis=1, keepdims=True)    log_probs = shifted - np.log(np.exp(shifted).sum(axis=1, keepdims=True))    return float(-np.mean(log_probs[np.arange(n), y]))

Sık yapılan üç hata var:

• Softmax’ı hesaplayıp np.log(probs[np.arange(n), y]) almak: softmax kararlı bile olsa doğru sınıfın olasılığı 0’a yuvarlanınca log(0) loss’u inf yapar.
• Olasılığa 1e-12 gibi küçük bir sayı eklemek: inf’i önler ama değeri bozar. [[1000.0, 0.0]] ve y = [1] için 1000 yerine yaklaşık 27,6 verir.
• Maksimumu satır başına değil bütün array için çıkarmak: ölçeği farklı satırlarda küçük olan satır $0$‘a yuvarlanır ve yine inf çıkar.