Kararlı softmax

Bir sınıflandırma (classification) modeli, her örnek (sample) için $K$ sınıfın her birine bir skor verir. Bu ham skorlar (logits) herhangi bir gerçek sayı olabilir.

Softmax, bunları toplamı $1$ olan olasılıklara (probability) çeviren fonksiyondur. Skoru büyük olan sınıfın olasılığı da büyük olur.

softmax(logits) fonksiyonunu yaz. logits, şekli (shape) (n, k) olan bir dizidir (array); her satır bir örneğin $K$ sınıf için logits’idir.

Softmax’ı her satıra ayrı uygula:

Burada $Z$ logits, $P$ döndüreceğin olasılıklardır.

Formülü olduğu gibi yazarsan büyük skorlarda çöker:

1. $e^{1000}$, float’un sınırını aşar.
2. Bu taşma (overflow) inf verir.
3. inf / inf, nan olur.

Fonksiyon, skorlar çok büyük ya da çok küçük olduğunda da nan ya da inf içermeyen, doğru olasılıklar döndürmeli. Yani sayısal kararlılığı (numerical stability) korumalı.

Dönüş değeri (n, k) shape’inde bir array olmalı. Her satırın toplamı $1$ olmalı.

Örnekler

Gereksinimler

• logits, (n, k) shape’inde bir float array’idir. Her satır bir örnektir.
• Dönüş değeri logits ile aynı (n, k) shape’inde bir NumPy array’idir. Her satırın toplamı $1$ olur, sütunların değil.
• Büyük girdilerde (1000 gibi) ve çok küçük girdilerde (-1000 gibi) sonuç nan ya da inf içermemeli.
• Satırlar birbirinden bağımsızdır. Bir satırın sonucu yalnızca o satırdaki skorlara bağlıdır. Bir satır 1000 civarında, başka bir satır -1000 civarında olabilir.
• logits’i değiştirme. Fonksiyon bittiğinde çağıran kodun array’i aynı kalmalı.
• Satırlar üzerinde döngü kullanma: birkaç NumPy ifadesi yeter.

Softmax, her skorun üstelini alır ve sonucu toplama böler. Üç sınıflı bir örneğin logits’i $(2, 1, 0)$ olsun:

1. Üstel değerleri bul: $e^2 \approx 7{,}39$, $e^1 \approx 2{,}72$ ve $e^0 = 1$.
2. Toplamlarını al: yaklaşık $11{,}11$.
3. Her değeri toplama böl: yaklaşık $0{,}665$, $0{,}245$ ve $0{,}090$.

Softmax’ın özellikleri şunlardır:

• Skor ne kadar büyükse olasılık o kadar büyüktür.
• Hiçbir olasılık $0$ olmaz ve toplamları $1$ kalır.
• İki sınıf olduğunda softmax, iki skorun farkına uygulanan sigmoid’e (değerleri $0$ ile $1$ arasına sıkıştıran fonksiyon) dönüşür.

Tüm skorlara aynı sayıyı eklesen ya da onlardan çıkarsan olasılıklar değişmez. Pay ve paydadaki ortak çarpan sadeleşir. Kararlı sürüm bu özelliğe dayanır.

En büyük skoru çıkarırsan:

• O skor $0$ olur ve $e^0 = 1$ kalır.
• Geri kalanlar $e$‘nin negatif üslerine döner. En kötü ihtimalle $0$‘a yuvarlanır, taşmaz.
• Payda her zaman en az $1$ olur, bu yüzden bölme güvenlidir.

Çıkarılan sayıyı her satır için ayrı seç. Bir satırın skorları ötekilerden çok daha küçükse, bütün array’in maksimumunu çıkarmak o satırın bütün üstel değerlerini $0$‘a yuvarlar. Sonuç $0 / 0$ olur.

Daha fazlası için Nöronlar ve aktivasyonlar dersine bak.

Üstelden önce satır maksimumunu çıkarmak softmax’ı kararlı yapar.

1. Her satırdan kendi maksimumunu çıkar.
2. Sonucun üstelini al.
3. Her satırı kendi toplamına böl.

keepdims=True, maksimumu ve toplamı (n, 1) shape’inde bir sütun olarak tutar. .reshape(-1, 1) de aynı işi görür.

import numpy as npdef softmax(logits: np.ndarray) -> np.ndarray:    shifted = logits - logits.max(axis=1, keepdims=True)    exps = np.exp(shifted)    return exps / exps.sum(axis=1, keepdims=True)

Sık yapılan üç hata var:

• Maksimumu hiç çıkarmamak: küçük skorlarla doğru çalışır, ilk büyük skorda nan verir.
• logits.max() ile bütün array’in maksimumunu çıkarmak: satırların ölçeği farklıysa küçük satır nan olur.
• Maksimumu ya da toplamı sütuna çevirmeyi (keepdims=True ya da reshape(-1, 1)) unutmak: n ile k farklıysa shape hatası verir. Aynıysa hata vermeden sütunları normalize eder.