Kararlı sigmoid

Sigmoid, her gerçek sayıyı 0 ile 1 arasına sıkıştıran bir fonksiyondur. Bir modelin ham skorunu (logit) olasılığa çevirmek için kullanırsın:

• Skor çok büyükse olasılık 1’e yaklaşır.
• Skor çok negatifse olasılık 0’a yaklaşır.

sigmoid(z) fonksiyonunu yaz. z, ham skorlardan oluşan bir dizidir (array). Şu formülü eleman bazında (element-wise) uygula ve girdiyle aynı şekle (shape) sahip bir array döndür:

Formülü olduğu gibi yazarsan büyük negatif girdilerde taşma (overflow) olur. $z = -1000$ için $e^{-z} = e^{1000}$ olur. Bu sayı float64’ün alabileceği en büyük sayıyı aşar ve np.exp inf döndürür.

Bu girdide sonuç yine de $0$ çıkar. Ama formülün başka bir yazılışı inf / inf = nan üretir.

Amaç sayısal kararlılıktır (numerical stability). Üs alma (np.exp, np.e ** ... ya da başka bir yazılış) hiçbir girdide inf üretmemeli. Sonuç her girdide doğru çıkmalı.

Örnekler

Gereksinimler

• z herhangi bir shape’te bir array’dir. Tam sayılardan da oluşabilir.
• Girdiyle aynı shape’te bir float array döndür.
• Üs alma (np.exp, np.e ** ... ya da başka bir yazılış) hiçbir girdide inf üretmemeli. $\sigma(-1000)$ ve $\sigma(1000)$ gibi değerler nan ya da inf olmadan, sırasıyla $0$‘a ve $1$‘e yakın çıkmalı.
• z’yi değiştirme. Fonksiyon bittiğinde onu çağıran kodun array’i aynı kalmalı.

Sigmoid, logit’i 0 ile 1 arasında bir olasılığa çevirir. Lojistik regresyon (logistic regression) ve sinir ağlarının çıkış katmanı onunla çalışır.

Formül matematikte her $z$ için tanımlıdır. Ama float64 sayıları yaklaşık $1{,}8 \cdot 10^{308}$‘e kadar çıkabilir. $e^{710}$ bu sınırı aşar ve sonuç inf olur.

inf tek başına her zaman bir felaket değildir: $1 / (1 + \infty) = 0$ doğru sonuçtur. Asıl tehlike, inf’in başka bir işlemle karşılaşmasıdır.

$\infty / \infty$ ve $0 \cdot \infty$ nan verir. nan sonraki her işleme yayılır. Eğitim sırasında tek bir nan weight’lerin hepsini bozabilir.

Çözüm, sayıyı hiç taşmayacak biçimde yazmaktır. $z$ negatifken ilk ifade yerine ikincisini kullanmak aynı değeri verir:

İkincisinde $e$‘nin üssü hiçbir zaman pozitif olmaz. Aynı türden yeniden yazımlar numerical stability’nin temel yöntemidir. Softmax’ta da karşına çıkacak.

Daha fazlası için Lojistik regresyon dersine bak.

Çözüm iki adımdır:

1. Her girdide güvenli olan $e^{-\lvert z \rvert}$‘yi hesapla.
2. $z$‘nin işaretine göre iki formülden birini seç.

Kodda bu adımlar şöyle görünür:

import numpy as npdef sigmoid(z: np.ndarray) -> np.ndarray:    e = np.exp(-np.abs(z))    return np.where(z >= 0, 1 / (1 + e), e / (1 + e))

Sık yapılan hata, iki dalı da np.where içinde doğrudan yazmaktır: np.where(z >= 0, 1 / (1 + np.exp(-z)), np.exp(z) / (1 + np.exp(z))).

np.where seçilmeyen dalı da hesaplar. İki dal taşar:

• $z = -1000$‘de np.exp(-z) taşar.
• $z = 1000$‘de np.exp(z) / (1 + np.exp(z)) inf / inf olur.

Seçilmeyen dalın sonucu atılsa bile o dal taşmıştır. Çözümde e her iki dal için de güvenli olduğundan hiçbir dal taşmaz.