Yakınsayana kadar in

Tek adımla yetinme: kayıp (loss) artık neredeyse hiç değişmeyene kadar gradyan inişi (gradient descent) adımları at.

$L(w) = w^2$ loss’u için descend(w0, lr, tol=1e-6, max_steps=100) fonksiyonunu yaz. $w_0$ noktasından başla. $\eta$ öğrenme oranıdır (learning rate) ve kodda lr olarak geçer.

Yeni ağırlığı (weight) şu formül verir:

Döngü her adımda şunları yapar:

1. Yeni weight’i hesapla.
2. Loss’taki değişimi hesapla: $\lvert L(w_{\text{yeni}}) - L(w) \rvert$.
3. Değişim tol değerinden küçükse dur.
4. Durduğunda yeni weight’i ve o ana kadar atılan adım sayısını bir demet (tuple) olarak döndür. Adım sayısına bu son adım dahildir.
5. Durmadıysan $w$‘yi yeni weight’e güncelle ve bir sonraki adıma geç.

max_steps adım sonunda hâlâ durmadıysan son weight’i ve max_steps’i döndür.

Örnekler

Gereksinimler

• Dönüş değeri (float, int) biçiminde bir tuple’dır.
• Adım sayısı 1’den başlar: ilk adımda durursan 1 döndür.
• Loss’taki değişimin mutlak değerini tol ile karşılaştır.

Gradient descent minimuma yaklaştıkça adımlar küçülür. $L(w) = w^2$ için gradyan (gradient) $2w$‘dir. $w$ sıfıra yaklaştıkça adım da sıfıra yaklaşır.

Loss neredeyse değişmiyorsa devam etmenin faydası kalmaz. Buna yakınsama (convergence) denir.

Learning rate’e göre weight farklı davranır:

• $\eta > 0{,}5$: weight minimumun iki yanında salınır.
• $\eta = 0{,}95$: her adımda $w$, $-0{,}9$ ile çarpılır ve yakınsama uzun sürer.
• $\eta > 1$: salınım büyür ve loss hiç azalmaz. Buna ıraksama (divergence) denir.

max_steps, ıraksamada döngünün sonsuza kadar sürmesini engeller.

Bu durma koşulu yalnızca loss’a bakar. $\eta = 1$‘de:

• $w$ her adımda yalnızca işaret değiştirir.
• Loss hiç değişmez; fonksiyon ilk adımda durur.
• $w$ yine de minimuma hiç yaklaşmamıştır.

Daha fazlası için Gradyan inişi dersine bak.

Adımları 1’den say ve her adımda şunları yap:

1. Yeni weight’i hesapla.
2. Loss’taki değişimi hesapla.

def descend(w0: float, lr: float, tol: float = 1e-6, max_steps: int = 100) -> tuple[float, int]:    w = w0    for steps in range(1, max_steps + 1):        new_w = w - lr * 2 * w        if abs(new_w**2 - w**2) < tol:            return new_w, steps        w = new_w    return w, max_steps

Durma koşulunu w’yi güncellemeden önce kontrol et. Önce güncellersen iki loss’u karşılaştıramazsın. Adım sayısı da bir kayar.