Xavier ve He ilklendirmesi

Bir ağı eğitmeden önce ağırlıklarını (weight) doğru ölçekte rastgele başlatmalısın. Buna ilklendirme (initialization) denir. init_weights(layer_sizes, method="he", seed=0) fonksiyonunu yaz. Fonksiyon, katman (layer) boyutlarına göre weight matrislerini üretir.

layer_sizes = [2, 16, 1] şu ağı anlatır: 2 girdi, 16 nöronlu bir hidden layer ve 1 çıktı. İki ardışık boyut bir matris verir. Bu örnekte iki matris vardır: (2, 16) ve (16, 1). Genel olarak $W^{(l)}$ matrisinin shape’i (d_in, d_out) olur.

Her eleman, ortalaması 0 olan bir normal dağılımdan (normal distribution) gelir. Standart sapma (std) yönteme göre değişir. $d_{\text{in}}$ layer’ın girdi, $d_{\text{out}}$ çıktı sayısıdır:

Xavier hem girdi hem çıktı sayısına bakar. He yalnızca girdi sayısına bakar. Fonksiyon, her layer için bir matris içeren bir liste döndürür.

Örnekler

Gereksinimler

• Dönüş değeri len(layer_sizes) - 1 uzunluğunda bir listedir. $l$. eleman, shape’i (layer_sizes[l], layer_sizes[l + 1]) olan bir float array’idir.
• Rastgele sayıları şu sırayla üret: önce rng = np.random.default_rng(seed) oluştur. Sonra her layer için, baştan sona sırayla, tek çağrıyla rng.normal(0.0, std, (d_in, d_out)) çağır. Aynı seed aynı matrisleri verir ve testler değerleri bu sıraya göre karşılaştırır. np.random.seed kullanma.
• Yalnızca weight’leri döndür. Sapmalar (bias) sıfırla başlar ve bu fonksiyonun işi değildir.
• method yalnızca "xavier" ya da "he" olabilir. Başka bir değerde ValueError fırlat.
• layer_sizes’ı değiştirme.

Initialization, sinyalin layer’lar boyunca ne büyümesini ne de sönmesini sağlar. Bir nöronun çıktısı şu toplamdır:

Weight’ler bağımsızsa ve ortalamaları 0 ise $z$‘nin varyansı $d_{\text{in}} \, \mathrm{Var}(w) \, \mathrm{E}[x^2]$ olur. Weight’lerin varyansı $1/d_{\text{in}}$‘den çok büyükse sinyal layer layer büyür, çok küçükse söner.

• Xavier, girdi ve çıktı sayısının ortalamasına bakar. İleri geçişte (forward pass) aktivasyonların, geri geçişte (backward pass) gradyanların ölçeğini birlikte korumaya çalışır. tanh ve sigmoid için uygundur.
• He, ReLU için düzeltme yapar. ReLU nöronların yaklaşık yarısını sıfırlar. Varyansı bu yüzden 2 ile çarpar.

Sıfırla ilklendirme işe yaramaz. Bir layer’ın bütün nöronları aynı değerle başlarsa aynı çıktıyı ve aynı gradyanı alır. Hepsi birlikte güncellenir ve hiçbir zaman birbirinden ayrılmaz. Rastgelelik bu simetriyi (symmetry) bozar.

Daha fazlası için Bir MLP eğitmek dersine bak.

Yöntemi denetle, tek bir rng oluştur ve her layer için standart sapmayı hesaplayıp matrisi çek:

import numpy as npdef init_weights(layer_sizes: list[int], method: str = "he", seed: int = 0) -> list[np.ndarray]:    if method not in ("xavier", "he"):        raise ValueError(f"Bilinmeyen yöntem: {method!r}")    rng = np.random.default_rng(seed)    weights = []    for d_in, d_out in zip(layer_sizes[:-1], layer_sizes[1:]):        if method == "xavier":            std = np.sqrt(2.0 / (d_in + d_out))        else:            std = np.sqrt(2.0 / d_in)        weights.append(rng.normal(0.0, std, (d_in, d_out)))    return weights

Sık yapılan hata, standart sapmayı varyansla karıştırmaktır. Formüldeki $2/d_{\text{in}}$ varyanstır. rng.normal ise standart sapma ister, yani karekökü. Karekökü unutursan ölçek yanlış çıkar: $d_{\text{in}} = 50$ için std 0,2 yerine 0,04 olur ve sinyal layer layer söner.

Bir başka sık hata, He’de d_in yerine d_out kullanmaktır. Katmanlar kare değilse ölçek yanlış olur.