Yoğun katman ileri geçişi

Yoğun katman (dense layer), sinir ağlarının temel yapı taşıdır. Layer’daki her nöron (neuron) bir örnek (sample) için şunları yapar:

1. Örneğin bütün özniteliklerini (feature) kendi ağırlıklarıyla (weight) çarpar ve toplar.
2. Bir sapma (bias) ekler.
3. Sonucu bir aktivasyon fonksiyonundan (activation function) geçirir.

Bütün nöronları ve bütün örnekleri tek bir matris çarpımıyla (matrix product) hesaplayabilirsin.

dense_forward(X, W, b, activation) fonksiyonunu yaz. Fonksiyon, layer’ın ileri geçişini (forward pass) hesaplar. Girdiler şunlardır:

• X: şekli (shape) (n, d_in) olan bir dizi (array). Her satır bir örnektir.
• W: (d_in, d_out) shape’inde weight matrisi. $j$. sütunu $j$. nöronun weight’leridir.
• b: (d_out,) shape’inde bir vektör. Her nöron için bir bias içerir.
• activation: aktivasyon fonksiyonunun adı, bir str.

$Z$ aktivasyon öncesi değerlerdir (pre-activation). $\mathbf{b}$, $XW$‘nin her satırına eklenir. Aktivasyon, bias eklendikten sonra uygulanır.

$g$, activation adıyla seçilen fonksiyondur. $Z$‘nin her elemanına ayrı uygulanır. Seçenekler şunlardır:

• "linear": $g(z) = z$, yani aktivasyon yok.

• "relu": $g(z) = \max(0, z)$. ReLU (rectified linear unit) negatifleri sıfıra çeker.

• "sigmoid": sigmoid her değeri $0$ ile $1$ arasına sıkıştırır.

  $$g(z) = \dfrac{1}{1 + e^{-z}}$$

• "tanh": $g(z) = \tanh(z)$. Tanh (hiperbolik tanjant) her değeri $-1$ ile $1$ arasına sıkıştırır.

Fonksiyon (n, d_out) shape’inde A’yı döndürmeli. Tanınmayan bir isim verilirse ValueError fırlat.

Örnekler

Gereksinimler

• X (n, d_in), W (d_in, d_out), b (d_out,) shape’indedir. X @ W doğrudan çalışır. W’nin devriğini (transpose) almana gerek yok.
• Dönüş değeri (n, d_out) shape’inde bir NumPy array’idir. n = 1 ya da d_out = 1 olsa bile iki boyutlu kalmalı.
• Bias, aktivasyondan önce eklenir. $g(XW + \mathbf{b})$ hesapla, $g(XW) + \mathbf{b}$ değil.
• Tanınmayan bir activation adı için ValueError fırlat. Sessizce Z’yi döndürme.
• Sigmoid ve tanh, büyük girdilerde de (1000 ya da -1000 gibi) nan ya da inf üretmemeli.
• X’i, W’yi ve b’yi değiştirme. Fonksiyon bittiğinde çağıran kodun array’leri aynı kalmalı.
• Örnekler üzerinde döngü kullanma: tek bir matris çarpımı yeter.

Layer her nöron için ağırlıklı toplamı hesaplar, bias ekler ve aktivasyonu uygular. İki özniteliği olan tek bir örnek, $X = (1, 2)$, ve iki nöronlu bir layer alalım:

Hesap üç adımdır:

1. Ağırlıklı toplamları bul: $XW = (1 \cdot 3 + 2 \cdot 1,\; 1 \cdot (-1) + 2 \cdot 2) = (5, 3)$.
2. Bias ekle: $Z = (-1, 4)$.
3. ReLU uygula: $A = (0, 4)$. Birinci nöron kapanır, ikincisi geçirir.

Birçok örnek olduğunda her satır için aynı işlem yapılır. Matris çarpımı hepsini tek seferde hesaplar.

Aktivasyon gereklidir. Aktivasyonsuz iki layer’ı üst üste koyarsan sonuç yine tek bir doğrusal layer olur:

Layer’lar arasındaki doğrusal olmayan aktivasyon, ağın doğrusal bir modelin yapamadığı şeyleri öğrenmesini sağlar. "linear" seçeneği, çıktı layer’ı gibi aktivasyonun gerekmediği yerlere uygundur.

Bu kursta layer X @ W + b olarak yazılır. Başka bir kaynak okurken $W$‘nin shape’ine bak:

Daha fazlası için Nöronlar ve aktivasyonlar dersine bak.

Layer X @ W + b ile başlar ve aktivasyonu bias’tan sonra uygular.

1. X @ W + b ile $Z$‘yi hesapla.
2. Aktivasyonu activation adına göre seç.
3. Tanınmayan bir ad için ValueError fırlat.

Sigmoid için kararlı biçimi kullan. e = np.exp(-np.abs(Z)) her Z’de güvenlidir, çünkü argümanı hiçbir zaman pozitif olmaz. Sigmoid iki durumda şöyle olur:

• Z >= 0 için $1 / (1 + e)$.
• Z < 0 için $e / (1 + e)$.

import numpy as npdef dense_forward(X: np.ndarray, W: np.ndarray, b: np.ndarray, activation: str) -> np.ndarray:    Z = X @ W + b    if activation == "linear":        return Z    if activation == "relu":        return np.maximum(0.0, Z)    if activation == "sigmoid":        e = np.exp(-np.abs(Z))        return np.where(Z >= 0, 1 / (1 + e), e / (1 + e))    if activation == "tanh":        return np.tanh(Z)    raise ValueError(f"Tanınmayan aktivasyon adı: {activation}")

Sık yapılan üç hata var:

• Bias’ı aktivasyondan sonra eklemek: np.maximum(0.0, X @ W) + b. Bias negatifse ReLU’dan sonra negatif bir değer kalır. Oysa ReLU’nun çıktısı hiçbir zaman negatif olmaz.
• W’nin devriğini almak: W zaten (d_in, d_out) shape’indedir.
• Sigmoid’i 1 / (1 + np.exp(-Z)) olarak yazmak: büyük negatif Z’de np.exp’i taşırır. Sonuç yine doğru çıksa da Kararlı sigmoid probleminde öğrendiğin kuralı bozar.