Lojistik regresyon eğit

Bu problemde lojistik regresyonu (logistic regression) sıfırdan eğitir ve yeni örnekler (sample) için tahmin (prediction) üretirsin. Lojistik regresyon, iki sınıflı sınıflandırma (classification) için doğrusal bir modeldir. Model üç adımda çalışır:

1. Her özniteliği (feature) bir ağırlıkla (weight) çarpar ve toplar.
2. Sapmayı (bias) ekler.
3. Bu ham skoru (logit) sigmoid ile bir olasılığa çevirir.

Sigmoid, her sayıyı 0 ile 1 arasına sıkıştıran fonksiyondur.

train(X, y, X_test, lr, epochs) fonksiyonunu yaz. Girdiler şunlardır:

• X: şekli (shape) (n, d) olan eğitim kümesi (training set). Her satır bir örnek, her sütun bir feature.
• y: shape’i (n,) olan, 0 ya da 1 değerli etiketler (label).
• X_test: sınıfı tahmin edilecek örneklerin (m, d) shape’indeki test kümesi (test set).
• lr: öğrenme oranı (learning rate, $\eta$).
• epochs: epoch sayısı. Bir epoch, training set’in tamamı üzerinden bir turdur.

Model, tüm örnekler için $\hat{\mathbf{p}} = \sigma(X\mathbf{w} + b)$ olasılıklarını hesaplar. $\mathbf{w}$ ve $b$ sıfırdan başlar. Eğitim, gradyan inişidir (gradient descent).

Her epoch’ta şunları yap:

1. $\hat{\mathbf{p}}$‘yi hesapla.
2. İkili çapraz entropi kaybının (binary cross-entropy loss) gradyanını (gradient) çıkar.
3. $\mathbf{w}$ ve $b$‘yi birden güncelle.

Güncellemede $\eta$, lr değeridir:

Bu güncellemeyi tam epochs kez yap. Eğitimden sonra eşik (threshold) $0{,}5$‘tir:

• $\hat{p} \ge 0{,}5$ olan test örneklerine sınıf 1 ver.
• Diğerlerine sınıf 0 ver.

X_test’in her örneği için tahmin edilen sınıfı içeren, (m,) shape’inde bir tam sayı dizisi (array) döndür.

Örnekler

Gereksinimler

• X (n, d), y (n,) ve X_test (m, d) shape’indedir. y tam sayılardan oluşur.
• lr pozitif bir float’tur. epochs negatif olmayan bir tam sayıdır.
• Dönüş değeri (m,) shape’inde, yalnızca 0 ve 1 içeren bir tam sayı array’i: bool ya da float array değil.
• w ve b’yi sıfırdan başlat.
• Her epoch’ta bütün X ile bir güncelleme yap. Tam epochs güncelleme olmalı. epochs = 0 ise hiç güncelleme yapma.
• X’i olduğu gibi kullan: öznitelik ölçekleme (feature scaling) gibi bir ön işlem yok.
• Eşikte sınıf 1: $\hat{p} = 0{,}5$ ise, yani logit $z = 0$ ise, sınıf 1 ver. epochs = 0 iken her $\hat{p}$ tam $0{,}5$ olduğundan bütün tahminler 1 çıkar.
• Feature’lar büyük değerler alabilir: birkaç yüz, hatta birkaç bin.
• Logit’ler büyüdüğünde sigmoid nan ya da inf üretmemeli. Kararlı sigmoid problemindeki yazılış buna uygundur.
• X’i, y’yi ve X_test’i değiştirme. Fonksiyon bittiğinde onu çağıran kodun array’leri aynı kalmalı.

Lojistik regresyonun logit’i $z = X\mathbf{w} + b$, doğrusal regresyondaki tahminin aynısıdır. Fark, bunun sigmoid ile bir olasılığa çevrilmesidir.

$\hat{p} \ge 0{,}5$ ile $z \ge 0$ aynı şeydir. Bu yüzden iki sınıfı ayıran karar sınırı (decision boundary) $X\mathbf{w} + b = 0$ denklemiyle verilir:

• İki feature’da bir doğru olur.
• Üç feature’da bir düzlem olur.

Sigmoid ile binary cross-entropy bir araya gelince gradyan sadeleşir. Loss’un logit’e göre türevi $\hat{p}_i - y_i$ olur.

Bu, doğrusal regresyonun MSE gradyanına çok benzer. Eğitim döngüsü de aynıdır. Yalnızca tahmini $X\mathbf{w} + b$ yerine $\sigma(X\mathbf{w} + b)$ ile alırsın.

Eğitim epochs adımda biter, yakınsama kontrolü yapmaz. Şu durumlar sonucu etkiler:

• Learning rate küçükse ya da epoch azsa decision boundary henüz yerine oturmamıştır.
• Sınıflar bir doğruyla tam ayrılabiliyorsa loss sıfıra yaklaşır ama weight’ler büyümeye devam eder. Model hiçbir zaman kesin bir çözüme varmaz.
• Feature’lar çok farklı ölçeklerdeyse gradient descent yavaşlar. Bunu Doğrusal regresyon dersinde feature scaling olarak gördün.

Daha fazlası için Lojistik regresyon dersine bak.

Çözüm dört adımdır:

1. Sigmoid’i kararlı yaz.
2. w ve b’yi sıfırla.
3. epochs kez olasılıkları hesapla ve ikisini birden güncelle.
4. En sonda test set’i aynı modelle puanla.

Kodda bu adımlar şöyle görünür:

import numpy as npdef sigmoid(z: np.ndarray) -> np.ndarray:    e = np.exp(-np.abs(z))    return np.where(z >= 0, 1 / (1 + e), e / (1 + e))def train(X: np.ndarray, y: np.ndarray, X_test: np.ndarray, lr: float, epochs: int) -> np.ndarray:    n, d = X.shape    w = np.zeros(d)    b = 0.0    for _ in range(epochs):        p = sigmoid(X @ w + b)        w = w - lr * (X.T @ (p - y)) / n        b = b - lr * np.mean(p - y)    p_test = sigmoid(X_test @ w + b)    return (p_test >= 0.5).astype(int)

Sık yapılan hata, bias’ı (b) unutmaktır. Yalnızca w güncellenirse decision boundary orijinden geçmeye zorlanır. Sınıflar orijinden uzakta ayrılıyorsa model onları ayıramaz.

Bir diğer hata, p’yi döngünün dışında bir kez hesaplamaktır. O zaman gradyan hiç değişmez. Model aynı adımı epochs kez tekrarlar.