Machine Learning 9: Παράδειγμα Stochastic Gradient Descent - Υδροστατική Πίεση

1. Θεωρία Υδροστατικής Πίεσης

Η υδροστατική πίεση είναι η πίεση που ασκεί ένα υγρό λόγω του βάρους της στήλης του. Η πίεση αυξάνεται γραμμικά με το βάθος.

P = ρ g h

• ρ = πυκνότητα υγρού
• g = επιτάχυνση βαρύτητας
• h = βάθος

Για το νερό περίπου:

P ≈ 9.81 h (kPa/m)

2. Γραμμικό μοντέλο Machine Learning

Το μοντέλο που θα εκπαιδεύσουμε είναι:

P = w h + b

Το SGD θα μάθει τις παραμέτρους w και b από τα δεδομένα.

3. Dataset (100 δείγματα)

4. Κώδικας Python για SGD

5. Ανάλυση του Κώδικα Βήμα προς Βήμα

Βήμα 1 – Εισαγωγή βιβλιοθηκών

Χρησιμοποιούμε τις βιβλιοθήκες NumPy και Matplotlib για αριθμητικούς υπολογισμούς και γραφήματα.

Βήμα 2 – Εισαγωγή δεδομένων

Οι πίνακες depth και pressure περιέχουν τις τιμές από τον πίνακα δεδομένων του μαθήματος.

Βήμα 3 – Αρχικοποίηση του μοντέλου

Το γραμμικό μοντέλο έχει τη μορφή:

P = w · h + b

• w → slope
• b → bias

w = 0
b = 0

Στην αρχή οι παράμετροι είναι τυχαίες ή μηδενικές. Το μοντέλο δεν γνωρίζει ακόμα τη σχέση μεταξύ βάθους και πίεσης.

Βήμα 4 – Learning rate

Το learning rate καθορίζει πόσο μεγάλο βήμα θα κάνει το gradient descent.

learning_rate = 0.001

Αν είναι πολύ μεγάλο η εκπαίδευση γίνεται ασταθής. Αν είναι πολύ μικρό η εκπαίδευση γίνεται πολύ αργή.

Βήμα 5 – Εκπαίδευση με Stochastic Gradient Descent

Η εκπαίδευση γίνεται με δύο βρόχους.

for epoch in range(epochs):
    for i in range(n):

Ο εξωτερικός βρόχος επαναλαμβάνει την εκπαίδευση πολλές φορές (epochs). Ο εσωτερικός βρόχος περνάει από κάθε δείγμα του dataset.

Στο Stochastic Gradient Descent η ενημέρωση των παραμέτρων γίνεται για κάθε δείγμα ξεχωριστά.

Βήμα 6 – Πρόβλεψη του μοντέλου

y_pred = w*x + b

Το μοντέλο υπολογίζει την προβλεπόμενη πίεση για το συγκεκριμένο βάθος.

Βήμα 7 – Υπολογισμός του gradient

Η συνάρτηση σφάλματος για ένα δείγμα είναι:

L = (y - y_pred)^2

και η προβλεπόμενη τιμή:

y_pred = w * x + b

Θέλουμε:

∂L/∂w = ∂/∂w (y - (w * x + b))^2

Με τον κανόνα της αλυσίδας:

u = y - (w * x + b)
∂L/∂w = 2 * u * ∂u/∂w
∂u/∂w = -x
∂L/∂w = -2 * x * (y - y_pred)

∂L/∂b = 2 * (y - y_pred) * ∂(y - (w*x+b))/∂b
∂(y - (w*x+b))/∂b = -1
∂L/∂b = -2 * (y - y_pred)

dw = -2*x*(y - y_pred)
db = -2*(y - y_pred)

Το gradient δείχνει προς ποια κατεύθυνση πρέπει να αλλάξουν οι παράμετροι ώστε να μειωθεί το σφάλμα.

Βήμα 8 – Ενημέρωση παραμέτρων

w = w - learning_rate*dw
b = b - learning_rate*db

Οι παράμετροι ενημερώνονται ώστε το μοντέλο να προσεγγίζει καλύτερα τα δεδομένα.

Βήμα 10 – Οπτικοποίηση

plt.scatter(depth,pressure)
plt.plot(depth,w*depth+b)

Το γράφημα δείχνει:

• τα πραγματικά δεδομένα (scatter plot)
• τη γραμμή παλινδρόμησης που έμαθε το μοντέλο

Αν η εκπαίδευση έχει γίνει σωστά, η γραμμή θα προσεγγίζει τη φυσική σχέση της υδροστατικής πίεσης.

SGD Βήμα-Βήμα – Υδροστατική Πίεση

Ας δούμε αναλυτικά **τρία βήματα** του Stochastic Gradient Descent για ένα μόνο δείγμα από το dataset:

w = 0
b = 0

y_pred = w * h + b = 0 * 0.1 + 0 = 0

dw = -2 * 0.1 * (0.97 - 0) = -0.194

db = -2 * (0.97 - 0) = -1.94

w = w - lr * dw = 0 - 0.01 * (-0.194) = 0.00194

b = b - lr * db = 0 - 0.01 * (-1.94) = 0.0194

Μετά το επόμενο δείγμα, επαναλαμβάνουμε τα ίδια βήματα, και σιγά-σιγά η γραμμή πλησιάζει τα πραγματικά δεδομένα.

Δείγμα: x = 0.2, y = 2.01
Παράμετροι μετά από iteration 1: w = 0.00194, b = 0.0194

y_pred = w*x + b = 0.00194*0.2 + 0.0194 ≈ 0.019788
dw = -2 * 0.2 * (2.01 - 0.019788) ≈ -0.796
db = -2 * (2.01 - 0.019788) ≈ -3.9804

w_new = 0.00194 - 0.01*(-0.796) ≈ 0.00990
b_new = 0.0194 - 0.01*(-3.9804) ≈ 0.0592

y_pred = w*x + b = 0.00990*0.3 + 0.0592 ≈ 0.06217
dw = -2 * 0.3 * (2.85 - 0.06217) ≈ -1.686
db = -2 * (2.85 - 0.06217) ≈ -5.5757

w_new = 0.00990 - 0.01*(-1.686) ≈ 0.02676
b_new = 0.0592 - 0.01*(-5.5757) ≈ 0.11495

Mini-batch Gradient Descent

Βιβλιογραφία

St-Aubin, A. (n.d.). An introduction to supervised machine learning. McGill University.