Machine Learning 6: Νόμος του Hooke και Απλή Γραμμική Παλινδρόμηση

1. Φυσικό Υπόβαθρο (Physical Background)

Στη μηχανική πετρωμάτων (rock mechanics) μελετάται η σχέση μεταξύ τάσης (stress) και παραμόρφωσης (strain). Η σχέση αυτή περιγράφει πώς ένα υλικό αντιδρά όταν του ασκείται δύναμη.

Τάση (Stress)

Η τάση ορίζεται ως η δύναμη που ασκείται ανά μονάδα επιφάνειας:

όπου:

• F = δύναμη (force) σε Newton
• A = επιφάνεια (area) σε m²

Η μονάδα μέτρησης στο Διεθνές Σύστημα είναι το Pascal (Pa):

Παραμόρφωση (Strain)

Η παραμόρφωση εκφράζει τη σχετική μεταβολή του μήκους ενός σώματος:

όπου:

• ΔL = μεταβολή μήκους (change in length)
• L₀ = αρχικό μήκος (original length)

Η παραμόρφωση είναι αδιάστατο μέγεθος (dimensionless quantity).

Νόμος του Hooke (Hooke's Law)

Για μικρές παραμορφώσεις πολλά υλικά παρουσιάζουν γραμμική ελαστική συμπεριφορά (linear elastic behaviour). Στην περιοχή αυτή ισχύει ο Νόμος του Hooke:

όπου E είναι το Μέτρο Young (Young's Modulus). Το μέτρο Young εκφράζει την ακαμψία του υλικού και αντιστοιχεί στην κλίση της ευθείας στο διάγραμμα τάσης–παραμόρφωσης (stress–strain curve).

2. Στατιστική Μοντελοποίηση (Statistical Modeling)

Στην πράξη οι μετρήσεις περιέχουν πειραματικό σφάλμα. Για τον λόγο αυτό η σχέση μεταξύ τάσης και παραμόρφωσης μοντελοποιείται με τη μέθοδο της απλής γραμμικής παλινδρόμησης (Simple Linear Regression).

όπου:

• σ_i = παρατηρούμενη τάση (observed stress)
• ε_i = παραμόρφωση (strain)
• β₀ = σταθερός όρος (intercept)
• β₁ = συντελεστής κλίσης (slope coefficient)
• u_i = στοχαστικός όρος σφάλματος (random error term)

Οι παράμετροι του μοντέλου εκτιμώνται με τη μέθοδο Ordinary Least Squares (OLS).

3. Μέθοδος Ελαχίστων Τετραγώνων (Ordinary Least Squares)

Υπόλοιπα (Residuals)

Το υπόλοιπο (residual) είναι η διαφορά μεταξύ της πραγματικής τιμής και της τιμής που προβλέπει το μοντέλο:

Η μέθοδος OLS επιλέγει τις τιμές των παραμέτρων ώστε να ελαχιστοποιείται το άθροισμα των τετραγώνων των υπολοίπων (sum of squared residuals).

4. Εκτιμητές OLS (OLS Estimators)

Για την απλή γραμμική παλινδρόμηση οι εκτιμητές μπορούν να γραφούν με χρήση των μεγεθών S_xx και S_xy.

Ορισμοί

όπου:

• ε̄ = μέση τιμή της παραμόρφωσης (mean strain)
• σ̄ = μέση τιμή της τάσης (mean stress)

Estimator Κλίσης

Ο εκτιμητής αυτός αντιστοιχεί στην κλίση της ευθείας παλινδρόμησης.

Estimator Σταθερού Όρου

5. Πειραματικά Δεδομένα (Experimental Data)

Από τους υπολογισμούς της μεθόδου OLS προκύπτουν οι εκτιμήσεις:

Για να υπολογίσουμε τους εκτιμητές της παλινδρόμησης (OLS estimators) χρησιμοποιούμε τους ορισμούς των S_xx και S_xy. Για τον σκοπό αυτό δημιουργούμε έναν βοηθητικό πίνακα υπολογισμών.

Υπολογισμός Αθροισμάτων (Sample Sums)

Υπολογισμός Μέσων Τιμών (Sample Means)

Υπολογισμός S_xx και S_xy

Estimator Κλίσης

Με αντικατάσταση των τιμών προκύπτει:

Estimator Σταθερού Όρου

6. Τελικό Μοντέλο (Estimated Regression Model)

Η κλίση της εκτιμημένης ευθείας αντιστοιχεί στο Μέτρο Young (Young's Modulus) του υλικού:

Η σχεδόν γραμμική σχέση μεταξύ τάσης και παραμόρφωσης δείχνει ότι το υλικό βρίσκεται στην ελαστική περιοχή (elastic region) του διαγράμματος τάσης–παραμόρφωσης.

7. Ερμηνεία Υπολοίπων (Interpretation of Residuals)

Τα υπόλοιπα χρησιμοποιούνται για την αξιολόγηση της ποιότητας του μοντέλου παλινδρόμησης. Εάν τα υπόλοιπα κατανέμονται τυχαία γύρω από το μηδέν, τότε το γραμμικό μοντέλο θεωρείται κατάλληλο για την περιγραφή της σχέσης μεταξύ των μεταβλητών.

όπου:

• σ_i : παρατηρούμενη τάση (observed stress)
• σ̂_i : εκτιμημένη τιμή από το μοντέλο (fitted or predicted value)
• e_i : υπόλοιπο (residual)

Οι εκτιμημένες τιμές της τάσης υπολογίζονται από την εξίσωση παλινδρόμησης:

Ιδιότητες των Υπολοίπων στο OLS (Properties of OLS Residuals)

Στη μέθοδο των Ελαχίστων Τετραγώνων (Ordinary Least Squares – OLS) τα υπόλοιπα έχουν ορισμένες σημαντικές ιδιότητες:

• Το άθροισμα των υπολοίπων είναι μηδέν:

• Τα υπόλοιπα είναι ορθογώνια προς την ανεξάρτητη μεταβλητή (orthogonality condition):

• Η ευθεία παλινδρόμησης περνά από το σημείο των μέσων τιμών των μεταβλητών:

Άθροισμα Τετραγώνων Υπολοίπων (Residual Sum of Squares)

Η ποιότητα προσαρμογής του μοντέλου μπορεί να μετρηθεί μέσω του Residual Sum of Squares (RSS), το οποίο ορίζεται ως:

Όσο μικρότερο είναι το RSS, τόσο καλύτερα το μοντέλο προσεγγίζει τα δεδομένα.

Εκτιμητής Διακύμανσης Σφάλματος (Error Variance Estimator)

Η διακύμανση του όρου σφάλματος (error variance) εκτιμάται από:

όπου:

• n : αριθμός παρατηρήσεων (number of observations)
• n − 2 : βαθμοί ελευθερίας (degrees of freedom)

Ο estimator αυτός μετρά τη μέση απόκλιση των δεδομένων από την ευθεία παλινδρόμησης.

Ερμηνεία στο Πείραμα Τάσης–Παραμόρφωσης

Στο πείραμα τάσης–παραμόρφωσης (stress–strain experiment), τα υπόλοιπα εκφράζουν τη διαφορά μεταξύ της πραγματικής τάσης που μετρήθηκε στο εργαστήριο και της τάσης που προβλέπει το γραμμικό μοντέλο.

Για κάθε παρατήρηση υπολογίζεται πρώτα η εκτιμημένη τιμή (fitted value) και στη συνέχεια το υπόλοιπο (residual):

Παράδειγμα Υπολογισμού (First Observation)

Για την πρώτη παρατήρηση έχουμε:

Η προβλεπόμενη τάση είναι:

Το υπόλοιπο είναι:

Υπολογισμός για Όλες τις Παρατηρήσεις

Residual Sum of Squares (RSS)

Η ποιότητα του μοντέλου μετριέται με το άθροισμα των τετραγώνων των υπολοίπων (Residual Sum of Squares).

Για τα δεδομένα του πειράματος:

Όσο μικρότερο είναι το RSS, τόσο καλύτερα το γραμμικό μοντέλο περιγράφει τη σχέση μεταξύ τάσης και παραμόρφωσης.

Η σχετικά μικρή απόκλιση των υπολοίπων δείχνει ότι τα πειραματικά δεδομένα ακολουθούν αρκετά καλά τον Νόμο του Hooke στην ελαστική περιοχή του υλικού. Οι περισσότερες παρατηρήσεις έχουν residuals μικρότερα του 3% των τιμών τους. Αυτό σημαίνει ότι το γραμμικό μοντέλο (Hooke’s Law) προσεγγίζει πολύ καλά τα δεδομένα.

Βιβλιογραφία

Montgomery, D. C., Peck, E. A., & Vining, G. G. (2021). Introduction to linear regression analysis (6th ed.). Wiley.