Machine Learning 2

Training Sample

Training Sample: είναι ένα παράδειγμα δεδομένων που δίνουμε στο μοντέλο για να μάθει, μαζί με τη σωστή του απάντηση (label).

Empirical Risk

Empirical Risk: μετράει το μέσο σφάλμα ενός μοντέλου πάνω στα δεδομένα εκπαίδευσης. Ουσιαστικά, υπολογίζει πόσο συχνά οι προβλέψεις του μοντέλου αποκλίνουν από τις πραγματικές ετικέτες. Αν όλες οι προβλέψεις είναι σωστές, ο εμπειρικός κίνδυνος είναι 0.

Στην περίπτωσή μας, όλες οι προβλέψεις του μοντέλου είναι σωστές. Ο εμπειρικός κίνδυνος υπολογίζεται με τον τύπο:

Εδώ:
- N = 20 είναι ο αριθμός των παραδειγμάτων εκπαίδευσης.
- y_i είναι οι πραγματικές ετικέτες.
- f(x_i) είναι οι προβλέψεις του μοντέλου.
- L(y_i, f(x_i)) είναι η συνάρτηση απώλειας (0 αν η πρόβλεψη είναι σωστή, 1 αν είναι λάθος).
Επειδή όλες οι προβλέψεις είναι σωστές, κάθε L(y_i, f(x_i)) = 0.

Επομένως, ο εμπειρικός κίνδυνος για το μοντέλο μας είναι 0.

Σημείωση: Ένας εμπειρικός κίνδυνος 0 σημαίνει ότι το μοντέλο ταιριάζει τέλεια με τα δεδομένα εκπαίδευσης, αλλά δεν εγγυάται ότι θα λειτουργεί τέλεια σε νέα δεδομένα.

Αλλάζουμε επίτηδες το label σε δύο samples, στο νο9 και στο νο15 για να δουμε πως επηρρεάζεται το empirical risk.

Τώρα το empirical risk γίνεται:

R_emp(f) = (1 + 1 + 0 + 0 + 0 + 0 + 0 + 0 + 0 + 0) / 10 = 2 / 10 = 0.2 (20%)

Άρα το μοντέλο κάνει λάθος στο 20% των pixels.

Με βάση τον λάθος πίνακα δημιουργήσαμε έναν απλό classifier (προς το παρόν είναι black box, δεν μας νοιάζει), ο οποίος μάντεψε σωστά όλα τα αστικά block εκτός από δύο. Με πράσινο είναι αυτά που έγιναν classification ορθά και με κόκκινο τα λάθος.

Βιβλιογραφία

Shalev-Shwartz, S., & Ben-David, S. (2014). Understanding machine learning: From theory to algorithms. Cambridge University Press