ML11

1. Likelihood

Ας υποθέσουμε ότι έχουμε ένα νόμισμα και το ρίχνουμε n φορές. Κάθε ρίψη X_i μπορεί να πάρει τιμή:

X_i = 1 αν το αποτέλεσμα είναι Head
X_i = 0 αν το αποτέλεσμα είναι Tail

Θεωρούμε ότι η πιθανότητα να εμφανιστεί Head είναι p. Επειδή έχουμε ένα πείραμα με δύο πιθανά αποτελέσματα, με ίδια πιθανότητα το κάθε ένα, με ανεξάρτητες ρίψεις, κάθε ρίψη ακολουθεί κατανομή Bernoulli (p).

Στην περίπτωση του νομίσματος:

P(X = 1) = p (πιθανότητα να εμφανιστεί Head)
P(X = 0) = 1 - p (πιθανότητα να εμφανιστεί Tail)

Η πιθανότητα να παρατηρήσουμε ένα συγκεκριμένο αποτέλεσμα x_i είναι:

P(X_i = x_i) = p^x_i(1-p)^1-x_i

Επειδή οι ρίψεις είναι ανεξάρτητες και identically distributed (iid), η πιθανότητα να παρατηρήσουμε ολόκληρη τη σειρά αποτελεσμάτων x₁, x₂, ..., x_n είναι το γινόμενο των πιθανοτήτων:

P(X₁=x₁, ..., X_n=x_n) = ∏_i=1ⁿ p^x_i(1-p)^1-x_i

Αν συμβολίσουμε με H τον αριθμό των Heads, τότε η παραπάνω έκφραση απλοποιείται σε:

p^H(1-p)^n-H

Ας υποθέσουμε ότι ρίχνουμε ένα νόμισμα n = 5 φορές και η πιθανότητα να εμφανιστεί Head είναι p = 0.6.

Έστω ότι η σειρά των αποτελεσμάτων είναι:

X₁ = Head → 1
X₂ = Tail → 0
X₃ = Head → 1
X₄ = Head → 1
X₅ = Tail → 0

Αριθμός Heads: H = 3

Η πιθανότητα να εμφανιστεί αυτή η συγκεκριμένη σειρά είναι:

P(X₁=1, X₂=0, X₃=1, X₄=1, X₅=0) = p^H(1-p)^n-H

Αντικαθιστώντας με αριθμούς:

P = 0.6³ × (1 - 0.6)^5-3 = 0.6³ × 0.4² = 0.13824

Άρα, η πιθανότητα να παρατηρήσουμε ακριβώς αυτή τη σειρά είναι 0.13824.

2. Από Probability σε Likelihood

Μέχρι τώρα θεωρούσαμε ότι το p είναι γνωστό και υπολογίζαμε την πιθανότητα των δεδομένων.

Στο Likelihood κάνουμε το αντίθετο:

Τα δεδομένα θεωρούνται γνωστά (π.χ. 3 Heads σε 5 ρίψεις)
Το p θεωρείται άγνωστο
Θέλουμε να δούμε ποια τιμή του p κάνει τα δεδομένα πιο πιθανά

Η συνάρτηση:

L(p) = p^H(1-p)^n-H

ονομάζεται likelihood function.

Η likelihood function δεν είναι πιθανότητα ως προς το p. Είναι μια συνάρτηση που μας δείχνει πόσο συμβατή είναι κάθε πιθανή τιμή του p με τα δεδομένα που παρατηρήσαμε. Ουσιαστικά μας λέει πόσο καλά ένα set από παραμέτρους εξηγεί τα παρατηρούμενα δεδομένα.

Αντικαθιστούμε τις τιμές:

L(p) = p³(1-p)²

Αυτή η συνάρτηση μας δείχνει πόσο πιθανό είναι να παρατηρήσουμε τα δεδομένα μας για διαφορετικές τιμές του p.

3. Maximum Likelihood Estimation (MLE)

Αριθμός ρίψεων: n = 5
Αριθμός Heads: H = 3
Αριθμός Tails: n - H = 2

Η εκτίμηση Maximum Likelihood δίνεται από:

p̂ = H / n

Αντικαθιστώντας τις τιμές:

p̂ = 3 / 5 = 0.6

Άρα η εκτίμηση της πιθανότητας να εμφανιστεί Head είναι:

p̂ = 0.6

Δηλαδή, με βάση τα δεδομένα μας, το καλύτερο μοντέλο εκτιμά ότι το νόμισμα φέρνει Head περίπου στο 60% των ρίψεων.

Έλεγχος μέσω Likelihood

Η likelihood function είναι:

L(p) = p³(1-p)²

Αν υπολογίσουμε τη likelihood για διαφορετικές τιμές του p:

p = 0.4 → L(0.4) = 0.4³ × 0.6² = 0.02304
p = 0.6 → L(0.6) = 0.6³ × 0.4² = 0.03456
p = 0.8 → L(0.8) = 0.8³ × 0.2² = 0.02048

Παρατηρούμε ότι η μεγαλύτερη τιμή της likelihood εμφανίζεται κοντά στο p = 0.6, που είναι ακριβώς το αποτέλεσμα του MLE.

Βιβλιογραφία

Dutt, S., Chandramouli, S., & Das, A. K. (2018). Machine learning. Pearson.