Neural Networks 1: Neuron

Single Input Neuron

Ένας νευρώνας με μία είσοδο αποτελεί το πιο απλό δομικό στοιχείο ενός τεχνητού νευρωνικού δικτύου. Δέχεται μία αριθμητική είσοδο (p), η οποία πολλαπλασιάζεται με ένα βάρος (w). Το αποτέλεσμα αυτού του πολλαπλασιασμού αποτελεί μέρος του συνολικού αθροίσματος που υπολογίζει ο νευρώνας.

Παράλληλα, υπάρχει και ένας επιπλέον όρος που ονομάζεται bias (b). Το bias λειτουργεί σαν ένα βάρος που πολλαπλασιάζεται με μια σταθερή είσοδο ίση με 1. Έτσι, το bias προστίθεται στο συνολικό άθροισμα και επιτρέπει στο μοντέλο να μετατοπίζει τη συμπεριφορά του ανεξάρτητα από την είσοδο.

Το άθροισμα των παραπάνω όρων ονομάζεται καθαρή είσοδος (net input, n) και δίνεται από τη σχέση:

Στη συνέχεια, η καθαρή είσοδος περνά από μια συνάρτηση μεταφοράς (transfer function ή activation function), η οποία παράγει την τελική έξοδο του νευρώνα (a):

Η συνάρτηση μεταφοράς καθορίζει τη συμπεριφορά του νευρώνα και μπορεί να είναι γραμμική ή μη γραμμική, ανάλογα με την εφαρμογή. Διαφορετικές επιλογές συνάρτησης χρησιμοποιούνται για διαφορετικούς σκοπούς.

Αν συγκρίνουμε αυτό το μοντέλο με έναν βιολογικό νευρώνα, το βάρος (w) αντιστοιχεί στη δύναμη μιας σύναψης, το άθροισμα και η συνάρτηση μεταφοράς αντιστοιχούν στο σώμα του κυττάρου, ενώ η έξοδος (a) αντιστοιχεί στο σήμα που μεταδίδεται μέσω του άξονα.

Τόσο το βάρος (w) όσο και το bias (b) είναι παράμετροι που μπορούν να προσαρμοστούν. Κατά την εκπαίδευση ενός νευρωνικού δικτύου, οι τιμές αυτές αλλάζουν μέσω κάποιου αλγορίθμου μάθησης, ώστε ο νευρώνας να παράγει τις επιθυμητές εξόδους για δεδομένες εισόδους.

Βιβλιογραφία

Hagan, M. T., Demuth, H. B., Beale, M. H., & De Jesús, O. (2014). Neural network design (2nd ed.).