#ΜαθηΜαγικοΗμερολογιο Ένας Αμερικανός μαθηματικός περιέγραψε για πρώτη φορά τον αλγόριθμο που αργότερα θα γινόταν η καρδιά της σύγχρονης τεχνητής νοημοσύνης μέσα σε μια διδακτορική διατριβή στο...

Original Post

Πλήρες Κείμενο:

Για χρόνια, ελάχιστοι έδωσαν προσοχή στη δουλειά του.

Όταν η ιδέα τελικά άλλαξε τον κόσμο, άλλοι ερευνητές έγιναν πολύ πιο γνωστοί γι' αυτήν.

Το όνομά του ήταν Πολ Γουέρμπος.(Paul Werbos) Ο αλγόριθμος ονομάζεται οπισθοδιάδοση σφάλματος (backpropagation). Σήμερα αποτελεί έναν από τους θεμελιώδεις μηχανισμούς που χρησιμοποιούνται για την εκπαίδευση των περισσότερων σύγχρονων νευρωνικών δικτύων.

Χωρίς αυτόν, η εξέλιξη της βαθιάς μάθησης και πολλών εφαρμογών τεχνητής νοημοσύνης θα ήταν πολύ διαφορετική. Ο Γουέρμπος γεννήθηκε το 1947 και σπούδασε στο Χάρβαρντ.

Στις δεκαετίες του 1960 και του 1970, η έρευνα στα νευρωνικά δίκτυα περνούσε δύσκολη περίοδο.

Το 1969, οι Μάρβιν Μίνσκι και Σέιμουρ Πάπερτ δημοσίευσαν το βιβλίο «Perceptrons», το οποίο ανέδειξε σημαντικούς περιορισμούς των τότε νευρωνικών δικτύων.

Αν και το βιβλίο δεν απέκλειε θεωρητικά τη δυνατότητα εκπαίδευσης πολυεπίπεδων δικτύων, πολλοί ερευνητές κατέληξαν στο συμπέρασμα ότι η προσέγγιση αυτή είχε φτάσει στα όριά της.

Ως αποτέλεσμα, το ενδιαφέρον για τα νευρωνικά δίκτυα μειώθηκε σημαντικά. Ο Γουέρμπος ακολούθησε διαφορετικό δρόμο.

Στη διδακτορική του διατριβή το 1974 περιέγραψε μια μέθοδο με την οποία τα σφάλματα ενός νευρωνικού δικτύου μπορούσαν να διαδίδονται προς τα πίσω μέσα από τα επίπεδά του, επιτρέποντας την προσαρμογή των βαρών και τη σταδιακή βελτίωση της απόδοσης του μοντέλου.

Η μέθοδος αυτή είναι γνωστή σήμερα ως backpropagation. Ο Γουέρμπος όχι μόνο την περιέγραψε θεωρητικά, αλλά παρουσίασε και πρακτικές εφαρμογές της.

Ωστόσο, η εργασία του δεν απέκτησε άμεσα μεγάλη απήχηση.

Για αρκετά χρόνια παρέμεινε σχετικά άγνωστη έξω από μικρούς κύκλους ερευνητών.

Κατά τη διάρκεια αυτής της περιόδου, ο Γουέρμπος εργάστηκε σε ερευνητικά προγράμματα και συνέχισε να δημοσιεύει επιστημονικές εργασίες, ενώ το ενδιαφέρον για τα νευρωνικά δίκτυα παρέμενε περιορισμένο.

Έπειτα, το 1986, οι Ντέιβιντ Ράμελχαρτ, Τζέφρι Χίντον και Ρόναλντ Ουίλιαμς δημοσίευσαν μια ιστορική εργασία που παρουσίαζε την οπισθοδιάδοση με σαφή και πρακτικό τρόπο.

Η χρονική συγκυρία ήταν ιδανική.

Η υπολογιστική ισχύς είχε αυξηθεί, το ενδιαφέρον για τη μηχανική μάθηση αναζωπυρωνόταν και η επιστημονική κοινότητα ήταν πλέον έτοιμη να αξιοποιήσει την ιδέα.

Η εργασία αυτή συνέβαλε καθοριστικά στην αναβίωση των νευρωνικών δικτύων και άνοιξε τον δρόμο για τη σύγχρονη εποχή της βαθιάς μάθησης.

Σήμερα, οι ιστορικοί της τεχνητής νοημοσύνης αναγνωρίζουν ότι ο Γουέρμπος ήταν ο πρώτος που διατύπωσε με σαφήνεια τη χρήση της οπισθοδιάδοσης για την εκπαίδευση πολυεπίπεδων νευρωνικών δικτύων, ενώ οι Ράμελχαρτ, Χίντον και Ουίλιαμς ήταν εκείνοι που βοήθησαν αποφασιστικά στη διάδοση και καθιέρωσή της.

Το 1995, το IEEE απένειμε στον Γουέρμπος το Βραβείο Πρωτοπόρου Νευρωνικών Δικτύων, αναγνωρίζοντας τη θεμελιώδη συμβολή του.

Το πιο εντυπωσιακό είναι τι κάνει πραγματικά η οπισθοδιάδοση.

Κατά την εκπαίδευση ενός σύγχρονου νευρωνικού δικτύου, η οπισθοδιάδοση χρησιμοποιείται για να υπολογίσει πώς πρέπει να αλλάξουν εκατομμύρια ή και δισεκατομμύρια παράμετροι ώστε το σύστημα να βελτιώνει σταδιακά τις προβλέψεις του.

Χρησιμοποιείται στην εκπαίδευση συστημάτων αναγνώρισης εικόνων.

Χρησιμοποιείται στην εκπαίδευση μεγάλων γλωσσικών μοντέλων.

Χρησιμοποιείται σε ένα τεράστιο φάσμα εφαρμογών της σύγχρονης μηχανικής μάθησης.

Βέβαια, η σημερινή τεχνητή νοημοσύνη δεν βασίζεται μόνο στην οπισθοδιάδοση.

Η πρόοδος οφείλεται επίσης στις εξελίξεις στη στατιστική μάθηση, στη θεωρία βελτιστοποίησης, στις αρχιτεκτονικές νευρωνικών δικτύων, στην υπολογιστική ισχύ και στις συνεισφορές χιλιάδων ερευνητών σε ολόκληρο τον κόσμο.

Ωστόσο, η συμβολή του Γουέρμπος παραμένει θεμελιώδης.

Το 2024, ο Τζέφρι Χίντον τιμήθηκε με το Βραβείο Νόμπελ Φυσικής για τη συμβολή του στη μηχανική μάθηση και στα τεχνητά νευρωνικά δίκτυα.

Πολλοί ερευνητές έχουν επισημάνει ότι η ιστορία της οπισθοδιάδοσης δεν μπορεί να γίνει πλήρως κατανοητή χωρίς να αναγνωριστεί και η πρωτοποριακή εργασία του Πολ Γουέρμπος.

Σήμερα, σε ηλικία άνω των εβδομήντα ετών, ο Γουέρμπος εξακολουθεί να γράφει, να ερευνά και να μιλά για τις ιδέες του.

Δεν είναι το πιο γνωστό όνομα στην ιστορία της τεχνητής νοημοσύνης.

Είναι όμως ένα από τα σημαντικότερα.

Και κάθε φορά που μιλάμε για την ιστορία της βαθιάς μάθησης, αξίζει να θυμόμαστε ότι ένα από τα θεμέλιά της είχε ήδη περιγραφεί σε μια διατριβή του Χάρβαρντ το 1974, πολύ πριν ο κόσμος συνειδητοποιήσει πόσο σημαντική θα γινόταν αυτή η ιδέα. (*)Η οπισθοδιάδοση σφάλματος (backpropagation) είναι η μέθοδος με την οποία ένα νευρωνικό δίκτυο μαθαίνει από τα λάθη του.

Αφού κάνει μια πρόβλεψη, συγκρίνει το αποτέλεσμα με τη σωστή απάντηση, υπολογίζει το σφάλμα και το «στέλνει» προς τα πίσω μέσα στο δίκτυο, διορθώνοντας σταδιακά τις εσωτερικές του παραμέτρους.

Επαναλαμβάνοντας αυτή τη διαδικασία εκατομμύρια φορές, το δίκτυο βελτιώνεται και μαθαίνει να αναγνωρίζει εικόνες, να κατανοεί γλώσσα και να εκτελεί πολύπλοκες εργασίες. Πρόκειται για έναν από τους θεμελιώδεις αλγόριθμους πάνω στους οποίους βασίζεται η σύγχρονη τεχνητή νοημοσύνη.

Η επιλογή των posts/links γίνεται με ένα στατιστικό μοντέλο και μπορεί να μην απεικονίζει επακριβώς τη σειρά δημοτικότητάς τους