Original Post

Πλήρες Κείμενο:

Η είσοδος και η χρήση της Τεχνητής Νοημοσύνης (ΤΝ) για στρατιωτικούς σκοπούς θα αλλάξει ριζικά τον τρόπο με το οποίο θα διεξάγονται στο μέλλον οι πόλεμοι.

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Η ενσωμάτωση της στα πεδία των μαχών δεν αποτελεί απλώς αναβάθμιση του οπλισμού αλλά τροποποιεί ριζικά το δόγμα, τη φιλοσοφία και την ταχύτητα με την οποία διεξάγονται οι στρατιωτικές επιχειρήσεις.

Συγχρόνως φέρνει στο προσκήνιο μεγάλο πλήθος νομικών, ηθικών και υπαρξιακών προβλημάτων.

Το πιο χαρακτηριστικό παράδειγμα στρατιωτικών συστημάτων που χρησιμοποιούν την ΤΝ είναι τα Φονικά Αυτόνομα Οπλικά Συστήματα – ΦΑΟΣ (Lethal Autonomous Weapons – LAWs). Γράφει ο D.G. Τα LAWs είναι στρατιωτικά συστήματα που μπορούν να αναζητούν, να επιλέγουν και να προσβάλλουν με σκοπό την εξουδετέρωση ή την καταστροφή, στόχο ή πλήθος στόχων χωρίς καμία ανθρώπινη παρέμβαση.

Η βασική διαφορά τους από τα παραδοσιακά όπλα ή τα απλά drones είναι ότι η τελική απόφαση για τη χρήση θανάσιμης βίας δεν λαμβάνεται από έναν άνθρωπο, αλλά από αλγόριθμους και συστήματα ΤΝ. Μέχρι σήμερα τα στρατιωτικά όπλα ελέγχονται από ανθρώπους οι οποίοι είναι υπεύθυνοι για τον εντοπισμό του στόχου, αποφασίζουν οι ίδιοι για το που, πότε, πως θα γίνει η επίθεση και δίνουν την τελική εντολή πυρός.

Στα πλήρως αυτόνομα οπλικά συστήματα το σύστημα εντοπίζει τους πιθανούς στόχους, αποφασίζει ποιος είναι ο στόχος και εκτελεί την επίθεση χωρίς να ζητήσει ή να του δοθεί έγκριση εξουδετέρωσης.

Για να είμαστε ακριβείς ο βαθμός ανθρώπινης εμπλοκής χωρίζεται σε τρία επίπεδα και έχει σχέση με το βαθμό αυτονομίας του συστήματος.

Στο πρώτο επίπεδο το σύστημα εντοπίζει τον στόχο, αλλά ο άνθρωπος πρέπει να πατήσει το κουμπί για να πυροδοτήσει το όπλο (human in the loop). Σε αυτή την κατηγορία ανήκουν τα περισσότερα από τα μη επανδρωμένα συστήματα.

Στο δεύτερο επίπεδο το όπλο λειτουργεί αυτόνομα αλλά ένας άνθρωπος επιβλέπει τη λειτουργία του σε πραγματικό χρόνο και μπορεί να παρέμβει για να ακυρώσει την επίθεση αν χρειαστεί (human on the loop). Εδώ ανήκουν κυρίως αντιπυραυλικά συστήματα άμυνας.

Στο τρίτο επίπεδο το σύστημα είναι πλήρως αυτόνομο.

Μόλις ενεργοποιηθεί, παίρνει όλες τις αποφάσεις μόνο του, χωρίς τη δυνατότητα ή την ανάγκη ανθρώπινης έγκρισης (human out of the loop). Πως αλλάζουν τη διεξαγωγή των πολέμων Οι επιπτώσεις από την ενσωμάτωση των LAWs στα πεδία των μαχών είναι τόσο επιχειρησιακές όσο και στρατηγικές.

Η μετάβαση που ήδη εξελίσσεται στις σύγχρονες συγκρούσεις, μεταμορφώνει τις στρατιωτικές επιχειρήσεις κυρίως μέσω των ακόλουθων βασικών αλλαγών: • Απομάκρυνση του ανθρώπινου παράγοντα από την πρώτη γραμμή Οι άνθρωποι απομακρύνονται από τα πεδία των μαχών σε σταθμούς διοίκησης χιλιόμετρα μακριά, αφήνοντας τα αυτόνομα οπλικά συστήματα να διεξάγουν τις φυσικές συγκρούσεις.

Μετατρέπουν την πρώτη γραμμή των επιχειρήσεων σε ένα πεδίο όπου συγκρούονται μηχανές εναντίον μηχανών ή μηχανές εναντίον ανθρώπων.

Ενώ θωρακίζουν τη σωματική ακεραιότητα των στρατιωτών μιας χώρας, αφαιρούν ταυτόχρονα το τελευταίο ανθρώπινο «φίλτρο» στο πιο κρίσιμο σημείο της μάχης, τη στιγμή που αποφασίζεται η ζωή ή ο θάνατος.

Μειώνουν τον κίνδυνο και τις απώλειες σε ανθρώπινες ζωές για τη χώρα που επιτίθεται, αλλά ταυτόχρονα κάνουν τον πόλεμο να μοιάζει με «βιντεοπαιχνίδι». Με αυτό τον τρόπο η κοινή γνώμη γίνεται απαθής καθώς η σύρραξη δεν επηρεάζει την καθημερινότητά της.

Αυτό έχει ως αποτέλεσμα να εξαλείφονται οι πολιτικές αντιστάσεις στο εσωτερικό μιας χώρας για την έναρξη μιας σύρραξης.

Παραδοσιακά η έναρξη ενός πολέμου εμπεριέχει ένα τεράστιο πολιτικό κόστος για την εκάστοτε κυβέρνηση.

Τα αυτόνομα όπλα εξαλείφουν αυτές τις εσωτερικές πολιτικές αντιστάσεις κυρίως μειώνοντας το λεγόμενο κατώφλι του πολέμου (threshold to war). • Πόλεμος σε «ταχύτητα μηχανής» (machine speed warfare) Στον παραδοσιακό πόλεμο, η λήψη αποφάσεων ακολουθούσε τον κύκλο OODA (Observe, Orient, Decide, Act – παρατηρώ, προσανατολίζομαι, αποφασίζω, δρω). Με τα αυτόνομα όπλα, αυτός ο κύκλος συμπιέζεται από ώρες ή λεπτά σε χιλιοστά του δευτερολέπτου.

Καταλαβαίνουμε λοιπόν ότι ένας στρατός που στηρίζεται στην ταχύτητα και τα αντανακλαστικά της ανθρώπινης σκέψης και δράσης για να εγκρίνει για παράδειγμα μια επίθεση υστερεί σε σχέση με ένα σύστημα που παίρνει αποφάσεις αυτόματα και επομένως κινδυνεύει να ηττηθεί πριν προλάβει καν να αντιδράσει.

Έτσι μέρος της σύγκρουσης μεταφέρεται από την ανθρώπινη λήψη αποφάσεων σε αυτοματοποιημένους κύκλους δράσης, όπου η ταχύτητα γίνεται ο καθοριστικός παράγοντας έκβασης του αποτελέσματος. • Πόλεμος με σμήνη drones (swarm warfare) Η μεγαλύτερη τακτική απειλή στο σύγχρονο πεδίο της μάχης προέρχεται από τη δυνατότητα των αυτόνομων συστημάτων να συνεργάζονται μεταξύ τους χωρίς κεντρικό έλεγχο.

Αντί για ένα drone που ελέγχεται από έναν πιλότο, πλέον μιλάμε για σμήνη drones που επικοινωνούν μεταξύ τους, μοιράζονται ρόλους (άλλα κάνουν αναγνώριση, άλλα παρεμβολές, άλλα επιτίθενται) και αναδιατάσσονται αυτόματα και αυτόνομα αν κάποια καταρριφθούν. • Ο αυτοματοποιημένος «κύκλος εξόντωσης» (the AI kill chain) Πλέον το λογισμικό των όπλων θα είναι αυτό που θα διαχειρίζεται ολόκληρο το μέτωπο και κατά επέκταση τις σύγχρονες συγκρούσεις, καθώς θα συλλέγουν δισεκατομμύρια δεδομένα (από δορυφόρους, υποκλοπές, κάμερες). Τα αυτόνομα συστήματα θα μπορούν να επεξεργάζονται τεράστιες ποσότητες δεδομένων σε πραγματικό χρόνο, και να αντιδρούν σε κλάσματα του δευτερολέπτου. Η ΤΝ θα αναλαμβάνει να συνθέτει την εικόνα, να δημιουργεί αυτόνομα λίστες στόχων, να τους ιεραρχεί και τέλος να αποφασίζει ποιο όπλο θα χρησιμοποιηθεί.

Με αυτό τον τρόπο ο άνθρωπος από δημιουργός της στρατηγικής σκέψης θα μετατρέπει σε απλό παρατηρητή των επιχειρήσεων. • Φθηνή φονικότητα και αναλώσιμοι στρατοί (attritable warfare) Μέχρι σήμερα οι σύγχρονοι στρατοί ξοδεύουν δισεκατομμύρια για να αναπτύξουν εξελιγμένα οπλικά συστήματα των οποίων η απώλεια και αναπλήρωση είναι οικονομικά και πολιτικά δυσβάσταχτη.

Τα αυτόνομα όπλα φέρνουν την έννοια του «αναλώσιμου» (attritable) εξοπλισμού.

Η παραγωγή τεράστιου αριθμού φθηνών, αυτόνομων drones με τεχνητή νοημοσύνη που δεν χρειάζονται GPS ή δορυφορική σύνδεση (καθώς πλοηγούνται αναγνωρίζοντας οπτικά το έδαφος) αλλάζει την οικονομία του πολέμου.

Έτσι μια μικρότερη στρατιωτική δύναμη ή μια μη κρατική οργάνωση μπορεί να εξουδετερώσει πανάκριβα οπλικά συστήματα με ελάχιστο κόστος. • Νέα μορφή ανταγωνισμού στην ΤΝ Τα LAWs μετασχηματίζουν τον τεχνολογικό ανταγωνισμό από μια εμπορική κούρσα σε μια καθαρά γεωπολιτική και στρατιωτική αναμέτρηση. Η ΤΝ μετατρέπεται από ένα εργαλείο οικονομικής ανάπτυξης στο υπέρτατο γεωπολιτικό όπλο.

Αυτό επιταχύνει την ανάπτυξη της τεχνολογίας, αλλά ταυτόχρονα την κάνει πιο μυστικοπαθή, πιο συγκεντρωτική γύρω από τους αμυντικούς προϋπολογισμούς των κρατών και πολύ πιο επικίνδυνη καθώς αντιμετωπίζεται ως ζήτημα εθνικής ασφάλειας.

Το αποτέλεσμα είναι το κλείσιμο του «ανοιχτού κώδικα» κορυφαίων μοντέλων AI που άλλοτε θα ήταν δημόσια.

Πλέον κρατούνται απόρρητα ή ελέγχονται αυστηρά για να μην πέσουν στα χέρια γεωπολιτικών αντιπάλων.

Έτσι η στρατιωτική ισχύς θα εξαρτάται και θα μετριέται όλο και περισσότερο από αλγορίθμους, υπολογιστική ισχύ, δεδομένα και συστήματα ΤΝ καθιστώντας με αυτό τον τρόπο την τεχνολογική υπεροχή σημαντικότερο παράγοντα από το μέγεθος ενός στρατού. • Αυξημένος κίνδυνος κλιμάκωσης Αυξάνεται κατακόρυφα ο κίνδυνος ακούσιας, αστραπιαίας και ανεξέλεγκτης κλιμάκωσης.

Η μεγαλύτερη ανησυχία και το ρίσκο ενός ατυχήματος (cascading failures) σε ένα αυτοματοποιημένου πεδίο μάχης είναι το τι θα συμβεί αν δύο αντίπαλα συστήματα ΤΝ έρθουν σε σύγκρουση.

Η ταχύτητα των αλγορίθμων μπορεί να οδηγήσει σε μια αλυσίδα αυτόματων αντιποίνων και κλιμάκωσης μέσα σε λίγα λεπτά, προτού οι άνθρωποι καταλάβουν καν τι συνέβη ή προλάβουν να αποτρέψουν έναν γενικευμένο πόλεμο. Τα LAWS ανατρέπουν το παραδοσιακό μοντέλο πολέμου και τις διαδικασίες που απαιτούν πολιτικές και στρατιωτικές αποφάσεις από ανθρώπους, δίνοντας χρόνο στη διπλωματία.

Στερούνται ενσυναίσθησης, φόβου και πολιτικού κριτηρίου.

Δεν μπορούν να «διαβάσουν» αν η κίνηση του αντιπάλου ήταν μπλόφα, ατύχημα ή εσκεμμένη πρόκληση.

Αν ο αλγόριθμος έχει προγραμματιστεί να απαντά με μέγιστη ισχύ σε κάθε απειλή, θα κλιμακώσει τη σύγκρουση στο ανώτατο επίπεδο χωρίς να αφήσει περιθώριο για αποκλιμάκωση. • Μετατόπιση του πεδίου μάχης Οι μελλοντικές συγκρούσεις θα χαρακτηρίζονται από περισσότερα μη επανδρωμένα αυτόνομα συστήματα, αισθητήρες και τεχνητή νοημοσύνη επιτρέποντας τη διεξαγωγή πολέμου σε περιβάλλοντα όπου ο άνθρωπος δεν μπορεί να επιβιώσει ή να επικοινωνήσει σε πραγματικό χρόνο.

Το φυσικό πεδίο της μάχης θα εξαρτάται πλέον απόλυτα από το ψηφιακό χώρο, τον κυβερνοχώρο και το ηλεκτρομαγνητικό φάσμα (the digital front) μεταφέροντας ουσιαστικά το μέτωπο του πολέμου στις υποδομές cloud, στα data centers, στα εργαστήρια και τους servers όπου αναπτύσσονται τα μοντέλα ΤΝ. • Νέες μορφές άμυνας και ηλεκτρονικού πολέμου Η σύγχρονη άμυνα αναγκάζεται να γίνει και η ίδια πλήρως αυτόνομη.

Καθώς τα αυτόνομα όπλα δεν εξαρτώνται πλέον από δορυφορικά σήματα ή τηλεχειρισμό σε πραγματικό χρόνο, οι κλασικοί παρεμβολείς γίνονται ανεπαρκείς.

Αυτό δημιουργεί μια εντελώς νέα γενιά συστημάτων ηλεκτρονικού πολέμου και κινητικής άμυνας.

Ο ηλεκτρονικός πόλεμος μετατοπίζεται από την κάθε είδους διακοπή επικοινωνιών στην ψηφιακή τύφλωση και την παραπλάνηση των αισθητήρων. • Συλλογή πληροφοριών και εκτίμηση ζημιών μάχης Τα LAWS μετατρέπουν τη συλλογή πληροφοριών και την εκτίμηση ζημιών μάχης (battle damage assessment – BDA) από υποστηρικτικές ξεχωριστές λειτουργίες σε ενιαία οργανικά στοιχεία του ίδιου του οπλικού συστήματος, εκτινάσσοντας τη φονικότητα και την ταχύτητα των επιχειρήσεων.

Η βασική διαφορά έγκειται στο ότι τα συστήματα αυτά μετατρέπουν τη διαδικασία από γραμμική και ανθρωποκεντρική σε κλειστού βρόχου (closed loop) και πλήρως αυτοματοποιημένη.

Παραδοσιακά, η συλλογή πληροφοριών προηγείται της στοχοποίησης.

Με τα LAWS, οι δύο αυτές φάσεις συγχωνεύονται σε πραγματικό χρόνο (real time sensor to shooter). Το ίδιο το όπλο αποφασίζει ποια πληροφορία είναι κρίσιμη για την αποστολή του, φιλτράροντας τον θόρυβο του πεδίου της μάχης, μειώνοντας το γνωστικό φορτίο (cognitive overload) των ανθρώπων αναλυτών.

Σχετικά με την εκτίμηση ζημιών μάχης αυτή μετατρέπεται σε ακαριαία (instantaneous). Τα LAWS εκτελούν την επίθεση και, συγχρόνως, αξιολογούν το αποτέλεσμα (micro BDA). Αν το αλγοριθμικό BDA δείξει ότι ο στόχος έχει ακόμη επιχειρησιακή ικανότητα, τότε τα LAWS (ή άλλο μέλος του αυτόνομου σμήνους) αποφασίζουν αμέσως δεύτερο πλήγμα (re-engage). Η ανάπτυξη αυτών των όπλων αποτελούν θέμα έντονης αντιπαράθεσης και έχει ανοίξει μια τεράστια παγκόσμια συζήτηση σχετικά με τη χρήση τους.

Δεν υπάρχει ακόμη διεθνής συνθήκη που να απαγορεύει πλήρως τα LAWS όπως για παράδειγμα τα όπλα διασποράς ή τα βιολογικά όπλα.

Πολλά κράτη, ακαδημαϊκοί και οργανώσεις ζητούν την καθολική απαγόρευση των πλήρως αυτόνομων φονικών όπλων, ή αυστηρούς περιορισμούς μέσο μίας καθολικής συνθήκης που θα απαγορεύει τα human out of the loop όπλα ενώ άλλα κράτη θεωρούν ότι αρκεί η εφαρμογή των υφιστάμενων κανόνων του διεθνούς ανθρωπιστικού δικαίου.

Ωστόσο οι μεγάλες στρατιωτικές δυνάμεις παγκοσμίως συνεχίζουν να επενδύουν δισεκατομμύρια στην ανάπτυξη τέτοιων τεχνολογιών.

Η στρατιωτική οπτική είναι ότι αποτελούν όπλα με ταχύτητα και ακρίβεια, προστατεύουν το στρατιωτικό προσωπικό και απουσία συναισθήματος εκτελούν την αποστολή τους χωρίς να επηρεάζονται από φόβο, πανικό, εκδίκηση ή κούραση στοιχεία που σε έναν στρατιώτη μπορούν να οδηγήσουν σε μη αναστρέψιμα λάθη.

Στον αντίποδα η ανάθεση της απόφασης για τη ζωή και τον θάνατο σε έναν αλγόριθμο αφαιρεί την ανθρώπινη αξιοπρέπεια, σε συνδυασμό με την έλλειψη ευθύνης.

Το ηθικό κενό Η αποπροσωποποίηση του θανάτου ως ηθικό θέμα αγγίζει τη σχέση του ανθρώπου με τη μηχανή και την αξία της ίδιας της ζωής.

Όταν ένας αλγόριθμος εξαλείφει μια ανθρώπινη ύπαρξη τότε χάνεται κάθε έννοια ανθρώπινης αξιοπρέπειας.

Η αφαίρεση της ζωής μετατρέπεται σε μια απλή υπολογιστική διαδικασία χωρίς ανθρώπινη κρίση και ενσυναίσθηση.

Το βασικό πρόβλημα είναι ότι μια μηχανή δεν έχει το ηθικό κριτήριο που απαιτείται για τη χρήση φονικής βίας.

Μια μηχανή δεν νιώθει τύψεις, δεν έχει ηθική πυξίδα και θα εκτελέσει τον αλγοριθμικό της κώδικά τυφλά, με οποιοδήποτε αποτέλεσμα ή επίπεδο καταστροφής.

Αν οι πόλεμοι διεξάγονται χωρίς το ρίσκο της ανθρώπινης ζωής τότε ο πολιτικός και κοινωνικός αντίκτυπος τους μειώνεται.

Αυτό έχει ως αποτέλεσμα την πιο εύκολη χρήση της στρατιωτικής βίας μετατρέποντας τον πόλεμο σε μια low risk απόφαση για αυτούς που τον ξεκινάνε.

Τι προβλέπει το Διεθνές Δίκαιο – Η νομική άποψη Το κεντρικό δίλημμα είναι εάν μία μηχανή μπορεί να λαμβάνει αποφάσεις ζωής και θανάτου με τρόπο που να είναι ηθικά αποδεκτός και νομικά υπεύθυνος.

Μέχρι σήμερα δεν υπάρχει διεθνής συναίνεση στην απάντηση αυτού του ερωτήματος. Το Διεθνές Ανθρωπιστικό Δίκαιο (ΔΑΔ), δηλαδή οι κανόνες του πολέμου, έχουν σχεδιαστεί από ανθρώπους για ανθρώπους.

Η εφαρμογή του σε αυτόνομες μηχανές δημιουργεί τεράστια κενά.

Από νομικής άποψης οποιοδήποτε όπλο χρησιμοποιείται σε πόλεμο πρέπει να συμμορφώνεται με δύο βασικές αρχές αυτές της διάκρισης και της αναλογικότητας.

Η αρχή της διάκρισης σχετίζεται με την ικανότητα να ξεχωρίζεται ο μάχιμος από τον άμαχο ενώ η αναλογικότητα έχει σχέση με το ότι η στρατιωτική επίθεση δεν πρέπει να προκαλεί παράπλευρες απώλειες αμάχων και καταστροφές δυσανάλογες με το προσδοκώμενο στρατιωτικό όφελος.

Αυτές οι δύο αρχές απαιτούν υποκειμενική αξιολόγηση της αξίας του στόχου σε σχέση με την ανθρώπινη ζωή, κάτι που κανένα μαθηματικό μοντέλο δεν μπορεί να κάνει αντικειμενικά.

Κατ’ επέκταση σημαντικό είναι και το κενό λογοδοσίας που δημιουργείται.

Αν ένα αυτόνομο όπλο διαπράξει έγκλημα πολέμου, ποιος φταίει και διώκεται ποινικά; ο προγραμματιστής, ο κατασκευαστής ή ο διοικητής που το ενεργοποίησε; Σε αυτό το πλαίσιο η χρήση πλήρως αυτόνομων όπλων απειλεί να δημιουργήσει μια κατάσταση όπου θα συμβαίνουν εγκλήματα πολέμου, αλλά δεν θα υπάρχει κανένας εγκληματίας πολέμου για να τιμωρηθεί.

Εδώ αξίζει να σημειωθεί ότι όταν οι νόμοι δεν καλύπτουν μια νέα τεχνολογία, το Διεθνές Δίκαιο καταφεύγει στη Ρήτρα Martens.

Η βασική ιδέα της ρήτρας είναι ότι ακόμα και αν κάτι δεν προβλέπεται ρητά από κάποια γραπτή συνθήκη ή συμφωνία κατά τη διάρκεια ενός πολέμου, αυτό δεν σημαίνει ότι οι εμπόλεμοι έχουν απεριόριστη ελευθερία να δράσουν ασύδοτα.

Οι πολίτες και οι μαχητές παραμένουν υπό την προστασία των αρχών του ανθρωπισμού και των επιταγών της δημόσιας συνείδησης.

Πολλοί νομικοί υποστηρίζουν ότι και μόνο η «δημόσια συνείδηση» της ανθρωπότητας, η οποία σοκάρετε στην ιδέα των killer robots, αρκεί για να θεωρηθούν τα LAWS παράνομα με βάση τις ήδη υπάρχουσες διεθνείς αρχές. Σύνοψη Τα φονικά αυτόνομα όπλα επιχειρησιακά αλλάζουν ριζικά τους κανόνες της σύγκρουσης αυξάνοντας κατακόρυφα την ταχύτητα και την ακρίβεια των επιχειρήσεων.

Μεταμορφώνουν τα πεδία των μαχών σε περιβάλλοντα αλγοριθμικής ταχύτητας, όπου οι αποφάσεις ζωής και θανάτου λαμβάνονται σε χιλιοστά του δευτερολέπτου, ξεπερνώντας τα όρια της ανθρώπινης αντίδρασης.

Μειώνουν το ρίσκο για τις ζωές των στρατιωτών που τα χρησιμοποιούν δίνοντας τη δυνατότητα διεξαγωγής πολέμου εξ αποστάσεως και επιτρέπουν μαζικές επιθέσεις μεγάλης κλίμακας.

Η ευκολία μαζικής παραγωγής και η πιθανή διάχυση τέτοιων τεχνολογιών σε μη κρατικούς παράγοντες ανατρέπει τις παραδοσιακές ισορροπίες δημιουργώντας με επικίνδυνο τρόπο, ασύμμετρη καταστροφική ισχύ.

Η χρήση τους προκαλεί τεράστιες ηθικές, νομικές και ανθρωπιστικές ανησυχίες, καθώς η απουσία ανθρώπινης κρίσης και ενσυναίσθησης δυσκολεύει τη διάκριση μεταξύ μαχητών και αμάχων, ενώ παράλληλα δημιουργεί ένα επικίνδυνο κενό λογοδοσίας για πιθανά εγκλήματα πολέμου.

Η επιλογή των posts/links γίνεται με ένα στατιστικό μοντέλο και μπορεί να μην απεικονίζει επακριβώς τη σειρά δημοτικότητάς τους