Αυτό το άρθρο δημοσιεύεται σε συνεργασία μεBinary, le blog για την κατανόηση ψηφιακών ζητημάτων.
Ένα σύστημα τεχνητής νοημοσύνης πρέπει πάντα να εποπτεύεται από έναν άνθρωπο, αλλά αυτό το άτομο πρέπει επίσης να μπορεί να διακρίνει πότε κατανοεί τι προσφέρει το μηχάνημα και πότε μπορεί να επηρεαστεί.
Τα σύγχρονα πλαίσια διακυβέρνησης τεχνητής νοημοσύνης (AI) βασίζονται σε μια υπόθεση που σπάνια γίνεται σαφής: όταν ένας ανθρώπινος χειριστής λαμβάνει την έξοδο ενός συστήματος τεχνητής νοημοσύνης, πρέπει να είναι σε θέση να το αξιολογήσει με ουσιαστικό τρόπο. Οι διατάξεις του Ευρωπαϊκού νόμου για την τεχνητή νοημοσύνη σχετικά με συστήματα υψηλού κινδύνου απαιτούν διαφάνεια, επεξήγηση και ανθρώπινη επίβλεψη.
Ρητά στοχοθετημένα είναι τα συστήματα που χρησιμοποιούνται για την πρόσληψη και αξιολόγηση εργαζομένων, την πρόσβαση σε κοινωνικά επιδόματα, τις αποφάσεις πίστωσης, τον έλεγχο των συνόρων, την απονομή δικαιοσύνης και την κρίσιμη υγειονομική περίθαλψη.
Το σχέδιο δράσης για την τεχνητή νοημοσύνη των ΗΠΑ απαιτεί τη διατήρηση ουσιαστικού ανθρώπινου ελέγχου σε αποφάσεις τεχνητής νοημοσύνης υψηλών συνεπειών. Οι αρχές του ΟΟΣΑ για την τεχνητή νοημοσύνη τοποθετούν την ανθρωποκεντρικότητα στο επίκεντρο των δεσμεύσεών του.
Αυτές οι δεσμεύσεις είναι απαραίτητες αλλά ανεπαρκείς. Εστιάζουν στο τι πρέπει να παρέχουν τα συστήματα τεχνητής νοημοσύνης στους ανθρώπινους χειριστές και αφήνουν εντελώς αναπάντητο το ερώτημα του τι πρέπει να είναι σε θέση να κάνουν οι τελευταίοι για να ενεργήσουν σε ό,τι λαμβάνουν. Αυτό το κενό δεν είναι τυχαίο. Αυτό είναι ένα δομικό τυφλό σημείο στην τρέχουσα αρχιτεκτονική διακυβέρνησης AI.
Το σιωπηρό μοντέλο του ανθρώπινου επόπτη στα περισσότερα κανονιστικά κείμενα είναι αυτό ενός ικανού και προσεκτικού επαγγελματία που, αντιμέτωπος με ακριβή και ευανάγνωστα αποτελέσματα, κάνει τεκμηριωμένες κρίσεις. Αυτή είναι μια εύλογη υπόθεση σε σταθερά, καλά ελεγχόμενα περιβάλλοντα χαμηλών πονταρισμάτων, αλλά μια εύθραυστη υπόθεση σε περιβάλλοντα υψηλού πονταρίσματος, υπό πίεση χρόνου και τεχνικά αδιαφανή – ακριβώς στα πλαίσια στα οποία αναπτύσσονται όλο και περισσότερο τα συστήματα τεχνητής νοημοσύνης.
Για παράδειγμα, η νοσοκόμα έκτακτης ανάγκης που είναι υπεύθυνη για τη διαλογή έκτακτης ανάγκης που λαμβάνει μια βαθμολογία διαλογής που παράγεται από ένα σύστημα τεχνητής νοημοσύνης δεν έχει συστηματικά τις εξηγήσεις που την προκάλεσαν. Ο τραπεζικός σύμβουλος που πρέπει να αποφασίσει σε λίγα λεπτά εάν θα αποκλείσει έναν λογαριασμό βάσει μιας αυτοματοποιημένης ειδοποίησης απάτης, δυνητικά συνεργάζεται με ένα ιδιόκτητο μοντέλο που δεν μπορεί να ρωτήσει. Ο διοικητικός πράκτορας που επικυρώνει την κατανομή της κοινωνικής κατοικίας ή μιας υπηρεσίας με αλγοριθμική προτεραιότητα γενικά δεν μπορεί να εξηγήσει γιατί ένα αρχείο ταξινομήθηκε πριν από ένα άλλο. Ο δάσκαλος που προσυπογράφει μια βαθμολογία αυτοματοποιημένης εξέτασης δεν έχει πρόσβαση στα κριτήρια που παρήγαγαν τη βαθμολογία. Σε κάθε μία από αυτές τις περιπτώσεις, η ανθρώπινη επίβλεψη είναι τυπικά παρούσα – και ουσιαστικά αδύνατη.
Μεταγνωστικά ενημερωμένοι χειριστές
Η μεταγνώση – η ικανότητα παρακολούθησης και ρύθμισης των δικών του γνωστικών διαδικασιών – είναι το ψυχολογικό υπόστρωμα της αποτελεσματικής εποπτείας. Ένας μεταγνωστικά συνειδητοποιημένος χειριστής γνωρίζει πότε καταλαβαίνει κάτι, πότε εικάζεται και πότε η κρίση του διαμορφώνεται από παράγοντες που δεν έχει καταγράψει συνειδητά. Αυτή η ικανότητα δεν μπορεί να θεωρηθεί. ποικίλλει σημαντικά ανάλογα με τα άτομα, την προπόνηση και τις πιέσεις της κατάστασης.
Η έρευνα στην αλληλεπίδραση ανθρώπου-αυτοματισμού έχει τεκμηριώσει ένα σύνολο τρόπων αποτυχίας που εμφανίζονται ειδικά όταν οι άνθρωποι επιβλέπουν αυτοματοποιημένα συστήματα ή συστήματα που λειτουργούν με τεχνητή νοημοσύνη. Η μεροληψία του αυτοματισμού – η τάση για υπερβολικό βάρος των συστάσεων που δημιουργούνται από τη μηχανή πάνω από τη δική του κρίση – είναι ένα από τα πιο ισχυρά ευρήματα στον τομέα. Σε μια συχνά αναφερόμενη μελέτη, οι ερευνητές Parasuraman και Riley έδειξαν το 1997 ότι οι άνθρωποι κάνουν συστηματικά κατάχρηση (δηλαδή κακή χρήση ή χρήση ακατάλληλα ή ακατάλληλα) τον αυτοματισμό, εφαρμόζοντάς τον όπου είναι αναξιόπιστος και τον παραμελούν όπου θα ήταν μάλλον ωφέλιμο – δύο τύποι σφαλμάτων που αντικατοπτρίζουν εμένα παραβίαση παρά λάθος πληροφορίες. Για παράδειγμα, σε πειράματα προσομοιωτή πτήσης που αναφέρουν αυτοί οι συγγραφείς, πιλότοι εξοπλισμένοι με αυτόματο σύστημα προειδοποίησης έκλεισαν έναν κινητήρα ως απάντηση σε ψευδή συναγερμό – μια απόφαση που οι ίδιοι είχαν δηλώσει, πριν από το πείραμα, ότι δεν θα έπαιρναν ποτέ με αποκλειστική βάση μια αυτοματοποιημένη ειδοποίηση.
Η πρόκληση επιδεινώνεται από τα μοναδικά χαρακτηριστικά των σύγχρονων συστημάτων AI. Η εργασία του Kahneman σχετικά με τη γνώση διπλής διαδικασίας – επίσης γνωστή ως System 1/System 2, οι δύο ταχύτητες σκέψης – ρίχνει φως σε αυτόν τον μηχανισμό. Αντιμέτωπο με ένα σύστημα τεχνητής νοημοσύνης που παράγει αποτελέσματα με ρευστότητα και σιγουριά, το ανθρώπινο μυαλό τείνει να ενεργοποιεί γρήγορη και διαισθητική επεξεργασία (αυτή που κινητοποιούμε για οικεία και χαμηλού κινδύνου εργασίες), αντί να διεξάγει μια βαθιά ανάλυση της κατάστασης, μεγαλύτερη, πιο στοχαστική, πιο λογική και επομένως πιο απαιτητική γνωστικά.
Πιο συγκεκριμένα, μια εξήγηση που φαίνεται εύλογη πυροδοτεί διαφορετικές γνωστικές απαντήσεις από μια εξήγηση που πραγματικά είναι. Όταν οι εξηγήσεις των συστημάτων τεχνητής νοημοσύνης είναι συνθετικά ρευστές, αριθμητικά ακριβείς και οπτικά μορφοποιημένες ως έγκυρα αποτελέσματα, αφαιρούν ακριβώς τον σκεπτικισμό που απαιτεί η ουσιαστική επίβλεψη.
Ίσως αντίθετα, η παροχή περισσότερων εξηγήσεων δεν βελτιώνει αξιόπιστα την ανθρώπινη κρίση για τα αποτελέσματα της τεχνητής νοημοσύνης. Μια ερευνητική ομάδα, σε μια αυστηρή πειραματική μελέτη, διαπίστωσε ότι οι εξηγήσεις που παρήγαγε η τεχνητή νοημοσύνη δεν βελτίωσαν συστηματικά την απόδοση της ομάδας ανθρώπινης τεχνητής νοημοσύνης και την υποβάθμισαν υπό διάφορες συνθήκες – ιδίως όταν οι εξηγήσεις ήταν τεχνικά ακριβείς αλλά γνωστικά ασυνεπείς με τον τρόπο με τον οποίο οι χειριστές διαμόρφωσαν τις δικές τους κρίσεις.
Πιο συγκεκριμένα, στο έργο της ανάλυσης συναισθήματος, το AI εξήγησε την κρίση του επισημαίνοντας τις λέξεις που είχε προσδιορίσει ως θετικές ή αρνητικές. Ωστόσο, οι ανθρώπινοι συμμετέχοντες αξιολόγησαν τον τόνο ενός κειμένου σε παγκόσμιο επίπεδο, λαμβάνοντας υπόψη το πλαίσιο και τη συνολική συνοχή – μια διαδικασία που δεν μπορεί να αποκατασταθεί η επισήμανση μεμονωμένων λέξεων. Εδώ, η τεχνητή νοημοσύνη και ο άνθρωπος δεν καταλήγουν στην κρίση τους από την ίδια διαδρομή: Η τεχνητή νοημοσύνη προσδιορίζει τοπικά στοιχεία (μια λέξη, μια πρόταση), όπου ο άνθρωπος κατασκευάζει μια ολιστική κρίση (όλο το κείμενο, το πλαίσιο, η εσωτερική συνοχή).
Η επεξήγηση είναι επομένως απαραίτητη αλλά ανεπαρκής προϋπόθεση για αποτελεσματική εποπτεία. Αυτό που μειώνει το χάσμα μεταξύ των δύο είναι η μεταγνωστική ωριμότητα.
Τρεις συνέπειες για τη διακυβέρνηση της τεχνητής νοημοσύνης
Εάν η μεταγνωστική ωριμότητα είναι μια πραγματική και μεταβλητή ιδιότητα των ανθρώπινων χειριστών, τότε τα πλαίσια διακυβέρνησης που επιβάλλουν εξηγησιμότητα χωρίς να αντιμετωπίζουν τη μεταγνώση των τελεστών είναι απλά ελλιπή. Σύμφωνα με την εργασία στην επιστημονική βιβλιογραφία – συμπεριλαμβανομένης αυτής της εξηγήσιμης τεχνητής νοημοσύνης, της αλληλεπίδρασης ανθρώπου-αυτοματισμού, των γνωστικών επιστημών, της ψυχολογίας, των ανθρωπίνων και κοινωνικών επιστημών – μπορούν να δηλωθούν τρεις συνέπειες:
-
Η διαφάνεια που επικεντρώνεται στην τεκμηρίωση είναι ανεπαρκής. Αυτό δεν είναι διαίσθηση: αυτό έχει δείξει η έρευνα εδώ και τριάντα χρόνια. Έτσι, η τεκμηρίωση και η εξήγηση της συμπεριφοράς ενός συστήματος δεν αρκεί για να εγγυηθούν καλές ανθρώπινες αποφάσεις χωρίς να εμπλέκονται άτομα στις διαδικασίες σχεδιασμού αυτών των επεξηγήσεων και αυτής της τεκμηρίωσης και να λαμβάνεται υπόψη το πλαίσιο της επιχειρηματικής ανάγκης τη στιγμή t. Ελεγχόμενες μελέτες έχουν δείξει ακόμη ότι η «υπερβολική εξήγηση» μπορεί να υποβαθμίσει την απόδοση της ομάδας ανθρώπου-τεχνητής νοημοσύνης πνίγοντας τις σχετικές πληροφορίες στον θόρυβο.
-
Τα μεταγνωστικά προσόντα των χειριστών θα πρέπει να θεωρούνται ως στοιχείο της διακυβέρνησης της τεχνητής νοημοσύνης. Πρόκειται για ένα κενό που η έρευνα έχει αρχίσει να κατονομάζει, χωρίς να έχει επισημοποιηθεί ακόμη κάποια αναφορά.
Πιο συγκεκριμένα, κανονιστικά κείμενα όπως ο νόμος περί τεχνητής νοημοσύνης απαιτούν από τους ανθρώπινους επόπτες να είναι «ικανοί», αλλά χωρίς ποτέ να προσδιορίζουν τι σημαίνει αυτό – και συγκεκριμένα, κανένα πλαίσιο δεν αξιολογεί αυτό που οι ερευνητές αποκαλούν μεταγνωστική ικανότητα ή την ικανότητα ανίχνευσης αστοχιών στο δικό του συλλογισμό απέναντι σε ένα αδιαφανές σύστημα, μια δεξιότητα που δεν προέρχεται από την ακατέργαστη εκπαίδευση και το πλαίσιο. Εδώ χρειάζεται μια σημαντική διευκρίνιση. Το να μιλάμε για τα μεταγνωστικά προσόντα των χειριστών δεν ισοδυναμεί με αμφισβήτηση της αξίας ή της ευφυΐας των ανθρώπων που εποπτεύουν τα συστήματα. Δεν είναι επίσης θέμα ταξινόμησης των ανθρώπων σύμφωνα με την ικανότητά τους να «σκέφτονται καλά». Η μεταγνώση δεν είναι ούτε χαρακτηριστικό της προσωπικότητας ούτε δείκτης αξίας. Είναι μια δεξιότητα κατάστασης, ευαίσθητη στο πλαίσιο, την εκπαίδευση, το γνωστικό φορτίο και τις συνθήκες εργασίας. έχουν εξαιρετική μεταγνωστική βαθμονόμηση στον τομέα τους και είναι εξίσου ευάλωτοι στην προκατάληψη αυτοματισμού με έναν αρχάριο που αντιμετωπίζει ένα αδιαφανές σύστημα AI σε ένα πλαίσιο για το οποίο δεν έχει λάβει ειδική εκπαίδευση.
