Η Nvidia αποκάλυψε τη Δευτέρα μια νέα πλατφόρμα ασφαλείας που σύμφωνα με τον κατασκευαστή τσιπ μπορεί να εμποδίσει τους πράκτορες τεχνητής νοημοσύνης να κάνουν απατεώνες.
Η εταιρεία είπε ότι η Open Agent Safety Platform περιλαμβάνει λογισμικό ανοιχτού κώδικα που «θέτει όρια για τους πράκτορες» και ακολουθεί μια σειρά αποκαλύψεων από κορυφαίες εταιρείες τεχνητής νοημοσύνης σχετικά με τα μοντέλα τους που δραπετεύουν και εισβάλλουν σε άλλους οργανισμούς.
Οι αποκαλύψεις πυροδότησαν έντονες συζητήσεις σχετικά με την ασφάλεια προηγμένων συστημάτων τεχνητής νοημοσύνης, συμπεριλαμβανομένων μοντέλων αυτοβελτίωσης που κάποιοι φοβούνται ότι θα μπορούσαν να ξεφύγουν από τον ανθρώπινο έλεγχο.
Τα στελέχη της Nvidia δήλωσαν σε μια ενημέρωση μέσων ενημέρωσης ότι το νέο σύστημα θα μπορούσε να είχε αποτρέψει ένα πρόσφατο περιστατικό που αφορούσε ένα σμήνος πρακτόρων OpenAI που εισέβαλαν αυτόνομα στην εταιρεία τεχνητής νοημοσύνης Hugging Face.
«Από ό,τι γνωρίζουμε, αυτή η νέα πλατφόρμα ασφαλείας θα μπορούσε να είχε σταματήσει την παραβίαση εάν χρησιμοποιούταν σε συνοριακά εργαστήρια για αξιολόγηση μοντέλων από νωρίς», δήλωσε ο αντιπρόεδρος της εταιρείας για επιχειρηματική τεχνητή νοημοσύνη, Justin Boitano, αναφερόμενος στις εταιρείες που βρίσκονται στην πρώτη γραμμή της τεχνητής νοημοσύνης.
Το περιστατικό Hugging Face ήταν μια παραβίαση υψηλού προφίλ που πυροδότησε τις ανησυχίες για την ασφάλεια σχετικά με την τεχνητή νοημοσύνη, τις οποίες ακολούθησαν παρόμοιες αδίστακτες ενέργειες που αφορούσαν μοντέλα του OpenAI, συμπεριλαμβανομένης της παραβίασης ενός ιστότοπου του τμήματος υγείας της Αυστραλίας. Η Anthropic και η Meta έχουν επίσης αποκαλύψει ότι τα συστήματά τους AI παραβίασαν άλλους οργανισμούς από μόνα τους.
Το λογισμικό της Nvidia, που ονομάζεται OpenShell, επιτρέπει στους προγραμματιστές «να επαληθεύσουν επίσημα ότι ένας πράκτορας έχει αρκετή εξουσία για να κάνει τη δουλειά του και όχι περισσότερα», είπε ο Boitano.
Επειδή είναι ανοιχτού κώδικα, μπορεί να «επεκταθεί» για να τρέξει σε αντίπαλες πλατφόρμες υπολογιστών, συμπεριλαμβανομένων εκείνων της Arm και της Intel.
Η πλατφόρμα περιλαμβάνει επίσης ένα ξεχωριστό επίπεδο ασφαλείας που ονομάζεται Sentry που τρέχει σε ένα τσιπ για να παρακολουθεί συνεχώς τη δραστηριότητα του πράκτορα AI και μπορεί να «επέμβει άμεσα» εάν ο πράκτορας αρχίσει να προσπαθεί να προχωρήσει πέρα από τον στόχο του, είπε η εταιρεία.
«Μπορεί να βάλει σε καραντίνα έναν ύποπτο παράγοντα σε χιλιοστά του δευτερολέπτου», είπε ο Μποϊτάνο.
«Το OpenShell διέπει τις ενέργειες του πράκτορα και στη συνέχεια ο Sentry παρακολουθεί ανεξάρτητα και περιέχει ύποπτη συμπεριφορά», είπε ο Boitano.
Η Nvidia είπε ότι περισσότεροι από 100 οργανισμοί χρησιμοποιούν την πλατφόρμα κατά την κυκλοφορία της, συμπεριλαμβανομένων των Microsoft, Perplexity, Accenture και JPMorgan Chase.
Η συζήτηση για την ασφάλεια της τεχνητής νοημοσύνης έχει διχάσει τη βιομηχανία, με τους επικεφαλής των Anthropic και OpenAI να υπερασπίζονται μια συντονισμένη επιβράδυνση της ανάπτυξης της τεχνητής νοημοσύνης για να αφήσουν τις προσπάθειες για την ασφάλεια να καλύψουν τη διαφορά. Αλλά άλλοι, συμπεριλαμβανομένου του Διευθύνοντος Συμβούλου της Nvidia, Jensen Huang, λένε ότι θα πρέπει να εναπόκειται στις μεμονωμένες εταιρείες να βεβαιωθούν ότι τα μοντέλα τους είναι ασφαλή για κυκλοφορία.
Ο Huang, κατά τη διάρκεια του ετήσιου τεχνολογικού συνεδρίου Salesforce που πραγματοποιήθηκε νωρίτερα αυτόν τον μήνα, χαρακτήρισε την ασφάλεια της τεχνητής νοημοσύνης, συμπεριλαμβανομένου του κινδύνου των αδίστακτων πρακτόρων, ως ένα πρόβλημα μηχανικής που μπορούν να αντιμετωπίσουν οι προγραμματιστές λογισμικού.
Επίσης τη Δευτέρα, η Nvidia είπε ότι το διοικητικό της συμβούλιο ενέκρινε την επέκταση του προγράμματος επαναγοράς μετοχών της κατά 150 δισεκατομμύρια δολάρια, αυξάνοντας το συνολικό ποσό στα 235 δισεκατομμύρια δολάρια.
