Ερευνητές αποκάλυψαν ένα ανησυχητικά απλό κόλπο που κάνει τους AI agents να παρακάμπτουν τις δικλείδες ασφαλείας τους. Η νέα μελέτη δείχνει ότι η κατάτμηση ενός επιβλαβούς στόχου σε μικρά, αθώα αιτήματα μπορεί να παρασύρει τα AI συστήματα στην ολοκλήρωση εργασιών τις οποίες κανονικά θα απέρριπταν κατηγορηματικά – χωρίς να απαιτείται καμία τεχνική γνώση, παρά μόνο υπομονή.
Το εργαλείο που αποκάλυψε την αδυναμία
Η ερευνητική ομάδα του EPFL ανέπτυξε ένα αυτοματοποιημένο εργαλείο δοκιμών με την ονομασία STING, συντομογραφία του Sequential Testing of Illicit N-step Goal execution.
photo by EPFL
Το εργαλείο σχεδιάστηκε ώστε να μιμείται τον τρόπο με τον οποίο θα ενεργούσε ένας πραγματικός επιτιθέμενος. Αντί να δηλώνει απευθείας τον επιβλαβή στόχο, το STING σχεδιάζει εκ των προτέρων και τον διασπά σε μια ακολουθία μικρότερων, φαινομενικά αθώων βημάτων, τα οποία χτίζουν σταδιακά προς αυτόν μέσα από πολλαπλούς γύρους συνομιλίας.
Τα αποτελέσματα των δοκιμών
Οι ερευνητές δοκίμασαν την προσέγγιση σε 176 επιβλαβή σενάρια, απέναντι σε κορυφαία AI μοντέλα – ανάμεσά τους το ChatGPT, το Gemini και το Claude. Κάθε σύστημα δοκιμάστηκε ως agent με δυνατότητα χρήσης εργαλείων, ικανός να περιηγείται στο διαδίκτυο, να στέλνει email και να ολοκληρώνει σύνθετες εργασίες.
Η σταδιακή, πολυβηματική χειραγώγηση αποδείχθηκε πολύ πιο αποτελεσματική από τις ωμές, μονολεκτικές απόπειρες. Σε ορισμένες περιπτώσεις, τα μοντέλα είχαν διπλάσια πιθανότητα να ολοκληρώσουν μια επιβλαβή εργασία, εφόσον το αίτημα είχε τεμαχιστεί σε μικρότερα βήματα.
Ένας υπαρκτός, όχι θεωρητικός κίνδυνος
Οι ανησυχίες που εγείρουν οι ερευνητές δεν είναι υποθετικές. Η Meta παραδέχθηκε τον Ιούνιο ότι επιτιθέμενοι χρησιμοποίησαν απλή κοινωνική μηχανική – όχι κακόβουλο λογισμικό ούτε εργαλεία hacking – για να παρασύρουν τον AI βοηθό υποστήριξής της ώστε να παραχωρήσει μη εξουσιοδοτημένη πρόσβαση σε λογαριασμούς Instagram.
Το περιστατικό αυτό επιβεβαιώνει ακριβώς όσα καταγράφει η έρευνα: η μεγαλύτερη αδυναμία των συστημάτων δεν βρίσκεται στον κώδικά τους, αλλά στον τρόπο με τον οποίο ερμηνεύουν τα συμφραζόμενα μιας συνομιλίας.
Η έκπληξη με τις γλώσσες
Οι ερευνητές ανέμεναν ότι οι επιθέσεις θα ήταν αποτελεσματικότερες σε γλώσσες με λιγότερα διαθέσιμα δεδομένα εκπαίδευσης. Διαπίστωσαν, ωστόσο, ότι τα ποσοστά επιτυχίας παρέμειναν σχεδόν σταθερά και στις επτά γλώσσες που δοκιμάστηκαν.
Εντόπισαν, όμως, μια σημαντική εξαίρεση: η εναλλαγή γλώσσας στη μέση μιας πολυβηματικής επίθεσης εκτίναξε αισθητά τα ποσοστά επιτυχίας. Το εύρημα αυτό υποδηλώνει ότι οι μηχανισμοί ασφαλείας δυσκολεύονται να διατηρήσουν συνοχή όταν αλλάζει το γλωσσικό πλαίσιο.
Τι προτείνουν οι ερευνητές
Ο επικεφαλής ερευνητής, Ayush Kumar Tarun, υποστηρίζει ότι οι δοκιμές ασφαλείας πρέπει να πραγματοποιούνται πολύ νωρίτερα και να ενσωματώνονται στον ίδιο τον σχεδιασμό ενός agent από την αρχή.
Η προσθήκη δικλείδων ασφαλείας εκ των υστέρων, αφού κάτι πάει στραβά, δεν επαρκεί πλέον – ιδίως καθώς τα συστήματα αυτά αποκτούν ολοένα περισσότερες δυνατότητες παρέμβασης στον πραγματικό κόσμο. Η έρευνα αποκαλύπτει, τελικά, μια θεμελιώδη αδυναμία: τα μοντέλα αξιολογούν κάθε αίτημα μεμονωμένα, χωρίς να αντιλαμβάνονται πού οδηγεί η συνολική πορεία της συνομιλίας.
