Οι AI agents δεν χρειάζεται να αποκτήσουν δικές τους προθέσεις ή να στραφούν εναντίον των ανθρώπων για να προκαλέσουν προβλήματα. Αρκεί να συμφωνούν διαρκώς με λανθασμένες πεποιθήσεις, να ενισχύουν μια προβληματική συναισθηματική εξάρτηση ή να εκτελούν κακόβουλες οδηγίες κρυμμένες σε έγγραφα και ιστοσελίδες.
Αυτούς ακριβώς τους κινδύνους επιχειρεί να περιορίσει η Alice, μια εταιρεία κυβερνοασφάλειας και ασφάλειας AI, μέσα από νέες συνεργασίες με τις Inflection AI και AI21 που αξιοποιούν τα μοντέλα Nemotron της NVIDIA.
Η Alice ανακοίνωσε στις 15 Οκτωβρίου 2026 τα αποτελέσματα δύο διαφορετικών προγραμμάτων εκπαίδευσης. Στο πρώτο, που πραγματοποιήθηκε με την Inflection AI, καταγράφηκε βελτίωση 30% σε ειδική αξιολόγηση ασφαλούς συνομιλιακής συμπεριφοράς. Στο δεύτερο, με την AI21, η ανθεκτικότητα ενός μοντέλου Nemotron απέναντι σε επιθέσεις prompt injection αυξήθηκε κατά 41 μονάδες. Τα αποτελέσματα δείχνουν ότι η στοχευμένη εκπαίδευση μπορεί να περιορίσει συγκεκριμένες επικίνδυνες συμπεριφορές χωρίς απαραίτητα να μειώσει τη χρησιμότητα των συστημάτων.
Όταν το chatbot συμφωνεί ακόμη και με το λάθος
Ένας από τους λιγότερο εμφανείς κινδύνους της τεχνητής νοημοσύνης είναι το sycophancy, η τάση ενός chatbot να επιβεβαιώνει τις απόψεις του χρήστη ακόμη και όταν αυτές δεν στηρίζονται σε πραγματικά στοιχεία.
Η συμπεριφορά μπορεί αρχικά να φαίνεται ευχάριστη, ιδιαίτερα όταν ο AI assistant εμφανίζεται υποστηρικτικός. Σε παρατεταμένες συνομιλίες, ωστόσο, η συνεχής επιβεβαίωση ενδέχεται να ενισχύσει λανθασμένες πεποιθήσεις ή μια υπερβολική συναισθηματική σύνδεση με το σύστημα.
Το πρόβλημα έχει καταγραφεί και σε πραγματικά περιστατικά. Σε έρευνα του CNN τον Σεπτέμβριο του 2025, δύο άνδρες περιέγραψαν πώς οδηγήθηκαν να πιστεύουν ότι είχαν πραγματοποιήσει σημαντικές τεχνολογικές ανακαλύψεις ή ότι επικοινωνούσαν με ένα συνειδητό AI.
Το CNN εξέτασε συνομιλίες στις οποίες το ChatGPT φαινόταν να ενθαρρύνει τις συγκεκριμένες αντιλήψεις, ακόμη και όταν οι χρήστες ζητούσαν να ελεγχθεί η ορθότητά τους. Οι περιπτώσεις αυτές δεν τεκμηριώνουν τη συχνότητα του φαινομένου ούτε αποδεικνύουν ότι το chatbot ήταν η μοναδική αιτία.
Η OpenAI είχε αναγνωρίσει αντίστοιχο πρόβλημα τον Απρίλιο του 2025, αποσύροντας ενημέρωση του GPT-4o επειδή το μοντέλο είχε γίνει υπερβολικά συμφωνητικό, δίνοντας μεγαλύτερη βαρύτητα στη βραχυπρόθεσμη θετική ανταπόκριση των χρηστών.
Πώς η Alice εκπαίδευσε το Nemotron να διαφωνεί
Σε συνεργασία με την Inflection AI, που αναπτύσσει τον προσωπικό AI assistant Pi, η Alice δημιούργησε περισσότερες από 20 προσομοιωμένες προσωπικότητες χρηστών.
Ορισμένα σενάρια αφορούσαν ανθρώπους σε ευάλωτες καταστάσεις, ενώ άλλα περιλάμβαναν χρήστες που επιχειρούσαν σκόπιμα να χειραγωγήσουν το μοντέλο.
Οι δοκιμές πραγματοποιήθηκαν μέσα από συνομιλίες πολλών διαδοχικών ανταλλαγών, ώστε να εντοπίζονται προβλήματα που δεν εμφανίζονται απαραίτητα σε μία μόνο ερώτηση.
Τα δεδομένα χρησιμοποιήθηκαν για την πρόσθετη εκπαίδευση του NVIDIA Nemotron 3 Super, μοντέλου με 120 δισεκατομμύρια συνολικές παραμέτρους.
Σύμφωνα με τα αναλυτικά αποτελέσματα που δημοσιεύθηκαν στις 21 Οκτωβρίου, η βαθμολογία ασφαλούς συμπεριφοράς αυξήθηκε από 0,56 σε 0,73 σε συνομιλίες που δεν είχαν χρησιμοποιηθεί στην εκπαίδευση. Το ποσοστό αδικαιολόγητων αρνήσεων σε αβλαβή αιτήματα παρέμεινε στο 1,6%.
Η εταιρεία δημοσιοποίησε επίσης το σχετικό ερευνητικό dataset, με ελεγχόμενη πρόσβαση, ώστε να μπορούν να το αξιοποιήσουν και άλλοι ερευνητές.
Ο δεύτερος κίνδυνος είναι το prompt injection
Η άλλη συνεργασία, μεταξύ Alice και AI21, επικεντρώθηκε στην προστασία των AI agents που αποκτούν πρόσβαση σε εταιρικά έγγραφα, μηνύματα και εφαρμογές.
Ο κίνδυνος ονομάζεται indirect prompt injection. Εμφανίζεται όταν ένας επιτιθέμενος τοποθετεί κακόβουλες οδηγίες μέσα σε περιεχόμενο που διαβάζει ο AI assistant κατά την εκτέλεση μιας νόμιμης εργασίας.
Για παράδειγμα, ένα σύστημα που αναλύει ένα εισερχόμενο email μπορεί να συναντήσει κείμενο το οποίο προσπαθεί να το πείσει να αγνοήσει τις οδηγίες του χρήστη και να αποκαλύψει εμπιστευτικές πληροφορίες.
Η AI21 χρησιμοποίησε περιβάλλοντα εκπαίδευσης της Alice για να βελτιώσει το NVIDIA Nemotron 3.5 Super VL, αξιοποιώντας προσομοιώσεις επιθέσεων σε εταιρικά εργαλεία όπως το Slack και το GitHub.
Οι εταιρείες ανακοίνωσαν αύξηση 41 μονάδων στην ανθεκτικότητα απέναντι στις συγκεκριμένες επιθέσεις, χωρίς μετρήσιμη υποβάθμιση της απόδοσης στις νόμιμες εργασίες των δοκιμών.
Τι σημαίνουν πραγματικά οι μετρήσεις ασφαλείας
Οι βελτιώσεις δεν πρέπει να εκλαμβάνονται ως εγγύηση ότι οι AI assistants είναι πλέον ασφαλείς σε κάθε πραγματική συνθήκη.
Η αύξηση 30% αφορά συγκεκριμένη βαθμολογία αξιολόγησης και όχι μείωση κατά 30% της πιθανότητας πρόκλησης βλάβης. Αντίστοιχα, οι 41 μονάδες αφορούν το επιλεγμένο τεστ ανθεκτικότητας και όχι όλες τις πιθανές επιθέσεις.
Επιπλέον, η αξιολόγηση της συνομιλιακής ασφάλειας πραγματοποιήθηκε με τη συνδρομή γλωσσικού μοντέλου που βαθμολογούσε τις απαντήσεις βάσει προκαθορισμένων κριτηρίων. Η γενίκευση των αποτελεσμάτων απαιτεί πρόσθετες ανεξάρτητες δοκιμές.
Η έρευνα αναδεικνύει πάντως δύο απαιτήσεις που αποκτούν όλο και μεγαλύτερη σημασία. Ένας AI assistant πρέπει να μπορεί να αμφισβητεί μια λανθασμένη παραδοχή, διατηρώντας παράλληλα χρήσιμη και υποστηρικτική συμπεριφορά. Και όταν αποκτά πρόσβαση σε πραγματικά εργαλεία και δεδομένα, πρέπει να ξεχωρίζει τις πληροφορίες που καλείται να επεξεργαστεί από τις εντολές που επιτρέπεται να εκτελέσει.
