Στις 5 Σεπτεμβρίου 2025 η OpenAI δημοσίευσε ανάλυση που απαντά στο ερώτημα «γιατί τα LLMs παραληρούν;». Με απλά λόγια: επειδή τα εκπαιδεύουμε και τα βαθμολογούμε με τρόπο που επιβραβεύει το μάντεμα αντί την ειλικρινή αβεβαιότητα. Η πρόταση είναι να αλλάξουν τα benchmarks ώστε τα σίγουρα λάθη να τιμωρούνται περισσότερο από τις «δεν ξέρω» απαντήσεις. Αυτό οδηγεί σε πιο αξιόπιστες συμπεριφορές, ειδικά σε ειδήσεις, υγεία, οικονομικά και εκπαίδευση.
Τι είναι «hallucination» με απλά λόγια
Είναι όταν το μοντέλο δίνει βέβαιη αλλά λάθος απάντηση. Δεν είναι «τρέλα» ούτε «φαντασία» — είναι στατιστικό αποτέλεσμα της προεκπαίδευσης (πρόβλεψη επόμενης λέξης) και του τρόπου που το αξιολογούμε στο τέλος.
Πού χαλάει το πράγμα: τα σημερινά τεστ
- Μετράμε μόνο ακρίβεια (accuracy): αν σωστά=+1, λάθος=0, αποχή=0, τότε η αποχή δεν διαφέρει από το λάθος. Άρα το μοντέλο «ρίχνει ζάρια» για να κερδίσει πόντους.
- Η αποχή δεν ανταμείβεται: ένα ειλικρινό «δεν ξέρω» τιμωρείται όσο και μια άκυρη απάντηση, οπότε τα συστήματα μαθαίνουν να μιλάνε με αυτοπεποίθηση ακόμη κι όταν δεν είναι σίγουρα.
- Παράδειγμα από τη μελέτη: Μοντέλο που «κρατιέται» (απέχει όταν δεν ξέρει) έχει χαμηλότερο ποσοστό λαθών από μοντέλο που απαντά πάντα — παρότι στο scoreboard μπορεί να φαίνεται λίγο λιγότερο «ακριβές».
Η λύση που προτείνει η OpenAI
Να αλλάξουν τα benchmarks για να μετράμε τρία πράγματα, όχι μόνο accuracy:
- Error rate: πόσα βέβαια λάθη κάνει το μοντέλο;
- Abstention rate: πόσο συχνά λέει «δεν ξέρω» όταν η βεβαιότητα είναι χαμηλή;
- Calibration: ταιριάζει η δηλωμένη βεβαιότητα με την πραγματική πιθανότητα να έχει δίκιο;
Με απλά λόγια: σταματάμε να επιβραβεύουμε το «θράσος» και αρχίζουμε να μετράμε την ειλικρίνεια. Αυτό, λέει η OpenAI, κάνει τα μοντέλα πιο χρήσιμα και πιο ασφαλή στην πράξη.
Τι σημαίνει για τον χρήστη και για την αγορά
- Χρήστες/αναγνώστες: λιγότερα «κοφτά» αλλά λάθος — περισσότερα «δεν είμαι σίγουρο, χρειάζεται πηγή».
- Media & εκδότες: καλύτερη προστασία από ψευδή facts σε ρεπορτάζ/περιλήψεις. Τα συστήματα θα «σημαίνουν» χαμηλή βεβαιότητα αντί να εφευρίσκουν.
- Επιχειρήσεις & δημόσιο: πιο δίκαια συγκριτικά τεστ προμηθειών (δεν κοιτάμε μόνο accuracy%, αλλά error@abstention και calibration).
- Developers/προϊόν: ενσωμάτωση αποχής, confidence badges, RAG/fallback όταν η βεβαιότητα πέφτει.
Mini-οδηγός: πώς μειώνεις τα hallucinations σήμερα
- Βάζεις όριο βεβαιότητας (threshold): κάτω από T, επιστρέφεις «δεν ξέρω» ή ζητάς διευκρίνιση.
- RAG by default: φέρε πηγές/έγγραφα και ζήτα το μοντέλο να πατάει εκεί (citation first).
- Δεύτερος έλεγχος: self-check/cross-check για σημαντικές απαντήσεις.
- Μετράς τα σωστά metrics: error rate, abstention rate, calibration. Στόχευσε «λιγότερα βέβαια λάθη» όχι απλώς «περισσότερα σωστά».
Συχνές Ερωτήσεις
Δηλαδή θα λένε πιο συχνά «δεν ξέρω»;
Ναι — όταν δεν είναι βέβαια. Αυτό δεν κάνει τα μοντέλα «πιο αδύναμα», τα κάνει πιο έντιμα και άρα πιο χρήσιμα.
Μήπως έτσι πέσει η παραγωγικότητα;
Συνήθως το αντίθετο: λιγότερες «βέβαιες ανακρίβειες» σημαίνει λιγότερος χρόνος διόρθωσης και μικρότερο ρίσκο.
Υπάρχουν παραδείγματα/μετρήσεις;
Στην εργασία υπάρχουν πειράματα που δείχνουν ότι πολιτικές αποχής μειώνουν το ποσοστό λαθών σε σχέση με το «απαντάω πάντα».
Πηγές
- OpenAI Research Blog — Why language models hallucinate (5 Σεπ 2025).
- OpenAI Research Paper (PDF) — Why language models hallucinate (2025).
- Σύνοψη/κάλυψη — Business Insider.
