Η υπόσχεση της πλήρως αυτόνομης οδήγησης έχει συναρπάσει τον τεχνολογικό κόσμο, δημιουργώντας το όραμα ενός μέλλοντος όπου τα τροχαία ατυχήματα θα αποτελούν παρελθόν. Ωστόσο, η πραγματικότητα στους δρόμους συχνά απέχει από τα εργαστηριακά δεδομένα και τις υποσχέσεις των εταιρειών. Ο Raffi Krikorian, νυν Chief Technology Officer της Mozilla και πρώην επικεφαλής του τμήματος αυτόνομης οδήγησης της Uber, βίωσε πρόσφατα μια κατάσταση που παραλίγο να του κοστίσει τη ζωή, οδηγώντας το δικό του Tesla Model X. Η εμπειρία αυτή τον οδήγησε σε μια βαθιά επανεκτίμηση της σχέσης μεταξύ ανθρώπων και ευφυών μηχανών.
Το περιστατικό συνέβη ένα φθινοπωρινό πρωινό Κυριακής. Ο Krikorian οδηγούσε μαζί με τα παιδιά του σε μια γνώριμη διαδρομή μέσω των κατοικημένων περιοχών του Bay Area, με προορισμό τη συνάντηση των Προσκόπων του γιου του. Το όχημα βρισκόταν στη λειτουργία Full Self-Driving (FSD), το προηγμένο σύστημα υποβοήθησης οδηγού της Tesla, το οποίο μέχρι εκείνη τη στιγμή λειτουργούσε απολύτως άψογα. Όλα έδειχναν να κυλούν ομαλά, μέχρι που μέσα σε κλάσματα δευτερολέπτου, η κατάσταση βγήκε εκτός ελέγχου.
Τα κρίσιμα δευτερόλεπτα της σύγκρουσης
📍 Η εξέλιξη της είδησης: TESLA
Καθώς το αυτοκίνητο πραγματοποιούσε μια στροφή, η συμπεριφορά του άλλαξε απότομα. Το τιμόνι έκανε έναν βίαιο ελιγμό προς τη μία κατεύθυνση, αμέσως μετά προς την αντίθετη, και το όχημα επιβράδυνε με τρόπο εντελώς απρόβλεπτο. Ο Krikorian αντέδρασε ενστικτωδώς, προσπαθώντας να ανακτήσει τον έλεγχο του τιμονιού. Το τι ακριβώς ανέλυε το σύστημα εκείνη τη στιγμή παραμένει ασαφές. Το μόνο σίγουρο είναι ότι τα δευτερόλεπτα αυτά κατέληξαν σε μια σφοδρή πρόσκρουση πάνω σε έναν τσιμεντένιο τοίχο.
Οι μνήμες από τη στιγμή της σύγκρουσης είναι θολές, ανακατεμένες με τη μυρωδιά των χημικών από τους αερόσακους και τον αποπροσανατολισμό. Παρά τη σφοδρότητα του ατυχήματος, τα παθητικά συστήματα ασφαλείας του αυτοκινήτου λειτούργησαν υποδειγματικά. Οι ζώνες ασφαλείας κράτησαν τους επιβάτες στη θέση τους, η ζώνη παραμόρφωσης (crumple zone) απορρόφησε την κινητική ενέργεια, και οι αερόσακοι άνοιξαν εγκαίρως. Κανείς δεν τραυματίστηκε σοβαρά, αλλά το Tesla Model X καταστράφηκε ολοσχερώς. Ολόκληρη η μηχανική προστασία του οχήματος κλήθηκε να διορθώσει ένα μοιραίο λάθος του λογισμικού του.
Το επικίνδυνο όριο μεταξύ αυτονομίας και ανθρώπινης επίβλεψης
Το συγκεκριμένο ατύχημα φέρνει στο προσκήνιο αυτό που οι ειδικοί της τεχνολογίας ονομάζουν “παράδοξο του αυτοματισμού”. Το Full Self-Driving της Tesla λειτουργεί άψογα στο συντριπτικά μεγαλύτερο ποσοστό του χρόνου χρήσης του. Ο στόλος των οχημάτων της εταιρείας διανύει εκατομμύρια χιλιόμετρα μεταξύ σοβαρών περιστατικών, ένα στατιστικό στοιχείο που συχνά προβάλλεται ως απόδειξη της ασφάλειας του συστήματος. Εκεί ακριβώς, όμως, κρύβεται η μεγαλύτερη παγίδα.
Απαιτούμε από τους ανθρώπινους οδηγούς να επιβλέπουν συνεχώς συστήματα τα οποία έχουν σχεδιαστεί με τέτοιο τρόπο ώστε να κάνουν την επίβλεψη να φαντάζει εντελώς περιττή. Η ανθρώπινη ψυχολογία είναι ξεκάθαρη πάνω σε αυτό το ζήτημα: ένα μηχάνημα που αποτυγχάνει τακτικά, διατηρεί τον χειριστή του σε εγρήγορση. Ένα μηχάνημα που λειτουργεί πάντα τέλεια, δεν χρειάζεται απολύτως καμία επίβλεψη. Όμως, ένα μηχάνημα που λειτουργεί “σχεδόν” τέλεια, δημιουργεί τον μέγιστο κίνδυνο. Ο οδηγός εφησυχάζει, η προσοχή του μειώνεται, και όταν το σύστημα τελικά κάνει το λάθος -όσο σπάνιο κι αν είναι αυτό- ο χρόνος ανθρώπινης αντίδρασης δεν επαρκεί για να αποφευχθεί η καταστροφή.
Η ειρωνεία της εξειδίκευσης και οι αστοχίες του συστήματος
Η πιο τραγική ειρωνεία σε αυτή την ιστορία είναι το επαγγελματικό υπόβαθρο του ίδιου του οδηγού. Ο Krikorian δεν είναι ένας μέσος χρήστης της τεχνολογίας. Ως επικεφαλής του τμήματος αυτόνομης οδήγησης της Uber, η δουλειά του ήταν ακριβώς να χτίσει ένα μέλλον όπου η τεχνολογία θα προστατεύει τους ανθρώπους από τα τροχαία ατυχήματα. Είχε αναλύσει αμέτρητες φορές τα “edge cases” -τα ακραία και σπάνια σενάρια που μπορούν να μπερδέψουν τους αισθητήρες- καθώς και την ευθραυστότητα που μπορεί να κρύβεται πίσω από την φαινομενικά ομαλή λειτουργία ενός αλγορίθμου.
Κατά τη διάρκεια της θητείας του, η ομάδα του εκπαίδευε σχολαστικά τους οδηγούς δοκιμών για το πότε και πώς πρέπει να παρεμβαίνουν εάν το αυτόνομο όχημα έκανε λάθος. Τα προγράμματα πιλοτικής εφαρμογής που διηύθυνε για δύο χρόνια δεν είχαν καταγράψει κανέναν τραυματισμό. Και όμως, παρόλη την τεράστια εμπειρία του και την πλήρη επίγνωση των ορίων της τεχνολογίας, βρέθηκε κι αυτός απροετοίμαστος απέναντι στην απρόβλεπτη και ξαφνική αστοχία του Tesla.
Το μέλλον της αυτόνομης οδήγησης και η αναγκαία επανεκτίμηση
Αυτό το περιστατικό εγείρει σοβαρά ερωτήματα για την κατεύθυνση που έχει πάρει η βιομηχανία της αυτόνομης αυτοκίνησης, και ειδικότερα για συστήματα επιπέδου 2, όπως το Full Self-Driving, τα οποία προσφέρουν εντυπωσιακές δυνατότητες αλλά απαιτούν διαρκή εγρήγορση από τον οδηγό. Μήπως τελικά η προσδοκία ότι ο άνθρωπος μπορεί να λειτουργήσει αποτελεσματικά ως ο “τελευταίος τροχός ελέγχου” ενός εξαιρετικά ικανού αλλά όχι αλάνθαστου συστήματος, είναι θεμελιωδώς λανθασμένη;
Η εμπειρία του Krikorian αποτελεί μια ηχηρή υπενθύμιση ότι όσο προηγμένη κι αν γίνει η τεχνητή νοημοσύνη, η ασφάλεια στους δρόμους δεν μπορεί να βασιστεί στην ψευδαίσθηση του ελέγχου. Η βιομηχανία πρέπει ίσως να επανεξετάσει τον τρόπο με τον οποίο παρουσιάζει αυτά τα συστήματα στο κοινό, αλλά και τον τρόπο με τον οποίο σχεδιάζει την αλληλεπίδραση μεταξύ οδηγού και μηχανής, πριν η τεχνολογική εξέλιξη προκαλέσει περισσότερα ατυχήματα από όσα υπόσχεται να αποτρέψει.
