Τα AI prompts μπορεί να μην λειτουργούν το ίδιο για όλους, ακόμη και όταν δύο χρήστες ζητούν ουσιαστικά ακριβώς το ίδιο πράγμα. Νέα έρευνα του πανεπιστημίου Johns Hopkins δείχνει ότι ορισμένα γλωσσικά μοτίβα που εμφανίζονται συχνότερα στον λόγο των γυναικών μπορούν να οδηγήσουν μεγάλα AI μοντέλα σε λιγότερο σύνθετες και λιγότερο επίσημες απαντήσεις σε επαγγελματικές εργασίες.
Το ενδιαφέρον είναι ότι ο χρήστης δεν χρειάζεται να αναφέρει πουθενά το φύλο του. Εκφράσεις όπως «ίσως», «νομίζω», η χρήση του «εμείς» αντί του «εγώ» ή περισσότερο εκφραστικά επίθετα ήταν αρκετά ώστε να μεταβληθεί ο τρόπος με τον οποίο τα μοντέλα συνέτασσαν emails, αιτήσεις εργασίας και επιστολές παραίτησης.
Τι ακριβώς εξέτασαν οι ερευνητές
Η μελέτη, με τίτλο «It’s How You Ask: Gender-Associated Linguistic Bias in LLMs», πραγματοποιήθηκε από τις Katherine Van Koevering και Anjalie Field του Johns Hopkins University.
Οι ερευνήτριες ξεκίνησαν από 427 πραγματικά prompts επαγγελματικής επικοινωνίας που προέρχονταν από το σύνολο δεδομένων WildChat. Από αυτά, 200 αφορούσαν emails, 200 αιτήσεις εργασίας και 27 επιστολές παραίτησης.
Κάθε αίτημα μετατράπηκε σε δύο εκδοχές με την ίδια βασική σημασία. Η μία περιλάμβανε χαρακτηριστικά που η σχετική κοινωνιογλωσσική βιβλιογραφία έχει συνδέσει συχνότερα με γυναικεία χρήση της γλώσσας, όπως hedging με φράσεις τύπου «maybe» και «I think», συλλογικές αναφορές όπως «we» και «our», tag questions και εκφραστικά επίθετα.
Η δεύτερη εκδοχή χρησιμοποιούσε πιο άμεση διατύπωση, λιγότερο hedging και περισσότερο ατομικές αναφορές.
Διαφορετικά prompts, διαφορετική επαγγελματική γραφή
Τα AI prompts δοκιμάστηκαν σε GPT-4, Gemma 2, Mistral και Llama. Το γενικό μοτίβο εμφανίστηκε και στις τέσσερις οικογένειες μοντέλων.
Οι διατυπώσεις με περισσότερα χαρακτηριστικά που είχαν συσχετιστεί με γυναικείο λόγο έτειναν να παράγουν απαντήσεις με χαμηλότερη λεξιλογική πολυπλοκότητα, μεγαλύτερη αναγνωσιμότητα και χαμηλότερο επίπεδο τυπικότητας.
Αντίθετα, πιο άμεσα prompts παρήγαγαν συχνότερα πιο επίσημο και γλωσσικά σύνθετο κείμενο.
Η διαφορά ήταν ιδιαίτερα εμφανής στα emails και στις αιτήσεις εργασίας. Στις επιστολές παραίτησης τα αποτελέσματα ήταν ασθενέστερα, κάτι που οι ίδιες οι ερευνήτριες αποδίδουν εν μέρει και στο πολύ μικρότερο δείγμα αυτής της κατηγορίας.
Δεν ήταν απλώς αντιγραφή του ύφους
Μια προφανής εξήγηση θα ήταν ότι το AI απλώς αντιγράφει τον τρόπο με τον οποίο του μιλά ο χρήστης. Αν το prompt είναι πιο απλό ή πιο ευγενικό, η απάντηση γίνεται αντίστοιχα απλούστερη.
Οι ερευνητές προσπάθησαν να ελέγξουν αυτή την υπόθεση εξετάζοντας τη σχέση μεταξύ της πολυπλοκότητας του prompt και της τελικής απάντησης. Τα αποτελέσματα έδειξαν ότι η απλή μίμηση του ύφους δεν αρκούσε για να εξηγήσει τις διαφορές.
Ακόμη πιο ενδιαφέρον ήταν το πείραμα με τα ονόματα. Όταν στα AI prompts προστέθηκαν ονόματα που συνδέονται παραδοσιακά με άνδρες ή γυναίκες, το φύλο του ονόματος είχε σχεδόν μηδενική επίδραση στα αποτελέσματα.
Το γλωσσικό ύφος επηρέαζε το μοντέλο περισσότερο από ένα εμφανές στοιχείο φύλου.
Δεν σημαίνει ότι το AI «αναγνωρίζει γυναίκες»
Εδώ χρειάζεται προσοχή. Η έρευνα δεν αποδεικνύει ότι τα μοντέλα εντοπίζουν το φύλο του χρήστη ούτε ότι κάθε γυναίκα γράφει με τον συγκεκριμένο τρόπο.
Τα χαρακτηριστικά είναι στατιστικές συσχετίσεις που προέρχονται από προηγούμενη έρευνα πάνω στα αμερικανικά αγγλικά και δεν είναι αποκλειστικά για ένα φύλο. Ένας άνδρας που χρησιμοποιεί αντίστοιχο ύφος μπορεί να λάβει το ίδιο αποτέλεσμα.
Υπάρχουν επίσης σημαντικοί περιορισμοί. Τα αρχικά prompts τροποποιήθηκαν τεχνητά ώστε να δημιουργηθούν ελεγχόμενες εκδοχές, ενώ έννοιες όπως η λεξιλογική πολυπλοκότητα ή η τυπικότητα δεν ταυτίζονται απαραίτητα με την πραγματική ποιότητα ενός επαγγελματικού κειμένου.
Η μελέτη επίσης εξετάζει συγκεκριμένες εκδόσεις μοντέλων και όχι κάθε σημερινό AI σύστημα.
Το πρόβλημα δεν λύνεται με ένα καλύτερο prompt
Το μεγαλύτερο ζήτημα δεν είναι να δημιουργηθεί ένας ακόμη οδηγός που θα λέει στους χρήστες να αφαιρούν το «ίσως» ή το «νομίζω» από τα AI prompts τους.
Τέτοιες γλωσσικές συνήθειες είναι συχνά αυθόρμητες και αποτελούν κομμάτι του προσωπικού τρόπου επικοινωνίας. Αν ορισμένα styles οδηγούν συστηματικά σε διαφορετικού επιπέδου επαγγελματικό output, τότε το βάρος της διόρθωσης δεν μπορεί να μεταφερθεί αποκλειστικά στον χρήστη.
Οι ερευνήτριες υποστηρίζουν ότι οι developers πρέπει να εξετάσουν το πρόβλημα σε επίπεδο μοντέλου. Ιδιαίτερα καθώς η επικοινωνία με AI μετακινείται σταδιακά από το πληκτρολόγιο στη φωνή, τέτοιες ασυνείδητες γλωσσικές διαφορές μπορεί να αποκτήσουν ακόμη μεγαλύτερη σημασία.
Και αυτό είναι ίσως το σημαντικότερο εύρημα: το prompt engineering δεν αφορά μόνο το τι ζητάμε από ένα AI, αλλά και το πώς το λέμε – ακόμη και όταν δεν γνωρίζουμε ότι το λέμε διαφορετικά.
