Παραισθήσεις σε AI chatbot: γιατί ένα «βοηθητικό» bot μπορεί να σε εκθέσει

Πρόσφατα εξετάσαμε το chatbot τεχνικής υποστήριξης μιας επιχείρησης και η εικόνα ήταν αντιφατική: στο ύφος και στην αναγνώριση της πρόθεσης του χρήστη τα πήγαινε εξαιρετικά, αλλά στην αξιοπιστία πήρε μόλις 2 στα 10. Όλη η διαφορά κρυβόταν σε ένα μόνο πρόβλημα, τις παραισθήσεις (hallucinations).

Δεν επρόκειτο για αόριστα, δυσδιάκριτα λάθη, αλλά για επινοήσεις απόλυτα συγκεκριμένες και ειπωμένες με σιγουριά: drivers που δεν υπάρχουν, βίντεο στο YouTube που δεν γυρίστηκαν ποτέ, σύνδεσμοι σε PDF που δεν οδηγούσαν πουθενά, ακόμη και επιβεβαίωση για emails που ποτέ δεν στάλθηκαν. Το bot δεν είπε ούτε μία φορά «δεν ξέρω»· προτίμησε να εφεύρει μια απάντηση και να την παραδώσει σαν να ήταν βέβαιη.

Τι είναι οι παραισθήσεις και γιατί συμβαίνουν

Για να καταλάβουμε γιατί συμβαίνει αυτό, αξίζει να θυμηθούμε πώς δουλεύει ένα γλωσσικό μοντέλο: δεν «ανατρέχει» σε γεγονότα όπως μια βάση δεδομένων, αλλά προβλέπει την πιο πιθανή επόμενη λέξη. Όταν λοιπόν δεν υπάρχει σαφές και επιβεβαιωμένο υλικό στη βάση γνώσης, το μοντέλο καλύπτει το κενό με κάτι που απλώς ακούγεται σωστό. Πρόκειται για εγγενές χαρακτηριστικό της τεχνολογίας και όχι για βλάβη, και ακριβώς γι' αυτό η σιγουριά με την οποία μιλά ένα bot δεν μας λέει απολύτως τίποτα για το αν έχει δίκιο.

Γιατί σε αφορά — και γιατί είναι ζήτημα ευθύνης, όχι μόνο ποιότητας

Ένα bot που κάνει λάθος στο 20% των απλών ερωτήσεων είναι απλώς ενοχλητικό. Ένα bot, όμως, που κάνει λάθος στην τεχνική υποστήριξη χωρίς καν να αναγνωρίζει ότι δεν είναι σίγουρο, διαβρώνει πολύ γρήγορα την εμπιστοσύνη του πελάτη. Και το πρόβλημα δεν σταματά εκεί: όπως έδειξε η υπόθεση της Air Canada, η επιχείρηση ευθύνεται για ό,τι λέει το chatbot της, ακόμη κι όταν αυτό το εφευρίσκει. Μια παραίσθηση που υπόσχεται μια ανύπαρκτη πολιτική επιστροφών ή δίνει λάθος τεχνική οδηγία δεν είναι, επομένως, μια απλή κακή εμπειρία· είναι πραγματική έκθεση της επιχείρησης.

Στην ίδια κατεύθυνση κινείται και ο EU AI Act για τις μικρές επιχειρήσεις, που απαιτεί ανθρώπινη εποπτεία, διαφάνεια και διαχείριση του ρίσκου σε κάθε σύστημα που αλληλεπιδρά με ανθρώπους.

Τι μειώνει πραγματικά τις παραισθήσεις

Το ενθαρρυντικό είναι ότι οι περισσότερες λύσεις δεν απαιτούν να ξαναχτίσεις το bot, παρά μόνο να το ρυθμίσεις με ειλικρίνεια:

• Αυστηρά όρια στη βάση γνώσης, ώστε το bot να απαντά μόνο από επιβεβαιωμένο περιεχόμενο και τίποτε άλλο.
• Κανόνες κατά των παραισθήσεων μέσα στο system prompt, με ρητή εντολή να λέει «δεν ξέρω» αντί να μαντεύει.
• Έλεγχο των συνδέσμων και των πόρων πριν την παράδοση, ώστε κανένα URL ή αρχείο να μη δίνεται χωρίς να επιβεβαιωθεί ότι υπάρχει.
• Παράδοση σε άνθρωπο όταν η βεβαιότητα είναι χαμηλή, δηλαδή κλιμάκωση αντί για μάντεμα.

Η σωστή ερώτηση

Αν αναπτύσσεις AI για την υποστήριξη πελατών, το ερώτημα δεν είναι αν «ακούγεται βοηθητικό». Το πραγματικό ερώτημα είναι τι συμβαίνει όταν κάνει λάθος και, κυρίως, αν το ίδιο το σύστημα ξέρει πότε κάνει λάθος.