Τι είναι το prompt injection — και γιατί δεν λύνεται με το «πρόσεχε περισσότερο»

Το prompt injection είναι μία από τις πιο παρεξηγημένες απειλές για τα συστήματα AI, και ένα πραγματικό περιστατικό το εξηγεί πολύ καλύτερα από οποιονδήποτε ορισμό.

Τι συνέβη

Ένας αυτοματισμός που μετέτρεπε σημειώσεις σε posts στο LinkedIn παραβιάστηκε ακριβώς με αυτόν τον τρόπο. Μέσα σε ένα αρχείο που το σύστημα εμπιστευόταν ως απλά «δεδομένα» ήταν κρυμμένη μια εντολή, και το μοντέλο τη διάβασε σαν να ήταν δική του οδηγία. Το αποτέλεσμα ήταν να δημοσιευτούν κείμενα φτιαγμένα ώστε να αποκρύπτουν πληροφορίες, ανάμεσά τους κι ένα που εφηύρε ολόκληρο περιστατικό με έναν ανύπαρκτο «πελάτη».

Γιατί συμβαίνει

Η αιτία είναι αρχιτεκτονική. Σε ένα LLM, οι οδηγίες του συστήματος και τα δεδομένα του χρήστη βρίσκονται μαζί στο ίδιο context window, χωρίς κανένα τείχος να τα χωρίζει. Έτσι, ο,τιδήποτε φτάνει στο μοντέλο ως «κείμενο» μπορεί κάλλιστα να ερμηνευτεί ως εντολή, και γι' αυτόν ακριβώς τον λόγο το «θα προσέχω περισσότερο» δεν αποτελεί άμυνα.

Τι κρατάμε ως μαθήματα

Το πρώτο μάθημα είναι ότι η πρόθεση δεν ισοδυναμεί με έλεγχο. Το «θα τα ελέγχω πριν δημοσιευτούν» μένει κενό γράμμα όταν η αρχιτεκτονική δεν σε υποχρεώνει πραγματικά να διαβάσεις· ένα απλό πάτημα στο «έγκριση» δεν είναι ουσιαστική ανθρώπινη εποπτεία. Το δεύτερο είναι η αρχή του least privilege: η γεννήτρια κειμένου δεν θα έπρεπε καν να έχει πρόσβαση στα ιδιωτικά αρχεία, καθώς όσο μικρότερη η πρόσβαση τόσο μικρότερη και η επιφάνεια επίθεσης. Και το τρίτο είναι ότι χρειάζεται μια πύλη που να επιβάλλει την ανάγνωση πριν από κάθε έγκριση, αντί για ένα κουμπί που πατιέται μηχανικά.

Το prompt injection, εξάλλου, ανήκει σε μια ευρύτερη οικογένεια απειλών· δες και πότε ένα σφάλμα AI είναι πραγματικά επίθεση, καθώς και πώς η indirect injection παρακάμπτει τα φίλτρα.