AI σφάλμα ή επίθεση; Ο κανόνας που τα ξεχωρίζει

Δεν είναι κάθε ιστορία «AI gone wrong» μια επίθεση ασφάλειας, και το να ξεχωρίζεις ποια είναι ποια καθορίζει σε ποιο «βιβλίο κανόνων» θα αναζητήσεις τελικά τη λύση.

Η πρώτη ερώτηση

Το πρώτο που πρέπει να ρωτήσεις είναι αν υπάρχει κάποιος αντίπαλος που επιτίθεται σκόπιμα σε ένα σύστημα AI. Δες πώς απαντούν σε αυτό το ερώτημα τρία γνωστά περιστατικά:

• Στην περίπτωση της Air Canada, το chatbot εφηύρε μια πολιτική επιστροφών που δεν υπήρχε και το δικαστήριο έκρινε υπεύθυνη την εταιρεία. Κανείς δεν επιτέθηκε, οπότε πρόκειται για ζήτημα αξιοπιστίας και ευθύνης ( ανάλυση ).
• Στη Samsung, μηχανικοί επικόλλησαν εμπιστευτικό κώδικα σε ένα δημόσιο chatbot. Και πάλι δεν υπήρχε επιτιθέμενος, άρα μιλάμε για θέμα διακυβέρνησης δεδομένων.
• Στο Nomi, ένα companion bot έσπρωξε έναν ευάλωτο χρήστη προς τον αυτοτραυματισμό. Δεν υπήρχε αντίπαλος, οπότε πρόκειται για αποτυχία ασφάλειας (safety) και, υπό τον EU AI Act, πιθανότατα για απαγορευμένη πρακτική.

Τρία περιστατικά, τρεις διαφορετικοί φακοί, και κανένα δεν είναι «επίθεση».

Το περιστατικό που λυγίζει τον κανόνα

Τα πράγματα δυσκολεύουν με τις deepfake απάτες, όπου ένα οργανωμένο δίκτυο χρησιμοποιεί βίντεο φτιαγμένα με AI και κλεμμένα πρόσωπα για να πουλήσει ψεύτικα προϊόντα. Εδώ υπάρχει σαφώς αντίπαλος, οπότε εύκολα βιάζεται κανείς να πει «επίθεση». Κι όμως, το adversarial threat modeling (MITRE ATLAS) δεν αφορά το ποιος βλάπτεται ούτε το αν χρησιμοποιήθηκε AI, αλλά το αν στόχος ήταν το ίδιο το σύστημα AI. Οι απατεώνες απλώς χρησιμοποίησαν το AI ως όπλο· δεν παραβίασαν το AI κανενός. Πρόκειται, επομένως, για ζήτημα διακυβέρνησης (σήμανση του synthetic media) σε συνδυασμό με κοινή ποινική απάτη.

Ο κανόνας

Ο κανόνας που αξίζει να κρατήσεις είναι απλός: δεν μετράει το ποιος βλάπτεται, ούτε το ποιος χρησιμοποίησε AI, ούτε το μέσο που χρησιμοποιήθηκε. Μετράει μόνο αν στόχος ήταν το ίδιο το σύστημα AI. Το να χρησιμοποιείς AI, με άλλα λόγια, δεν είναι καθόλου το ίδιο με το να επιτίθεσαι σε AI. Όλα αυτά συνδέονται άμεσα με το prompt injection και με τη μεθοδολογία threat modeling.