Evasion attack: όταν κάποιος «παίζει» το AI σου χωρίς να το σπάσει

Ένας ασφαλιστής ανακάλυψε ένα μοτίβο: αν άλλαζε την ηλικία του αιτούντα κατά δύο χρόνια και το εισόδημα κατά 5%, το AI ενέκρινε σχεδόν πάντα την αίτηση, ακόμη κι όταν οι πραγματικοί αριθμοί θα απορρίπτονταν. Και το έκανε αυτό συστηματικά, για δεκάδες πελάτες.

Τι είναι το evasion attack

Το AI δεν «έσπασε» και το μοντέλο δεν δηλητηριάστηκε κατά την εκπαίδευσή του. Ο ασφαλιστής απλώς δοκίμαζε το ζωντανό σύστημα ξανά και ξανά, μέχρι να βρει ποιοι συνδυασμοί στοιχείων περνούν το κατώφλι της έγκρισης, και στη συνέχεια εκμεταλλεύτηκε αυτή τη γνώση σε μεγάλη κλίμακα. Πρόκειται για μια επίθεση όπου στόχος είναι το ίδιο το σύστημα AI.

Οι τέσσερις μετριάσεις

Απέναντι σε τέτοιες επιθέσεις χρειάζονται τέσσερις μετριάσεις, όχι μία. Η πρώτη είναι η επικύρωση των δεδομένων (data validation), δηλαδή η διασταύρωσή τους με αυθεντικές πηγές όπως τα φορολογικά ή τα ασφαλιστικά μητρώα, ώστε ό,τι δεν ταιριάζει να επισημαίνεται. Η δεύτερη είναι η κατανομή της ευθύνης (liability allocation): η σύμβαση ανάμεσα στον πάροχο και τον deployer πρέπει να ορίζει ξεκάθαρα ποιος ευθύνεται όταν κάποιος «παίζει» το σύστημα, κι αυτό είναι κενό διακυβέρνησης και όχι τεχνικό. Η τρίτη είναι η ανίχνευση ανωμαλιών (anomaly detection), αφού μία οριακή αίτηση μπορεί να είναι σύμπτωση, σαράντα όμως από τον ίδιο ασφαλιστή μέσα σε μία εβδομάδα είναι σαφές μοτίβο. Και η τέταρτη είναι ο άνθρωπος στις οριακές περιπτώσεις (human-in-the-loop): όταν το σκορ του μοντέλου βρίσκεται κοντά στο όριο της απόφασης, την κρίση την παίρνει άνθρωπος, ώστε το μοντέλο να μην αποφασίζει μόνο του στη γκρίζα ζώνη.

Το ερώτημα του audit, εξάλλου, δεν είναι αν το μοντέλο είναι ακριβές, αλλά τι συμβαίνει όταν κάποιος προσπαθεί επίτηδες να βρει πού σπάει.