«Context bombing»: Ερευνητές χρησιμοποιούν prompt injection ως άμυνα κατά επιτιθέμενων AI agents
Ερευνητές της Tracebit περιγράφουν μια αμυντική τεχνική με την ονομασία «context bombing», η οποία χρησιμοποιεί prompt injection για να απενεργοποιεί επιτιθέμενους AI agents. Τοποθετώντας ειδικά διαμορφωμένα prompts δίπλα σε ευαίσθητα δεδομένα (κωδικούς, κρυπτογραφικά κλειδιά) σε συστήματα cloud, οι αμυνόμενοι μπορούν να ενεργοποιήσουν τα guardrails ενός επιτιθέμενου LLM· όταν ο agent συναντήσει απαγορευμένες εντολές, όπως αίτημα για επικίνδυνες οδηγίες βιο-όπλων, το μοντέλο σταματά αντί να συνεχίσει την επίθεση. Ο Bruce Schneier σημειώνει ότι η τεχνική λειτουργεί μόνο κατά μοντέλων με ενεργά guardrails, ενώ όσο διαδίδονται μη λογοκριμένα, τοπικά μοντέλα AI χωρίς περιορισμούς ασφαλείας, η αποτελεσματικότητά της θα μειώνεται, σε ένα αναδυόμενο «κούρσα εξοπλισμών» μεταξύ επίθεσης και άμυνας.
Πηγές
Η περίληψη συντάχθηκε αυτόματα με AI από τις δημόσιες πηγές που αναφέρονται παραπάνω και ελέγχθηκε από ανεξάρτητο AI ελεγκτή πριν δημοσιευτεί. Για όλες τις λεπτομέρειες, διάβασε την αρχική πηγή.