Η Anthropic, κατασκευαστής της οικογένειας μεγάλων γλωσσικών μοντέλων Claude, ενημέρωσε αυτή την εβδομάδα τους ελέγχους ασφαλείας λογισμικού της για να αντικατοπτρίζει αυτό που είπε ότι ήταν η δυνατότητα για τους εισβολείς να χρησιμοποιούν μοντέλα AI για την αυτοματοποίηση των επιθέσεων στον κυβερνοχώρο.
Ένα έγγραφο PDF που περιγράφει λεπτομερώς την «πολιτική υπεύθυνης κλιμάκωσης» της εταιρείας περιγράφει διάφορες διαδικαστικές αλλαγές που λέει ότι είναι απαραίτητες για την παρακολούθηση των συνεχιζόμενων κινδύνων από κακή χρήση μοντέλων τεχνητής νοημοσύνης. Αυτό περιλαμβάνει πολλά επίπεδα αυξανόμενου κινδύνου γνωστά ως πρότυπα AI Security Level (ASL), τα οποία ορίζονται ως «τεχνικοί και λειτουργικοί έλεγχοι ασφάλειας».
Επίσης: Χρήστες του Gmail, προσέξτε μια νέα απάτη AI που φαίνεται πολύ αυθεντική.
Ως μέρος της «συνήθους δοκιμής» μοντέλων τεχνητής νοημοσύνης για ασφάλεια, γνωστή ως «αξιολόγηση ικανοτήτων», η Anthropic λέει ότι έχει εντοπίσει μια ευκαιρία που «απαιτεί σημαντική έρευνα και μπορεί να απαιτήσει πιο αυστηρά μέτρα ασφαλείας».
Αυτή η ικανότητα περιγράφεται ως απειλή στις επιχειρήσεις στον κυβερνοχώρο: «Η ικανότητα σημαντικής ενίσχυσης ή αυτοματοποίησης περίπλοκων, διασπαστικών επιθέσεων στον κυβερνοχώρο, συμπεριλαμβανομένων, ενδεικτικά, της ανακάλυψης νέων αλυσίδων εκμετάλλευσης zero-day, της ανάπτυξης εξελιγμένου κακόβουλου λογισμικού ή της ενορχήστρωσης ενός τεράστιου, δύσκολου εντοπισμός δικτύου.” εισβολή.”
Η έκθεση περιγράφει τα μέτρα που θα ληφθούν για τη συνεχή μελέτη αυτού του ζητήματος:
«Αυτό θα περιλαμβάνει τη συνεργασία με εμπειρογνώμονες στον κυβερνοχώρο για την αξιολόγηση των δυνατοτήτων των προηγμένων μοντέλων τόσο για την ενίσχυση όσο και για τον μετριασμό των απειλών στον κυβερνοχώρο, καθώς και για την εφαρμογή πολυεπίπεδων ελέγχων πρόσβασης ή τη σταδιακή εισαγωγή μοντέλων με βελτιωμένες δυνατότητες στον κυβερνοχώρο. Θα διεξαγάγουμε δοκιμές είτε πριν από την ανάπτυξη είτε μετά την ανάπτυξη, συμπεριλαμβανομένων εξειδικευμένων αξιολογήσεων. Θα τεκμηριώσουμε τυχόν σημαντικά αποτελέσματα μαζί με τις αναφορές δυνατοτήτων μας.»
Επί του παρόντος, όλα τα μοντέλα Anthropic AI, λέει, πρέπει να πληρούν τις απαιτήσεις ASL “επιπέδου 2”. Αυτό το επίπεδο “απαιτεί ένα σύστημα ασφαλείας που είναι πιθανό να αντέξει τους περισσότερους ευκαιριακούς επιτιθέμενους και περιλαμβάνει ελέγχους ασφάλειας προμηθευτών και προμηθευτών, μέτρα φυσικής ασφάλειας και τη χρήση αρχών ασφαλείας”, αναφέρει η έκθεση.
Η ενημερωμένη πολιτική μπορεί να θεωρηθεί ως μέρος των προσπαθειών της Anthropic και της OpenAI να δεσμευτούν οικειοθελώς για τον περιορισμό της τεχνητής νοημοσύνης εν μέσω συνεχιζόμενης συζήτησης σχετικά με το τι πρέπει ή δεν πρέπει να γίνει για τη ρύθμιση των τεχνολογιών τεχνητής νοημοσύνης. Τον Αύγουστο, η εταιρεία και το OpenAI κατέληξαν σε συμφωνία με το Αμερικανικό Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης στο Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας (NIST) του Υπουργείου Εμπορίου των ΗΠΑ για συνεργασία σε έρευνα, δοκιμές και αξιολόγηση τεχνητής νοημοσύνης.
Επίσης: Πιστεύετε ότι η τεχνητή νοημοσύνη μπορεί να λύσει όλα τα επαγγελματικά σας προβλήματα; Νέα έρευνα της Apple δείχνει το αντίθετο
Η ιδέα της χρήσης AI για την αυτοματοποίηση των επιθέσεων στον κυβερνοχώρο υπήρχε εδώ και πολύ καιρό. Ο κατασκευαστής τείχους προστασίας Check Point Software Technologies προειδοποίησε πέρυσι ότι οι Ρώσοι κρατικοί παράγοντες προσπαθούσαν να παραβιάσουν το ChatGPT του OpenAI για να αυτοματοποιήσουν τις επιθέσεις phishing.
Ο πάροχος λογισμικού ασφαλείας Endpoint CrowdStrike ανέφερε αυτό το καλοκαίρι ότι η γενετική τεχνητή νοημοσύνη είναι ευάλωτη σε έναν τεράστιο αριθμό ειδικά κατασκευασμένων ενδείξεων που θα μπορούσαν να σπάσουν τα προστατευτικά κιγκλιδώματα των προγραμμάτων.
