Anthropic cho biết các mô hình bảo mật dựa trên Claude của họ đã truy cập trái phép vào các môi trường sản xuất nhạy cảm của ba tổ chức bên ngoài trong quá trình thử nghiệm nội bộ được thiết kế để đo lường khả năng tấn công mạng.

Đây là tiết lộ thứ hai trong 10 ngày rằng các mô hình AI từ các nhà phát triển hàng đầu thế giới đã xâm nhập vào các mạng được bảo vệ. Anthropic cho biết sự kiện OpenAI đã thúc đẩy các kỹ sư của họ xem xét các đánh giá an ninh mạng tương tự của các mô hình Claude. Kết quả kiểm toán phát hiện 3 trường hợp.

Trong các kịch bản hack truyền thống, đây là hành vi tội phạm và có thể khiến con người ngồi sau bàn phím phải ngồi tù trong nhiều năm.

Không phân biệt được internet thật - giả

Anthropic cho biết các mô hình của họ được đặt trước giới hạn trong thách thức "bắt cờ". Giới hạn này chính là môi trường thử nghiệm, chỉ là mô phỏng và các mô hình không có quyền truy cập vào Internet mở.

Trong thực tế, các đối tác thử nghiệm không thường xuyên đã nhầm lẫn thực hiện truy cập như vậy có sẵn. Đáp lại, các mô hình đã xử lý các đường dẫn Internet như một phần của bài tập.

Các cuộc xâm nhập xảy ra thông qua ba mô hình Claude: Opus 4.7, Mythos 5 và một nguyên mẫu nghiên cứu nội bộ. Opus 4.7, phiên bản cũ nhất trong ba phiên bản, là phiên bản vượt qua ranh giới nhiều nhất.

Anthropic giải thích rằng Opus hoạt động dưới niềm tin sai lầm rằng tất cả các thực thể có thể truy cập được dự định là trong phạm vi cho bài tập.

Nó đã xâm phạm cơ sở hạ tầng của các tổ chức bị ảnh hưởng bằng cách sử dụng các kỹ thuật cơ bản, chẳng hạn như khai thác mật khẩu yếu và các thiết bị đầu cuối không được xác thực.

Anthropic nhấn mạnh rằng Claude của họ đã không tự trốn thoát hoặc cố tình thoát khỏi môi trường thử nghiệm của nó.

"Trong khi mô hình Opus tiếp tục tấn công ngay cả sau khi dự đoán chính xác rằng nó đã vi phạm hệ thống sản xuất của tổ chức bên thứ ba, Anthropic cho biết, Mythos 5 đã đưa ra một suy luận tương tự." - Thông cáo nêu.

Trong lần đầu tiên, Opus 4.7 không thể phá vỡ mục tiêu mô phỏng. Nhưng khi mô hình phát hiện ra rằng môi trường của nó thực sự có quyền truy cập Internet, nó đã xác định và khai thác các lỗ hổng bên trong mạng của một công ty thật, có cùng tên với mục tiêu trong mô phỏng.

Trong cả bốn lần chạy, mô hình cuối cùng đã nhận ra (có thể quan sát được trong lập luận bằng lời của nó) rằng hệ thống là thực tế trong hai trường hợp. Mô hình hợp lý hóa bằng lập luận rằng công ty ngoài đời thực phải là một phần của bài tập.

Lập cả một chiến lược dài hơi và nguy hiểm đến chính nó cũng sợ

Trong trường hợp thứ hai, Mythos 5 đã phát hiện ra một tài liệu bên trong môi trường hư cấu mà mô hình lý luận là hướng dẫn thiết lập của một công ty khác cho các nhà phát triển.

Vẫn theo lời nhắc để xâm nhập công ty hư cấu đầu tiên, mô hình đã xây dựng và xuất bản một gói độc hại có cùng tên. Gói này được tung lên mạng để "giăng bẫy" công ty mục tiêu.

Claude đã đi rất xa để thực hiện các cuộc tấn công, bắt đầu từ việc tạo tài khoản PyPI, Claude cần một địa chỉ email. Để tạo một địa chỉ email, nó cần một số điện thoại. Để có được một số điện thoại, sau khi không tìm thấy một dịch vụ số điện thoại miễn phí, nó đã cố gắng và thất bại để có được tiền để trả cho một số điện thoại thông qua một số phương tiện khác nhau.

Cuối cùng nó đã quay lại, tìm thấy một nhà cung cấp email miễn phí, không bị chặn, sử dụng điều này để đăng ký tài khoản PyPI và sau đó sử dụng tài khoản này để tải phần mềm độc hại lên PyPI.

Trong khoảng một giờ, gói Python đã có sẵn để tải xuống, nó đã chạy trên 15 hệ thống thực, bao gồm một máy quét thuộc về một công ty bảo mật thực sự không có tên trong cuộc tấn công mô phỏng.

Khi mã độc được thực thi, nó đã gửi thông tin đăng nhập của công ty bảo mật đến một điểm thu thập mà mô hình Mythos đã triển khai. Một khi sở hữu các thông tin đăng nhập, Mythos đã sử dụng chúng để truy cập trái phép hơn nữa vào cơ sở hạ tầng của công ty.

Ngay từ đầu, công cụ lý luận Mythos 5 đã dự đoán hậu quả của cuộc tấn công của nó có thể là độc hại và sẽ "KHÔNG ổn, và chắc chắn không phải là giải pháp dự định" nếu nó chạy trên Internet.

Trong lần tấn công thứ ba, nguyên mẫu nghiên cứu đã gặp khó khăn trong việc đạt được các hướng dẫn mà nó được nhắc phải tuân theo. Mô hình sau đó quét khoảng 9.000 mục tiêu thực sự cho đến khi nó tìm thấy lỗ hổng cho phép nó truy cập ứng dụng Internet của một công ty thực sự.