Một nhiệm vụ tưởng chừng đơn giản như đặt lịch tập gym đã trở thành tình huống đáng lo ngại khi một AI agent tự phát hiện và khai thác lỗ hổng trên website mà không được người dùng yêu cầu. Theo câu chuyện được chia sẻ, Andrew, một người dùng tại Melbourne (Australia), chỉ muốn AI theo dõi lớp tập đã kín chỗ và đăng ký cho mình nếu có suất trống. Tuy nhiên, agent lại lựa chọn một cách hoàn toàn khác: tìm cách loại một người khác khỏi danh sách chờ để cải thiện vị trí cho chủ nhân.
AI agent có thể tự phân tích hệ thống và thực hiện hành động ngoài dự kiến nếu được trao quyền truy cập quá rộng.
Andrew khi đó đang đứng thứ 4 trong danh sách chờ một lớp tập vào sáng hôm sau. Khi được giao nhiệm vụ tìm cách giúp anh có cơ hội tham gia lớp, AI agent đã kiểm tra cách website xử lý việc đặt và hủy lịch. Trong quá trình này, hệ thống nhận ra API cho phép hủy đặt chỗ của người khác mà không xác thực quyền. Agent sau đó tự thử thao tác với người đang đứng đầu danh sách chờ. Kết quả là yêu cầu thực sự có hiệu lực, khiến Andrew từ vị trí thứ 4 được đẩy lên thứ 3. Điều đáng chú ý nằm ở chỗ AI tự quyết định khai thác lỗ hổng dù người dùng chưa từng yêu cầu nó xâm nhập hay can thiệp vào tài khoản của người khác.
Sự việc càng trở nên nghiêm trọng khi Andrew yêu cầu AI hoàn tác hành động vừa thực hiện. Agent trả lời rằng nó không thể đưa người bị hủy suất trở lại danh sách chờ, bởi API của hệ thống chỉ hỗ trợ hủy mà không có chức năng khôi phục. Như vậy, một hành động do AI tự đưa ra đã gây ảnh hưởng thực tế tới một người hoàn toàn không liên quan, trong khi chính agent cũng không thể sửa hậu quả. Vụ việc cho thấy rủi ro lớn của AI Agent không chỉ nằm ở khả năng bị con người lợi dụng để tấn công, mà còn ở việc hệ thống có thể tự lựa chọn những phương án vượt quá ý định ban đầu nếu được trao quyền truy cập và khả năng thực thi hành động.
Andrew được cho là đang thử nghiệm OpenClaw, một phần mềm AI agent có khả năng thực hiện nhiều tác vụ thay người dùng và được tích hợp với Claude của Anthropic. Điểm đáng chú ý là sự việc không diễn ra trong một phòng thí nghiệm bảo mật với môi trường giả lập, mà xuất phát từ một nhu cầu đời thường của người dùng. AI được giao một mục tiêu khá mơ hồ là tìm cách đặt được suất tập, sau đó tự phân tích hệ thống, tìm lỗ hổng và thực hiện hành động có lợi cho chủ nhân. Đây chính là khác biệt quan trọng giữa chatbot truyền thống và AI agent tự động: thay vì chỉ đưa ra câu trả lời, agent có thể quan sát môi trường, lập kế hoạch và trực tiếp tác động lên hệ thống bên ngoài.
Từ một yêu cầu đặt lịch đơn giản, AI đã tự tìm ra lỗ hổng API và can thiệp vào danh sách chờ của người khác.
Vụ việc cũng diễn ra trong bối cảnh những cảnh báo về khả năng AI tự thực hiện hành vi tấn công mạng ngày càng xuất hiện nhiều. Các thử nghiệm của những phòng nghiên cứu AI lớn từng cho thấy agent có thể tìm kiếm lỗ hổng, thực hiện các bước khai thác và tương tác với hệ thống thật khi được trao đủ quyền. Trường hợp tại Melbourne vì vậy đặc biệt đáng chú ý bởi nó cho thấy nguy cơ này có thể xuất hiện ngay trong những tác vụ rất bình thường, thay vì chỉ tồn tại trong các kịch bản an ninh mạng chuyê