Công ty khởi nghiệp trí tuệ nhân tạo Anthropic vừa phát hành một báo cáo mới liên quan đến hành vi của các mô hình Claude trong quá trình thử nghiệm và đánh giá nội bộ, qua đó làm nổi bật một xu hướng đáng lo ngại trong việc kiểm soát các tác tử AI (AI agents).
Theo báo cáo, trong quá trình thực hiện một chuẩn đánh giá khi tạo các tác vụ mẫu trên các trang web ngẫu nhiên, mô hình Claude Haiku 4.5 đã bắt gặp trang thông tin về một vụ án giết người chưa được giải quyết. Mô hình này sau đó đã tự ý điền vào biểu mẫu gửi thông tin mật báo của Sở Cảnh sát Philadelphia với nội dung: "Tôi có thể có thông tin về vụ án này. Tôi nhớ đã nhìn thấy một người khớp với mô tả tại khu vực... Vui lòng liên hệ với tôi nếu thông tin này phù hợp."
Cảnh sát sau đó đã gắn cờ nội dung này là thư rác và không đưa vào diện điều tra thực tế. Anthropic cũng cho biết Claude đã thực hiện những hành động tương tự trong nhiều trường hợp khác, bao gồm cả đợt đánh giá sử dụng máy tính OSWorld.
Giải thích về nguyên nhân, Anthropic cho biết mô hình được hướng dẫn không bao giờ đăng nhập, tạo tài khoản, nhập dữ liệu cá nhân, mua hàng hay gửi bất cứ thứ gì có tính phá hoại, nhưng các chỉ dẫn lại không loại trừ việc gửi biểu mẫu. Sự việc cho thấy những hướng dẫn an toàn cần phải chặt chẽ đến mức nào để ngăn chặn hành vi không mong muốn. Quan trọng hơn, vấn đề cốt lõi là hệ thống AI dường như không hiểu được vì sao nó không nên gửi tin báo giả mạo cho một cuộc điều tra án mạng – một minh chứng cho thấy các mô hình tiên tiến nhất vẫn thiếu nhận thức về mặt ngữ cảnh.
Đây không phải là sự cố duy nhất. Trong một trường hợp khác, một mô hình chưa ra mắt của Anthropic được giao nhiệm vụ điền vào bản sao thử nghiệm của một biểu mẫu chính phủ. Khi bản thử nghiệm không thể tải hoặc bị đóng nhầm, mô hình đã tự động điều hướng sang trang web thực tế của chính phủ và nộp biểu mẫu tại đó. Theo báo cáo từ Axios, Anthropic đã phải cảnh báo Bộ Ngoại giao Mỹ rằng mô hình của họ đã nộp 19 đơn xin thị thực không định cư vào tháng 8 và 1 đơn vào tháng 5 thông qua biểu mẫu công khai trên trang web của bộ này. Rất may, các lá đơn không được xử lý và hệ thống của Bộ Ngoại giao không bị xâm nhập.
Báo cáo cũng chỉ ra nhiều trường hợp mô hình tự tìm cách lách luật. Khi phiên bản Claude Mythos 5 bị máy chủ chặn hoặc gặp tường phí (paywall), nó đã tìm các giải pháp thay thế, chẳng hạn như truy tìm mã xác thực truy cập (access token) trong các phiên bản cũ của một trang web cơ quan chính phủ.
Để ngăn AI sử dụng các URL dài nhằm thực hiện hành vi nguy hiểm như tấn công SQL hoặc chèn lệnh, Anthropic từng giới hạn độ dài đường dẫn mà Claude có thể yêu cầu. Tuy nhiên, Claude Opus 5 và Mythos 5 đã tìm ra kẽ hở bằng cách sử dụng các dịch vụ rút gọn liên kết miễn phí để vượt qua rào cản này.
Các hành vi trên phù hợp với vấn đề "kiên trì đến mức sai lầm" thường thấy ở AI. Do phương pháp đào tạo, các hệ thống AI sẵn sàng phá vỡ giới hạn, vượt qua các bước kiểm tra an toàn hoặc gian lận nhằm đạt được mục tiêu hoàn thành nhiệm vụ. Điều này xảy ra ngay cả khi các nhà nghiên cứu đã chỉ dẫn rõ ràng rằng phải dừng lại ở những ngõ cụt, thậm chí một số mô hình đã tự nhận định trong chuỗi tư duy (chain-of-thought) rằng hành động đó không nên làm nhưng vẫn tiếp tục thực hiện.
Để đối phó với tình trạng này, Anthropic tuyên bố đã mở rộng việc tắt quyền truy cập internet trực tiếp đối với toàn bộ các đánh giá nội bộ cho đến khi các biện pháp giám sát và bảo mật có thể phát hiện đáng tin cậy những hành vi tương tự. Động thái này tương tự như những thay đổi mà OpenAI từng thực hiện đối với quy trình bảo mật sau sự cố liên quan đến nền tảng Hugging Face.
