Theo Shyam Ravindranathan, Giám đốc cao cấp về Quản lý Sản phẩm tại SAP, khi các doanh nghiệp đẩy mạnh triển khai các tác nhân AI (AI agent), những nghi vấn xung quanh vai trò giám sát của con người ngày càng gia tăng. Thực tế cho thấy, mô hình "con người trong vòng lặp" (human-in-the-loop - HITL) tích hợp trong quy trình phát triển AI dạng tác nhân (agentic AI) ở các phần mềm doanh nghiệp đang dần biến thành một thủ tục mang tính hình thức thay vì tạo ra cơ chế kiểm soát thực chất.
Doanh nghiệp duy trì con người trong quy trình vì nhiều lý do chính đáng, bao gồm lo ngại về việc làm, uy tín thương hiệu và hiện tượng AI ảo giác (hallucination). Dù vậy, vai trò này vẫn chưa được định nghĩa rõ ràng. Trong nhiều hệ thống agentic AI, sự giám sát của con người bị đối xử như một ô cần tích chọn để đối phó với rủi ro pháp lý, trong khi lực lượng kiểm duyệt lại rơi vào tình trạng quá tải và thiếu năng lực chuyên môn phù hợp.
Trước lượng thông tin khổng lồ do AI tạo ra, người kiểm duyệt thường mặc định rằng AI đã xử lý đúng, chỉ chọn mẫu một vài mục và phê duyệt hàng loạt phần còn lại. Điều này dễ dẫn đến việc bỏ sót những quyết định sai lầm hiếm hoi nhưng không thể đảo ngược. Khi yếu tố trách nhiệm giải trình không được xây dựng ngay từ cốt lõi hệ thống, rất khó để xác định ai sẽ chịu trách nhiệm khi xảy ra sự cố: tác nhân AI, đội ngũ phát triển, người kiểm duyệt hay chủ doanh nghiệp phụ thuộc vào dòng sản phẩm đó.
Đúng người, đúng quyết định
Cường độ giám sát bắt buộc phải tương ứng với mức độ rủi ro. Hãy so sánh một bước tự động hóa bằng AI duyệt đơn mua hàng 400 USD với một đơn hàng mua sắm trị giá 4 triệu USD. Nếu do con người xử lý, các lớp kiểm tra và cân bằng sẽ tự động được thiết lập chặt chẽ hơn cho đơn hàng lớn. Logic tương tự cũng phải được áp dụng cho tự động hóa bằng AI.
Bên cạnh đó, việc lưu lại nhật ký mọi hành động của AI và chỉ định một cá nhân chịu trách nhiệm đích danh cho kết quả là điều bắt buộc. Dù quy trình đã được tự động hóa, trách nhiệm cuối cùng vẫn phải thuộc về con người. Hầu hết doanh nghiệp đều bắt đầu từ quy mô nhỏ và mở rộng khi đã vững tin hơn vào phương pháp AI của mình, do đó các bước thủ công vẫn sẽ tiếp tục tồn tại.
Đặc biệt trong giai đoạn đầu, việc kiểm tra và đánh giá AI phải do các chuyên gia chuyên ngành (SME) thực hiện, giống như trong quy trình sản xuất. Doanh nghiệp không thể kỳ vọng bất kỳ ai trong đội ngũ phát triển hay bộ phận QA chung chung thực hiện việc kiểm duyệt hiệu quả. Việc kiểm soát khối lượng quy trình cần kiểm duyệt là chìa khóa ngay cả với các chuyên gia giàu kinh nghiệm. Con người không thể sánh với AI về khả năng tổng hợp khối lượng dữ liệu lớn trong một bước. Nếu bắt một người phải đưa ra quyết định ngay lập tức hàng trăm lần mỗi ngày, họ sẽ bắt đầu nghi ngờ năng lực của chính mình và quay sang phê duyệt chiếu lệ.
Hãy tưởng tượng một tác nhân AI thấy tỷ lệ giao hàng đúng hạn của nhà cung cấp giảm xuống dưới ngưỡng thiết lập và tự động đặt đơn hàng dự phòng với nhà cung cấp xếp hạng tiếp theo. Dữ liệu không thể hiện được rằng nhà cung cấp thứ hai này đã gần quá tải do cam kết với các nhà sản xuất khác. Một người mua hàng giàu kinh nghiệm sẽ gọi điện cho nhà cung cấp trước và biết rằng họ chỉ có thể đáp ứng một phần đơn hàng. Trong khi đó, một người kiểm duyệt thiếu kinh nghiệm phải duyệt hàng trăm đơn mỗi ngày nhiều khả năng sẽ cho đơn hàng của AI thông qua mà không kiểm tra lại.
Trong giai đoạn đầu triển khai AI, không nên cắt giảm số lượng nhân sự tham gia vào quy trình kiểm duyệt HITL. Ở giai đoạn này, điều quan trọng là có nhiều người cùng xem xét lượng dữ liệu nhỏ hơn, đặc biệt là với các quyết định mang tính rủi ro cao. Khi tác nhân AI đã đạt đến độ chín muồi nhất định, doanh nghiệp mới có thể giảm dần số lượng người kiểm duyệt dựa trên kết quả đánh giá thực tế.
Trao cho người kiểm duyệt quyền dừng quy trình
Con người có thể đóng vai trò như một "cầu chì" trong các hệ thống agentic AI, có khả năng ngăn chặn các tác nhân AI đưa ra những quyết định không thể đảo ngược đi ngược lại các quy tắc và mục tiêu đã đề ra. Người kiểm duyệt cần có công cụ để dừng ngay quy trình khi phát hiện sự lệch chuẩn hoặc rủi ro, sau đó mời các chuyên gia vào xử lý. Việc chỉ đưa ra cảnh báo là không đủ, vì quy trình vẫn sẽ tiếp tục chạy và nếu có sự cố thực sự xảy ra, doanh nghiệp chỉ có thể khắc phục hậu quả thay vì can thiệp kịp thời.
Sự giám sát là một loại chi phí không thể mở rộng quy mô tùy tiện, bởi thời gian của con người là tài nguyên có hạn. Một người giám sát không có chuyên môn hoặc không có quyền nói "không" sẽ chẳng khác nào một chữ ký mù. Đó là lý do tại sao mỗi tác nhân AI đều cần một chủ sở hữu đích danh chịu trách nhiệm cho các hoạt động của nó, và việc đưa thêm các kiểm duyệt viên chuyên môn vào giai đoạn đầu với số lượng quyết định trong tầm kiểm soát sẽ giúp trao quyền thực sự cho con người.
