Các phòng thí nghiệm trí tuệ nhân tạo (AI) từ lâu đã đặt cược danh tiếng của mình vào các bài kiểm tra chuẩn hóa (benchmarking) — hệ thống đánh giá được cho là trung lập và chính xác nhằm xác định sản phẩm AI này có vượt trội hơn sản phẩm khác hay không.
Tuy nhiên, chia sẻ trong một buổi thảo luận tại sự kiện TechCrunch Disrupt vừa qua, bà Irene Solaiman, Giám đốc chính sách của Hugging Face, cho biết các phương pháp đánh giá hiện tại vẫn rất phức tạp và đang trong giai đoạn phát triển. Theo bà, để ngành công nghiệp có thể tin cậy vào các kết quả này trong tương lai, hoạt động thử nghiệm cần phải được quy chuẩn thành một ngành khoa học nhất quán hơn.
Đặt trong bối cảnh đó, liệu công chúng và giới chuyên môn có thể đặt niềm tin vào các bài kiểm tra đang được công bố?
"Niềm tin là một khái niệm rất nặng ký," bà Solaiman nhận định. "Để đánh giá xem chúng ta có thể tin tưởng kết quả hay không, một phần lớn nằm ở việc bạn có thể tái lập lại kết quả đánh giá đó hay không? Bạn có mức độ tiếp cận cần thiết đối với chính mô hình đó không — và đây chính là nơi mà trọng số mở (open weights) đóng vai trò vô cùng quan trọng."
Khả năng tái lập kết quả từ lâu đã là một trong những trở ngại lớn nhất của quy trình đánh giá chuẩn hóa và tiếp tục là chủ đề gây tranh cãi sâu sắc trong ngành. Ngoài tính hợp lệ của từng bài kiểm tra riêng lẻ, một thách thức khác là làm thế nào để so sánh bài kiểm tra này với các đánh giá khác.
"Chúng là một ngành khoa học đang tiến hóa — nơi mà chúng ta chưa biết cách so sánh chúng với nhau một cách có ý nghĩa," bà Solaiman chia sẻ thêm. "Các bài đánh giá bắt đầu mất tác dụng tương đối nhanh, và chúng ta chưa có được một hệ sinh thái phát triển mạnh mẽ như kỳ vọng. Hiện đang có một cơn khát về hệ sinh thái các nhà đánh giá nội bộ, nhưng các tiêu chí xác định ai là người đánh giá hiệu quả trên các tác vụ cụ thể lại cần nhiều sự chuẩn hóa hơn."
Ý tưởng về "nhà đánh giá nội bộ" (embedded evaluators) — trong đó các quan sát viên bên thứ ba được cho là "trung lập" sẽ được bố trí làm việc trực tiếp bên trong các tổ chức AI — đã trở nên phổ biến trong vài tháng qua. Động thái này xuất hiện khi các phòng thí nghiệm AI liên tiếp đối mặt với hàng loạt sự cố an toàn làm dấy lên lo ngại về tác hại tiềm tàng từ công nghệ của họ, trong đó Hugging Face cũng từng là mục tiêu của một sự cố.
Thay vì chịu sự quản lý trực tiếp từ các quy định của chính phủ để xác định và giảm thiểu rủi ro an toàn mô hình, các phòng nghiên cứu đã thúc đẩy giải pháp sử dụng bên thứ ba. Dẫu vậy, những hoài nghi về tính trung lập và hiệu quả thực sự của các đơn vị đánh giá này vẫn còn tồn tại. Quyết định thuê công ty tư vấn Accenture làm đơn vị đánh giá đầu tiên của Anthropic từng vấp phải làn sóng phản đối đáng kể, khi nhiều ý kiến chỉ trích chế giễu năng lực chuyên môn của công ty này đối với nhiệm vụ được giao.
Không dừng lại ở đó, hoạt động đánh giá hiện đang dịch chuyển từ việc chỉ kiểm tra riêng mô hình sang kiểm tra toàn bộ hệ thống xung quanh mô hình — bao gồm bộ khung kết nối (harness) và tác tử (agent). Bà Solaiman giải thích rằng harness — công cụ mà người dùng sử dụng để truy cập và vận hành mô hình — đóng vai trò rất lớn đến hiệu suất. Thậm chí, một mô hình yếu hơn kết hợp với một harness tốt hơn hoàn toàn có thể vượt mặt một mô hình hàng đầu (frontier model).
"Đánh giá tác tử AI thực sự rất khó và vô cùng tốn kém," bà Solaiman nhấn mạnh. "Chúng ta đang có nhiều bài đánh giá dành cho các mô hình, nhưng lại chưa có nhiều đánh giá cho các harness. Hiện chúng tôi đang phát triển các bài đánh giá tốt hơn cho toàn bộ tác tử tổng thể — bởi vì đó là nơi mang lại giá trị thực tế cho nhiều người."
Thực tế này cho thấy không gian đánh giá AI hiện nay vẫn đang ở trạng thái tự phát và thiếu định hướng chung. Nếu việc kiểm chuẩn tiếp tục được xem là công cụ hữu ích cho các nhà lãnh đạo trong ngành, việc xây dựng một phương pháp tiếp cận thống nhất, mang tính toàn ngành sẽ là điều tất yếu trong thời gian tới.
