Sakana giới thiệu kiến trúc AI mới 'Cỗ máy Tư duy Liên tục' giúp mô hình suy luận với ít hướng dẫn hơn – tương tự bộ não con người
Công ty khởi nghiệp AI Sakana có trụ sở tại Tokyo vừa công bố kiến trúc mô hình AI đột phá mang tên "Cỗ máy Tư duy Liên tục" (Continuous Thought Machines - CTM). Được sáng lập bởi những cựu chuyên gia AI hàng đầu của Google, Sakana kỳ vọng CTM sẽ mở ra kỷ nguyên mới cho các mô hình ngôn ngữ AI, với khả năng xử lý đa dạng tác vụ nhận thức phức tạp một cách linh hoạt hơn. Điểm đặc biệt của CTM là khả năng suy luận và thích ứng với các vấn đề mới một cách tự nhiên, gần gũi hơn với cách bộ não con người hoạt động.
Thay vì dựa vào các lớp song song cố định như trong kiến trúc Transformer quen thuộc, CTM "mở rộng tính toán qua các bước" trong mỗi đơn vị đầu vào/đầu ra, hay còn gọi là "neuron" nhân tạo. Mỗi neuron này lưu giữ một lịch sử hoạt động ngắn hạn và sử dụng bộ nhớ đó để quyết định thời điểm kích hoạt lại. Điều này cho phép CTM "điều chỉnh độ sâu và thời lượng suy luận một cách linh hoạt, tùy thuộc vào độ phức tạp của tác vụ". Nhờ đó, CTM có thể giải quyết các bài toán phức tạp như giải mê cung hoặc điều hướng mà không cần gợi ý vị trí cụ thể.
Điểm khác biệt cốt lõi giữa CTM và các mô hình ngôn ngữ lớn (LLM) dựa trên Transformer nằm ở cách chúng xử lý thông tin. Trong khi Transformer sử dụng các lớp neuron song song để xử lý dữ liệu một lần duy nhất, CTM cho phép mỗi neuron hoạt động trên "dòng thời gian nội bộ" của riêng mình. Các neuron sẽ tự quyết định thời điểm kích hoạt dựa trên bộ nhớ ngắn hạn về trạng thái trước đó, diễn ra qua các bước "tick" nội bộ. Chính điều này giúp mô hình "điều chỉnh thời gian suy luận một cách linh hoạt", phụ thuộc vào độ phức tạp của đầu vào.
"Số lượng tick thay đổi theo thông tin đầu vào, và có thể khác nhau ngay cả khi thông tin đầu vào giống hệt nhau, vì mỗi neuron đều quyết định số lượng tick cần thiết trước khi đưa ra đầu ra (hoặc không đưa ra đầu ra nào cả)," Sakana cho biết. Đây là một bước tiến lớn so với deep learning truyền thống, hướng tới một mô hình "gần gũi hơn về mặt sinh học".
Kiến trúc CTM được xây dựng dựa trên hai cơ chế chính. Thứ nhất, mỗi neuron duy trì một "lịch sử" hoặc bộ nhớ làm việc ngắn hạn, ghi lại thời điểm và lý do kích hoạt. Thứ hai, "sự đồng bộ hóa thần kinh" - cách các nhóm neuron "kích hoạt" và xử lý thông tin cùng nhau - diễn ra một cách tự nhiên, dựa trên sự liên kết nội bộ thay vì các hướng dẫn bên ngoài.
"Mô hình không chỉ xử lý dữ liệu, mà còn định thời gian suy nghĩ để phù hợp với độ phức tạp của tác vụ," đại diện Sakana chia sẻ.
Kết quả ban đầu cho thấy CTM có khả năng giải quyết các tác vụ khác nhau, từ phân loại hình ảnh đến giải mê cung 2D và học tăng cường. Đáng chú ý, CTM thể hiện khả năng "giải thích" và "thích ứng" cao. Các bước "suy nghĩ" nội bộ của mô hình cho phép các nhà nghiên cứu quan sát cách các quyết định hình thành theo thời gian, một mức độ minh bạch hiếm thấy ở các mô hình khác.
Mặc dù CTM chưa được tối ưu hóa cho việc triển khai thương mại, Sakana đã công bố mã nguồn mở trên GitHub, kèm theo các công cụ và tài liệu hướng dẫn chi tiết. Điều này tạo điều kiện cho cộng đồng các nhà nghiên cứu và kỹ sư bắt đầu thử nghiệm và phát triển dựa trên nền tảng này.
Mặc dù còn trong giai đoạn thử nghiệm, CTM mang đến những tiềm năng đáng chú ý cho các doanh nghiệp. Khả năng "phân bổ tính toán một cách thích ứng", "tự điều chỉnh độ sâu suy luận" và "cung cấp khả năng giải thích rõ ràng" có thể rất hữu ích trong các hệ thống sản xuất phải đối mặt với độ phức tạp đầu vào khác nhau hoặc các yêu cầu pháp lý nghiêm ngặt. Với những ưu điểm vượt trội về tính minh bạch và khả năng thích ứng, "Cỗ máy Tư duy Liên tục" của Sakana hứa hẹn sẽ là một bước tiến quan trọng trong lĩnh vực trí tuệ nhân tạo.