Hôm nay, cộng đồng công nghệ chính thức đón nhận Edge0-145B và Edge0-120B, đi kèm với khung suy luận thống nhất và các công cụ triển khai toàn diện. Edge0-145B là mô hình AI nguồn mở chạy trực tiếp trên thiết bị đầu tiên trên thế giới sở hữu 145 tỷ tham số, đem lại các tính năng lập trình, suy luận và tác nhân (agent) có sức mạnh sánh ngang với các mô hình đám mây tiên tiến ngay trên máy tính cá nhân.
Từ trước đến nay, việc chạy AI trên thiết bị luôn vấp phải sự đánh đổi giữa năng lực mô hình và giới hạn phần cứng. Các mô hình lớn đòi hỏi nhiều bộ nhớ, băng thông và năng lượng hơn, trong khi các mô hình nhỏ thường gặp khó khăn với các tác vụ phức tạp. Ngược lại, việc chuyển các tác vụ này lên đám mây lại phát sinh phí dịch vụ, rủi ro xử lý dữ liệu và sự phụ thuộc vào kết nối mạng.
Bản phát hành này giải quyết những hạn chế đó thông qua toàn bộ ngăn xếp mã nguồn mở, cho phép các nhà phát triển tái tạo kết quả, đánh giá hoặc tinh chỉnh mô hình và tích hợp chúng trực tiếp vào sản phẩm của riêng họ.
Edge0-145B giúp mô hình 145 tỷ tham số có thể vận hành mượt mà trên máy tính xách tay cá nhân. Một mô hình nội bộ hữu ích phải vừa vặn trong bộ nhớ, phản hồi lời nhắc nhanh chóng, tạo văn bản đủ nhanh để sử dụng, kiểm soát mức tiêu thụ điện năng và duy trì các tác vụ dài hạn.
Để giải quyết bài toán giới hạn bộ nhớ, băng thông và điện năng, đội ngũ phát triển đã thiết kế đồng bộ Edge0-145B và công cụ suy luận nhằm giảm thiểu tối đa việc di chuyển dữ liệu. Thiết kế này bao phủ toàn bộ các khâu từ kiến trúc, huấn luyện, nạp dữ liệu cho đến lập lịch.
Về kiến trúc, mô hình chia sẻ các ma trận lớn giữa các chuyên gia thưa (sparse experts) để giảm đáng kể trọng lượng cần lưu trữ và di chuyển mà không làm thay đổi số lượng chuyên gia. Trong mỗi bước suy luận của mô hình 145 tỷ tham số, chỉ có khoảng 10 tỷ tham số tham gia tính toán thực tế. Quá trình huấn luyện được xây dựng ngay từ đầu với các ràng buộc triển khai trên thiết bị, tránh việc phải nén hoặc cắt tỉa mô hình sau khi đã huấn luyện trên đám mây.
Về quá trình nạp dữ liệu, hệ thống thực hiện đường ống (pipeline) kết hợp bộ nhớ GPU, bộ nhớ hệ thống (RAM) và ổ cứng SSD để đọc và tính toán chồng lên nhau, tránh tình trạng chờ đợi tuần tự. Các "chuyên gia" thường xuyên sử dụng được lưu giữ trong GPU, trong khi thư viện chuyên gia khoảng 40GB nằm trên RAM và được nạp vào GPU khi cần thiết, cùng khoảng 48GB dữ liệu từ vựng nằm trên SSD.
Về mặt lập lịch, CPU và GPU hoạt động song song khi GPU tính toán các chuyên gia đã được lưu vào bộ nhớ đệm còn CPU xử lý phần việc còn lại. Phương pháp giải mã suy đoán (speculative decoding) giúp xác minh nhiều token ứng viên cùng lúc, phân bổ chi phí đọc trọng lượng trên nhiều token đầu ra hơn, hỗ trợ tốc độ giải mã đạt hơn 80 token/giây.
Những cải tiến này cho phép số lượng tham số tăng từ hàng chục tỷ lên hơn một trăm tỷ mà không làm tăng tỷ lệ thuận về mức sử dụng bộ nhớ, tiêu thụ điện năng và độ trễ. Edge0-145B chứng minh khả năng cạnh tranh mạnh mẽ với các mô hình đám mây tiên tiến trong các tác vụ lập trình, suy luận, kiến thức và tuân thủ hướng dẫn với kết quả đánh giá vượt trội trên nhiều bảng điểm chuẩn quốc tế.
