Khi những tin đồn và báo cáo xoay quanh khó khăn mà các công ty AI hàng đầu phải đối mặt trong việc phát triển các mô hình ngôn ngữ lớn (LLM) mới hơn, mạnh hơn, sự chú ý đang ngày càng chuyển sang các kiến trúc thay thế cho “Transformer” – công nghệ làm nền tảng cho hầu hết sự bùng nổ AI thế hệ hiện tại, được các nhà nghiên cứu của Google giới thiệu trong bài báo chuyên đề năm 2017 “Sự chú ý là tất cả những gì bạn cần.”
Như được mô tả trong bài báo đó và từ đó trở đi, máy biến áp là một kiến trúc mạng thần kinh học sâu xử lý dữ liệu tuần tự, chẳng hạn như thông tin văn bản hoặc chuỗi thời gian.
Hiện nay, Công ty khởi nghiệp Liquid AI do MIT khai sinh có giới thiệu STAR (Tổng hợp các kiến trúc phù hợp) – một khuôn khổ cải tiến được thiết kế để tự động hóa việc tạo và tối ưu hóa kiến trúc mô hình AI.
Khung STAR tận dụng các thuật toán tiến hóa và hệ thống mã hóa số để giải quyết thách thức phức tạp trong việc cân bằng chất lượng và hiệu quả trong các mô hình học sâu.
Theo nhóm nghiên cứu của Liquid AI, bao gồm Armin W. Thomas, Rom Parnichkun, Alexander Amini, Stefano Massaroli và Michael Poli, cách tiếp cận của STAR thể hiện sự thay đổi so với các phương pháp thiết kế kiến trúc truyền thống.
Thay vì dựa vào việc điều chỉnh thủ công hoặc các mẫu được xác định trước, STAR sử dụng kỹ thuật mã hóa phân cấp—được gọi là “bộ gen STAR”—để khám phá không gian thiết kế rộng lớn của các kiến trúc tiềm năng.
Những bộ gen này cho phép các quá trình tối ưu hóa lặp đi lặp lại như tái tổ hợp và đột biến, cho phép STAR tổng hợp và tinh chỉnh các kiến trúc phù hợp với các số liệu cụ thể và yêu cầu phần cứng.
Giảm 90% kích thước bộ đệm so với Máy biến áp ML truyền thống:
Trọng tâm ban đầu của Liquid AI dành cho STAR là mô hình hóa ngôn ngữ tự hồi quy, một lĩnh vực mà kiến trúc Transformer truyền thống từ lâu đã chiếm ưu thế.
Trong các thử nghiệm được thực hiện trong quá trình nghiên cứu, nhóm nghiên cứu Liquid AI đã chứng minh khả năng của STAR trong việc tạo ra các kiến trúc luôn hoạt động tốt hơn các mô hình Transformer++ và mô hình lai được tối ưu hóa cao.
Ví dụ: khi tối ưu hóa chất lượng và kích thước bộ nhớ đệm, kiến trúc phát triển STAR đã đạt được mức giảm kích thước bộ nhớ đệm tới 37% so với các mô hình kết hợp và 90% so với Transformers. Bất chấp những cải tiến về hiệu quả này, các mô hình do STAR tạo ra vẫn duy trì hoặc vượt qua hiệu suất dự đoán của các mô hình tương tự.
Tương tự, khi được giao nhiệm vụ tối ưu hóa chất lượng và kích thước mô hình, STAR đã giảm số lượng tham số tới 13% trong khi vẫn cải thiện hiệu suất trên các điểm chuẩn tiêu chuẩn.
Nghiên cứu cũng nhấn mạnh khả năng mở rộng quy mô thiết kế của STAR. Một mô hình được phát triển bởi STAR có quy mô từ 125 triệu đến 1 tỷ tham số đã mang lại kết quả tương đương hoặc vượt trội so với các mô hình Transformer++ và mô hình lai hiện có, đồng thời giảm đáng kể các yêu cầu về bộ nhớ đệm suy luận.
Tái kiến trúc kiến trúc mô hình AI:
Liquid AI tuyên bố rằng STAR bắt nguồn từ lý thuyết thiết kế kết hợp các nguyên tắc từ hệ thống động lực, xử lý tín hiệu và đại số tuyến tính số.
Cách tiếp cận nền tảng này đã cho phép nhóm phát triển một không gian tìm kiếm linh hoạt cho các đơn vị tính toán, bao gồm các thành phần như cơ chế chú ý, phép truy toán và phép cuộn.
Một trong những tính năng nổi bật của STAR là tính mô-đun của nó, cho phép khung mã hóa và tối ưu hóa kiến trúc trên nhiều cấp độ phân cấp. Khả năng này cung cấp cái nhìn sâu sắc về các họa tiết thiết kế định kỳ và cho phép các nhà nghiên cứu xác định sự kết hợp hiệu quả của các thành phần kiến trúc.
Điều gì tiếp theo cho STAR?
Khả năng tổng hợp các kiến trúc hiệu quả, hiệu suất cao của STAR có những ứng dụng tiềm năng vượt xa mô hình hóa ngôn ngữ. AI lỏng hình dung khuôn khổ này sẽ được sử dụng để giải quyết các thách thức trong các lĩnh vực khác nhau, trong đó sự cân bằng giữa chất lượng và hiệu quả tính toán là rất quan trọng.
Mặc dù Liquid AI vẫn chưa tiết lộ kế hoạch cụ thể về triển khai thương mại hoặc định giá, nhưng kết quả nghiên cứu báo hiệu một tiến bộ đáng kể trong lĩnh vực thiết kế kiến trúc tự động. Đối với các nhà nghiên cứu và nhà phát triển đang tìm cách tối ưu hóa hệ thống AI, STAR có thể là một công cụ mạnh mẽ để vượt qua ranh giới về hiệu suất và hiệu quả của mô hình.
Với phương pháp nghiên cứu mở, Liquid AI đã xuất bản chi tiết đầy đủ về STAR trong một bài báo được bình duyệt khuyến khích sự hợp tác và đổi mới hơn nữa. Khi bối cảnh AI tiếp tục phát triển, các khuôn khổ như STAR sẵn sàng đóng vai trò quan trọng trong việc định hình thế hệ hệ thống thông minh tiếp theo. STAR thậm chí có thể báo trước sự ra đời của một thời kỳ bùng nổ kiến trúc mới sau Transformer — một món quà kỳ nghỉ đông đáng hoan nghênh dành cho cộng đồng nghiên cứu máy học và AI.
#LiquidAI #STAR #Transformers #AI #Hệthốngthôngminh Nguồn: https://venturebeat.com/business/liquid-ais-new-star-model-architecture-outshines-transformer-efficiency/
Tham gia các bản tin hàng ngày và hàng tuần của chúng tôi để có những cập nhật mới nhất và nội dung độc quyền về phạm vi phủ sóng AI hàng đầu trong ngành. Tìm hiểu thêm
Khi những tin đồn và báo cáo xoay quanh khó khăn mà các công ty AI hàng đầu phải đối mặt trong việc phát triển các mô hình ngôn ngữ lớn (LLM) mới hơn, mạnh hơnsự chú ý đang ngày càng chuyển sang các kiến trúc thay thế cho “Transformer” – công nghệ làm nền tảng cho hầu hết sự bùng nổ AI thế hệ hiện tại, được các nhà nghiên cứu của Google giới thiệu trong bài báo chuyên đề năm 2017 “Sự chú ý là tất cả những gì bạn cần.“
Như được mô tả trong bài báo đó và từ đó trở đi, máy biến áp là một kiến trúc mạng thần kinh học sâu xử lý dữ liệu tuần tự, chẳng hạn như thông tin văn bản hoặc chuỗi thời gian.
Hiện nay, Công ty khởi nghiệp Liquid AI do MIT khai sinh có giới thiệu STAR (Tổng hợp các kiến trúc phù hợp)một khuôn khổ cải tiến được thiết kế để tự động hóa việc tạo và tối ưu hóa kiến trúc mô hình AI.
Khung STAR tận dụng các thuật toán tiến hóa và hệ thống mã hóa số để giải quyết thách thức phức tạp trong việc cân bằng chất lượng và hiệu quả trong các mô hình học sâu.
Theo nhóm nghiên cứu của Liquid AI, bao gồm Armin W. Thomas, Rom Parnichkun, Alexander Amini, Stefano Massaroli và Michael Poli, cách tiếp cận của STAR thể hiện sự thay đổi so với các phương pháp thiết kế kiến trúc truyền thống.
Thay vì dựa vào việc điều chỉnh thủ công hoặc các mẫu được xác định trước, STAR sử dụng kỹ thuật mã hóa phân cấp—được gọi là “bộ gen STAR”—để khám phá không gian thiết kế rộng lớn của các kiến trúc tiềm năng.
Những bộ gen này cho phép các quá trình tối ưu hóa lặp đi lặp lại như tái tổ hợp và đột biến, cho phép STAR tổng hợp và tinh chỉnh các kiến trúc phù hợp với các số liệu cụ thể và yêu cầu phần cứng.
Giảm 90% kích thước bộ đệm so với Máy biến áp ML truyền thống
Trọng tâm ban đầu của Liquid AI dành cho STAR là mô hình hóa ngôn ngữ tự hồi quy, một lĩnh vực mà kiến trúc Transformer truyền thống từ lâu đã chiếm ưu thế.
Trong các thử nghiệm được thực hiện trong quá trình nghiên cứu, nhóm nghiên cứu Liquid AI đã chứng minh khả năng của STAR trong việc tạo ra các kiến trúc luôn hoạt động tốt hơn các mô hình Transformer++ và mô hình lai được tối ưu hóa cao.
Ví dụ: khi tối ưu hóa chất lượng và kích thước bộ nhớ đệm, kiến trúc phát triển STAR đã đạt được mức giảm kích thước bộ nhớ đệm tới 37% so với các mô hình kết hợp và 90% so với Transformers. Bất chấp những cải tiến về hiệu quả này, các mô hình do STAR tạo ra vẫn duy trì hoặc vượt quá hiệu suất dự đoán của các mô hình tương tự.
Tương tự, khi được giao nhiệm vụ tối ưu hóa chất lượng và kích thước mô hình, STAR đã giảm số lượng tham số tới 13% trong khi vẫn cải thiện hiệu suất trên các điểm chuẩn tiêu chuẩn.
Nghiên cứu cũng nhấn mạnh khả năng mở rộng quy mô thiết kế của STAR. Một mô hình được phát triển bởi STAR có quy mô từ 125 triệu đến 1 tỷ tham số đã mang lại kết quả tương đương hoặc vượt trội so với các mô hình Transformer++ và mô hình lai hiện có, đồng thời giảm đáng kể các yêu cầu về bộ nhớ đệm suy luận.
Tái kiến trúc kiến trúc mô hình AI
Liquid AI tuyên bố rằng STAR bắt nguồn từ lý thuyết thiết kế kết hợp các nguyên tắc từ hệ thống động lực, xử lý tín hiệu và đại số tuyến tính số.
Cách tiếp cận nền tảng này đã cho phép nhóm phát triển một không gian tìm kiếm linh hoạt cho các đơn vị tính toán, bao gồm các thành phần như cơ chế chú ý, phép truy toán và phép cuộn.
Một trong những tính năng nổi bật của STAR là tính mô-đun của nó, cho phép khung mã hóa và tối ưu hóa kiến trúc trên nhiều cấp độ phân cấp. Khả năng này cung cấp cái nhìn sâu sắc về các họa tiết thiết kế định kỳ và cho phép các nhà nghiên cứu xác định sự kết hợp hiệu quả của các thành phần kiến trúc.
Điều gì tiếp theo cho STAR?
Khả năng tổng hợp các kiến trúc hiệu quả, hiệu suất cao của STAR có những ứng dụng tiềm năng vượt xa mô hình hóa ngôn ngữ. AI lỏng hình dung khuôn khổ này sẽ được sử dụng để giải quyết các thách thức trong các lĩnh vực khác nhau, trong đó sự cân bằng giữa chất lượng và hiệu quả tính toán là rất quan trọng.
Mặc dù Liquid AI vẫn chưa tiết lộ kế hoạch cụ thể về triển khai thương mại hoặc định giá, nhưng kết quả nghiên cứu báo hiệu một tiến bộ đáng kể trong lĩnh vực thiết kế kiến trúc tự động. Đối với các nhà nghiên cứu và nhà phát triển đang tìm cách tối ưu hóa hệ thống AI, STAR có thể là một công cụ mạnh mẽ để vượt qua ranh giới về hiệu suất và hiệu quả của mô hình.
Với phương pháp nghiên cứu mở, Liquid AI đã xuất bản chi tiết đầy đủ về STAR trong một bài báo được bình duyệtkhuyến khích sự hợp tác và đổi mới hơn nữa. Khi bối cảnh AI tiếp tục phát triển, các khuôn khổ như STAR sẵn sàng đóng vai trò quan trọng trong việc định hình thế hệ hệ thống thông minh tiếp theo. STAR thậm chí có thể báo trước sự ra đời của một thời kỳ bùng nổ kiến trúc mới sau Transformer — một món quà kỳ nghỉ đông đáng hoan nghênh dành cho cộng đồng nghiên cứu máy học và AI.
[ad_2]
