#ChuyểnĐổi2023: Aviary của Anyscale ra mắt để dễ dàng triển khai LLM nguồn mở
Dự án Aviary mới của Anyscale nhằm giúp giải quyết các thách thức trong việc triển khai mô hình ngôn ngữ lớn (LLM) nguồn mở. Với sự ra đời của nhiều LLM nguồn mở như Dolly, LLaMA, Thợ mộc AI và LightGPT của Amazon, Aviary cung cấp các giá trị mặc định về cơ bản cho bất kỳ LLM nguồn mở nào trên Ôm mặt, giúp người dùng triển khai nhanh chóng với các tối ưu hóa phù hợp tại chỗ. Sự kiện #ChuyểnĐổi2023 tại San Francisco vào ngày 11-12 tháng 7 là nơi giám đốc điều hành hàng đầu chia sẻ cách tích hợp và tối ưu hóa các khoản đầu tư vào trí tuệ nhân tạo để đạt được thành công và tránh những cạm bẫy phổ biến.
Tham gia cùng các giám đốc điều hành hàng đầu tại San Francisco vào ngày 11-12 tháng 7, để nghe cách các nhà lãnh đạo đang tích hợp và tối ưu hóa các khoản đầu tư AI để thành công. Tìm hiểu thêm
bất kỳ quy mônhà cung cấp thương mại hàng đầu đằng sau mã nguồn mở Ray công nghệ mở rộng quy mô máy học (ML), hôm nay sẽ khởi chạy dự án Aviary nguồn mở mới để giúp đơn giản hóa việc triển khai mô hình ngôn ngữ lớn (LLM) nguồn mở.
Ngày càng có nhiều LLM nguồn mở, bao gồm Dolly, LLaMA, Thợ mộc AI và của Amazon Ánh sángGPTcùng với hàng chục người khác có sẵn miễn phí trên ôm mặt. Tuy nhiên, chỉ cần có LLM là không đủ để làm cho nó trở nên hữu ích cho một tổ chức — mô hình vẫn cần được triển khai thực sự trên cơ sở hạ tầng để cho phép suy luận và sử dụng trong thế giới thực.
Để một mô hình LLM nguồn mở được triển khai trên cơ sở hạ tầng thường là một quá trình thử và sai riêng biệt khi các nhà phát triển tìm ra tài nguyên điện toán và tham số cấu hình phù hợp. Các nhà phát triển cũng không dễ dàng so sánh đơn giản mô hình này với mô hình khác. Đây là một số thách thức mà Anyscale đang tìm cách giúp giải quyết với Aviary.
Giám đốc điều hành Anyscale Robert Nishihara nói với VentureBeat: “Mỗi tuần, các mô hình mã nguồn mở mới được phát hành mà mọi người đang dùng thử để thúc đẩy trạng thái nghệ thuật. “Theo quan điểm của chúng tôi, nơi không có nhiều tiến bộ và điều bị tụt lại phía sau, chính là cơ sở hạ tầng nguồn mở để thực sự chạy các mô hình đó.”
Sự kiện
Chuyển đổi 2023
Hãy tham gia cùng chúng tôi tại San Francisco vào ngày 11-12 tháng 7, nơi các giám đốc điều hành hàng đầu sẽ chia sẻ cách họ đã tích hợp và tối ưu hóa các khoản đầu tư vào AI để đạt được thành công và tránh những cạm bẫy phổ biến.
Đăng ký ngay
Aviary hoạt động như thế nào để dễ dàng triển khai LLM nguồn mở
Dự án Aviary được xây dựng dựa trên dự án Ray nguồn mở với một tập hợp các cấu hình và tối ưu hóa để dễ dàng triển khai LLM cho các mô hình nguồn mở.
Ray đã được sử dụng rộng rãi bởi các tổ chức lớn để đào tạo người mẫu và là công nghệ OpenAI sử dụng cho các mô hình của mình bao gồm cả GPT-3 và GPT-4. Mục tiêu với Aviary là tự động cho phép người dùng LLM nguồn mở triển khai nhanh chóng với các tối ưu hóa phù hợp tại chỗ.
Nishihara giải thích rằng có nhiều thứ khác nhau cần được cấu hình về phía cơ sở hạ tầng, bao gồm mô hình suy luận song song trên nhiều GPU, sharding và tối ưu hóa hiệu suất. Mục tiêu với Aviary là có các giá trị mặc định được định cấu hình trước về cơ bản cho bất kỳ LLM nguồn mở nào trên Ôm mặt. Người dùng không phải trải qua quá trình tốn thời gian để tự mình tìm ra cấu hình cơ sở hạ tầng; Aviary xử lý tất cả những điều đó cho họ.
Aviary cũng nhằm mục đích giúp giải quyết thách thức trong việc lựa chọn mô hình. Với số lượng mô hình ngày càng tăng, không phải ai cũng dễ dàng biết được mô hình tốt nhất cho một trường hợp sử dụng cụ thể. Nishihara cho biết bằng cách giúp triển khai các LLM nguồn mở dễ dàng hơn, Aviary cũng giúp các tổ chức so sánh các LLM khác nhau dễ dàng hơn. Các so sánh được kích hoạt qua Aviary bao gồm độ chính xác, độ trễ và chi phí.
Khi các LLM mới xuất hiện, Aviary sẽ kích hoạt chúng một cách nhanh chóng
Aviary đã được phát triển tư nhân tại Anyscale trong ba tháng qua. Ban đầu, phải mất một chút thời gian để có được cấu hình phù hợp cho bất kỳ ai LLM mã nguồn mởnhưng điều đã trở nên rõ ràng là có các mẫu chung trên tất cả các LLM để triển khai.
Nishihara cho biết khi LightGPT có sẵn, Aviary có thể thêm hỗ trợ cho nó trong vòng chưa đầy năm phút. Ông giải thích rằng có một vài kiến trúc tiêu chuẩn khác nhau mà tất cả các LLM nguồn mở đều tuân theo về cách chúng xử lý tính song song của mô hình và các khía cạnh quan trọng khác của việc triển khai.
“Chúng tôi không phải xử lý hàng trăm trường hợp đặc biệt,” Nishihara nói. “Trên thực tế, bạn chỉ cần xử lý từng kiến trúc mô hình tiêu chuẩn và sau đó tất cả các LLM khác nhau đều thuộc một trong các loại đó.”
Nhìn chung, Nishihara kỳ vọng rằng số lượng mã nguồn mở các mô hình sẽ ngày càng phát triển và kết quả là vấn đề lựa chọn các mô hình sẽ chỉ trở nên khó khăn hơn đối với các tổ chức.
“Hy vọng của chúng tôi với Aviary là, với việc nó là nguồn mở, bất kỳ ai trong cộng đồng muốn có thể dễ dàng thêm các mô hình mới,” anh ấy nói. “Điều đó sẽ giúp mọi người sử dụng Aviary dễ dàng triển khai các mô hình đó mà không phải thực sự thực hiện thêm bất kỳ công việc nào.”
Sứ mệnh của VentureBeat là trở thành một quảng trường thành phố kỹ thuật số để những người ra quyết định kỹ thuật có được kiến thức về công nghệ doanh nghiệp chuyển đổi và giao dịch. Khám phá Briefings của chúng tôi.
[ad_2]
