Tham gia các bản tin hàng ngày và hàng tuần của chúng tôi để cập nhật mới nhất và nội dung độc quyền về bảo hiểm AI hàng đầu trong ngành. Tìm hiểu thêm
Octotoolsmột nền tảng tác nhân nguồn mở mới được phát hành bởi các nhà khoa học tại Đại học Stanford, có thể tăng cường các mô hình ngôn ngữ lớn (LLM) cho các nhiệm vụ lý luận bằng cách chia nhỏ các nhiệm vụ thành các tiểu đơn vị và tăng cường các mô hình bằng các công cụ. Mặc dù sử dụng công cụ đã trở thành một ứng dụng quan trọng của LLM, nhưng octotools giúp các khả năng này dễ tiếp cận hơn nhiều bằng cách loại bỏ các rào cản kỹ thuật và cho phép các nhà phát triển và doanh nghiệp mở rộng nền tảng với các công cụ và quy trình làm việc của riêng họ.
Các thử nghiệm cho thấy octotools vượt trội so với các phương thức nhắc cổ điển và các khung ứng dụng LLM khác, làm cho nó trở thành một công cụ đầy hứa hẹn cho việc sử dụng các mô hình AI trong thế giới thực.
LLM thường đấu tranh với các nhiệm vụ lý luận liên quan đến nhiều bước, phân tách logic hoặc kiến thức miền chuyên ngành. Một giải pháp là thuê ngoài các bước cụ thể của giải pháp cho các công cụ bên ngoài như máy tính, phiên dịch mã, công cụ tìm kiếm hoặc công cụ xử lý hình ảnh. Trong kịch bản này, mô hình tập trung vào lập kế hoạch cấp cao hơn trong khi tính toán và lý luận thực tế được thực hiện thông qua các công cụ.
Tuy nhiên, sử dụng công cụ có những thách thức riêng. Ví dụ, LLM cổ điển thường yêu cầu đào tạo đáng kể hoặc ít học tập Với dữ liệu được quản lý để thích ứng với các công cụ mới và sau khi được tăng cường, chúng sẽ bị giới hạn trong các miền và loại công cụ cụ thể.
Lựa chọn công cụ cũng vẫn là một điểm đau. LLM có thể trở nên giỏi trong việc sử dụng một hoặc một vài công cụ, nhưng khi một tác vụ yêu cầu sử dụng nhiều công cụ, chúng có thể bị nhầm lẫn và thực hiện xấu.
Octotools giải quyết các điểm đau này thông qua khung tác nhân không được đào tạo có thể phối hợp nhiều công cụ mà không cần tinh chỉnh hoặc điều chỉnh các mô hình. Octotools sử dụng một cách tiếp cận mô-đun để giải quyết các nhiệm vụ lập kế hoạch và lý luận và có thể sử dụng bất kỳ LLM mục đích chung nào làm xương sống.
Trong số các thành phần chính của octotools có thẻ công cụ, hoạt động như các trình bao bọc cho các công cụ mà hệ thống có thể sử dụng, chẳng hạn như thông dịch viên mã Python và API tìm kiếm web. Thẻ công cụ bao gồm siêu dữ liệu như định dạng đầu vào-đầu ra, giới hạn và thực tiễn tốt nhất cho mỗi công cụ. Các nhà phát triển có thể thêm thẻ công cụ của riêng họ vào khung để phù hợp với các ứng dụng của họ.
Khi một lời nhắc mới được đưa vào octotools, một mô-đun kế hoạch của người dùng sử dụng Backbone LLM để tạo ra một kế hoạch cấp cao để tóm tắt mục tiêu, phân tích các kỹ năng cần thiết, xác định các công cụ có liên quan và bao gồm các cân nhắc bổ sung cho nhiệm vụ. Người lập kế hoạch xác định một tập hợp các mục tiêu phụ mà hệ thống cần đạt được để hoàn thành nhiệm vụ và mô tả chúng trong một kế hoạch hành động dựa trên văn bản.
Đối với mỗi bước trong kế hoạch, một mô-đun dự đoán hành động của người Viking đã tinh chỉnh mục tiêu phụ để chỉ định công cụ cần thiết để đạt được nó và đảm bảo rằng nó có thể thực thi và kiểm chứng.
Khi kế hoạch đã sẵn sàng để được thực thi, một trình tạo lệnh của người dùng, bản đồ kế hoạch dựa trên văn bản để mã Python gọi các công cụ được chỉ định cho mỗi mục tiêu phụ, sau đó chuyển lệnh cho người thực thi lệnh, điều hành lệnh trong môi trường Python. Kết quả của mỗi bước được xác thực bởi một mô -đun xác minh bối cảnh của người dùng và kết quả cuối cùng được hợp nhất bởi một bộ tóm tắt giải pháp của người dùng.
Các nhà nghiên cứu viết.
Octotools cũng sử dụng thuật toán tối ưu hóa để chọn tập hợp con tốt nhất của các công cụ cho mỗi tác vụ. Điều này giúp tránh áp đảo mô hình với các công cụ không liên quan.
Khung tác nhân
Có một số khung để tạo các ứng dụng LLM và hệ thống tác nhân, bao gồm cả Microsoft AutogenThì Langchain và api opi api ”Chức năng gọi điện. ” Octotools vượt trội so với các nền tảng này trên các tác vụ yêu cầu sử dụng lý luận và sử dụng công cụ, theo các nhà phát triển của nó.
Các nhà nghiên cứu đã thử nghiệm tất cả các khung trên một số điểm chuẩn cho lý luận thị giác, toán học và khoa học, cũng như kiến thức y tế và các nhiệm vụ tác nhân. Octotools đạt được mức tăng độ chính xác trung bình 10,6% so với tự động, 7,5% so với các chức năng GPT và 7,3% so với langchain khi sử dụng cùng một công cụ. Theo các nhà nghiên cứu, lý do cho hiệu suất tốt hơn của Octotools là phân phối sử dụng công cụ vượt trội và sự phân hủy thích hợp của truy vấn thành các mục tiêu phụ.
Octotools cung cấp cho các doanh nghiệp một giải pháp thiết thực cho việc sử dụng LLM cho các nhiệm vụ phức tạp. Tích hợp công cụ có thể mở rộng của nó sẽ giúp khắc phục các rào cản hiện có để tạo các ứng dụng lý luận AI nâng cao. Các nhà nghiên cứu đã phát hành mã cho Octotools trên github.
