Sức mạnh của Trí tuệ nhân tạo: Quyền tự chủ, bảo vệ và nguy cơ tiềm ẩn (phần 2)

Trong của chúng tôi đợt đầu tiênchúng tôi đã phác thảo các chiến lược chính để tận dụng các tác nhân AI nhằm cải thiện hiệu quả của doanh nghiệp. Tôi đã giải thích cách, không giống như các mô hình AI độc lập, các tác nhân tinh chỉnh lặp đi lặp lại các nhiệm vụ bằng cách sử dụng ngữ cảnh và công cụ để nâng cao kết quả, chẳng hạn như tạo mã. Tôi cũng thảo luận về cách các hệ thống đa tác nhân thúc đẩy giao tiếp giữa các phòng ban, tạo ra trải nghiệm người dùng thống nhất và thúc đẩy năng suất, khả năng phục hồi cũng như nâng cấp nhanh hơn.

Thành công trong việc xây dựng các hệ thống này phụ thuộc vào việc lập bản đồ vai trò và quy trình làm việc, cũng như thiết lập các biện pháp bảo vệ như sự giám sát của con người và kiểm tra lỗi để đảm bảo vận hành an toàn. Hãy đi sâu vào những yếu tố quan trọng này.

Các biện pháp bảo vệ và quyền tự chủ

Các tác nhân ngụ ý quyền tự chủ, do đó các biện pháp bảo vệ khác nhau phải được xây dựng trong một tác nhân trong một hệ thống đa tác nhân để giảm thiểu sai sót, lãng phí, rủi ro pháp lý hoặc tổn hại khi các đại lý hoạt động tự chủ. Việc áp dụng tất cả các biện pháp bảo vệ này cho tất cả các tổng đài viên có thể là quá mức cần thiết và đặt ra thách thức về nguồn lực, nhưng tôi thực sự khuyên bạn nên xem xét mọi tổng đài viên trong hệ thống và quyết định một cách có ý thức những biện pháp bảo vệ nào họ sẽ cần. Một đại lý không được phép hoạt động tự chủ nếu bất kỳ điều kiện nào trong số này được đáp ứng.

Điều kiện can thiệp của con người được xác định rõ ràng

Việc kích hoạt bất kỳ một trong các quy tắc được xác định trước sẽ xác định các điều kiện mà theo đó con người cần xác nhận một số hành vi của tác nhân. Những quy tắc này phải được xác định trên cơ sở từng trường hợp cụ thể và có thể được khai báo trong lời nhắc hệ thống của đại lý — hoặc trong các trường hợp sử dụng quan trọng hơn, được thực thi bằng cách sử dụng mã xác định bên ngoài tác nhân. Một quy tắc như vậy, đối với đại lý thu mua, sẽ là: “Mọi hoạt động mua hàng trước tiên phải được con người xác minh và xác nhận. Hãy gọi hàm ‘check_with_human’ của bạn và không tiếp tục cho đến khi nó trả về một giá trị.”

Đại lý bảo vệ

Một tác nhân bảo vệ có thể được ghép nối với một tác nhân có vai trò kiểm tra hành vi rủi ro, phi đạo đức hoặc không tuân thủ. Tác nhân có thể bị buộc phải luôn kiểm tra tất cả hoặc một số yếu tố nhất định trong hành vi của mình đối với tác nhân tự vệ và không được tiếp tục trừ khi tác nhân tự vệ trả lời đồng ý.

Sự không chắc chắn

Phòng thí nghiệm của chúng tôi gần đây đã xuất bản một giấy về một kỹ thuật có thể cung cấp thước đo độ không chắc chắn cho những gì mô hình ngôn ngữ lớn (LLM) tạo ra. Do xu hướng LLM kết hợp (thường được gọi là ảo giác), việc ưu tiên một đầu ra nhất định có thể khiến một tác nhân trở nên đáng tin cậy hơn nhiều. Ở đây cũng có một chi phí phải trả. Việc đánh giá độ không chắc chắn yêu cầu chúng tôi tạo ra nhiều kết quả đầu ra cho cùng một yêu cầu để chúng tôi có thể xếp hạng chúng dựa trên độ chắc chắn và chọn hành vi có ít độ chắc chắn nhất. Điều đó có thể làm cho hệ thống chậm lại và tăng chi phí, vì vậy cần cân nhắc đối với các tác nhân quan trọng hơn trong hệ thống.

Nút ngắt kết nối

Có thể đôi khi chúng ta cần dừng tất cả các quy trình dựa trên tác nhân tự trị. Điều này có thể là do chúng tôi cần sự nhất quán hoặc chúng tôi đã phát hiện thấy hành vi trong hệ thống cần phải dừng lại trong khi chúng tôi tìm ra lỗi sai và cách khắc phục. Đối với các quy trình và quy trình công việc quan trọng hơn, điều quan trọng là việc tách rời này không dẫn đến việc tất cả các quy trình dừng lại hoặc trở nên hoàn toàn thủ công, do đó, nên cung cấp chế độ hoạt động dự phòng xác định.

Lệnh sản xuất do đại lý tạo

Không phải tất cả các đại lý trong mạng đại lý đều cần được tích hợp hoàn toàn vào ứng dụng và API. Việc này có thể mất một lúc và phải lặp lại một vài lần mới thành công. Đề xuất của tôi là thêm một công cụ giữ chỗ chung cho các tổng đài viên (thường là các nút lá trong mạng), công cụ này chỉ đưa ra một báo cáo hoặc lệnh sản xuất, chứa các hành động được đề xuất sẽ được thực hiện thủ công thay mặt cho tổng đài viên. Đây là một cách tuyệt vời để khởi động và vận hành mạng lưới đại lý của bạn một cách linh hoạt.

Kiểm tra

Với Đại lý dựa trên LLMchúng ta đang đạt được sự mạnh mẽ với cái giá là sự nhất quán. Ngoài ra, do tính chất không rõ ràng của LLM, chúng tôi đang xử lý các nút hộp đen trong quy trình làm việc. Điều này có nghĩa là chúng ta cần một chế độ thử nghiệm khác cho các hệ thống dựa trên tác nhân so với chế độ được sử dụng trong phần mềm truyền thống. Tuy nhiên, tin tốt là chúng ta đã quen với việc thử nghiệm những hệ thống như vậy, vì chúng ta đã vận hành các tổ chức và quy trình làm việc do con người điều khiển kể từ buổi bình minh của quá trình công nghiệp hóa.

Mặc dù các ví dụ tôi trình bày ở trên có một điểm truy cập duy nhất, nhưng tất cả các tác nhân trong hệ thống đa tác nhân đều có LLM làm bộ não và vì vậy chúng có thể đóng vai trò là điểm truy cập cho hệ thống. Chúng ta nên sử dụng phương pháp chia để trị và trước tiên hãy thử nghiệm các tập hợp con của hệ thống bằng cách bắt đầu từ các nút khác nhau trong hệ thống phân cấp.

Chúng tôi cũng có thể sử dụng AI tổng hợp để đưa ra các trường hợp thử nghiệm mà chúng tôi có thể chạy trên mạng nhằm phân tích hành vi của mạng và thúc đẩy mạng bộc lộ điểm yếu của mình.

Cuối cùng, tôi rất ủng hộ việc sử dụng hộp cát. Trước tiên, những hệ thống như vậy nên được triển khai ở quy mô nhỏ hơn trong môi trường được kiểm soát và an toàn, trước khi dần dần được triển khai để thay thế quy trình công việc hiện có.

Tinh chỉnh

Một quan niệm sai lầm phổ biến với thế hệ AI là bạn càng sử dụng nó thì nó càng trở nên tốt hơn. Điều này rõ ràng là sai. LLM được đào tạo trước. Nói như vậy, họ có thể được điều chỉnh để định hướng hành vi của mình theo nhiều cách khác nhau. Khi hệ thống nhiều tác nhân đã được phát minh, chúng tôi có thể chọn cải thiện hành vi của nó bằng cách lấy nhật ký từ mỗi tác nhân và gắn nhãn các tùy chọn của chúng tôi để xây dựng kho ngữ liệu tinh chỉnh.

cạm bẫy

Các hệ thống nhiều tác nhân có thể rơi vào tình trạng khó khăn, điều đó có nghĩa là đôi khi một truy vấn có thể không bao giờ kết thúc, trong đó các tác nhân liên tục trao đổi với nhau. Điều này đòi hỏi một số dạng cơ chế hết thời gian chờ. Ví dụ: chúng tôi có thể kiểm tra lịch sử liên lạc của cùng một truy vấn và nếu nó ngày càng lớn hoặc chúng tôi phát hiện hành vi lặp lại, chúng tôi có thể chấm dứt luồng và bắt đầu lại.

Một vấn đề khác có thể xảy ra là hiện tượng mà tôi gọi là quá tải: Kỳ vọng quá nhiều vào một tác nhân duy nhất. Công nghệ tiên tiến nhất hiện nay dành cho LLM không cho phép chúng tôi đưa ra cho các đại lý những hướng dẫn dài và chi tiết và mong đợi họ luôn tuân theo tất cả những hướng dẫn đó. Ngoài ra, tôi đã đề cập đến những hệ thống này có thể không nhất quán chưa?

Một biện pháp giảm nhẹ cho những tình huống này là cái mà tôi gọi là tạo hạt: Chia các tác nhân thành nhiều tác nhân được kết nối. Điều này làm giảm tải cho mỗi tác nhân và làm cho các tác nhân nhất quán hơn trong hành vi của mình và ít có khả năng rơi vào tình trạng khó khăn hơn. (Một lĩnh vực nghiên cứu thú vị mà phòng thí nghiệm của chúng tôi đang thực hiện là tự động hóa quá trình tạo hạt.)

Một vấn đề phổ biến khác trong cách thiết kế hệ thống đa tác nhân là xu hướng xác định một tác nhân điều phối gọi các tác nhân khác nhau để hoàn thành một nhiệm vụ. Điều này đưa ra một điểm lỗi duy nhất có thể dẫn đến một loạt vai trò và trách nhiệm khá phức tạp. Đề xuất của tôi trong những trường hợp này là coi quy trình làm việc như một quy trình, trong đó một nhân viên hoàn thành một phần công việc, sau đó giao nó cho người tiếp theo.

Hệ thống đa tác nhân cũng có xu hướng chuyển bối cảnh xuống chuỗi cho các tác nhân khác. Điều này có thể làm quá tải các tác nhân khác, có thể gây nhầm lẫn cho chúng và thường không cần thiết. Tôi khuyên bạn nên cho phép các tổng đài viên giữ bối cảnh của riêng họ và đặt lại bối cảnh khi chúng tôi biết mình đang xử lý một yêu cầu mới (giống như cách phiên hoạt động đối với các trang web).

Cuối cùng, điều quan trọng cần lưu ý là có tiêu chuẩn tương đối cao đối với khả năng của LLM được sử dụng làm bộ não của các đặc vụ. Các LLM nhỏ hơn có thể cần nhiều kỹ thuật nhanh chóng hoặc tinh chỉnh để đáp ứng các yêu cầu. Tin tốt là hiện đã có một số đại lý thương mại và nguồn mở, mặc dù là những đại lý tương đối lớn, đã vượt qua được tiêu chuẩn này.

Điều này có nghĩa là chi phí và tốc độ cần phải được cân nhắc quan trọng khi xây dựng hệ thống đa tác nhân trên quy mô lớn. Ngoài ra, nên đặt kỳ vọng rằng các hệ thống này, mặc dù nhanh hơn con người, nhưng sẽ không nhanh bằng các hệ thống phần mềm mà chúng ta đã quen.

Babak Hodjat là CTO cho AI tại nhận thức.