#Thử_thách_BabyLM: Chatbot trí tuệ nhân tạo có thể tốt hơn nếu không quá lớn
Trong lĩnh vực chatbot trí tuệ nhân tạo, các mô hình ngôn ngữ lớn như ChatGPT và Bard thường được coi là tốt hơn với khả năng tạo ra văn bản gốc và đàm thoại vượt trội. Tuy nhiên, việc tạo ra các mô hình AI quá lớn và tối ưu đang gây ra nhiều lo ngại. Một số công ty lớn như Google, Meta, OpenAI và Microsoft sở hữu sức mạnh xử lý rất lớn và có thể kiểm soát toàn bộ công nghệ.
Bên cạnh đó, việc tạo ra các mô hình ngôn ngữ lớn hơn đồng nghĩa với việc chúng khó hiểu và được mô tả là “hộp đen”. Thật vậy, nếu như AI quá lớn thì sẽ đối diện với nhiều rủi ro và có thể không phù hợp với mục tiêu của con người.
Thách thức BabyLM là một dự án có mục tiêu đưa các mô hình ngôn ngữ đến gần hơn với sự hiểu biết của con người. Thử thách này kêu gọi các nhóm tạo các mô hình ngôn ngữ sử dụng các tập dữ liệu nhỏ hơn một phần mười nghìn so với các mô hình ngôn ngữ lớn tiên tiến nhất được sử dụng. Một mô hình mini thành công sẽ có khả năng tương thích hơn với con người và dễ tiếp cận hơn.
Tuy các mô hình ngôn ngữ lớn hiện nay là các mạng thần kinh được thiết kế để dự đoán từ tiếp theo trong một câu hoặc cụm từ nhất định. Tuy nhiên, chúng vẫn còn rất khác biệt so với cơ thể, đời sống xã hội và cảm giác của con người. Vì vậy, để hiểu cách hoạt động của tâm trí con người, các nhà khoa học đang nghiên cứu thử thách BabyLM này với hy vọng đưa ra các mô hình ngôn ngữ gần giống với các mô hình cao cấp nhưng lại nhỏ hơn rất nhiều.
Nguồn: https://www.nytimes.com/2023/05/30/science/ai-chatbots-language-learning-models.html
Khi nói đến chatbot trí tuệ nhân tạo, lớn hơn thường tốt hơn.
Các mô hình ngôn ngữ lớn như ChatGPT và Bard, tạo ra văn bản gốc, đàm thoại, sẽ cải thiện khi chúng được cung cấp nhiều dữ liệu hơn. Mỗi ngày, các blogger truy cập internet để giải thích cách những tiến bộ mới nhất — một ứng dụng tóm tắt các bài báo, podcast do AI tạo ra, một mô hình tinh chỉnh có thể trả lời bất kỳ câu hỏi nào liên quan đến bóng rổ chuyên nghiệp — sẽ “thay đổi mọi thứ”.
Nhưng việc tạo ra AI lớn hơn và có nhiều khả năng hơn đòi hỏi sức mạnh xử lý mà ít công ty sở hữu, và ngày càng có nhiều lo ngại rằng một nhóm nhỏ, bao gồm Google, Meta, OpenAI và Microsoft, sẽ kiểm soát gần như toàn bộ công nghệ.
Ngoài ra, các mô hình ngôn ngữ lớn hơn khó hiểu hơn. Chúng thường được mô tả là “hộp đen”, ngay cả bởi những người thiết kế chúng và những nhân vật hàng đầu trong lĩnh vực này. đã bày tỏ sự khó chịu mục tiêu của AI.A.I. cuối cùng có thể không phù hợp với mục tiêu của chúng ta. Nếu lớn hơn thì tốt hơn, nó cũng đục hơn và độc quyền hơn.
Vào tháng 1, một nhóm các học giả trẻ làm việc trong lĩnh vực xử lý ngôn ngữ tự nhiên – nhánh của AI tập trung vào việc hiểu ngôn ngữ – đã đưa ra một thách thức nhằm cố gắng đảo ngược mô hình này. Nhóm đã kêu gọi các nhóm tạo các mô hình ngôn ngữ chức năng sử dụng các tập dữ liệu có kích thước nhỏ hơn một phần mười nghìn so với các mô hình ngôn ngữ lớn tiên tiến nhất được sử dụng. Một mô hình mini thành công sẽ có khả năng gần giống như các mô hình cao cấp nhưng nhỏ hơn nhiều, dễ tiếp cận hơn và tương thích hơn với con người. Dự án được gọi là Thử thách BabyLM.
Aaron Mueller, một nhà khoa học máy tính tại Đại học Johns Hopkins và là người tổ chức BabyLM cho biết: “Chúng tôi đang thách thức mọi người suy nghĩ nhỏ và tập trung nhiều hơn vào việc xây dựng các hệ thống hiệu quả theo cách mà nhiều người có thể sử dụng hơn.
Alex Warstadt, một nhà khoa học máy tính tại ETH Zurich và một nhà tổ chức khác của dự án, nói thêm: “Thử thách đặt ra câu hỏi về việc học ngôn ngữ của con người, thay vì ‘Chúng ta có thể tạo ra các mô hình của mình lớn đến mức nào?’ ở trung tâm của cuộc trò chuyện.”
Các mô hình ngôn ngữ lớn là các mạng thần kinh được thiết kế để dự đoán từ tiếp theo trong một câu hoặc cụm từ nhất định. Họ được đào tạo cho nhiệm vụ này bằng cách sử dụng một kho từ thu thập được từ bảng điểm, trang web, tiểu thuyết và báo chí. Một mô hình điển hình đưa ra các dự đoán dựa trên các cụm từ ví dụ và sau đó tự điều chỉnh tùy thuộc vào mức độ gần với câu trả lời đúng.
Bằng cách lặp đi lặp lại quá trình này, một mô hình sẽ hình thành các bản đồ về cách các từ liên quan với nhau. Nói chung, một mô hình được đào tạo càng nhiều từ thì nó sẽ càng trở nên tốt hơn; mỗi cụm từ cung cấp cho mô hình ngữ cảnh và nhiều ngữ cảnh hơn sẽ chuyển thành ấn tượng chi tiết hơn về ý nghĩa của từng từ. GPT-3 của OpenAI, được phát hành vào năm 2020, được đào tạo trên 200 tỷ từ; DeepMind’s Chinchilla, phát hành năm 2022, được đào tạo trên một nghìn tỷ.
Đối với Ethan Wilcox, một nhà ngôn ngữ học tại ETH Zurich, việc một thứ gì đó không phải con người có thể tạo ra ngôn ngữ mang đến một cơ hội thú vị: Liệu các mô hình ngôn ngữ AI có thể được sử dụng để nghiên cứu cách con người học ngôn ngữ không?
Ví dụ, chủ nghĩa bản địa, một lý thuyết có ảnh hưởng bắt nguồn từ công trình ban đầu của Noam Chomsky, tuyên bố rằng con người học ngôn ngữ nhanh chóng và hiệu quả bởi vì họ có hiểu biết bẩm sinh về cách thức hoạt động của ngôn ngữ. Nhưng các mô hình ngôn ngữ cũng học ngôn ngữ một cách nhanh chóng và dường như không có sự hiểu biết bẩm sinh về cách thức hoạt động của ngôn ngữ — vì vậy có lẽ chủ nghĩa bản địa không giữ được nước.
Thách thức là các mô hình ngôn ngữ học rất khác so với con người. Con người có cơ thể, đời sống xã hội và cảm giác phong phú. Chúng ta có thể ngửi thấy mùi mùn, cảm nhận cánh quạt của lông vũ, va vào cửa và nếm vị bạc hà. Ngay từ sớm, chúng ta đã tiếp xúc với những từ và cú pháp nói đơn giản thường không được trình bày bằng văn bản. Vì vậy, Tiến sĩ Wilcox kết luận, một chiếc máy tính tạo ra ngôn ngữ sau khi được đào tạo về hàng triệu từ được viết chỉ có thể cho chúng ta biết rất nhiều về quá trình ngôn ngữ của chính chúng ta.
Nhưng nếu một mô hình ngôn ngữ chỉ được tiếp xúc với những từ mà một người trẻ tuổi gặp phải, thì nó có thể tương tác với ngôn ngữ theo những cách có thể giải quyết một số câu hỏi mà chúng ta có về khả năng của chính mình.
Vì vậy, cùng với nửa tá đồng nghiệp, Tiến sĩ Wilcox, Tiến sĩ Mueller và Tiến sĩ Warstadt đã nghĩ ra Thử thách BabyLM, để cố gắng đưa các mô hình ngôn ngữ đến gần hơn với sự hiểu biết của con người. Vào tháng 1, họ đã gửi lời kêu gọi các nhóm đào tạo các mô hình ngôn ngữ trên cùng một số từ mà một đứa trẻ 13 tuổi gặp phải – khoảng 100 triệu. Các mô hình ứng cử viên sẽ được kiểm tra xem họ đã tạo ra và tiếp thu các sắc thái của ngôn ngữ tốt như thế nào và người chiến thắng sẽ được tuyên bố.
Eva Portelance, một nhà ngôn ngữ học tại Đại học McGill, đã vượt qua thử thách vào ngày nó được công bố. Nghiên cứu của cô nằm giữa ranh giới thường mờ nhạt giữa khoa học máy tính và ngôn ngữ học. Những bước đột phá đầu tiên vào AI, vào những năm 1950, được thúc đẩy bởi mong muốn mô hình hóa năng lực nhận thức của con người trong máy tính; đơn vị xử lý thông tin cơ bản trong AI là the “nơ-ron” và các mô hình ngôn ngữ ban đầu trong những năm 1980 và 90 được lấy cảm hứng trực tiếp từ bộ não con người.
Nhưng khi các bộ xử lý phát triển mạnh mẽ hơn và các công ty bắt đầu hướng tới các sản phẩm có thể bán được trên thị trường, các nhà khoa học máy tính nhận ra rằng việc đào tạo các mô hình ngôn ngữ trên lượng dữ liệu khổng lồ thường dễ dàng hơn là buộc chúng vào các cấu trúc có thông tin tâm lý. Kết quả là, Tiến sĩ Portelance cho biết, “chúng cung cấp cho chúng tôi văn bản giống con người, nhưng không có mối liên hệ nào giữa chúng tôi và cách chúng hoạt động.”
Đối với các nhà khoa học quan tâm đến việc hiểu cách hoạt động của tâm trí con người, những mô hình lớn này cung cấp cái nhìn sâu sắc hạn chế. Và bởi vì chúng yêu cầu sức mạnh xử lý cực lớn nên rất ít nhà nghiên cứu có thể tiếp cận chúng. “Chỉ một số ít phòng thí nghiệm trong ngành với nguồn lực khổng lồ mới đủ khả năng đào tạo các mô hình với hàng tỷ thông số trên hàng nghìn tỷ từ,” Dr. Wilcox nói.
Tiến sĩ Mueller nói thêm: “Hoặc thậm chí tải chúng lên. “Điều này đã làm cho nghiên cứu trong lĩnh vực này gần đây cảm thấy hơi kém dân chủ.”
Tiến sĩ Portelance cho biết, Thử thách BabyLM có thể được coi là một bước thoát khỏi cuộc chạy đua vũ trang cho các mô hình ngôn ngữ lớn hơn và là một bước hướng tới AI trực quan hơn, dễ tiếp cận hơn
Tiềm năng của một chương trình nghiên cứu như vậy đã không bị bỏ qua bởi các phòng thí nghiệm công nghiệp lớn hơn. Sam Altman, giám đốc điều hành của OpenAI, gần đây đã nói rằng việc tăng kích thước của các mô hình ngôn ngữ sẽ không dẫn đến cùng một loại cải tiến đã thấy trong vài năm qua. Và các công ty như Google và Meta cũng đã đầu tư vào nghiên cứu các mô hình ngôn ngữ hiệu quả hơn, được thông báo bởi các cấu trúc nhận thức của con người. Xét cho cùng, một mô hình có thể tạo ngôn ngữ khi được đào tạo trên ít dữ liệu hơn cũng có khả năng được nhân rộng.
Bất kể lợi nhuận mà BabyLM thành công có thể mang lại là gì, đối với những người đứng sau thử thách, các mục tiêu đều mang tính hàn lâm và trừu tượng hơn. Ngay cả giải thưởng cũng thay thế thực tế. Tiến sĩ Wilcox nói: “Chỉ là niềm kiêu hãnh.
[ad_2]
