#ThửTháchBabyLM: Mô hình ngôn ngữ AI có thể gần hơn với sự hiểu biết của con người?
Các mô hình ngôn ngữ lớn như GPT-3 và Chinchilla đang được phát triển để dự đoán từ tiếp theo trong một câu hoặc cụm từ nhất định. Tuy nhiên, việc tạo ra các AI lớn hơn và có nhiều khả năng đòi hỏi sức mạnh xử lý mà ít công ty sở hữu, và không ít lo ngại rằng một nhóm nhỏ sẽ kiểm soát toàn bộ công nghệ. Hơn nữa, các mô hình ngôn ngữ lớn hơn cũng khó hiểu hơn và thường được mô tả là “hộp đen”.
Trong bối cảnh này, Thử thách BabyLM được đưa ra để đảo ngược mô hình này. Thử thách này kêu gọi các nhóm đào tạo các mô hình ngôn ngữ chức năng sử dụng các tập dữ liệu nhỏ hơn nhằm đạt được một mô hình nhỏ hơn nhưng gần giống với các mô hình cao cấp và có thể tiếp cận dễ dàng hơn. Điều này mang lại cơ hội cho các nhà nghiên cứu để hiểu sâu hơn về quá trình ngôn ngữ của con người. Tuy nhiên, các mô hình ngôn ngữ AI vẫn còn rất khác biệt với con người, và việc tạo ra những mô hình nhỏ hơn và hiệu quả hơn vẫn còn là một thử thách lớn đối với các nhà khoa học máy tính. #AI #NgônNgữTựNhiên #AI_Language_Models
Nguồn: https://www.nytimes.com/2023/05/30/science/ai-chatbots-anguage-learning.html
Khi nói đến chatbot trí tuệ nhân tạo, lớn hơn thường tốt hơn.
Các mô hình ngôn ngữ lớn như ChatGPT và Bard, tạo ra văn bản gốc, đàm thoại, sẽ cải thiện khi chúng được cung cấp nhiều dữ liệu hơn. Mỗi ngày, các blogger truy cập internet để giải thích cách những tiến bộ mới nhất — một ứng dụng tóm tắt các bài báo, podcast do AI tạo ra, một mô hình tinh chỉnh có thể trả lời bất kỳ câu hỏi nào liên quan đến bóng rổ chuyên nghiệp — sẽ “thay đổi mọi thứ”.
Nhưng việc tạo ra AI lớn hơn và có nhiều khả năng hơn đòi hỏi sức mạnh xử lý mà ít công ty sở hữu, và ngày càng có nhiều lo ngại rằng một nhóm nhỏ, bao gồm Google, Meta, OpenAI và Microsoft, sẽ kiểm soát gần như toàn bộ công nghệ.
Ngoài ra, các mô hình ngôn ngữ lớn hơn khó hiểu hơn. Chúng thường được mô tả là “hộp đen”, ngay cả bởi những người thiết kế chúng và những nhân vật hàng đầu trong lĩnh vực này. đã bày tỏ sự khó chịu mục tiêu của AI.A.I. cuối cùng có thể không phù hợp với mục tiêu của chúng ta. Nếu lớn hơn thì tốt hơn, nó cũng đục hơn và độc quyền hơn.
Vào tháng 1, một nhóm các học giả trẻ làm việc trong lĩnh vực xử lý ngôn ngữ tự nhiên – nhánh của AI tập trung vào việc hiểu ngôn ngữ – đã đưa ra một thách thức nhằm cố gắng đảo ngược mô hình này. Nhóm đã kêu gọi các nhóm tạo các mô hình ngôn ngữ chức năng sử dụng các tập dữ liệu có kích thước nhỏ hơn một phần mười nghìn so với các mô hình ngôn ngữ lớn tiên tiến nhất được sử dụng. Một mô hình mini thành công sẽ có khả năng gần giống như các mô hình cao cấp nhưng nhỏ hơn nhiều, dễ tiếp cận hơn và tương thích hơn với con người. Dự án được gọi là Thử thách BabyLM.
Aaron Mueller, một nhà khoa học máy tính tại Đại học Johns Hopkins và là người tổ chức BabyLM cho biết: “Chúng tôi đang thách thức mọi người suy nghĩ nhỏ và tập trung nhiều hơn vào việc xây dựng các hệ thống hiệu quả theo cách mà nhiều người có thể sử dụng hơn.
Alex Warstadt, một nhà khoa học máy tính tại ETH Zurich và một nhà tổ chức khác của dự án, nói thêm: “Thử thách đặt ra câu hỏi về việc học ngôn ngữ của con người, thay vì ‘Chúng ta có thể tạo ra các mô hình của mình lớn đến mức nào?’ ở trung tâm của cuộc trò chuyện.”
Các mô hình ngôn ngữ lớn là các mạng thần kinh được thiết kế để dự đoán từ tiếp theo trong một câu hoặc cụm từ nhất định. Họ được đào tạo cho nhiệm vụ này bằng cách sử dụng một kho từ thu thập được từ bảng điểm, trang web, tiểu thuyết và báo chí. Một mô hình điển hình đưa ra các dự đoán dựa trên các cụm từ ví dụ và sau đó tự điều chỉnh tùy thuộc vào mức độ gần với câu trả lời đúng.
Bằng cách lặp đi lặp lại quá trình này, một mô hình sẽ hình thành các bản đồ về cách các từ liên quan với nhau. Nói chung, một mô hình được đào tạo càng nhiều từ thì nó sẽ càng trở nên tốt hơn; mỗi cụm từ cung cấp cho mô hình ngữ cảnh và nhiều ngữ cảnh hơn sẽ chuyển thành ấn tượng chi tiết hơn về ý nghĩa của từng từ. GPT-3 của OpenAI, được phát hành vào năm 2020, được đào tạo trên 200 tỷ từ; DeepMind’s Chinchilla, phát hành năm 2022, được đào tạo trên một nghìn tỷ.
Đối với Ethan Wilcox, một nhà ngôn ngữ học tại ETH Zurich, việc một thứ gì đó không phải con người có thể tạo ra ngôn ngữ mang đến một cơ hội thú vị: Liệu các mô hình ngôn ngữ AI có thể được sử dụng để nghiên cứu cách con người học ngôn ngữ không?
Ví dụ, chủ nghĩa bản địa, một lý thuyết có ảnh hưởng bắt nguồn từ công trình ban đầu của Noam Chomsky, tuyên bố rằng con người học ngôn ngữ nhanh chóng và hiệu quả bởi vì họ có hiểu biết bẩm sinh về cách thức hoạt động của ngôn ngữ. Nhưng các mô hình ngôn ngữ cũng học ngôn ngữ một cách nhanh chóng và dường như không có sự hiểu biết bẩm sinh về cách thức hoạt động của ngôn ngữ — vì vậy có lẽ chủ nghĩa bản địa không giữ được nước.
Thách thức là các mô hình ngôn ngữ học rất khác so với con người. Con người có cơ thể, đời sống xã hội và cảm giác phong phú. Chúng ta có thể ngửi thấy mùi mùn, cảm nhận cánh quạt của lông vũ, va vào cửa và nếm vị bạc hà. Ngay từ sớm, chúng ta đã tiếp xúc với những từ và cú pháp nói đơn giản thường không được trình bày bằng văn bản. Vì vậy, Tiến sĩ Wilcox kết luận, một chiếc máy tính tạo ra ngôn ngữ sau khi được đào tạo về hàng triệu từ được viết chỉ có thể cho chúng ta biết rất nhiều về quá trình ngôn ngữ của chính chúng ta.
Nhưng nếu một mô hình ngôn ngữ chỉ được tiếp xúc với những từ mà một người trẻ tuổi gặp phải, thì nó có thể tương tác với ngôn ngữ theo những cách có thể giải quyết một số câu hỏi mà chúng ta có về khả năng của chính mình.
Vì vậy, cùng với nửa tá đồng nghiệp, Tiến sĩ Wilcox, Ông Mueller và Tiến sĩ Warstadt đã nghĩ ra Thử thách BabyLM, để cố gắng đưa các mô hình ngôn ngữ đến gần hơn với sự hiểu biết của con người. Vào tháng 1, họ đã gửi lời kêu gọi các nhóm đào tạo các mô hình ngôn ngữ trên cùng một số từ mà một đứa trẻ 13 tuổi gặp phải – khoảng 100 triệu. Các mô hình ứng cử viên sẽ được kiểm tra xem họ đã tạo ra và tiếp thu các sắc thái của ngôn ngữ tốt như thế nào và người chiến thắng sẽ được tuyên bố.
Eva Portelance, một nhà ngôn ngữ học tại Đại học McGill, đã vượt qua thử thách vào ngày nó được công bố. Nghiên cứu của cô nằm giữa ranh giới thường mờ nhạt giữa khoa học máy tính và ngôn ngữ học. Những bước đột phá đầu tiên vào AI, vào những năm 1950, được thúc đẩy bởi mong muốn mô hình hóa năng lực nhận thức của con người trong máy tính; đơn vị xử lý thông tin cơ bản trong AI là the “nơ-ron” và các mô hình ngôn ngữ ban đầu trong những năm 1980 và 90 được lấy cảm hứng trực tiếp từ bộ não con người.
Nhưng khi các bộ xử lý phát triển mạnh mẽ hơn và các công ty bắt đầu hướng tới các sản phẩm có thể bán được trên thị trường, các nhà khoa học máy tính nhận ra rằng việc đào tạo các mô hình ngôn ngữ trên lượng dữ liệu khổng lồ thường dễ dàng hơn là buộc chúng vào các cấu trúc có thông tin tâm lý. Kết quả là, Tiến sĩ Portelance cho biết, “chúng cung cấp cho chúng tôi văn bản giống con người, nhưng không có mối liên hệ nào giữa chúng tôi và cách chúng hoạt động.”
Đối với các nhà khoa học quan tâm đến việc hiểu cách hoạt động của tâm trí con người, những mô hình lớn này cung cấp cái nhìn sâu sắc hạn chế. Và bởi vì chúng yêu cầu sức mạnh xử lý cực lớn nên rất ít nhà nghiên cứu có thể tiếp cận chúng. “Chỉ một số ít phòng thí nghiệm trong ngành với nguồn lực khổng lồ mới đủ khả năng đào tạo các mô hình với hàng tỷ thông số trên hàng nghìn tỷ từ,” Dr. Wilcox nói.
“Hoặc thậm chí tải chúng,” ông Mueller nói thêm. “Điều này đã làm cho nghiên cứu trong lĩnh vực này gần đây cảm thấy hơi kém dân chủ.”
Tiến sĩ Portelance cho biết, Thử thách BabyLM có thể được coi là một bước thoát khỏi cuộc chạy đua vũ trang cho các mô hình ngôn ngữ lớn hơn và là một bước hướng tới AI trực quan hơn, dễ tiếp cận hơn
Tiềm năng của một chương trình nghiên cứu như vậy đã không bị bỏ qua bởi các phòng thí nghiệm công nghiệp lớn hơn. Sam Altman, giám đốc điều hành của OpenAI, gần đây đã nói rằng việc tăng kích thước của các mô hình ngôn ngữ sẽ không dẫn đến cùng một loại cải tiến đã thấy trong vài năm qua. Và các công ty như Google và Meta cũng đã đầu tư vào nghiên cứu các mô hình ngôn ngữ hiệu quả hơn, được thông báo bởi các cấu trúc nhận thức của con người. Xét cho cùng, một mô hình có thể tạo ngôn ngữ khi được đào tạo trên ít dữ liệu hơn cũng có khả năng được nhân rộng.
Bất kể lợi nhuận mà BabyLM thành công có thể mang lại là gì, đối với những người đứng sau thử thách, các mục tiêu đều mang tính hàn lâm và trừu tượng hơn. Ngay cả giải thưởng cũng thay thế thực tế. Tiến sĩ Wilcox nói: “Chỉ là niềm kiêu hãnh.
