AI đám đông trong chatbot như ChatGPT có thể gây hỏng chúng
Trí tuệ nhân tạo đã xuất hiện, được đánh giá sẽ sở hữu tương lai, nhưng một lý thuyết mới đưa ra trường hợp rằng AI “đám đông” có thể dẫn đến sự tự diệt.
Từ Google đến Microsoft, OpenAI và nhiều công ty khởi nghiệp nhỏ hơn ở phạm vi nhỏ, các Mô hình Ngôn ngữ Lớn (LLMs) và các công cụ AI mà chúng đào tạo đã thay đổi công nghệ theo cách chúng ta biết. AI đã đến, nó đã tạo ra một tác động đáng kể trên thế giới trực tuyến của chúng ta và mọi thứ chạy qua đó.
Sự tiến hóa tiếp theo dường như không thể tránh khỏi nhưng với chi phí nào và đến đâu? Chúng ta đã biết rằng cung cấp khoa học gia điệu để cung cấp năng lượng cho AI là rất tốn kém, với hệ thống chịu đựng máy chủ nặng nề. Các tiến bộ trong lĩnh vực AI rất đáng ngạc nhiên nhưng cũng là độ sâu của tài nguyên cần thiết cho các công ty công nghệ lớn để ủng hộ hệ thống.
“Sụp đổ của mô hình” xem xét rằng chúng ta có thể đã chứng kiến đến đỉnh cao của các mô hình AI, đưa ra lý thuyết rằng khi càng nhiều nội dung web trở thành do AI tạo ra, công nghệ sẽ cuối cùng “đám đông” trên dữ liệu đã được đào tạo hiện có dẫn đến các khuyết điểm khi dữ liệu do con người quản lý trở nên hiếm dần.
Một bài báo mới được đăng tải trên Nature đi sâu hơn vào khái niệm này, bao gồm giải thích sau đây:
“Chúng tôi phát hiện ra rằng việc sử dụng bộ dữ liệu được tạo ra bởi mô hình một cách không chú ý trong quá trình đào tạo gây ra các khuyết điểm không thể đảo ngược trong các mô hình kết quả, trong đó đuôi của phân phối dữ liệu gốc biến mất,” trạng thái trừ tác. “Chúng tôi đề xuất hiệu ứng này là ‘sụp đổ mô hình’ và cho thấy nó có thể xảy ra trong các Mô hình Ngôn ngữ Lớn cũng như trong bộ mã hóa biến thể (VAEs) và các mô hình hỗn hợp Gauss (GMMs).”
Các công ty công nghệ lớn bị lôi cuốn bởi các tiến bộ của AI sáng sủa, và sự tăng giá cổ phiếu mà nó thúc đẩy. Điều đó không giống như lợi nhuận cơ bản cuối cùng sẽ gây ra ảnh hưởng, và với nguyên nhân của thiên tai là gì? AI tiêu tốn nhiều năng lượng, đòi hỏi mở rộng trung tâm dữ liệu và yêu cầu nhiều tài nguyên hơn.
Điều chỉnh không có khả năng được dời đi sớm bởi khái niệm “sụp đổ mô hình” nhưng đó là một câu hỏi thú vị khác sẽ được trả lời sau này. #SuKienNgayHomNay
Ảnh: Ideogram
Nguồn: https://readwrite.com/ai-inbreeding-among-chatbots-like-chatgpt-could-lead-to-its-demise/
Artificial intelligence is here already, it is tipped to own the future, but a new theory puts forward the case that AI “inbreeding” could lead to self-inflicted demise.
From Google to Microsoft, OpenAI, and many smaller startups at the other end of the scale, LLMs and the AI tools they train have changed technology as we know it. AI is here to stay, it is already making a significant impact on our online world and everything that runs through it.
Further evolution appears inevitable but at what cost, and to what extent? We know already it is extremely expensive to provide the engine room that powers AI, with the server-heavy system just about coping. The advances in AI are remarkable but so is the depth of resources required for the big tech companies to underpin the system.
Irreversible defects in the resulting models
“Model collapse” considers that we might already have witnessed the peak of AI models, presenting the theory that as more and more web content becomes AI-generated, the tech will eventually “inbreed” on existing trained data leading to flaws as human-led data becomes increasingly scarce.
A new paper published in Nature delves further into this concept, which includes the following explanation:
“We find that indiscriminate use of model-generated content in training causes irreversible defects in the resulting models, in which tails of the original content distribution disappear,” states the abstract. “We refer to this effect as ‘model collapse’ and show that it can occur in (Large Language Models) as well as in variational autoencoders (VAEs) and Gaussian mixture models (GMMs).”
Big tech firms are drawn to the bright, shiny advances of AI, and the spike in shares that it propels. That is not the same as underlying profit which eventually will take its toll, and what of the climate cause? AI is power-intensive, requiring data center expansion and further demands on resources.
The dial is unlikely to be shifted anytime soon by the concept of “model collapse” but it is another interesting question that will be answered further down the line.
Image credit: Via Ideogram
