#Chuyểnđổi2023 #AI #Môhìnhhọcmáy #Dữliệu #Họcchuyểngiao
Hôm nay ngày 11-12 tháng 7, các giám đốc điều hành hàng đầu sẽ tham gia sự kiện tại San Francisco để chia sẻ cách tích hợp và tối ưu hóa các khoản đầu tư vào AI để đạt thành công và tránh những cạm bẫy phổ biến. Tại sự kiện này, các nhà lãnh đạo sẽ cùng nhau tìm hiểu về các mô hình ngôn ngữ lớn (LLM) – hot trend hiện nay. Tuy nhiên, theo một nghiên cứu mới đây, cần phải sớm tìm kiếm nhiều dữ liệu hơn để huấn luyện các mô hình AI, vì dữ liệu chất lượng cao sẽ cạn kiệt trong tương lai gần.
Mở rộng các mô hình AI để đáp ứng nhu cầu càng lớn thì lợi nhuận càng giảm dần. Vì vậy, chúng ta cần phải tìm ra những cách tiếp cận khác để xây dựng mô hình học máy độc lập với lượng dữ liệu. Một số phương pháp này bao gồm sự đa dạng hoá bộ dữ liệu, tăng cường dữ liệu, học chuyển giao và sử dụng JEPA – phương pháp học máy đang được sử dụng rộng rãi hiện nay.
Tuy nhiên, các phương pháp này cũng có những hạn chế, chẳng hạn như khả năng giới hạn về khả năng máy tính và khả năng tối ưu hóa của mô hình. Vì vậy, việc phát triển các mô hình khác để xây dựng các mô hình học máy độc lập với lượng dữ liệu là điều cần thiết trong tương lai.
Hãy tham gia sự kiện Chuyển đổi 2023 tại San Francisco để tìm hiểu thêm về các giải pháp tiếp cận khác và các cách phát triển các mô hình học máy độc lập với lượng dữ liệu.
Nguồn: https://venturebeat.com/ai/what-happens-when-we-run-out-of-data-for-ai-models/
Tham gia cùng các giám đốc điều hành hàng đầu tại San Francisco vào ngày 11-12 tháng 7, để nghe cách các nhà lãnh đạo đang tích hợp và tối ưu hóa các khoản đầu tư AI để thành công. Tìm hiểu thêm
Các mô hình ngôn ngữ lớn (LLM) là một trong những cải tiến hot nhất hiện nay. Với các công ty như OpenAI và Microsoft đang làm việc để phát hành ấn tượng mới NLP hệ thống, không ai có thể phủ nhận tầm quan trọng của việc có quyền truy cập vào lượng lớn dữ liệu chất lượng không thể bị phá hoại.
Tuy nhiên, theo nghiên cứu gần đây thực hiện bởi Epoch, chúng ta có thể sớm cần thêm dữ liệu để huấn luyện các mô hình AI. Nhóm đã điều tra lượng dữ liệu chất lượng cao có sẵn trên internet. (“Chất lượng cao” chỉ ra các tài nguyên như Wikipedia, trái ngược với dữ liệu chất lượng thấp, chẳng hạn như các bài đăng trên mạng xã hội.)
Phân tích cho thấy rằng dữ liệu chất lượng cao sẽ sớm cạn kiệt, có thể là trước năm 2026. Mặc dù các nguồn dữ liệu chất lượng thấp sẽ cạn kiệt chỉ sau vài thập kỷ, nhưng rõ ràng là xu hướng hiện tại của các mô hình mở rộng quy mô không ngừng để cải thiện kết quả có thể sẽ sớm chậm lại.
Máy học (ML) các mô hình đã được biết là cải thiện hiệu suất của chúng với sự gia tăng lượng dữ liệu mà chúng được đào tạo. Tuy nhiên, chỉ đơn giản là cung cấp thêm dữ liệu cho một mô hình không phải lúc nào cũng là giải pháp tốt nhất. Điều này đặc biệt đúng trong trường hợp các sự kiện hiếm hoi hoặc các ứng dụng thích hợp. Ví dụ: nếu chúng tôi muốn đào tạo một mô hình để phát hiện một căn bệnh hiếm gặp, chúng tôi có thể cần nhiều dữ liệu hơn để xử lý. Nhưng chúng tôi vẫn muốn các mô hình trở nên chính xác hơn theo thời gian.
Sự kiện
Chuyển đổi 2023
Hãy tham gia cùng chúng tôi tại San Francisco vào ngày 11-12 tháng 7, nơi các giám đốc điều hành hàng đầu sẽ chia sẻ cách họ đã tích hợp và tối ưu hóa các khoản đầu tư vào AI để đạt được thành công và tránh những cạm bẫy phổ biến.
Đăng ký ngay
Điều này cho thấy rằng nếu muốn giữ cho sự phát triển công nghệ không bị chậm lại, chúng ta cần phát triển các mô hình khác để xây dựng các mô hình máy học độc lập với lượng dữ liệu.
Trong bài viết này, chúng ta sẽ nói về những cách tiếp cận này trông như thế nào và ước tính những ưu và nhược điểm của những cách tiếp cận này.
Những hạn chế của việc mở rộng mô hình AI
Một trong những thách thức quan trọng nhất của việc mở rộng mô hình học máy là lợi nhuận giảm dần khi tăng kích thước mô hình. Khi kích thước của một mô hình tiếp tục tăng lên, cải thiện hiệu suất của nó trở nên không đáng kể. Điều này là do mô hình càng trở nên phức tạp thì càng khó tối ưu hóa và càng dễ bị trang bị quá mức. Hơn nữa, các mô hình lớn hơn đòi hỏi nhiều tài nguyên tính toán và thời gian đào tạo hơn, khiến chúng trở nên ít thực tế hơn đối với các ứng dụng trong thế giới thực.
Một hạn chế đáng kể khác của các mô hình mở rộng là khó khăn trong việc đảm bảo tính mạnh mẽ và khả năng khái quát hóa của chúng. Độ chắc chắn đề cập đến khả năng của một mô hình hoạt động tốt ngay cả khi phải đối mặt với các đầu vào ồn ào hoặc bất lợi. Khả năng khái quát hóa đề cập đến khả năng mô hình hoạt động tốt trên dữ liệu mà nó chưa thấy trong quá trình đào tạo. Khi các mô hình trở nên phức tạp hơn, chúng trở nên dễ bị tấn công hơn, khiến chúng trở nên kém mạnh mẽ hơn. Ngoài ra, các mô hình lớn hơn ghi nhớ dữ liệu đào tạo thay vì tìm hiểu các mẫu cơ bản, dẫn đến hiệu suất tổng quát hóa kém.
Khả năng diễn giải và khả năng giải thích là điều cần thiết để hiểu cách một mô hình đưa ra dự đoán. Tuy nhiên, khi các mô hình trở nên phức tạp hơn, hoạt động bên trong của chúng ngày càng mờ đục, khiến việc diễn giải và giải thích các quyết định của chúng trở nên khó khăn. Sự thiếu minh bạch này có thể là vấn đề trong các ứng dụng quan trọng như chăm sóc sức khỏe hoặc tài chính, nơi quy trình ra quyết định phải rõ ràng và minh bạch.
Các phương pháp thay thế để xây dựng mô hình học máy
Một cách tiếp cận để khắc phục vấn đề là xem xét lại những gì chúng tôi coi là dữ liệu chất lượng cao và chất lượng thấp. Dựa theo Swabha Swayamdipta, giáo sư ML của Đại học Nam California, việc tạo ra các bộ dữ liệu đào tạo đa dạng hơn có thể giúp khắc phục những hạn chế mà không làm giảm chất lượng. Ngoài ra, theo ông, việc đào tạo mô hình trên cùng một dữ liệu nhiều lần có thể giúp giảm chi phí và tái sử dụng dữ liệu hiệu quả hơn.
Những cách tiếp cận này có thể trì hoãn vấn đề, nhưng chúng ta sử dụng cùng một dữ liệu để đào tạo mô hình của mình càng nhiều lần thì mô hình càng dễ bị khớp quá mức. Chúng ta cần các chiến lược hiệu quả để khắc phục vấn đề dữ liệu về lâu dài. Vì vậy, một số giải pháp thay thế đơn giản là cung cấp thêm dữ liệu cho một mô hình là gì?
JEPA (Xấp xỉ xác suất theo kinh nghiệm chung) là một phương pháp học máy do Yann LeCun đề xuất, khác với các phương pháp truyền thống ở chỗ nó sử dụng phân phối xác suất theo kinh nghiệm để lập mô hình dữ liệu và đưa ra dự đoán.
Trong các phương pháp truyền thống, mô hình được thiết kế để phù hợp với một phương trình toán học cho dữ liệu, thường dựa trên các giả định về phân phối cơ bản của dữ liệu. Tuy nhiên, trong JEPA, mô hình học trực tiếp từ dữ liệu thông qua xấp xỉ phân phối theo kinh nghiệm. Cách tiếp cận này liên quan đến việc chia dữ liệu thành các tập hợp con và ước tính phân phối xác suất cho từng nhóm con. Các phân phối xác suất này sau đó được kết hợp để tạo thành một phân phối xác suất chung được sử dụng để đưa ra dự đoán. JEPA có thể xử lý dữ liệu phức tạp, nhiều chiều và thích ứng với việc thay đổi các mẫu dữ liệu.
Một cách tiếp cận khác là sử dụng các kỹ thuật tăng cường dữ liệu. Những kỹ thuật này liên quan đến việc sửa đổi dữ liệu hiện có để tạo dữ liệu mới. Điều này có thể được thực hiện bằng cách lật, xoay, cắt xén hoặc thêm nhiễu vào hình ảnh. Tăng cường dữ liệu có thể làm giảm quá mức và cải thiện hiệu suất của mô hình.
Cuối cùng, bạn có thể sử dụng học chuyển giao. Điều này liên quan đến việc sử dụng một mô hình được đào tạo trước và tinh chỉnh nó cho một nhiệm vụ mới. Điều này có thể tiết kiệm thời gian và tài nguyên vì mô hình đã học được các tính năng có giá trị từ tập dữ liệu lớn. Mô hình được đào tạo trước có thể được tinh chỉnh bằng cách sử dụng một lượng nhỏ dữ liệu, làm cho nó trở thành một giải pháp tốt cho dữ liệu khan hiếm.
Phần kết luận
Ngày nay, chúng ta vẫn có thể sử dụng phương pháp tăng cường dữ liệu và học chuyển đổi, nhưng những phương pháp này không giải quyết được vấn đề một lần và mãi mãi. Đó là lý do tại sao chúng ta cần suy nghĩ thêm về các phương pháp hiệu quả mà trong tương lai có thể giúp chúng ta khắc phục vấn đề. Chúng tôi vẫn chưa biết chính xác giải pháp có thể là gì. Rốt cuộc, đối với con người, chỉ cần quan sát một vài ví dụ là đủ để học được điều gì đó mới. Có thể một ngày nào đó, chúng ta sẽ phát minh ra AI cũng có thể làm được điều đó.
Ý kiến của bạn là gì? Công ty của bạn sẽ làm gì nếu bạn hết dữ liệu để đào tạo các mô hình của mình?
Ivan Smetannikov là trưởng nhóm khoa học dữ liệu tại Serokell.
Dữ liệuNgười ra quyết định
Chào mừng bạn đến với cộng đồng VentureBeat!
DataDecisionMakers là nơi các chuyên gia, bao gồm cả những người kỹ thuật làm công việc dữ liệu, có thể chia sẻ những hiểu biết và đổi mới liên quan đến dữ liệu.
Nếu bạn muốn đọc về các ý tưởng tiên tiến và thông tin cập nhật, các phương pháp hay nhất cũng như tương lai của dữ liệu và công nghệ dữ liệu, hãy tham gia cùng chúng tôi tại DataDecisionMakers.
Bạn thậm chí có thể xem xét đóng góp một bài viết của riêng bạn!
Đọc thêm từ DataDecisionMakers
