#GoogleI/O2023: Google sử dụng GPU để đào tạo mô hình ngôn ngữ lớn
Google đã giới thiệu các dịch vụ đám mây mới nhằm hỗ trợ khả năng đào tạo mô hình ngôn ngữ lớn bằng việc kết hợp các GPU. Các máy tính mới được chế tạo bằng cách kết hợp GPU H100 của Nvidia và đường dẫn dữ liệu tốc độ cao của chính Google. Với khả năng cung cấp tới 26 exaFLOP, các nhà khoa học AI và bất kỳ ai có nhu cầu tính toán lớn có thể thuê các máy tính này.
Google hy vọng rằng sự kết hợp của các GPU sẽ tăng tốc quá trình đào tạo mô hình ngôn ngữ lớn. GPU Nvidia giao tiếp bằng một giao thức tốc độ cao được mô tả là “200-Gbps được thiết kế tùy chỉnh IPU”.
Các máy tính mới của Google có thể tích hợp tối đa 8 GPU H100 của Nvidia với kiến trúc HOPPER và tập trung vào các nhiệm vụ rất lớn. Mỗi máy còn có thể lưu trữ tới 2 terabyte RAM và đồng bộ hóa bằng bộ xử lý Xeon thế hệ thứ tư.
Google không phải là công ty duy nhất sử dụng kỹ thuật này. Microsoft và IBM cũng đang xây dựng các máy tính tương tự để đào tạo các mô hình rất lớn.
#Chuyểnđổi2023: Hãy tham gia Google để tìm hiểu cách tối ưu hóa đầu tư AI
Tham gia cùng các giám đốc điều hành hàng đầu tại San Francisco vào ngày 11-12 tháng 7, để nghe cách các nhà lãnh đạo tích hợp và tối ưu hóa các khoản đầu tư AI để thành công. Hãy tham gia Google để tìm hiểu thêm về cách tối ưu hóa đầu tư AI và tránh những cạm bẫy phổ biến.
Google cũng tích hợp các dịch vụ phần mềm và đám mây mới này với phần cứng để đạt được hiệu quả tối đa. Họ mong muốn phát triển các mô hình AI cơ bản hơn thông qua Vertex AI để cung cấp cho khách hàng đang tìm cách phát triển máy học mô hình mà không cần bảo trì. Ngoài ra, các tính năng mở rộng và các mô hình nền tảng cũng được công bố.
Tham gia cùng các giám đốc điều hành hàng đầu tại San Francisco vào ngày 11-12 tháng 7, để nghe cách các nhà lãnh đạo đang tích hợp và tối ưu hóa các khoản đầu tư AI để thành công. Tìm hiểu thêm
Các nhà khoa học AI và bất kỳ ai có nhu cầu tính toán rất lớn giờ đây sẽ có thể chuyển sang đám mây của Google để thuê các máy có thể cung cấp tới 26 exaFLOP. Các dịch vụ đám mây mới, được trình bày chi tiết trong bài phát biểu quan trọng ngày hôm nay tại Google I/O 2023, là các tùy chọn phục hồi danh pháp “siêu máy tính” thời Chiến tranh Lạnh nhờ khả năng phi thường của chúng và tập trung vào các nhiệm vụ rất lớn.
Các máy mới được chế tạo bằng cách kết hợp GPU H100 của Nvidia với các kết nối tốc độ cao của chính Google. Công ty hy vọng rằng sự kết hợp của các GPU nhanh được liên kết bởi các đường dẫn dữ liệu nhanh sẽ rất hấp dẫn đối với trí tuệ nhân tạo nhiệm vụ như đào tạo rất mô hình ngôn ngữ lớn.
Các mô hình ngôn ngữ rất lớn
Sự gia tăng của các mô hình rất lớn này đang khơi dậy mối quan tâm đến phần cứng có thể xử lý khối lượng công việc rất lớn một cách hiệu quả. Các nhà khoa học AI đã chứng kiến những kết quả đáng kinh ngạc nhất khi họ kéo kích thước của mô hình càng lớn càng tốt. Máy đời mới như thế này thì đẩy càng to càng dễ.
Các máy mới của Google rất hấp dẫn vì chúng có thể tăng tốc độ giao tiếp giữa các GPU, do đó sẽ đẩy nhanh quá trình hội tụ của mô hình khi nó được đào tạo. GPU Nvidia sẽ giao tiếp bằng cách sử dụng cái mà Google mô tả là “200-Gbps được thiết kế tùy chỉnh IPU” cung cấp “truyền dữ liệu từ GPU đến GPU bỏ qua máy chủ CPU và truyền qua các giao diện riêng biệt từ các mạng VM và lưu lượng dữ liệu khác.” Công ty ước tính rằng dữ liệu sẽ truyền giữa các GPU nhanh hơn 10 lần so với một số phần cứng trước đây của họ với các đường truyền thông truyền thống hơn.
Sự kiện
Chuyển đổi 2023
Hãy tham gia cùng chúng tôi tại San Francisco vào ngày 11-12 tháng 7, nơi các giám đốc điều hành hàng đầu sẽ chia sẻ cách họ đã tích hợp và tối ưu hóa các khoản đầu tư vào AI để đạt được thành công và tránh những cạm bẫy phổ biến.
Đăng ký ngay
Nhiều dịch vụ đám mây cung cấp một số máy mang lại hiệu suất song song cao với GPU hoặc TPU. Dịch vụ web của Amazon chẳng hạn, cung cấp nửa tá tùy chọn khác nhau kết hợp một số GPU hoặc một số chip Graviton dựa trên ARM mới của họ. Bản thân Google cung cấp chip của riêng họ, được đặt tên là TPUtrong một số kết hợp.
Đồng thời, GPU thông thường đang trở nên phổ biến. Ngay cả một số đám mây nhỏ hơn như Vultr cũng có GPU cho thuê, thứ mà họ cung cấp với mức giá thấp tới 13 xu mỗi giờ cho một phần nhỏ của máy.
Google rõ ràng đang nhắm đến khối lượng công việc lớn nhất với thông báo này. Các máy mới của hãng, có tên là A3, sẽ tích hợp tối đa 8 GPU H100 của Nvidia được xây dựng với kiến trúc HOPPER của nhà sản xuất bộ xử lý video. Mỗi máy cũng có thể có tới 2 terabyte RAM để lưu trữ dữ liệu đào tạo. Tất cả những điều này sẽ được đồng bộ hóa bởi bộ xử lý Xeon thế hệ thứ tư.
Google là một phần của cuộc chơi lớn hơn
Google không phải là công ty duy nhất đi theo con đường này. Vào tháng 11, Microsoft công bố hợp tác với Nvidia để sản xuất “siêu máy tính” của riêng họ. Công ty cũng sẽ sử dụng các chip như H100 làm khối xây dựng cho các “vải” hoặc “mắt lưới” được kết nối với nhau được tối ưu hóa để đào tạo các mô hình rất lớn này.
Vào tháng 2, IBM đã công bố nó cũng là xây dựng phiên bản riêng của nó có tên là “Vela” có thể đào tạo các mô hình rất lớn cho một số khách hàng chính phủ của nó như NASA. Những “mô hình nền tảng” này sẽ giúp ích cho nhiều ngành khoa học như khám phá thuốc hoặc an ninh mạng.
Một mục tiêu lớn khác của Google sẽ là tích hợp phần cứng mới này với các dịch vụ phần mềm và đám mây của mình. Chẳng hạn, OpenAI bán lại khả năng tính toán của Azure bằng cách giúp người dùng của chính họ có thể tinh chỉnh các mô hình nền tảng của riêng họ.
Google cho biết phần cứng sẽ có sẵn thông qua Vertex AI cho những khách hàng “đang tìm cách phát triển máy học mô hình mà không cần bảo trì. Đồng thời, họ cũng công bố các tính năng mở rộng và các mô hình cơ bản hơn.
Sứ mệnh của VentureBeat là trở thành một quảng trường thành phố kỹ thuật số để những người ra quyết định kỹ thuật có được kiến thức về công nghệ doanh nghiệp chuyển đổi và giao dịch. Khám phá Briefings của chúng tôi.
[ad_2]
