#AMD công bố MI300X – ‘máy gia tốc AI thế hệ mới’ với công nghệ GPU Instinct MI300X. Sản phẩm này được trang bị nhiều “chiplet” GPU cùng với bộ nhớ DRAM HBM3 192 gigabyte và băng thông bộ nhớ 5,2 terabyte mỗi giây và có thể xử lý các mô hình ngôn ngữ lớn lên tới 80 tỷ tham số trong bộ nhớ. CEO Lisa Su cho biết đây là con chip đầu tiên đủ mạnh để chạy một mạng lưới thần kinh có kích thước lớn như vậy hoàn toàn nằm trong bộ nhớ. #AI #MI300X #GPU #HBM3 #LisaSu #AMD
GPU Instinct MI300X của AMD có nhiều “chiplet” GPU cùng với bộ nhớ DRAM HBM3 192 gigabyte và băng thông bộ nhớ 5,2 terabyte mỗi giây. Công ty cho biết đây là con chip duy nhất có thể xử lý các mô hình ngôn ngữ lớn lên tới 80 tỷ tham số trong bộ nhớ. AMD
Giám đốc điều hành của Advanced Micro Devices Lisa Su hôm thứ Ba tại San Francisco đã tiết lộ một con chip là trung tâm trong chiến lược của công ty về trí tuệ nhân tạo máy tính, tự hào về bộ nhớ khổng lồ và thông lượng dữ liệu cho cái gọi là trí tuệ nhân tạo nhiệm vụ như mô hình ngôn ngữ lớn.
Instinct MI300X, như phần được biết đến, là sản phẩm tiếp theo của MI300A đã được công bố trước đó. Con chip này thực sự là sự kết hợp của nhiều “chiplet”, những con chip riêng lẻ được kết hợp với nhau trong một gói duy nhất bằng bộ nhớ dùng chung và các liên kết mạng.
Su, trên sân khấu dành cho khán giả chỉ được mời tại khách sạn Fairmont ở trung tâm thành phố San Francisco, đã gọi bộ phận này là “máy gia tốc AI thế hệ mới” và cho biết các chiplet GPU chứa trong nó, một họ được gọi là CDNA 3, được “thiết kế đặc biệt”. cho khối lượng công việc AI và HPC (điện toán hiệu năng cao).
MI300X là phiên bản “chỉ có GPU” của bộ phận này. MI300A là sự kết hợp của ba bộ ba CPU Zen4 với nhiều bộ ba GPU. Nhưng trong MI300X, các CPU được đổi chỗ cho hai bộ ba CDNA 3 bổ sung.
Cũng: Nvidia tiết lộ loại Ethernet mới cho AI, Grace Hopper ‘Superchip’ đang được sản xuất đầy đủ
MI300X tăng số lượng bóng bán dẫn từ 146 tỷ bóng bán dẫn lên 153 tỷ và bộ nhớ DRAM dùng chung được tăng từ 128 gigabyte trong MI300A lên 192 gigabyte.
Băng thông bộ nhớ được tăng từ 800 gigabyte mỗi giây lên 5,2 terabyte mỗi giây.
Su cho biết: “Việc chúng tôi sử dụng chiplet trong sản phẩm này là rất, rất chiến lược vì khả năng kết hợp và kết hợp các loại máy tính khác nhau, hoán đổi CPU hoặc GPU.
Su cho biết MI300X sẽ cung cấp mật độ bộ nhớ gấp 2,4 lần GPU H100 “Hopper” của Nvidia và băng thông bộ nhớ gấp 1,6 lần.
Su cho biết: “AI tổng quát, các mô hình ngôn ngữ lớn đã thay đổi cục diện. “Nhu cầu tính toán nhiều hơn đang tăng theo cấp số nhân, cho dù bạn đang nói về đào tạo hay về suy luận.”
Để chứng minh sự cần thiết của máy tính mạnh mẽ, Sue đã cho thấy phần hoạt động trên cái mà cô ấy nói là mô hình ngôn ngữ lớn phổ biến nhất vào lúc này, Falcon-40B mã nguồn mở. Các mô hình ngôn ngữ yêu cầu tính toán nhiều hơn khi chúng được xây dựng với số lượng ngày càng nhiều hơn những gì được gọi là “tham số” mạng thần kinh. Falcon-40B bao gồm 40 tỷ tham số.
Bà cho biết, MI300X là con chip đầu tiên đủ mạnh để chạy một mạng lưới thần kinh có kích thước như vậy, hoàn toàn nằm trong bộ nhớ, thay vì phải di chuyển dữ liệu, tới và lui từ bộ nhớ ngoài.
Su đã trình diễn MI300X sáng tác một bài thơ về San Francisco bằng Falcon-40B.
Cô cho biết: “Một MI300X duy nhất có thể chạy các mô hình lên tới khoảng 80 tỷ tham số” trong bộ nhớ.
“Khi bạn so sánh MI300X với đối thủ cạnh tranh, MI300X cung cấp bộ nhớ gấp 2,4 lần và băng thông bộ nhớ gấp 1,6 lần và với tất cả dung lượng bộ nhớ bổ sung đó, chúng tôi thực sự có lợi thế cho các mô hình ngôn ngữ lớn vì chúng tôi có thể chạy các mô hình lớn hơn trực tiếp trong bộ nhớ .”
Su cho biết, để có thể chạy toàn bộ mô hình trong bộ nhớ, có nghĩa là “đối với các mô hình lớn nhất, điều đó thực sự làm giảm số lượng GPU bạn cần, tăng tốc đáng kể hiệu suất, đặc biệt là để suy luận, cũng như giảm tổng chi phí quyền sở hữu.”
“Nhân tiện, tôi thích con chip này,” Su hào hứng. “Chúng tôi yêu con chip này.”
“Với MI300X, bạn có thể giảm số lượng GPU và khi kích thước mô hình tiếp tục tăng, điều này sẽ càng trở nên quan trọng hơn.”
Su cho biết: “Với nhiều bộ nhớ hơn, nhiều băng thông bộ nhớ hơn và ít GPU cần thiết hơn, chúng tôi có thể chạy nhiều tác vụ suy luận hơn trên mỗi GPU so với trước đây”. Bà nói, điều đó sẽ giảm tổng chi phí sở hữu đối với các mô hình ngôn ngữ lớn, giúp công nghệ dễ tiếp cận hơn.
Cũng: Vì ‘khoảnh khắc iPhone’ của AI, Nvidia trình làng chip mô hình ngôn ngữ lớn
Để cạnh tranh với các hệ thống DGX của Nvidia, Su đã tiết lộ một dòng máy tính AI, “Nền tảng bản năng AMD”. Phiên bản đầu tiên sẽ kết hợp tám MI300X với bộ nhớ HMB3 1,5 terabyte. Máy chủ tuân thủ thông số Nền tảng điện toán mở tiêu chuẩn của ngành.
Su cho biết: “Đối với khách hàng, họ có thể sử dụng tất cả khả năng tính toán AI này trong bộ nhớ trong một nền tảng tiêu chuẩn công nghiệp nằm ngay trong cơ sở hạ tầng hiện có của họ”.
Không giống như MI300X, vốn chỉ là một GPU, MI300A hiện tại đang đối đầu với chip kết hợp Grace Hopper của Nvidia, sử dụng CPU Grace của Nvidia và GPU Hopper của nó, mà công ty công bố tháng trước đang trong quá trình sản xuất đầy đủ.
MI300A đang được tích hợp vào siêu máy tính El Capitan đang được xây dựng tại Phòng thí nghiệm quốc gia Lawrence Livermore của Bộ Năng lượng, Su lưu ý.
Su cho biết MI300A hiện đang được trưng bày dưới dạng mẫu cho khách hàng AMD và MI300X sẽ bắt đầu lấy mẫu cho khách hàng vào quý 3 năm nay. Cô cho biết cả hai sẽ được sản xuất với số lượng lớn trong quý IV.
Bạn có thể xem phát lại bản trình bày trên Website do AMD thiết lập để đưa tin.
[ad_2]
