Andreessen Horowitz giúp các nhà sáng lập đáp ứng nhu cầu tính toán với cụm GPU riêng ‘Oxygen’
Andreessen Horowitz có một cụm GPU Nvidia H100 lớn để giúp các công ty khởi nghiệp AI trong danh mục của mình đáp ứng nhu cầu tính toán, công ty đầu tư vốn xác nhận lần đầu tiên vào thứ Tư. Chương trình, được gọi là “Oxygen”, cho phép các công ty trong danh mục của họ đào tạo hoặc vận hành các mô hình AI của họ mà không cần đàm phán với giá thị trường.
Cụm Oxygen của A16Z giúp các công ty khởi nghiệp có chút không gian để cạnh tranh với các công ty công nghệ lớn hơn – như Google, Meta và Microsoft – trong việc xây dựng các mô hình AI lớn. Trong vài năm qua, những công ty đó đã bắt đầu một cuộc đấu giá để mua GPU, đặc biệt là các H100, tiêu chuẩn ngành công nghiệp AI, thường thắng thầu bằng cách hứa hẹn các hợp đồng lớn hơn và kéo dài hơn. Điều này khiến nhiều công ty khởi nghiệp AI bị đổ bộ, vì họ có thể không thể ký các hợp đồng lớn cần thiết để đảm bảo các GPU, trong khi các công ty như OpenAI và Anthropics có thể.
“Điều này bắt nguồn từ việc nhận ra rằng một số nhà sáng lập AI mà chúng tôi phục vụ hàng ngày đều gặp vấn đề chung: Chúng tôi đang ở giữa một nguồn cung hạn chế, nơi dung lượng Nvidia H100 thiếu hụt,” đối tác A16Z Anjney Midha, người đã giúp tạo ra chương trình Oxygen, cho biết trong bản ghi âm podcast được chia sẻ với TechCrunch. “Như là các công ty khởi nghiệp, họ đang bị đẩy lui bởi các đám mây lớn để ưu tiên khách hàng lớn hơn, điều đó thực sự khó khăn đối với họ.”
Hệ thống cơ sở hạ tầng cũng là một cách tốt để A16Z thu hút các công ty khởi nghiệp mới. Các công ty xây dựng các mô hình AI thường cần truy cập không bị hạn chế vào các cụm tính toán lớn cho các lượt đào tạo ngắn, nhưng sau đó, không cần chúng sau khi các mô hình đã được đào tạo. Đoán trước các mô hình AI thường yêu cầu tính toán ít hơn so với đào tạo, trừ khi việc sử dụng một mô hình AI bùng nổ. Cụm Oxygen của A16Z mang lại sự linh hoạt cho các công ty khởi nghiệp, cho phép truy cập vào GPU khi cần, mà không cần cam kết lâu dài với nhà cung cấp đám mây hoặc chi phí lớn. Thay vào đó, họ cho A16Z một cổ phần trong doanh nghiệp của họ, đổi lại nhận được giá thuê GPU thấp.
Nhưng A16Z không phải là những nhà đầu tư duy nhất hứa hẹn cung cấp GPUs cho các nhà sáng lập công ty khởi nghiệp, cùng với vốn tài chính và hướng dẫn, để đổi lấy cổ đông trong các công ty của họ. Các đối tác đầu tư Nat Friedman và Daniel Gross cung cấp cho các công ty khởi nghiệp của họ một cụm GPU 4.000 được gọi là cụm Andromeda, theo Forbes. Y Combinator cũng cung cấp cho các công ty khởi nghiệp một cụm GPU cho các lượt đào tạo thông qua các đối tác với các nhà cung cấp đám mây khác nhau, gần đây nhất là Google Cloud.
Một phát ngôn viên của Andreessen Horowitz từ chối bình luận về việc cụm Oxygen có quy mô lớn như thế nào, tuy nhiên, A16Z có thể có kho hàng GPU lớn nhất của bất kỳ công ty đầu tư nào. The Information đưa tin vào tháng 7 rằng Oxygen có thể chứa hơn 20.000 GPU.
Tại một điểm nào đó trong podcast, Midha nói cụm Oxygen có thể giảm áp lực lên các công ty khởi nghiệp AI phải gây quỹ với các giá trị vượt trội để trả các hóa đơn tính toán. Đó là một cách khác mà Oxygen mang lại lợi ích cho A16Z. Thay vì đầu tư nhiều hơn vào một công ty khởi nghiệp để mua GPUs từ ví dụ Microsoft, A16Z có thể cung cấp các GPU và đầu tư với giá thấp hơn.
A16Z xem Oxygen là một đề xuất giá trị cốt lõi cho các công ty khởi nghiệp của họ trong tương lai, miễn là bơm tiền AI tiếp tục như được dự báo. Đó là lý do tại sao công ty này đã thực hiện đầu tư lớn để bảo đảm được các vi mạch này.
#AndreessenHorowitz #GPU #Oxygen #AIStartups
Andreessen Horowitz has a massive cluster of Nvidia H100 GPUs to help its portfolio of AI startups meet their compute needs, the venture capital firm confirmed for the first time on Wednesday. The program, called “Oxygen”, allows their portfolio companies to train or operate their AI models without negotiating market rates.
A16Z’s Oxygen cluster gives startups some breathing room, so to speak, to compete against larger tech companies – such as Google, Meta, and Microsoft – in building large AI models. For the past several years, those companies have been engaged in a bidding war for GPUs, especially the AI industry-standard H100s, often winning deals by promising larger and longer contracts. That leaves a lot of AI startups out to dry, since they may not be able to take on the big contracts necessary to secure GPUs, whereas the OpenAIs and Anthropics of the world can.
“This started from a realization that a number of the AI founders we serve every day had a common problem: We were in the middle of a supply crunch, where Nvidia H100 capacity was in short supply,” said A16Z partner Anjney Midha, who helped create the Oxygen program, in a podcast transcript shared with TechCrunch. “As startups, they were being deprioritized by the large clouds in favor of larger customers, which was really tough for them.”
The infrastructure is also a good way for A16Z to attract new startups. Companies building AI models often need unfettered access to massive compute clusters for short training runs, but then, don’t need them once the models are trained. Inferencing AI models typically requires less compute than training, unless of course, usage of an AI model explodes. A16Z’s Oxygen cluster offers startups flexibility, giving access to GPUs when they need it, without a long-term commitment to a cloud provider or huge cash outlay. Instead, they give A16Z a stake in their business, in exchange for (among other things) low prices to rent GPUs.
But A16Z aren’t the only investors promising startups founders GPUs, on top of financial capital and guidance, for stakes in their companies. Investing partners Nat Friedman and Daniel Gross offer their startups access to a 4,000 GPU cluster dubbed the Andromeda Cluster, according to Forbes. Y Combinator also offers startups a cluster of GPUs for training runs through partnerships with various cloud providers, most recently, Google Cloud.
An Andreessen Horowitz spokesperson declined to comment on how large the Oxygen cluster is, however, A16Z may have the largest GPU war chest of any venture firm. The Information reported in July that Oxygen could contain more than 20,000 GPUs.
At one point in the podcast, Midha says the Oxygen cluster can relieve pressure on AI startups to fundraise at overpriced valuations in order to pay their compute bills. That’s another way Oxygen benefits A16Z. Instead of investing more in a startup so it can buy GPUs from say, Microsoft, A16Z can offer the GPUs themselves and invest at a lower price.
A16Z views Oxygen as a core value proposition to its startups moving forward, as long as the AI boom continues as projected. That’s likely why the startup made the massive investment required to secure these chips.
[ad_2]
