Apple trở thành sự lựa chọn ưa thích của các nhà phát triển trí tuệ nhân tạo (AI) trong việc chạy các mô hình nguồn mở LLM lớn nhất.
Gần đây, Apple đã trình làng chip M3, cho phép nhà phát triển AI làm việc với các mô hình biến đổi lớn có hàng tỷ tham số trên MacBook một cách mượt mà. “Hỗ trợ lên đến 128GB bộ nhớ mở ra các quy trình làm việc trước đây không thể thực hiện trên laptop,” Apple nói trong bài đăng trên blog.
Hiện tại, chỉ MacBook Pro 14-inch hỗ trợ chip M3, M3 Pro và M3 Max, còn MacBook Pro 16-inch chỉ hỗ trợ cấu hình M3 Pro và M3 Max. Apple cũng khẳng định rằng bộ vi xử lý trí tuệ nhân tạo được nâng cấp giúp tăng tốc độ mô hình học máy mạnh mẽ và đồng thời bảo vệ quyền riêng tư của người dùng.
Người dùng Yi Ding cho biết rằng giờ đây nhà phát triển có thể chạy mô hình LLM nguồn mở lớn nhất (Falcon với 180 tỷ tham số) trên một chiếc laptop 14-inch mà không gặp mất chất lượng đáng kể.
Tuy nhiên, việc chạy mô hình LLM nguồn mở trên laptop không phải là điều mới. Trước đó, các nhà phát triển trí tuệ nhân tạo đã thử nghiệm với chip M1. Anshul Khandelwal, đồng sáng lập kiêm Giám đốc công nghệ của invideo, đã thử nghiệm mô hình LLM nguồn mở có 65 tỷ tham số trên MacBook của mình (được cung cấp bởi chip M1). Anshul cho biết rằng điều này thay đổi tất cả từ một tuần một lần. “Tương lai nơi mà mọi kỹ sư công nghệ chạy một LLM địa phương không còn quá xa,” Anshul nhấn mạnh.
Aravind Srinivas, đồng sáng lập và giám đốc của Perplexity.ai, đã đùa rằng một khi MacBook đủ mạnh về FLOPs trên một chip M1, một tổ chức lớn với mọi người đều sử dụng MacBook và mạng nội bộ tốc độ cao sẽ phải tuân theo quy định và phải báo cáo sự tồn tại của họ cho chính phủ.
Apple khẳng định rằng bộ vi xử lý M3 hiện tại nhanh hơn 15% so với dòng chip M2 và nhanh hơn 60% so với dòng chip M1. Sự khác biệt đáng chú ý duy nhất giữa M2 và M3 là về hiệu năng và các thông số khác. Các chip mới nhất của Apple có cùng số lượng nhân nhưng có sự cân bằng khác nhau giữa các nhân hiệu năng và hiệu năng tiết kiệm năng lượng (sáu nhân hiệu năng và bốn nhân hiệu năng tiết kiệm, so với tám nhân hiệu năng và bốn nhân hiệu năng tiết kiệm của M2) và hỗ trợ lên đến 36GB bộ nhớ, so với 32GB của M1 và M2.
Chip M3 hỗ trợ tối đa 128GB bộ nhớ thống nhất, gấp đôi dung lượng so với phiên bản trước đó là chip M1 và M2. Khả năng mở rộng bộ nhớ này đặc biệt quan trọng đối với các tải công việc trí tuệ nhân tạo/máy học yêu cầu nguồn tài nguyên bộ nhớ lớn để đào tạo và thực thi các mô hình ngôn ngữ lớn và thuật toán phức tạp.
Ngoài việc cải tiến bộ não học sâu và hỗ trợ bộ nhớ mở rộng, chip M3 còn có kiến trúc GPU được thiết kế lại theo một cách riêng. Kiến trúc này được xây dựng đặc biệt cho hiệu năng và hiệu quả tính toán tốt hơn, bao gồm bộ nhớ đệm động, shading mạng lưới và khả năng ray tracing. Những cải tiến này được thiết kế đặc biệt để tăng tốc tải công việc trí tuệ nhân tạo/máy học và tối ưu hiệu năng tính toán chung.
Chip M3 mới nổi bật với GPU có “Bộ nhớ đệm động”, khác với GPU truyền thống, sử dụng bộ nhớ cục bộ trong thời gian thực, tăng cường sử dụng GPU và cải thiện hiệu năng ở các ứng dụng và trò chơi chuyên nghiệp đòi hỏi nhiều năng lượng.
Đối với nhà phát triển game và người dùng ứng dụng đồ họa phức tạp như Photoshop hay công cụ trí tuệ nhân tạo liên quan đến hình ảnh, khả năng của GPU sẽ rất hữu ích. Apple khẳng định tốc độ của chip M3 gấp 2,5 lần so với dòng chip M1 và có hiệu năng cải thiện trong việc sử dụng cung shading của phần cứng và tiêu thụ năng lượng ít hơn.
Apple không đơn độc trong lĩnh vực này, các công ty khác như AMD, Intel, Qualcomm và NVIDIA cũng đang đầu tư mạnh vào n
Apple recently treated AI developers with M3 chips, which now lets them work with large transformer models with billions of parameters on the MacBook, seamlessly. “Support for up to 128GB of memory unlocks workflows previously not possible on a laptop,” said Apple, in its blog post.
Currently, only the 14-inch MacBook Pro supports the M3, M3 Pro, and M3 Max chips, and as for the 16-inch MacBook Pro, it supports only M3 Pro and M3 Max configurations. Apple also claimed that its enhanced neural engine helps accelerate powerful machine learning (ML) models, alongside preserving privacy.
“What a time to be alive,” said Yi Ding. He said that developers can now run the biggest open source LLM (Falcon with 180 billion parameters) with low quality loss on a 14 inch laptop.
However, running open source LLM on laptops isn’t new. Previously, AI folks have tried with M1 as well. Anshul Khandelwal, the co-founder and CTO of invideo, experimented with a 65 billion open source LLM on his MacBook (powered by M1). He said that this changes everything about once a week now. “A future where every techie runs a local LLM is not too far,” he added.
Perplexity.ai co-founder and chief Aravind Srinivas jokingly said once a MacBook is sufficiently powerful in terms of FLOPs packed per M1 chip, a large organisation with everyone on their MacBooks and high speed intranet is subjected to regulation and needs to report their existence to the government.
M3 for AI Workloads
Apple claimed that the M3 family of chips is currently 15% faster than the M2 family chips, and 60% faster than the M1 family chips. Clearly, there is only a glaring difference between M2 and M3 in terms of performance and other specs. The latest chips by Apple have the same core count but a different balance of performance and efficiency cores (six of each vs eight P and 4 E) and support up to 36GB of memory rather than 32GB.
The M3 chip boasts support for up to 128GB of unified memory, marking a doubling of capacity compared to its predecessor, both the M1 and M2 chip. This expanded memory capacity is especially critical for AI/ML workloads that demand extensive memory resources to train and execute large language models and complex algorithms.
In addition to the enhanced neural engine and expanded memory support, the M3 chip features a redesigned GPU architecture.
This architecture is purpose-built for superior performance and efficiency, incorporating dynamic caching, mesh shading, and ray tracing capabilities. These advancements are specifically designed to expedite AI/ML workloads and optimise overall computational efficiency.
The new M3 prominently features GPUs with “Dynamic Caching,” unlike traditional GPUs, using local memory in real-time, enhancing GPU utilisation, and significantly boosting performance in demanding pro apps and games.
For game developers and users of graphics-intensive apps like Photoshop or photo-related AI tools, the GPU’s capabilities will be beneficial. Apple claimed up to 2.5 times the speed of the M1 family of chips, with hardware-accelerated mesh shading and improved performance using less power.
Apple vs the World
Apple is not alone, other players such as AMD, Intel, Qualcomm, and NVIDIA is also heavily investing in enhancing the edge capabilities, making it possible for users to run large AI workloads on laptops and personal computers.
For instance, AMD recently introduced AMD Ryzen AI, including the first built-in AI engine for x86 Windows laptops, and the only integrated AI engine of its kind.
Intel, on the other hand, is banking on 14th Gen Meteor Lake. It is the first Intel processor to use a tiled architecture, which allows it to mix and match different types of cores, such as high-performance cores and low-power cores, to achieve the best balance of performance and power efficiency.
Recently, Qualcomm also introduced the Snapdragon X Elite. The company’s chief Cristiano Amon claimed superior performance over Apple’s M2 Max chip and comparable peak performance, all achieved 30% less power consumption. Meanwhile, NVIDIA is also investing in edge use cases, and silently working on designing CPUs compatible with Microsoft’s Windows OS, leveraging Arm technology.
AI developers are increasingly running and experimenting with language models locally, and it’s truly fascinating to watch this space evolve. Given the latest advancements in the space, Apple is slowly but surely becoming the go-to favourite for AI developers.
