M4 Mac mini trong một cụm rất tuyệt nhưng không hiệu quả nhiều. #M4 #MacMini #TínhToánCụm #HiệuSuất #Thunderbolt #AppleSilicon #MLX #Xgrid #NghiênCứu #HọcMáy #CụmMáy #NgàyHômNay
Có cách sử dụng bộ sưu tập M4 Mac mini trong một cụm, nhưng lợi ích chỉ thực sự tồn tại khi bạn sử dụng máy Mac cao cấp.
Trong khi hầu hết mọi người nghĩ rằng việc có một chiếc máy tính mạnh hơn có nghĩa là mua một thiết bị đắt tiền, thì có nhiều cách khác để thực hiện việc tính toán số lượng lớn. Theo một khái niệm đã tồn tại hàng thập kỷ, bạn có thể sử dụng nhiều máy tính để xử lý việc xử lý trong một dự án.
Khái niệm điện toán cụm xoay quanh một nhiệm vụ có nhiều phép tính được chia sẻ giữa hai hoặc nhiều đơn vị xử lý. Làm việc cùng nhau để hoàn thành các nhiệm vụ song song, kết quả là thời gian xử lý được rút ngắn đáng kể.
Trong một video được xuất bản lên YouTube vào Chủ Nhật, Alex Ziskind trình diễn cách thiết lập tính toán cụm bằng cách sử dụng M4 Mac mini. Sử dụng bộ sưu tập năm chiếc máy Mac mini xếp chồng lên nhau trong khung nhựa, anh đặt ra một nhiệm vụ sau đó được phân bổ giữa chúng để xử lý.
Trong khi các thiết lập điện toán cụm gia đình điển hình dựa vào mạng Ethernet để liên lạc giữa các nút, Ziskind thay vào đó tận dụng tốc độ của Thunderbolt bằng cách sử dụng Cầu Thunderbolt. Điều này tăng tốc độ liên lạc giữa các nút một cách đáng kể, cũng như cho phép gửi các gói dữ liệu lớn hơn, tiết kiệm hiệu suất xử lý.
Ethernet có thể chạy ở tốc độ 1Gb/s bình thường hoặc lên tới 10Gb/s nếu bạn trả tiền nâng cấp Ethernet ở một số nơi. Mac các mô hình. Thay vào đó, phương pháp Thunderbolt Bridge có thể chạy ở tốc độ 40Gb/s cho cổng Thunderbolt 4 hoặc 80Gb/s trên Thunderbolt 5 ở các mẫu M4 Pro và M4 Max khi chạy hai chiều.
Tốt hơn xử lý GPU
Ziskind chỉ ra rằng có thể có lợi ích khi sử dụng táo silicon thay vì một chiếc PC sử dụng card đồ họa mạnh mẽ cho tính toán cụm.
Đầu tiên, việc xử lý bằng GPU phụ thuộc vào việc có sẵn một lượng bộ nhớ video đáng kể. Ví dụ: trên card đồ họa, đây có thể là 8GB trên chính card đó.
Việc Apple sử dụng bộ nhớ Hợp nhất trên Apple Silicon có nghĩa là bộ nhớ của máy Mac được sử dụng bởi CPU và GPU. Do đó, GPU Apple Silicon có quyền truy cập vào nhiều bộ nhớ hơn, đặc biệt là khi nói đến cấu hình Mac có 32GB trở lên.
Sau đó là khả năng tiêu thụ điện năng, có thể là đáng kể đối với một card đồ họa. Việc sử dụng năng lượng cao có thể tương đương với chi phí vận hành liên tục cao hơn.
Ngược lại, người ta phát hiện ra rằng Mac mini sử dụng rất ít năng lượng và một cụm gồm 5 máy Mac mini chạy hết công suất lại sử dụng ít năng lượng hơn một card đồ họa hiệu năng cao.
MLX, không phải Xgrid
Để cụm có thể chạy, Ziskind sử dụng một dự án mà chúng tôi đã đã nói về. Nó sử dụng MLX, một dự án nguồn mở của Apple được mô tả là “khuôn khổ mảng được thiết kế để nghiên cứu máy học linh hoạt và hiệu quả trên Apple Silicon”.
Điều này gợi nhớ một cách mơ hồ đến Xgrid, giải pháp điện toán phân tán đã chết từ lâu của Apple, giải pháp này có thể điều khiển nhiều máy Mac cho tính toán cụm. Hệ thống đó cũng cho phép Máy chủ Mac OS X tận dụng các máy Mac nhóm làm việc trên mạng để thực hiện xử lý khi chúng không được sử dụng cho bất kỳ mục đích nào khác.
Tuy nhiên, mặc dù Xgrid hoạt động cho các hoạt động quy mô lớn được tài trợ rất tốt ở cấp công ty hoặc liên bang, như AppleNgười trong cuộcMike Wuerthele của Mike có thể chứng thực rằng nó không phù hợp với các dự án nhỏ hơn. Trong những tình huống hoàn hảo và cụ thể cũng như mã cụ thể, nó hoạt động rất tuyệt vời, nhưng các cụm tự tạo có xu hướng hoạt động không tốt lắm và đôi khi còn chậm hơn so với việc một máy tính đơn lẻ thực hiện công việc.
MLX thực sự thay đổi điều đó một chút vì nó sử dụng phương pháp tính toán phân tán MPI tiêu chuẩn để hoạt động. Cũng có thể chạy trên một số máy Mac có hiệu suất khác nhau mà không nhất thiết phải bỏ ra hàng trăm hoặc hàng nghìn máy Mac.
Không giống như Xgrid, MLX dường như hướng nhiều hơn đến các cụm nhỏ hơn, nghĩa là đám đông muốn sử dụng Xgrid nhưng liên tục gặp rắc rối.
Một cụm hữu ích vì những lý do chính đáng
Mặc dù việc cộng gộp hiệu năng của nhiều máy Mac mini lại với nhau trong một cụm có vẻ hấp dẫn nhưng đó không phải là điều mà tất cả mọi người đều có thể hưởng lợi.
Đầu tiên, bạn sẽ không thấy được lợi ích khi sử dụng máy Mac thông thường, như chạy ứng dụng hoặc chơi trò chơi. Điều này nhằm mục đích xử lý các tập dữ liệu lớn hoặc cho các tác vụ cường độ cao được hưởng lợi từ việc xử lý song song.
Điều này làm cho nó trở nên lý tưởng cho các mục đích như tạo LLM cho nghiên cứu học máy chẳng hạn.
Nó cũng không thực sự dễ sử dụng đối với người dùng Mac thông thường.
Ngoài ra, việc tăng hiệu suất không nhất thiết sẽ mang lại lợi ích cho chủ sở hữu máy Mac thông thường. Ziskind nhận thấy trong các thử nghiệm rằng chỉ cần mua một mẫu M4 Pro sẽ mang lại hiệu suất cao hơn hai thiết bị M4 hoạt động cùng nhau khi sử dụng LLM.
Một cụm như thế này phát huy tác dụng khi bạn cần hiệu năng cao hơn mức có thể nhận được từ một máy Mac mạnh mẽ. Nếu một mô hình quá lớn để hoạt động trên một máy Mac, chẳng hạn như các hạn chế về bộ nhớ, thì một cụm có thể cung cấp tổng bộ nhớ lớn hơn cho mô hình đó sử dụng.
Ziskind cho rằng, ở giai đoạn này, một chiếc máy Mac M4 Max cao cấp với dung lượng bộ nhớ lớn sẽ tốt hơn một cụm máy có hiệu suất thấp hơn. Tuy nhiên, ngay cả như vậy, nếu bằng cách nào đó, yêu cầu của bạn vượt xa cấu hình máy Mac đơn cao nhất, thì một cụm có thể trợ giúp ở đây.
Tuy nhiên, vẫn còn một số hạn chế cần xem xét. Trong khi Thunderbolt nhanh, Ziskind phải sử dụng trung tâm Thunderbolt để kết nối các nút với máy chủ Mac, điều này làm giảm băng thông khả dụng.
Việc kết nối trực tiếp các máy Mac với nhau đã giải quyết được vấn đề này, nhưng sau đó lại gặp phải các vấn đề như số lượng cổng Thunderbolt có sẵn để kết nối nhiều máy Mac với nhau. Điều này có thể làm cho việc mở rộng cụm có vấn đề.
Anh ấy cũng gặp phải những vấn đề kỳ lạ về nhiệt, khi máy chủ Mac mini chạy đặc biệt nóng, trong khi các nút chạy ở mức hợp lý hơn.
Cuối cùng, Ziskind nhận thấy thử nghiệm tháp cụm Mac mini rất thú vị, nhưng anh ấy không có ý định sử dụng nó lâu dài. Tuy nhiên, vẫn còn khá sớm cho công nghệ này và trong trường hợp bạn sử dụng nhiều máy Mac cao cấp cho một mẫu máy đủ bền, nó vẫn có thể hoạt động rất tốt.