Phần mềm mới cho phép bạn chạy một cụm máy tính trí tuệ nhân tạo tại nhà với các máy thông minh, máy tính bảng và máy tính được kết nối mạng — Phần mềm Exo chạy LLama và các mô hình trí tuệ nhân tạo khác #AI #PhầnMềmMới #TríTuệNhânTạo #ExoSoftware #ChiếnLượcAI #NgàyHômNay
Các nhà phát triển AI lớn như OpenAI, nhóm Gemini của Google và những người đứng sau Microsoft Copilot có truy cập vào các trung tâm dữ liệu lớn cho các công việc AI. Nhờ vào công việc của một nhóm nhà phát triển, một phần mềm mới có thể cho phép bạn chạy cụm máy tính trí tuệ nhân tạo tại nhà bằng cách sử dụng các điện thoại thông minh, máy tính bảng và máy tính hiện có của bạn.
Phần mềm thử nghiệm Exo chia nhỏ mô hình ngôn ngữ lớn của bạn để sử dụng một phần hoặc tất cả các thiết bị máy tính tại nhà của bạn để chạy chatbot cá nhân hoặc dự án AI khác. Điều này có thể bao gồm các điện thoại và máy tính bảng Android của bạn, cũng như các máy tính chạy macOS hoặc Linux.
Kết quả của điều này là cho phép bạn sử dụng các thiết bị khác nhau của mình cùng nhau để tạo ra một GPU mạnh mẽ đối với mô hình AI. Nhà phát triển đã trình diễn một bản demo của phần mềm chạy Llama-3-70B tại nhà bằng cách sử dụng iPhone 15 Pro Max, iPad Pro M4, Galaxy S24 Ultra, MacBook Pro M2, MacBook Pro M3 và hai thẻ đồ họa MSI Nvidia GTX 4090.
Phần mềm Exo tương thích với Llama và các mô hình AI phổ biến khác. Nó cũng bao gồm thông qua một dòng lệnh thay đổi trong ứng dụng, một API tương thích với ChatGPT để chạy các mô hình. Bạn chỉ cần các thiết bị tương thích của mình chạy Python 3.12.0 trở lên để biên dịch và chạy phần mềm.
Khi đã biên dịch và chạy, Exo tự động phát hiện các thiết bị trên mạng của bạn để kết nối vào cụm. Nó cung cấp sự công bằng giữa các thiết bị bằng cách sử dụng các kết nối ngang hàng. Trong khi Exo hỗ trợ các chiến lược phân vùng khác nhau để phân phối công việc trên các thiết bị, nó mặc định cho một phương pháp trọng số bộ nhớ vòng đệm phân phối công việc dựa trên bộ nhớ mỗi thiết bị có.
Phần mềm Exo cũng hỗ trợ iOS, nhưng các nhà phát triển nói rằng mã cần một số công việc để sẵn sàng sử dụng phổ biến. Họ đã rút phiên bản iOS nhưng sẽ cho phép truy cập vào nó cho những người gửi email cho nhà phát triển chính.
Các nhà phát triển cũng có kế hoạch hoàn thiện và tính năng mở rộng. Họ cũng có một chương trình thưởng cho việc giúp thêm tính năng và tương thích mới. Đến thời điểm này, các tính năng này bao gồm hỗ trợ cho LLaVa, yêu cầu theo lô, một mô-đun mạng radio và hỗ trợ cho việc tính toán song song theo pipeline. Ở trạng thái hiện tại, nó đã trông như một dự án thú vị để thử nghiệm với.
Big AI developers like OpenAI, Google’s Gemini team, and the folks behind Microsoft Copilot have massive data centers at their disposal for AI workloads. Thanks to the work of a team of developers, a new software could allow you to run your own AI cluster at home using your existing smartphones, tablets, and computers.
The experimental exo software splits up your Large Language Model (LLM) to use some or all of your computing devices at home to run your personal chatbot or other AI project. This can include your Android phones and tablets, as well as computers running macOS or Linux.
The result of this is allowing you to use your various devices together to appear like one powerful GPU to the AI model. The developer showed off a demo of the software running Llama-3-70B at home using an iPhone 15 Pro Max, an iPad Pro M4, a Galaxy S24 Ultra, an M2 MacBook Pro, an M3 MacBook Pro, and two MSI Nvidia GTX 4090 graphics cards.
The exo software is compatible with Llama and other popular AI models. It also includes, through a one-line change in the application, a ChatGPT-compatible API for running models. You only need your compatible devices running Python 3.12.0 or higher to compile and run the software.
Running Llama-3-70B at home with @exolabs_Combines the compute of all these devices to make one big GPU:- iPhone 15 Pro Max- iPad Pro M4- Galaxy S24 Ultra- MacBook Pro M2 and M3 Pro- 2 x MSI NVIDIA GeForce RTX 4090 SUPRIMCode is open source 👇 pic.twitter.com/bFfwYIRCJIJuly 15, 2024
Once compiled and running, exo automatically discovers devices on your network to include in the cluster. It provides device equality using peer-to-peer connections. While exo supports various partitioning strategies to distribute the work across devices, it defaults to a ring memory-weighted scheme that allocates the workload based on how much memory each device has.
The exo software also supports iOS, but the developers say the code needs some work to be ready for mainstream use. It’s pulled the iOS version but will allow access to it for those who email the lead developer.
The developers also plan further refinement and features. They also have a bounty program for helping add new features and compatibility. As of this writing, these included support for LLaVa, batched requests, a radio networking module, and pipeline parallel inference support. In its current state, it already looks like a cool project to experiment with.
[ad_2]
