#VentureBeat #Chuyểnđổi2023 #AI #EdgeAI #chipAI #GPU #Nvidia #tầmnhìnphân tích #IoT #hackémIT #mạngnơron
Giám đốc điều hành của Hailo, Orr Danon, đã đưa ra quan điểm của mình về Edge AI, bày tỏ rằng đó là một hình thức truyền phát thông tin chi tiết thay vì video. Trong sự kiện Chuyển đổi 2023 diễn ra vào ngày 11-12 tháng 7 tại San Francisco, các nhà lãnh đạo hàng đầu đã trình bày cách họ tích hợp và tối ưu hóa các khoản đầu tư AI để đạt được thành công.
Công nghệ chip AI đang phát triển nhanh chóng, với Google và Microsoft đã thông báo về bộ xử lý mới của mình. Các giải pháp mới cho việc xử lý AI đang xuất hiện, và nhóm các nhà sản xuất chip nhúng AI áp dụng các phương pháp tiếp cận mới giúp tiết kiệm năng lượng trong khi xử lý suy luận AI.
Hailo, một trong các nhà sản xuất chip này, ủng hộ kiến trúc luồng dữ liệu không phải Von Neumann phù hợp với học kĩ càng trên mép. Sản phẩm mới nhất của công ty là xin chào-15, có thể được nhúng trong máy ảnh để giảm tải công việc tốn kém của đám mây tầm nhìn phân tích, trong khi bảo toàn năng lượng.
Theo Danon, IoT với tầm nhìn phân tích đang phát triển nhanh chóng và tạo ra một thị trường riêng biệt. Để giải quyết những vấn đề liên quan đến việc truyền dữ liệu, Hailo đã phát triển một kiến trúc luồng dữ liệu để truyền phát thông tin chi tiết thay vì video.
Trong khi Nvidia trở thành một trong những người chơi ưu việt trong thế giới AI với GPU của mình, Hailo tập trung vào không gian nhúng và tối ưu hóa năng lượng. Danon cho biết, công nghệ kiến trúc luồng dữ liệu của Hailo đang phát triển dựa trên cấu trúc mạng thần kinh, tuy nhiên không được mã hóa cứng. Thay vào đó, nó tận dụng cách xử lý được phân phối để tối ưu hóa mức tiêu thụ điện năng.
Tham gia cùng các giám đốc điều hành hàng đầu tại San Francisco vào ngày 11-12 tháng 7, để nghe cách các nhà lãnh đạo đang tích hợp và tối ưu hóa các khoản đầu tư AI để thành công. Tìm hiểu thêm
Sự phát triển trong công nghệ chip AI đang diễn ra nhanh chóng, với các báo cáo về bộ vi xử lý mới từ Google và Microsoft cho thấy rằng Sự thống trị của GPU Nvidia của trí tuệ nhân tạo trong trung tâm dữ liệu có thể không được tổng số.
Bên ngoài trung tâm dữ liệu, các giải pháp thay thế xử lý AI mới cũng đang xuất hiện. Trận chiến thứ hai này được đánh dấu bằng việc một nhóm các nhà sản xuất chip nhúng AI áp dụng các phương pháp tiếp cận mới giúp tiết kiệm năng lượng trong khi xử lý suy luận AI — điều bắt buộc đối với ranh giới của thế giới. Internet vạn vật (IoT).
Đếm xin chào trong số các nhà sản xuất chip này. Công ty ủng hộ kiến trúc luồng dữ liệu không phải Von Neumann phù hợp với học kĩ càng trên mép. Chip của nó kết hợp DSP, CPU và bộ tăng tốc AI để thực hiện công việc của mình, Giám đốc điều hành Hailo Orr Danon gần đây đã nói với VentureBeat.
Sản phẩm mới nhất của công ty, xin chào-15có thể được nhúng trong máy ảnh, có thể nhắm mục tiêu triển khai máy ảnh lớn và có thể giảm tải công việc tốn kém của đám mây tầm nhìn phân tích, trong khi bảo toàn năng lượng. Đằng sau điều này là suy nghĩ rằng sẽ không hữu ích khi đẩy loại công việc này lên đám mây — không phải nếu IoT đạt được tiến bộ. (Ghi chú của biên tập viên: Cuộc phỏng vấn này đã được chỉnh sửa để đảm bảo độ dài và rõ ràng.)
Sự kiện
Chuyển đổi 2023
Hãy tham gia cùng chúng tôi tại San Francisco vào ngày 11-12 tháng 7, nơi các giám đốc điều hành hàng đầu sẽ chia sẻ cách họ đã tích hợp và tối ưu hóa các khoản đầu tư vào AI để đạt được thành công và tránh những cạm bẫy phổ biến.
Đăng ký ngay
VentureBeat: Nvidia chắc chắn đã trở thành một người chơi ưu việt trong thế giới AI. Làm thế nào để bạn đo lường những nỗ lực của bạn với cạnh AI sử dụng IC luồng dữ liệu, so với nỗ lực GPU của Nvidia?
Orr Danon: Rõ ràng, trọng tâm chính của Nvidia là máy chủ và trung tâm dữ liệu — đây không phải là điều chúng tôi đang tối ưu hóa. Thay vào đó, chúng tôi tập trung vào không gian nhúng. Nvidia có các dịch vụ ở đó, ở một mức độ lớn, là các dẫn xuất của các sản phẩm trung tâm dữ liệu và do đó đang nhắm mục tiêu hiệu suất rất cao và theo đó mức tiêu thụ điện năng cao hơn, giá cao hơn nhưng cực kỳ có khả năng. Ví dụ: mục tiêu sản phẩm tiếp theo của họ, tôi nghĩ, chạy ở tốc độ 2 petaFLOPS trên một hệ số dạng nhúng.
VB: Tất nhiên, chúng không còn giống khoai tây chiên nữa. Chúng trông giống như bảng mạch in hoặc mô-đun quy mô đầy đủ.
Danon: Và điều đó tất nhiên là hợp lệ. Chúng tôi đang thực hiện một cách tiếp cận hơi khác: tối ưu hóa năng lượng, xem xét không gian nhúng. Và đó là, tôi nghĩ, một chút khác biệt.
Tất nhiên, một trong những lợi ích lớn khi hợp tác với Nvidia là làm việc với hệ sinh thái GPU Nvidia. Nhưng ngay cả khi bạn không cần nó, bạn vẫn có được chi phí hoạt động của nó. Nếu bạn mở rộng quy mô thì nó hoạt động tốt, nhưng đặc biệt là khi bạn cố gắng thu nhỏ lại thì nó không hoạt động hiệu quả lắm. Đó là không gian của chúng tôi, nơi mà tôi nghĩ Nvidia ít quan tâm hơn một chút, công ty đang xem xét các triển khai rất lớn trong các trung tâm dữ liệu.
Thị giác máy tính đáp ứng cạnh AI
VB: Tuy nhiên, chip Hailo mới còn rất nhiều việc phải làm. Chúng có thể được nhúng trong máy ảnh. Nó bắt đầu với tín hiệu video đến, phải không?
Danon: Chúng tôi có nhiều miền xử lý. Một trong số đó là giao diện vật lý với cảm biến hình ảnh xử lý độ phơi sáng tự động, cân bằng trắng tự động — mọi thứ đều là xử lý hình ảnh cổ điển.
Sau đó, trên hết, có mã hóa video — và trên hết, chúng tôi có ngăn xếp tính toán không đồng nhất dựa trên CPU mà chúng tôi cấp phép từ ARM thực hiện phân tích dữ liệu và quản lý xử lý dữ liệu. Trên hết là bộ xử lý tín hiệu kỹ thuật số, có nhiều khả năng hơn CPU cho các hoạt động chuyên biệt hơn. Và việc nâng hạng nặng được thực hiện bởi chúng tôi mạng lưới thần kinh cốt lõi.
Ở đây, ý tưởng là quá trình xử lý mạng thần kinh không được thực hiện theo cách điều khiển luồng, nghĩa là thực hiện từng bước, mà thay vào đó, nó đang phân phối quá trình xử lý qua bộ gia tốc mạng thần kinh mà chúng ta có bên trong SOC (Hệ thống trên chip).
Các phần khác nhau của máy gia tốc đang đảm nhận các phần khác nhau của biểu đồ điện toán và truyền dữ liệu giữa chúng. Đó là lý do tại sao chúng tôi gọi nó là luồng dữ liệu. Điều này có ý nghĩa quan trọng về mặt hiệu quả. Mức tiêu thụ điện năng sẽ thấp đáng kể so với mức hiệu suất điện toán mà bạn đang nhận được.
Internet vạn vật bằng mắt
VB: Các Internet vạn vật dường như đang phát triển thành một số thị trường riêng lẻ và một điểm đặc biệt dường như là quá trình xử lý tầm nhìn này.
Danon: Tôi sẽ gọi nó là “IOTwE” – Internet vạn vật có mắt – những thứ đang nhìn vào thế giới. Khi bạn nhìn vào IoT, sẽ chẳng ích lợi gì nếu nó chỉ phát sóng hoặc truyền trực tuyến mọi thứ bạn có đến một địa điểm tập trung nào đó. Đó chỉ là đẩy vấn đề sang một không gian khác và điều đó không thể mở rộng. Điều đó rất, rất tốn kém.
Bạn biết đấy, dấu hiệu lớn nhất của trí thông minh là có thể đưa ra một mô tả ngắn gọn về những gì bạn đang thấy, không ném mọi thứ lên. Ví dụ, nếu bạn hỏi điều gì tạo nên một học sinh giỏi, thì đó là người có thể tóm tắt trong một vài từ những gì vừa được nói trong lớp.
Những gì bạn cần là các nút rất thông minh có thể hiểu được thế giới xung quanh chúng và cung cấp thông tin chuyên sâu về phần còn lại của mạng. Mọi thứ đều được kết nối, nhưng bạn không muốn phát trực tuyến video, bạn muốn phát trực tuyến thông tin chi tiết.
VB: Tại sao theo đuổi kiến trúc luồng dữ liệu? Cấu trúc của mạng thần kinh có ảnh hưởng đến cách tiếp cận các thiết kế bên trong chip của bạn không?
Danon: Đó là một điểm quan trọng. Toàn bộ ý tưởng về kiến trúc luồng dữ liệu là xem xét cách cấu trúc mạng nơ-ron, nhưng để cung cấp thứ gì đó không cố gắng bắt chước chúng như một loại mạng nơ-ron được mã hóa cứng. Đó không phải là ý tưởng.
Bằng cách hiểu khái niệm về luồng dữ liệu và cách thức xử lý được phân phối, chúng ta có thể rút ra từ kiến trúc linh hoạt ánh xạ mô tả vấn đề ở cấp độ phần mềm tương đối đơn giản và hiệu quả với việc triển khai sản phẩm ở cấp độ phần cứng.
Hailo là một bộ xử lý chuyên dụng. Nó không có nghĩa là để làm đồ họa. Nó không có nghĩa là để làm tiền điện tử. Mục đích của nó là tạo ra các mạng nơ-ron và nó lấy cảm hứng từ cách mô tả các mạng nơ-ron trong phần mềm. Và nó là một phần của một hệ thống hoàn chỉnh phục vụ (nhu cầu của các ứng dụng) từ đầu đến cuối.
Sứ mệnh của VentureBeat là trở thành một quảng trường thành phố kỹ thuật số để những người ra quyết định kỹ thuật có được kiến thức về công nghệ doanh nghiệp chuyển đổi và giao dịch. Khám phá Briefings của chúng tôi.
