Sự kiện ngày hôm nay: Runway Act-One – AI motion capture with your smartphone camera. Hãy tham gia vào danh sách bản tin hàng ngày và hàng tuần của chúng tôi để cập nhật tin tức mới nhất và nội dung độc quyền về bảo hiểm AI hàng đầu ngành công nghiệp. Học thêm
Video AI đã phát triển đến một mức độ đáng kinh ngạc từ khi các mô hình đầu tiên ra mắt vào cuối năm 2022, tăng cường về hiện tại, độ phân giải, độ chân thực, sự tuân thủ (tính đến mức nào nó khớp với phần mô tả của video mà người dùng gõ) và số lượng. Nhưng một lĩnh vực vẫn là hạn chế đối với nhiều nhà sản xuất video AI – bản thân tôi cũng bao gồm – đó là việc mô tả biểu cảm khuôn mặt thực tế trên nhân vật được tạo ra bởi AI. Hầu hết dường như rất giới hạn và khó kiểm soát. Nhưng không còn nữa: hôm nay, Runway, một startup AI trụ sở tại New York được Google và các đối tác khác hậu thuẫn, đã công bố tính năng mới “Act-One,” cho phép người dùng ghi lại video về bản thân hoặc diễn viên từ bất kỳ máy quay video nào – thậm chí cả máy ảnh trên điện thoại thông minh – và sau đó chuyển tất cả biểu cảm khuôn mặt của đối tượng đó thành một nhân vật được tạo ra bởi AI có độ chính xác kinh ngạc. Công cụ miễn phí này đang từ từ được triển khai “dần dần” cho người dùng bắt đầu từ hôm nay, theo bài đăng trên blog của Runway về tính năng này. Mặc dù bất kỳ ai có tài khoản Runway đều có thể truy cập vào nó, nhưng sẽ bị giới hạn đến những người đã có đủ tín dụng để tạo ra video mới trên mô hình tạo video Gen-3 Alpha của công ty đã ra mắt vào đầu năm nay, hỗ trợ sự tạo ra của dây chuyền sáng tạo AI text-to-video, image-to-video, và video-to-video (ví dụ: người dùng có thể gõ mô tả cảnh, tải lên hình ảnh hoặc video, hoặc sử dụng kết hợp của những đầu vào này và Gen-3 Alpha sẽ sử dụng những gì mà nó được để hướng dẫn quá trình tạo ra một cảnh mới). Mặc dù tính năng này mới chỉ có sẵn cho một số người vào thời điểm đăng bài này, đám đông người tạo video AI trực tuyến đã đang hoan nghênh tính năng mới này. Như Allen T đã bình luận trên tài khoản X của mình “Đây thực sự là một trò chơi đổi mới!”
Ngoài ra, điều này cũng đến sau khi Runway mở rộng ra ngành sản xuất phim Hollywood vào tháng trước, khi công bố họ đã ký một thỏa thuận với Lionsgate, hãng phim đứng sau các series phim John Wick và Hunger Games, để tạo một mô hình tạo video AI tùy chỉnh dựa trên danh mục hơn 20.000 tiêu đề của hãng. Đơn giản hóa một quy trình sáng tạo truyền thống phức tạp và cần thiết thiết bị Trước đây, hoạt cảnh khuôn mặt yêu cầu quy trình rộng lớn và thường khó khăn, bao gồm thiết bị quét chuyển động, việc kết nạnh mặt thủ công và nhiều phim cảnh tham chiếu. Bất kỳ ai quan tâm đến nghệ thuật làm phim có thể đã bắt gặp một số sự tinh vi và khó khăn của quy trình này trên phim trường hay khi xem phần footage phía sau các bộ phim nhiều hiệu ứng và motion-capture như The Lord of the Rings, Avatar, hay Rise of the Planet of the Apes, nơi mà diễn viên được nhìn thấy đính dấu với các điểm marker bóng bàn và khuôn mặt của họ có đánh dấu và bị che bởi các dụng cụ đầu gắn trên đầu.
Đúng việc mô hình hoá biểu cảm khuôn mặt phức tạp đã khiến David Fincher và đội ngũ sản xuất của anh ta trên bộ phim The Curious Case of Benjamin Button phát triển quy trình mẫu 3D hoàn toàn mới và cuối cùng đã giúp họ giành giải thưởng Oscar, như được báo cáo trong bài báo trước của VentureBeat. Tuy nhiên, trong vài năm gần đây, các phần mềm mới và các startup dựa trên AI như Move đã tìm cách giảm thiết bị cần thiết để thực hiện quét chuyển động chính xác – mặc dù công ty này đặc biệt tập trung chủ yếu vào những chuyển động toàn thân, rộng rãi hơn, trong khi Act-One của Runway tập trung hơn vào mô hình hóa biểu cảm khuôn mặt. Với Act-One, Runway nhắm đến việc làm cho quy trình phức tạp này trở nên dễ tiếp cận hơn nhiều.
Công cụ mới cho phép người tạo ra hoạt ảnh các nhân vật trong nhiều phong cách và thiết kế khác nhau, mà không cần thiết bị quét chuyển động hoặc kết nạnh nhân vật. Thay vào đó, người dùng có thể dựa trên một video ghi chuyển động đơn giản để chuyển tiếp các biểu diễn – bao gồm đường mắt, biểu cảm nhỏ, và thời gian nuốt li ti – vào một nhân vật được tạo ra, hoặc thậm chí nhiều nhân vật ở những phong cách khác nhau. Như Runway đã viết trên tài khoản X của họ: “Act-One có khả năng dịch chuyển biểu diễn từ một video đầu vào duy nhất qua vô số thiết kế và nhiều phong cách khác nhau.” Tính năng này tập trung “chủ yếu” vào khuôn mặt “cho đến thời điểm này,” theo Cristóbal Valenzuela, đồng sáng lập và giám đốc điều hành của Runway, người đã trả lời VentureBeat qua tin nhắn trực tiếp trên X.
Phương pháp của Runway mang lại nhiều ưu điểm đáng kể cho những người tạo hoạt hình, nhà phát triển game và nhà làm phim. Mô hình này chính xác bắt lấy sâu sắc biểu diễn của diễn viên trong khi vẫn linh hoạt trên nhiều thiết kế và tỷ lệ nhân vật khác nhau. Điều này mở ra cơ hội thú vị để tạo ra các nhân vật độc đáo biểu lộ cảm xúc và cá tính chân thực. Chân thực điện ảnh trên nhiều góc quay màn hình Một trong những ưu điểm chính của Act-One đó là khả năng tạo ra đầu ra chất lượng điện ảnh, chân thực từ các góc quay và tiêu cự khác nhau. Sự linh hoạt này nâng cao khả năng của người sáng tạo để kể câu chuyện gợi cảm xúc thông qua biểu diễn nhân vật mà trước đây khó có thể đạt được mà không cần thiết bị đắt tiền và quy trình làm việc đa bước. Khả năng của công cụ này để bắt chấp nhận sâu sắc tầm quan trọng cảm xúc và phong cách biểu diễn của một diễn viên, ngay cả trong những cảnh phức tạp. Sự chuyển đổi này cho phép người sáng tạo mang nhân vật của họ trở nên sống động hơn theo cách mới, mở ra khả năng kể chuyện đa dạng hơn qua cả những định dạng live-action và hoạt hình.
Trong khi Runway trước đây đã hỗ trợ việc chuyển đổi video-to-video AI như đã được đề cập trước đó trong bài viết này, cho phép người dùng tải lên đoạn phim về bản thân và có Gen-3 Alpha hoặc các mô hình video AI trước đây từ Runway như Gen-2 “reskin” chúng với hiệu ứng AI, tính năng Act-One mới đã được tối ưu cho phần ánh xạ và hiệu ứng khuôn mặt. Như Valenzuela cho biết với VentureBeat qua DM trên N: “Sự nhất quán và hiệu suất của Act-One không thể so sánh.”
Khuyến khích thêm nhiều câu chuyện video Một diễn viên, chỉ cần một máy quay cấp tiêu dùng, giờ đây có thể thực hiện nhiều nhân vật, với mô hình tạo ra đầu ra riêng biệt cho mỗi nhân vật. Khả năng này được định hình để biến đổi việc tạo ra nội dung truyện, đặc biệt là trong sản xuất phim độc lập và truyền thông kỹ thuật số, nơi mà tài nguyên sản xuất cao cấp thường bị giới hạn. Trong một bài đăng công khai trên X, Valenzuela ghi chú một sự thay đổi trong cách ngành công nghiệp tiếp cận các mô hình tạo ra. “Chúng ta hiện đã vượt qua ngưỡng của việc tự hỏi liệu mô hình tạo ra có thể tạo ra video nhất quán không. Một mô hình tốt giờ đây chính là điều tiêu chuẩn mới. Sự khác biệt nằm ở chỗ bạn sử dụng mô hình đó như thế nào – cách bạn nghĩ đến các ứng dụng và trường hợp sử dụng của nó, và thông qua cái mà bạn cuối cùng xây dựng”, Valenzuela viết.
An toàn và bảo vệ cho việc đóng thế về nhân vật nổi tiếng Như với tất cả các sản phẩm của Runway, Act-One đi kèm với một bộ công cụ an toàn toàn diện. Điều này bao gồm các biện pháp bảo vệ để phát hiện và ngăn chặn những nỗ lực tạo ra nội dung của nhân vật nổi tiếng mà không có sự cho phép, cũng như các công cụ kỹ thuật để xác minh quyền sử dụng giọng nói. Việc theo dõi liên tục cũng đảm bảo rằng nền tảng được sử dụng một cách có trách nhiệm, ngăn ngừa khả năng lạm dụng tiềm ẩn của công cụ. Sự cam kết của Runway với việc phát triển đạo đức phù hợp với sứ mệnh lớn hơn của mình là mở rộng các khả năng sáng tạo trong khi đảm bảo tập trung mạnh mẽ vào an toàn và kiểm duyệt nội dung.
Nhìn vào tương lai Khi Act-One từ từ được triển khai, Runway rất mong xem làm thế nào nghệ sĩ, nhà làm phim và các người sáng tạo khác sẽ sử dụng công cụ mới này để mang ý tưởng của mình trở nên sống động. Với Act-One, các kỹ thuật hoạt ảnh phức tạp giờ đây trong tầm với của một đám đông rộng lớn các người sáng tạo, khuyến khích nhiều người khám phá các hình thức nghệ thuật và kể chuyện mới. Bằng cách giảm bớt các rào cản kỹ thuật truyền thống liên quan đến hoạt ảnh nhân vật, công ty hi vọng sẽ truyền cảm hứng cho mức độ sáng tạo mới trên cảnh quan truyền thông kỹ thuật số. Điều này cũng giúp Runway nổi bật và phân biệt nền tảng tạo video AI của mình so với một số đối thủ ngày càng nhiều, bao gồm Luma AI từ Mỹ và Hailuo và Kling từ Trung Quốc, cũng như các đối thủ mã nguồn mở như Mochi 1 của Genmo, cũng vừa mới ra mắt hôm nay. #RunwayActOne #AIMotionCapture #AICharacter #DigitalInnovation
Nguồn: https://venturebeat.com/ai/this-is-a-game-changer-runway-releases-new-ai-facial-expression-motion-capture-feature-act-one/
Join our daily and weekly newsletters for the latest updates and exclusive content on industry-leading AI coverage. Learn More
AI video has come incredibly far in the years since the first models debuted in late 2022, increasing in realism, resolution, fidelity, prompt adherence (how well they match the text prompt or description of the video that the user typed) and number.
But one area that remains a limitation to many AI video creators — myself included — is in depicting realistic facial expressions in AI generated characters. Most appear quite limited and difficult to control.
But no longer: today, Runway, the New York City-headquartered AI startup backed by Google and others, announced a new feature “Act-One,” that allows users to record video of themselves or actors from any video camera — even the one on a smartphone — and then transfers the subject’s facial expressions to that of an AI generated character with uncanny accuracy.
While anyone with a Runway account can access it, it will be limited to those who have enough credits to generate new videos on the company’s Gen-3 Alpha video generation model introduced earlier this year, which supports text-to-video, image-to-video, and video-to-video AI creation pipelines (e.g. the user can type in a scene description, upload an image or a video, or use a combination of these inputs and Gen-3 Alpha will use what its given to guide its generation of a new scene).
Despite limited availability right now at the time of this posting, the burgeoning scene of AI video creators online is already applauding the new feature.
As Allen T. remarked on his X account “This is a game changer!”
It also comes on the heels of Runway’s move into Hollywood film production last month, when it announced it had inked a deal with Lionsgate, the studio behind the John Wick and Hunger Games movie franchises, to create a custom AI video generation model based on the studio’s catalog of more than 20,000 titles.
Simplifying a traditionally complex and equipment-heavy creative proccess
Traditionally, facial animation requires extensive and often cumbersome processes, including motion capture equipment, manual face rigging, and multiple reference footages.
Anyone interested in filmmaking has likely caught sight of some of the intricacy and difficulty of this process to date on set or when viewing behind the scenes footage of effects-heavy and motion-capture films such as The Lord of the Rings series, Avatar, or Rise of the Planet of the Apes, wherein actors are seen covered in ping pong ball markers and their faces dotted with marker and blocked by head-mounted apparatuses.
Yet in the last few years, new software and AI-based startups such as Move have sought to reduce the equipment necessary to perform accurate motion capture — though that company in particular has concentrated primarily on full-body, more broad movements, whereas Runway’s Act-One is focused more on modeling facial expressions.
With Act-One, Runway aims to make this complex process far more accessible. The new tool allows creators to animate characters in a variety of styles and designs, without the need for motion-capture gear or character rigging.
Instead, users can rely on a simple driving video to transpose performances—including eye-lines, micro-expressions, and nuanced pacing—onto a generated character, or even multiple characters in different styles.
As Runway wrote on its X account: “Act-One is able to translate the performance from a single input video across countless different character designs and in many different styles.”
The feature is focused “mostly” on the face “for now,” according to Cristóbal Valenzuela, co-founder and CEO of Runway, who responded to VentureBeat’s questions via direct message on X.
Runway’s approach offers significant advantages for animators, game developers, and filmmakers alike. The model accurately captures the depth of an actor’s performance while remaining versatile across different character designs and proportions. This opens up exciting possibilities for creating unique characters that express genuine emotion and personality.
Cinematic realism across camera angles
One of Act-One’s key strengths lies in its ability to deliver cinematic-quality, realistic outputs from various camera angles and focal lengths.
This flexibility enhances creators’ ability to tell emotionally resonant stories through character performances that were previously hard to achieve without expensive equipment and multi-step workflows.
The tool’s ability to faithfully capture the emotional depth and performance style of an actor, even in complex scenes.
This shift allows creators to bring their characters to life in new ways, unlocking the potential for richer storytelling across both live-action and animated formats.
While Runway previously supported video-to-video AI conversion as previously mentioned in this piece, which did allow users to upload footage of themselves and have Gen-3 Alpha or other prior Runway AI video models such as Gen-2 “reskin” them with AI effects, the new Act-One feature is optimized for facial mapping and effects.
As Valenzuela told VentureBeat via DM on X: “The consistency and performance is unmatched with Act-One.”
Enabling more expansive video storytelling
A single actor, using only a consumer-grade camera, can now perform multiple characters, with the model generating distinct outputs for each.
This capability is poised to transform narrative content creation, particularly in indie film production and digital media, where high-end production resources are often limited.
In a public post on X, Valenzuela noted a shift in how the industry approaches generative models. “We are now beyond the threshold of asking ourselves if generative models can generate consistent videos. A good model is now the new baseline. The difference lies in what you do with the model—how you think about its applications and use cases, and what you ultimately build,” Valenzuela wrote.
Safety and protection for public figure impersonations
As with all of Runway’s releases, Act-One comes equipped with a comprehensive suite of safety measures.
These include safeguards to detect and block attempts to generate content featuring public figures without authorization, as well as technical tools to verify voice usage rights.
Continuous monitoring also ensures that the platform is used responsibly, preventing potential misuse of the tool.
Runway’s commitment to ethical development aligns with its broader mission to expand creative possibilities while maintaining a strong focus on safety and content moderation.
Looking ahead
As Act-One gradually rolls out, Runway is eager to see how artists, filmmakers, and other creators will harness this new tool to bring their ideas to life.
With Act -ne, complex animation techniques are now within reach for a broader audience of creators, enabling more people to explore new forms of storytelling and artistic expression.
By reducing the technical barriers traditionally associated with character animation, the company hopes to inspire new levels of creativity across the digital media landscape.
It also helps Runway stand out and differentiate its AI video creation platform against the likes of an increasing swath of competitors, including Luma AI from the U.S. and Hailuo and Kling from China, as well as open source rivals such as Genmo’s Mochi 1, which also just debuted today.
VB Daily
Stay in the know! Get the latest news in your inbox daily
[ad_2]
