#MetaphysicPRO #AI #DigitalTwins #CopyrightProtection #Monetization #EntertainmentIndustry #Deepfakes #Privacy #DataManagement
Công ty khởi nghiệp Metaphysic, từng nổi tiếng với việc tạo ra những video giả mạo hào hứng của Tom Cruise trên ứng dụng mạng xã hội TikTok, đang nâng cao công nghệ và dịch vụ kinh doanh của mình lên một tầm cao mới. Công ty này đã thông báo ra mắt Metaphysic PRO, một dịch vụ mới cho công nghệ digital twinning dựa trên trí tuệ nhân tạo hiện tại nhằm giúp các nghệ sĩ bảo vệ bản quyền và tạo thu nhập từ hình ảnh số của họ.
Theo một email đặc quyền từ CEO và đồng sáng lập của Metaphysic – Tom Graham, Metaphysic PRO nhằm “giúp mọi người xây dựng một danh mục của tài sản dữ liệu quan trọng của mình với mục đích 1. tạo nội dung trí tuệ nhân tạo tương lai, đặc biệt dành riêng cho nội dung trí tuệ nhân tạo tạo và 2. cho phép họ sở hữu và kiểm soát các khối xây dựng cơ bản của hình ảnh số của họ – đó là dữ liệu được sử dụng để huấn luyện mô hình vượt qua việc nhìn mặt, giọng nói và biểu diễn, cách bạn di chuyển, v.v.”
Thừa nhận, Metaphysic PRO mong muốn cung cấp nền tảng công nghệ để mọi người lưu trữ và quản lý tất cả các loại tệp tin số khác nhau cần thiết để tái tạo một người một cách số hóa, trong không gian 3D, cho mục đích biểu diễn và tương tác – bao gồm cả các tệp âm thanh của giọng nói, các tệp chụp chuyển động, thậm chí là các câu nói nổi tiếng, chủ đề trò chuyện yêu thích và không gian mà họ sinh sống.
Metaphysic PRO giúp mọi người lưu trữ dữ liệu đó và hỗ trợ mọi người quản lý quá trình chuyển giao dữ liệu này cho các bên thứ ba sử dụng”, Graham đã viết trong email gửi cho VentureBeat.
Phần mềm so với phần cứng so với quản lý nội dung
Những dữ liệu nào cần thiết để tạo ra một hình ảnh số đầy đủ về một người? FAQ trên trang web của Metaphysic đã cung cấp một số thông tin: “Nếu chúng tôi đang cố gắng tạo ra một mô hình trí tuệ nhân tạo về khuôn mặt của một người – thì chúng tôi cần dữ liệu hình ảnh phong phú, dưới dạng video và hình ảnh, nhiều góc nhìn và trong các điều kiện ánh sáng khác nhau. Thuật toán trí tuệ nhân tạo rất thông minh, nhưng vẫn cần hình ảnh thực tế để học từ đó. Tập dữ liệu đào tạo mô hình khuôn mặt tốt có thể được tạo thành từ ít nhất 5 phút video chất lượng tốt của người đó.”
Sản phẩm đột phá chính của Metaphysic là phần mềm trí tuệ nhân tạo xử lý video này và biến chúng thành một phiên bản số 3D, cũng như ghi lại giọng nói của diễn viên và hiểu ngữ cảnh để sử dụng cho các cuộc hội thoại tương lai mà không cần người biểu diễn gốc phải thự hiện. Như FAQ nói: “Metaphysic đã phát triển các quét ảnh trí tuệ nhân tạo đặc biệt tập trung vào việc ghi lại mọi chi tiết về cách khuôn mặt của bạn di chuyển và cách biểu hiện hình dạng khi nói chuyện, cười và diễn xuất tự nhiên. Dữ liệu này được sử dụng bởi trí tuệ nhân tạo để học cách bạn trông như thế nào trong bất kỳ tình huống nào và tạo ra những nội dung đó. Bạn không thể tạo ra mô hình trí tuệ nhân tạo tốt bằng cách sử dụng dữ liệu quét 3D truyền thống.”
Tuy nhiên, để tạo ra mô hình trí tuệ nhân tạo này, một cái gì đó đặc biệt hơn video thông thường cần phải quét người – chẳng hạn như các mảng camera quay 360 độ được sử dụng bởi các công ty quét 3D khác. Metaphysic chưa xác định liệu họ có tạo ra bất kỳ phần cứng nào cho mục đích này không – nhưng Graham cho biết rằng các gói PRO sẽ bao gồm việc lưu trữ quét phòng studio chuyên nghiệp với lượng dữ liệu lớn.
Ngôi sao nổi tiếng đã sẵn lòng tham gia
Công ty cho biết một số ngôi sao nổi tiếng như Tom Hanks và vợ là diễn viên Rita Wilson; Anne Hathaway; Octavia Spencer; Paris Hilton; và vận động viên, người mẫu Maria Sharapova đã trở thành khách hàng của công ty. Tuy nhiên, mặc dù có sự ủng hộ của các ngôi sao nổi tiếng như vậy, vẫn còn tranh cãi xung quanh việc sử dụng công nghệ quét 3D và trí tuệ nhân tạo trong Hollywood và ngành công nghiệp giải trí.
Cụ thể, các diễn viên nền (còn được gọi là “đạo cụ”) đã thể hiện mối lo ngại rằng họ đã từng được quét ảnh trên các bộ phim và bản quyền hình ảnh của họ đã được ký kết cho hãng phim sử dụng bất kỳ cách nào mà họ mong muốn, có thể loại bỏ việc thuê diễn viên cho nhiều ngày làm việc. Về phần Metaphysic, công ty này tin rằng phương pháp tiếp cận của họ cho phép diễn viên giữ được quyền kiểm soát hình ảnh của họ – trao cho họ quyền lực và quyền pháp lý để sử dụng hình ảnh theo ý diễn viên. “Chúng tôi đang cố gắng trao quyền cho mọi người để chống lại deepfake trái phép được đăng trên các nền tảng internet trên toàn thế giới,” Graham đã viết.
Bản quyền cho hình ảnh số cá nhân
Một trong những vấn đề gây tranh cãi nhất xoay quanh trí tuệ nhân tạo thuộc lĩnh vực toàn diện là vấn đề bản quyền. Trong khi Luật bản quyền của Hoa Kỳ gần đây đã lặp đi lặp lại nhiều lần rằng các tác phẩm do trí tuệ nhân tạo tạo ra không đủ điều kiện để được bảo vệ bản quyền vì chúng không chỉ do con người tạo ra. Vậy làm thế nào, Metaphysic định thể hiện việc cho phép diễn viên và nghệ sĩ bảo hộ hình ảnh số của họ được tạo ra thông qua việc sử dụng trí tuệ nhân tạo? “Chúng tôi đã thiết kế quy trình tạo ra hình ảnh số trí tuệ nhân tạo một cách phản hồi chính xác cho những thông báo và v
Metaphysic, the startup founded in London, UK, on a tech demo used to create convincing deepfakes of Tom Cruise that went viral on social media app TikTok, is taking its tech and business offerings to the next level.
The company this week announced the launch of Metaphysic PRO, a new tier to its current AI-powered digital twinning technology that aims to help performers secure the copyright over, and monetize their digital likeness.
According to an email provided exclusively to VentureBeat from Metaphysic CEO and co-founder Tom Graham, the new PRO tier aims to “help people build a portfolio of their important data assets for the purpose of 1. creating generative AI content in the future, specifically tailored to generative AI content and 2. empower them to own and control the fundamental building blocks of their AI likeness — that being the data used to train the models beyond face voice and performance, how you move, etc.”
Put another way, Metaphysic PRO wants to offer the technology platform for people to store and manage all of the many different types of digital files that would be needed to recreate a person digitally, in 3D, for the purposes of performances and interactivity — including the audio files of their voice, movements via motion capture, even their favorite catchphrases, conversational topics, and the spaces they inhabit.
“Metaphysic PRO helps people store that data, and then on top of that helps people manage the process of giving that data to third parties for the use,” wrote Graham to VentureBeat.
Essentially, Metaphysic PRO is offering a content, rights management and monetization system for the digital self.
Software vs. hardware vs. content management
What kinds of data are needed to create a fully digital likeness of someone? Metaphysic’s website FAQ offers some insight: “If we are trying to create an AI model of a person’s face — then we need substantial visual data, in the form of videos and images, of that person’s face — from all angles and in different lighting conditions. The AI algorithms are very smart, but still require real world imagery to learn from. A good size training dataset for a face model might be made up of at least 5 minutes of good quality video of the person.”
Metaphysic’s chief breakthrough is the AI software that processes this video and turns it into a 3D digital reproduction, as well as records the performer’s voice and interprets it to be used for future speaking or signing without having the original performer have to do it themselves.
As the FAQ states, “Metaphysic has developed special AI scans that focus on capturing every detail of how your face moves and how your expressions are formed when talking, laughing and acting naturally. This data is used by the AI to learn how you look in any situation and render that in content. You can not create good AI models using data from traditional 3D scans.”
Yet in order to even get to the point that Metaphysic’s software can create these AI models, you first need to scan a person using specialized hardware — not just any regular video will do.
Metaphysic did not specify if it creates any hardware for this purpose — such as the 360-degree camera arrays used by other 3D scanning companies. However, Graham did tell VentureBeat that the PRO tier “will include a full professional studio scan storage of large amounts of data.”
High-profile celebrities already onboard
The company says it already counts celebrity customers including Tom Hanks and his actor spouse Rita Wilson; Anne Hathaway; Octavia Spencer; Paris Hilton; and the athlete and model Maria Sharapova.
However, despite these high-profile celebrity endorsements, controversy remains around the use of 3D scanning and AI technologies in Hollywood and the entertainment industry.
In particular, background actors (also known as “extras”) have expressed concerns that they have already been scanned on film sets and their likeness signed away to film studios to be used however they wish, potentially eliminating the need to hire the actors for more than a single day of work.
Metaphysic, for its part, believes its approach allows actors to retain control over their likeness — giving them the power and legal right to do with it what the actor sees fit.
“We are trying to empower people to fight unauthorized, deep fakes posted on internet platforms around the world,” Graham wrote.
This is especially an issue for performers in Hollywood and the adult industry, who are already having their likenesses deepfaked and cloned by other AI tools for unauthorized uses.
Copyrighting the digital self
One of the most contentious issues around generative AI broadly has been that of copyright.
While U.S. copyright law has for most of the nation’s history sought to protect human creative works (initially maps and charts, then gradually expanded to art and other creative products), the U.S. Copyright Office has recently and repeatedly ruled that AI generated work is not eligible for copyright because it was not created solely by a human being.
How then, does Metaphysic plan to allow actors and performers to copyright their digital likenesses made through the help of AI?
“We designed the process of creating photorealistic AI likenesses of people directly in response to these exact circulars and missives from the (U.S.) Copyright Office,” wrote Graham to VentureBeat in his email. He continued:
“Basically, at every step along the way, we insert significant human effort and work and very significant control from the person who is creating it, along with Metaphysic, helping them on a work-for-hire basis…and that I believe is the same as creating a character no different than if you were creating it on Photoshop or designing it yourself using technology. So that’s the premise and that’s why it’s different than some of the other responses to people trying to copyright AI generated content.”
Metaphysic’s argument in favor of people being able to copyright their AI-generated likeness is, as Graham puts it, there is enough human labor in the process to warrant it. But also, that the resulting generated character is unique because it is of that unique person themselves.
“This photorealistic AI version is a piece of manmade work,” he wrote. “It’s like a character. It’s just a character that happens to look exactly like you.”
This argument has yet to be tested in a court case, but it will of course be interesting to find out if it holds up.
Separately but relatedly, it may come down to the Supreme Court of the U.S. to decide the specifics around whether popular AI programs themselves violated copyright by using copyrighted materials to train on (though Metaphysic is not among those vendors accused of doing so).
Pricing, security features, and availability
Metaphysic is pursuing a subscription model for its AI digital twin management service in the range of “$8,000 to $10,000 per year,” according to Graham, depending on the size of the scan and different assets created to support it. That’s likely beyond the scope of most working background actors/extras, some of whom are already running out of money due to the ongoing Hollywood strikes.
The company did not specify to VentureBeat if it intends to take a cut of any AI digital twins that are licensed out using its software.
It says users ultimately their Metaphysic PRO files, but Metaphysic will create and store them using “enterprise-grade security end-to-end,” including “raw image and audio data from any AI data scans or recordings,” that Metaphysic conducts, or that the user uploads themselves from other third-party scanners and sources.
It further says it encrypts its data of user’s likenesses and offers two-factor authentication to access it, and will delete all data and accounts upon request of an authorized user.
Right now, Metaphysic PRO is available on an invitation-only basis, though anyone can apply for an invitation on its website.
“Every person with a large audience or fan base should be proactive in protecting their brand and IP from bad actors that want to use non-consensual deepfakes and photorealistic AI avatars to exploit their likeness,” the company states.
VentureBeat’s mission is to be a digital town square for technical decision-makers to gain knowledge about transformative enterprise technology and transact. Discover our Briefings.
