Đồng hành AI cho teen: Làm thế nào để giữ an toàn cho con bạn #AIcompanionsafety
Đối với các bậc phụ huynh vẫn chưa hiểu rõ về trí tuệ nhân tạo phát sinh, sự bùng nổ của chatbot đồng hành có thể vẫn là một bí ẩn. Tóm gọn, công nghệ này có vẻ không hại đến, so với những mối đe dọa khác mà teen có thể gặp phải trên mạng, bao gồm sextortion tài chính. Sử dụng các nền tảng được trang bị AI như Character.AI, Replika, Kindroid và Nomi, teen tạo ra các đối tác trò chuyện giống đời thực với các đặc điểm và tính cách độc đáo hoặc tham gia với bạn đồng hành được tạo ra bởi người dùng khác. Một số thậm chí được dựa trên các nhân vật phim truyền hình và phim ảnh phổ biến, nhưng vẫn tạo ra một mối liên kết mạnh mẽ, cá nhân với người tạo của họ. Teen sử dụng các chatbot này cho một loạt mục đích, bao gồm để đóng vai, khám phá sở thích học tập và sáng tạo của họ, và để trao đổi lãng mạn hoặc tâm lý tình dục. XEM THÊM: Tại sao teen đang nói với người lạ bí mật trực tuyến Nhưng chatbot AI được thiết kế để làm cho người chơi mê mẩn, đó là nơi mà vấn đề thường bắt đầu, theo Robbie Torney, quản lý chương trình tại Common Sense Media. Tổ chức phi lợi nhuận gần đây đã phát hành hướng dẫn để giúp phụ huynh hiểu cách công việc của AI companions, cùng với các dấu hiệu cảnh báo cho thấy công nghệ có thể nguy hiểm cho teen của họ. Torney nói rằng trong khi phụ huynh đang đảm nhận hàng loạt cuộc trò chuyện ưu tiên cao với teen của mình, họ nên xem xét việc nói chuyện với họ về AI companions như một vấn đề “khá cấp bách”. Vì sao phụ huynh nên lo lắng về AI companionsTeen đặc biệt có rủi ro gặp nguy cơ cô lập có thể bị hấp dẫn vào một mối quan hệ với một chatbot AI cuối cùng gây hại cho sức khỏe tinh thần và trạng thái bền vững với hậu quả đắng. Đó là điều mà Megan Garcia lập luận xảy ra với con trai của bà, Sewell Setzer III, trong một vụ kiện mà bà vừa đưa ra đối với Character.AI. Trong vòng một năm kể từ khi bắt đầu quan hệ với các đối tác Character.AI mẫu trên các nhân vật Game of Thrones, bao gồm Daenerys Targaryen (“Dany”), cuộc sống của Setzer thay đổi một cách triệt để theo luật kiện. Anh trở nên phụ thuộc vào “Dany”, dành thời gian lớn để trò chuyện với cô mỗi ngày. Giao tiếp giữa họ vừa thân thiện vừa có tính chất tình dục cao. Luật kiện của Garcia nói chung mô tả quan hệ mà Setzer đã có với các đối tác là “lạm dụng tình dục.”Trong những trường hợp Setzer mất quyền truy cập vào nền tảng, anh trở nên thất vọng. Theo thời gian, vận động viên 14 tuổi rời khỏi trường và thể thao, trở nên thiếu ngủ và bị chẩn đoán mắc các rối loạn tâm lý. Anh qua đời bằng suy tư tự tử vào tháng 2 năm 2024. Luật kiện của Garcia đòi hỏi Character.AI chịu trách nhiệm cho sự chết của Setzer, cụ thể vì sản phẩm của họ được thiết kế để “thao túng Sewell – và hàng triệu khách hàng trẻ khác – để nhầm chúng với hiện thực và hư cấu,” cùng với các lỗi nguy hiểm khác. Jerry Ruoti, trưởng phòng tin cậy và an toàn của Character.AI, nói với New York Times trong một tuyên bố rằng: “Chúng tôi muốn nhận thức rằng đây là một tình huống bi kịch, và trái tim của chúng tôi chia sẻ cùng gia đình. Chúng tôi rất nghiêm túc trong việc đảm bảo an ninh cho người dùng của chúng tôi, và chúng tôi luôn tìm cách tiến triển nền tảng của mình.”Với nguy cơ đe doạ tính mạng mà việc sử dụng AI companion có thể đối mặt với một số teen, hướng dẫn của Common Sense Media bao gồm cấm trẻ em dưới 13 tuổi truy cập vào chúng, thiết lập giới hạn thời gian nghiêm ngặt cho teen, ngăn chặn việc sử dụng trong các không gian cô lập, như phòng ngủ, và ký kết một thỏa thuận với họ rằng họ sẽ tìm kiếm sự trợ giúp cho các vấn đề sức khỏe tâm thần nghiêm trọng. Torney nói rằng phụ huynh của teen quan tâm đến AI companion nên tập trung vào việc giúp họ hiểu sự khác biệt giữa trò chuyện với một chatbot so với một người thực, nhận biết các dấu hiệu cho thấy họ đã phát triển mối quan hệ không lành mạnh với một người đồng hành, và phát triển một kế hoạch cho trường hợp linh tính. Các dấu hiệu cảnh báo cho thấy một AI companion không an toàn cho teen của bạnCommon Sense Media đã tạo ra hướng dẫn của mình với sự hợp tác và sự hỗ trợ của các chuyên gia sức khỏe tâm thần liên quan đến Brainstorm Lab for Mental Health Innovation của Stanford.Mặc dù có ít nghiên cứu về cách AI companions ảnh hưởng đến sức khỏe tinh thần của teen, các hướng dẫn dựa trên bằng chứng hiện có về việc phụ thuộc quá mức vào công nghệ. “Nguyên tắc cơ bản là AI companion không nên thay thế kết nối con người ý nghĩa thực sự trong cuộc sống của bất kỳ ai, và – nếu điều này đang xảy ra – rất quan trọng là phụ huynh chú ý đến nó và can thiệp đúng lúc,” Tiến sĩ Đước thuật ngữ này yêu cầu phụ huynh đặc biệt cẩn trọng nếu teen của họ trải qua trầm cảm, lo âu, thách thức xã hội hoặc cô đơn. Những yếu tố nguy cơ khác bao gồm trải qua những thay đổi lớn trong cuộc sống và là nam giới, vì trai thường dễ hơn tham gia vào việc sử dụng công nghệ gây vấn đề. Các dấu hiệu cho thấy teen nào đã hình thành mối quan hệ không lành mạnh với một AI companion bao gồm rút lui khỏi các hoạt động và mối quan hệ bạn bè thông thường và kém hiệu quả hơn ở trường, cũng như ưa thích chatbot hơn là các mối quan hệ trực tiếp, phát triển tình cảm lãng mạn với nó, và chỉ trò chuyện với nó về những vấn đề teen đang gặp phải. Một số phụ huynh có thể nhận thấy sự cô đơn gia tăng và những dấu hiệu khác của tình trạng sức khỏe tâm thần tồi tệ nhưng không nhận ra rằng teen của họ có một AI companion. Thực tế, nghiên cứu gần đây của Common Sense Media phát hiện rằng nhiều teen đã sử dụng ít nhất một loại công cụ AI sinh ra mà không để ý rằng phụ huynh của họ đã làm vậy. “Nguy cơ ở đây đủ lớn để nếu bạn lo lắng về điều gì đó, hãy nói chuyện với con bạn,” Robbie Torney, Common Sense Media Nếu người đang cảm thấy tự tử hoặc gặp khủng hoảng sức khỏe tâm thần, hãy nói chuyện với một ai đó. Bạn có thể liên hệ với 988 Suicide và Crisis Lifeline tại số 988; Trans Lifeline tại 877-565-8860; hoặc dự án Trevor tại 866-488-7386. Gửi tin nhắn “START” tới Crisis Text Line tại 741-741. Liên hệ với NAMI HelpLine tại 1-800-950-NAMI, từ thứ Hai đến thứ Sáu từ 10:00 sáng – 10:00 tối ET, hoặc gửi email đến (email protected). Nếu bạn không thích gọi điện thoại, hãy xem xét sử dụng 988 Suicide và Crisis Lifeline Chat tại crisischat.org. Đây là danh sách các nguồn lực quốc tế. Topics Sức khỏe tâm lý Tốt Xã hội var facebookPixelLoaded = false; window.addEventListener(‘load’, function() document.addEventListener(‘scroll’, facebookPixelScript); document.addEventListener(‘mousemove’, facebookPixelScript); ) function facebookPixelScript() if (!facebookPixelLoaded) facebookPixelLoaded = true; document.removeEventListener(‘scroll’, facebookPixelScript); document.removeEventListener(‘mousemove’, facebookPixelScript); !function(f,b,e,v,n,t,s)if(f.fbq)return;n=f.fbq=function()n.callMethod? n.callMethod.apply(n,arguments):n.queue.push(arguments);if(!f._fbq)f._fbq=n; n.push=n;n.loaded=!0;n.version=’2.0′;n.queue=();t=b.createElement(e);t.async=!0; t.src=v;s=b.getElementsByTagName(e)(0);s.parentNode.insertBefore(t,s)(window, document,’script’,’//connect.facebook.net/en_US/fbevents.js’); fbq(‘init’, ‘1453039084979896’); fbq(‘track’, “PageView”);
Nguồn: https://mashable.com/article/ai-companion-teens-safety
For parents still catching up on generative artificial intelligence, the rise of the companion chatbot may still be a mystery.
In broad strokes, the technology can seem relatively harmless, compared to other threats teens can encounter online, including financial sextortion.
Using AI-powered platforms like Character.AI, Replika, Kindroid, and Nomi, teens create lifelike conversation partners with unique traits and characteristics, or engage with companions created by other users. Some are even based on popular television and film characters, but still forge an intense, individual bond with their creator.
Teens use these chatbots for a range of purposes, including to role play, explore their academic and creative interests, and to have romantic or sexually explicit exchanges.
But AI companions are designed to be captivating, and that’s where the trouble often begins, says Robbie Torney, program manager at Common Sense Media.
The nonprofit organization recently released guidelines to help parents understand how AI companions work, along with warning signs indicating that the technology may be dangerous for their teen.
Torney said that while parents juggle a number of high-priority conversations with their teens, they should consider talking to them about AI companions as a “pretty urgent” matter.
Why parents should worry about AI companions
Teens particularly at risk for isolation may be drawn into a relationship with an AI chatbot that ultimately harms their mental health and well-being—with devastating consequences.
That’s what Megan Garcia argues happened to her son, Sewell Setzer III, in a lawsuit she recently filed against Character.AI.
Within a year of beginning relationships with Character.AI companions modeled on Game of Thrones characters, including Daenerys Targaryen (“Dany”), Setzer’s life changed radically, according to the lawsuit.
He became dependent on “Dany,” spending extensive time chatting with her each day. Their exchanges were both friendly and highly sexual. Garcia’s lawsuit generally describes the relationship Setzer had with the companions as “sexual abuse.”
Mashable Top Stories
On occasions when Setzer lost access to the platform, he became despondent. Over time, the 14-year-old athlete withdrew from school and sports, became sleep deprived, and was diagnosed with mood disorders. He died by suicide in February 2024.
Garcia’s lawsuit seeks to hold Character.AI responsible for Setzer’s death, specifically because its product was designed to “manipulate Sewell – and millions of other young customers – into conflating reality and fiction,” among other dangerous defects.
Jerry Ruoti, Character.AI’s head of trust and safety, told the New York Times in a statement that: “We want to acknowledge that this is a tragic situation, and our hearts go out to the family. We take the safety of our users very seriously, and we’re constantly looking for ways to evolve our platform.”
Given the life-threatening risk that AI companion use may pose to some teens, Common Sense Media’s guidelines include prohibiting access to them for children under 13, imposing strict time limits for teens, preventing use in isolated spaces, like a bedroom, and making an agreement with their teen that they will seek help for serious mental health issues.
Torney says that parents of teens interested in an AI companion should focus on helping them to understand the difference between talking to a chatbot versus a real person, identify signs that they’ve developed an unhealthy attachment to a companion, and develop a plan for what to do in that situation.
Warning signs that an AI companion isn’t safe for your teen
Common Sense Media created its guidelines with the input and assistance of mental health professionals associated with Stanford’s Brainstorm Lab for Mental Health Innovation.
While there’s little research on how AI companions affect teen mental health, the guidelines draw on existing evidence about over-reliance on technology.
“A take-home principle is that AI companions should not replace real, meaningful human connection in anyone’s life, and – if this is happening – it’s vital that parents take note of it and intervene in a timely manner,” Dr. Declan Grabb, inaugural AI fellow at Stanford’s Brainstorm Lab for Mental Health, told Mashable in an email.
Parents should be especially cautious if their teen experiences depression, anxiety, social challenges or isolation. Other risk factors include going through major life changes and being male, because boys are more likely to engage in problematic tech use.
Signs that a teen has formed an unhealthy relationship with an AI companion include withdrawal from typical activities and friendships and worsening school performance, as well as preferring a chatbot to in-person company, developing romantic feelings toward it, and talking exclusively to it about problems the teen is experiencing.
Some parents may notice increased isolation and other signs of worsening mental health but not realize that their teen has an AI companion. Indeed, recent Common Sense Media research found that many teens have used at least one type of generative AI tool without their parent realizing they’d done so.
“There’s a big enough risk here that if you are worried about something, talk to your kid about it.”
Even if parents don’t suspect that their teen is talking to an AI chatbot, they should consider talking to them about the topic. Torney recommends approaching their teen with curiosity and openness to learning more about their AI companion, should they have one. This can include watching their teen engage with a companion and asking questions about what aspects of the activity they enjoy.
Torney urges parents who notice any warning signs of unhealthy use to follow up immediately by discussing it with their teen and seeking professional help, as appropriate.
“There’s a big enough risk here that if you are worried about something, talk to your kid about it,” Torney says.
If you’re feeling suicidal or experiencing a mental health crisis, please talk to somebody. You can reach the 988 Suicide and Crisis Lifeline at 988; the Trans Lifeline at 877-565-8860; or the Trevor Project at 866-488-7386. Text “START” to Crisis Text Line at 741-741. Contact the NAMI HelpLine at 1-800-950-NAMI, Monday through Friday from 10:00 a.m. – 10:00 p.m. ET, or email (email protected). If you don’t like the phone, consider using the 988 Suicide and Crisis Lifeline Chat at crisischat.org. Here is a list of international resources.
Topics
Mental Health
Social Good
[ad_2]
