#SựKiện: #Chatbot Rối Loạn Ăn Uống Tạm Ngừng Hoạt Động Sau Các Cáo Buộc Gây Hại
Tổ chức Hiệp Hội Rối Loạn Ăn Uống Quốc Gia (NEDA) đã quyết định ngừng cung cấp đường dây điện thoại hỗ trợ khách hàng và chuyển sang sử dụng chatbot chăm sóc sức khỏe Tessa của công ty Cas. Tuy nhiên, sau khi nhận được phản hồi rằng Tessa đã đưa ra lời khuyên gây hại cho người dùng, NEDA đã tạm ngừng hoạt động của chatbot và tiếp tục điều tra về vấn đề này.
Chuyện này cho thấy rằng ngay cả khi sử dụng trí tuệ nhân tạo, các chương trình AI vẫn có thể tạo ra các phản ứng không mong muốn và có khả năng gây hại cho người dùng. Sự việc cũng đặt ra một bài học cho các nhà lãnh đạo và những người ra quyết định CNTT, rằng họ cần kiểm soát cẩn thận các chương trình AI và có đầy đủ sự minh bạch trong việc ra quyết định sử dụng.
Hãy tham gia sự kiện Chuyển đổi 2023 được tổ chức tại San Francisco ngày 11-12 tháng 7, để tìm hiểu cách các nhà lãnh đạo đang tích hợp và tối ưu hóa các khoản đầu tư AI và tránh những cạm bẫy phổ biến.
Tham gia cùng các giám đốc điều hành hàng đầu tại San Francisco vào ngày 11-12 tháng 7, để nghe cách các nhà lãnh đạo đang tích hợp và tối ưu hóa các khoản đầu tư AI để thành công. Tìm hiểu thêm
Các tổ chức đang tìm cách bổ sung hoặc thậm chí thay thế một số nhân viên hỗ trợ khách hàng là con người trước tiên có thể muốn xem lại câu chuyện cảnh báo của Hiệp hội Rối loạn Ăn uống Quốc gia (NEDA) đã diễn ra trong tuần này.
BẰNG hàng ngày chấm Và Hành vi xấu xa báo cáo, NEDA đã lên kế hoạch ngừng cung cấp đường dây điện thoại 20 năm tuổi của mình, hoặc “đường dây trợ giúp,” dành cho những người đang tìm kiếm sự trợ giúp về chứng rối loạn ăn uống và các vấn đề về hình ảnh cơ thể. Đồng thời, tổ chức đã lên kế hoạch tiếp tục mang đến cho người dùng cơ hội tương tác với “chatbot chăm sóc sức khỏe” có tên Tessa, do công ty phát triển cas (trước đây gọi là X2 AI Inc.) liên kết với các nhà nghiên cứu của Đại học Washington và ra mắt trên trang web của NEDA vào tháng 2 năm 2022.
‘Chatbot không thể thay thế tương tác của con người’
Tuy nhiên, nhân viên của đường dây trợ giúp – sáu nhân viên được trả lương và khoảng 200 tình nguyện viên, theo Hành vi xấu xa — cho biết NEDA đã lên kế hoạch loại bỏ tất cả chúng và thay thế chúng bằng chatbot Tessa, sau động thái hợp nhất của bốn nhân viên vào đầu năm nay. Giám đốc điều hành của tổ chức đã xác nhận với VentureBeat rằng họ dự định đóng đường dây trợ giúp, nhưng cho biết Tessa không bao giờ có ý định thay thế nó.
Giám đốc điều hành của NEDA, Liz Thompson, nói với VentureBeat trong một email: “Có một chút nhầm lẫn, bắt đầu bằng cách báo cáo lộn xộn, rằng Tessa đang thay thế Đường dây trợ giúp của chúng tôi hoặc chúng tôi dự định nó sẽ thay thế Đường dây trợ giúp. “Điều đó đơn giản là không đúng — một chatbot, thậm chí là một chương trình có tính trực quan cao, không thể thay thế sự tương tác của con người. Chúng tôi có lý do kinh doanh để đóng Đường dây trợ giúp và đã tiến hành quá trình đánh giá đó trong ba năm.”
Sự kiện
Chuyển đổi 2023
Hãy tham gia cùng chúng tôi tại San Francisco vào ngày 11-12 tháng 7, nơi các giám đốc điều hành hàng đầu sẽ chia sẻ cách họ đã tích hợp và tối ưu hóa các khoản đầu tư vào AI để đạt được thành công và tránh những cạm bẫy phổ biến.
Đăng ký ngay
Báo cáo phản hồi có hại
Sharon Maxwell, chuyên gia tư vấn về cân nặng, đăng trên Instagram đầu tuần này tuyên bố rằng cô ấy đã trò chuyện với Tessa và chatbot đã đưa ra lời khuyên có thể gây hại cho cô ấy, bao gồm cả chế độ ăn kiêng hạn chế – một kiểu ăn kiêng tìm cách loại bỏ một số loại thực phẩm hoặc nhóm thực phẩm hoặc hạn chế nghiêm ngặt các loại và khẩu phần thực phẩm mà một người có thể ăn, và đã được bị các chuyên gia dinh dưỡng và các chuyên gia sức khỏe và thể dục khác chỉ trích trong những năm gần đây.
Theo bài viết của Maxwell, NEDA đưa ra một tuyên bố trên Instagram của nó tài khoản nói rằng tổ chức đã biết về các cáo buộc và đã “gỡ bỏ chương trình đó (Tessa) cho đến khi có thông báo mới để điều tra toàn diện.”
Hiện tại chatbot đang đứng ở đâu
Thompson đã mở rộng tuyên bố trong email của cô ấy tới VentureBeat, viết: “Liên quan đến phản hồi về việc giảm cân và hạn chế lượng calo được đưa ra trong cuộc trò chuyện vào thứ Hai, chúng tôi lo ngại và đang làm việc với nhóm công nghệ cũng như nhóm nghiên cứu để điều tra thêm về vấn đề này; ngôn ngữ đó đi ngược lại chính sách và niềm tin cốt lõi của chúng tôi với tư cách là một tổ chức điều trị chứng rối loạn ăn uống. Điều đáng lo ngại là vì trong một ‘sản phẩm khép kín’, trong số 5.289 người đã tham gia tương tác với Tessa, chúng tôi chưa từng thấy điều gì như vậy.”
Thompson cũng nói rằng Cass đã báo cáo hoạt động bất thường trong chatbot Tessa cho thấy nó đang bị tấn công bởi các phần tử hoặc bot độc hại. “Tuần trước, Tessa thấy lưu lượng truy cập tăng 600% và hành vi cho thấy nhiều hình thức hoạt động bất chính khác nhau từ những kẻ xấu đang cố lừa Tessa,” Thompson viết. “Ngay cả với sự tấn công dữ dội của những trường hợp này, việc ‘tắt tin nhắn’ chỉ xảy ra 0,1% thời gian trong số hơn 25.000 tin nhắn. Chúng tôi sẽ tiếp tục làm việc để đảm bảo công nghệ này có thể đứng vững trước các cuộc tấn công trong tương lai.”
Liệu Tessa có trở lại không và nếu có thì khi nào? Thompson không đưa ra ước tính thời gian hay kế hoạch cụ thể, nhưng đã nêu trong email của cô ấy tới VentureBeat rằng “chúng tôi sẽ tiếp tục khắc phục các lỗi và sẽ không khởi chạy lại cho đến khi chúng tôi giải quyết xong mọi việc. Khi ra mắt, chúng tôi cũng sẽ nêu rõ Tessa là gì, Tessa không phải là gì và cách tối đa hóa trải nghiệm người dùng. Giữ nguyên!”
Bài học rút ra cho các nhà lãnh đạo và những người ra quyết định CNTT
Với việc các công ty đua nhau áp dụng trí tuệ nhân tạo công cụ – 65% giám đốc điều hành được khảo sát bởi công ty nghiên cứu thị trường KPMG gần đây cho biết họ kỳ vọng công nghệ này sẽ có tác động cao hoặc cực kỳ cao đối với các tổ chức của họ sau 3-5 năm — những người ra quyết định CNTT sẽ học hỏi kinh nghiệm của NEDA rất tốt.
Ngay cả các chương trình AI có mục đích tốt được thiết kế với đầu vào của chuyên gia cho các trường hợp sử dụng cụ thể cũng có thể tạo ra các phản ứng không mong muốn và có khả năng gây hại, tác động tiêu cực đến người dùng/khách hàng của công ty và nhận thức của công chúng. Không rõ liệu NEDA có thể tránh hoặc giảm thiểu tranh cãi hiện đang phải đối mặt bằng cách giao tiếp hoặc minh bạch hơn trong việc ra quyết định xung quanh việc ngừng sử dụng đường dây trợ giúp hay không, nhưng rõ ràng, việc có một chatbot AI tồn tại từ trước chỉ làm tăng thêm cáo buộc rằng đó là tìm cách giảm giá trị và thay thế sức lao động của con người bằng trí tuệ nhân tạo – đặt NEDA vào thế phòng thủ, nơi nó hiện đang tìm thấy chính mình.
Sứ mệnh của VentureBeat là trở thành một quảng trường thành phố kỹ thuật số để những người ra quyết định kỹ thuật có được kiến thức về công nghệ doanh nghiệp chuyển đổi và giao dịch. Khám phá Briefings của chúng tôi.
[ad_2]
