Nhân viên Snap đã rõ về vấn đề an toàn trẻ em của ứng dụng, theo án phản đối mới được giải phóng

#SnapEmployeesAwareness

“Đến tháng 11 năm 2022, nhân viên của Snap đã thảo luận về 10.000 báo cáo từ người dùng về sextortion mỗi tháng, trong khi công nhận rằng những báo cáo này ‘có khả năng chỉ đại diện cho một phần nhỏ của vi phạm này’ vì sự xấu hổ và các rào cản khác để báo cáo,” theo phiên bản cáo trạng mới được tiết lộ của cáo trạng mà luật sư tổng lãnh thị bang New Mexico đã kiện Snap. Phiên bản ít đen hơn này so với phiên bản mà chúng ta đã thấy một tháng trước thêm chi tiết mới về những gì nhân viên của Snap được cho rằng họ biết về phạm vi của vấn đề sextortion mà họ bị cáo buộc đã tiếp tay trên nền tảng của mình.

Trong một trường hợp được cho là, nhân viên đã tham chiếu đến một trường hợp với 75 báo cáo chống lại nó “đề cập đến ảnh khỏa thân, trẻ em và buộc tội, nhưng tài khoản vẫn hoạt động.” Và vào năm 2022, nghiên cứu nội bộ của Snap, theo cáo trạng, cho biết hơn một phần ba phụ nữ trẻ và 30% phần trai trẻ trên ứng dụng của họ đã bị “tiếp xúc không mong muốn trên nền tảng của họ.” cáo trạng nói.

Các chi tiết mới vẽ ra bức tranh của một công ty nhận thức về những điểm yếu mà họ được cho rằng đã không đủ tập trung để sửa chữa. “Nhân viên cũ của Snap bộ phận tin cậy và an toàn phàn nàn rằng ‘họ chỉ có ít liên lạc với ban quản lý cấp cao, so với công việc của họ tại các công ty truyền thông xã hội khác, và có sự chống đối khi cố gắng thêm các cơ chế an toàn trong ứng dụng vì (CEO của Snap) Evan Spiegel ưu tiên thiết kế,’” theo cáo trạng nói. 

Trong một tuyên bố được đăng trên trang tin tức của họ, Snap nói rằng ứng dụng của họ được thiết kế “như một nơi để giao tiếp với một nhóm bạn thân, với hàng rào an toàn tích hợp, và đã có những lựa chọn thiết kế cẩn thận để làm cho việc người lạ khó mà tìm thấy trẻ em trên dịch vụ của chúng tôi. Chúng tôi tiếp tục tiến bộ các cơ chế an toàn và chính sách của mình, từ việc sử dụng công nghệ tiên tiến để phát hiện và chặn một số hoạt động cụ thể, đến cấm kết bạn từ các tài khoản đáng nghi, đến làm việc cùng cảnh sát và các cơ quan chính phủ, cũng như nhiều hơn nữa.”

Theo cáo trạng, nhân viên của Snap đã truyền địa bàn một bài báo cáo bên ngoài vào năm 2021 bao gồm các ví dụ về những kẻ săn bắt được kết nối với trẻ em từ tám tuổi qua Snapchat và có được vật liệu lạm dụng tình dục trẻ em. Nhưng họ sợ hành động để bắt kịp cách cư xử này sẽ gây cản trở không cần thiết đối với quyền riêng tư của người dùng và tạo ra “chi phí quản lý không cân xứ.” cáo trạng cáo buộc.

Nhân viên cũng được cho đã xác định các rủi ro với một số tính năng của Snapchat, như Quick Add, mà gợi ý cho người dùng kết nối với những người dùng khác. “Chúng ta cần tìm cách tiếp cận mới để bảo vệ người dùng yếu nhất của chúng ta (trẻ em) và làm cho nó khó hơn đối với người sử dụng gian lận tìm thấy chúng qua quick add, tìm kiếm, vv.,” một giám đốc đã viết, theo cáo trạng. “Chúng tôi tin rằng chúng ta có thể đạt được điều này mà không ảnh hưởng nghiêm trọng đến trải nghiệm sản phẩm cho những người dùng này nếu chúng ta theo đuổi chiến lược mới trong việc tạo ra / hạn chế hàng hóa và các kỹ thuật khác để ngăn chặn trẻ em hiệu quả hơn từ những người ngoài mạng lưới của họ.” Snap sau đó đã làm cho tính năng Quick Add chỉ hiển thị cho tài khoản của người từ 13 đến 17 tuổi khi họ có “một số lượng bạn chung nhất định với người đó.” Nhưng nội bộ, cáo trạng nói, nhân viên đã nhận ra rằng phương pháp vẫn sẽ có nhược điểm đáng kể.

Cáo trạng cũng bao gồm thêm chi tiết về cách Snap được cáo buộc đã tiếp tay cho việc bán súng trái phép. Trong một bài thuyết trình không có ngày ghi, công ty nhận thức rằng nền tảng của họ nhận “50 bài viết liên quan đến việc bán súng bất hợp pháp mỗi ngày và 9.000 lượt xem mỗi ngày của vũ khí được quảng cáo này.” Và kể cả khi nội dung được báo cáo, “(r)Nội dung được báo cáo thường được xem hàng trăm lần trước khi báo cáo.”

Nó cũng bao gồm giao tiếp nội bộ nhận ra tính gây nghiện của Snapstreaks, nơi người dùng được thông báo họ đã tiếp tục giao tiếp với người dùng khác trong bao nhiêu ngày. “Wow, chúng ta nên có thêm các tính năng gây nghiện như vậy,” một nhân viên được cho đã viết, theo một email vào tháng 1 năm 2017. “Hầu hết người streakers là đối tượng khách hàng cốt lõi của chúng ta,” viết một người khác. Một bài thuyết trình của tháng 10 năm 2019 được cho rằng “Streaks làm cho việc không thể ngắt kết nối cho đến một ngày cũng trở nên không thể.”

“By November 2022, Snap employees were discussing 10,000 user reports of sextortion each month, while acknowledging that these reports ‘likely represent a small fraction of this abuse’ given the shame and other barriers to reporting,” says a newly unsealed version of the lawsuit filed by New Mexico’s attorney general against Snap. This less-redacted version of the filing we first saw a month ago adds fresh details about what Snap employees allegedly knew about the scope of the sextortion issue it’s accused of facilitating on its platform.

In one alleged instance, employees referenced a case with 75 reports against it “mentioning nudes, minors, and extortion, yet the account was still active.” And in 2022, Snap’s internal research allegedly found that over a third of teen girls and 30 percent of teen boys on its app had been exposed “to unwanted contact on its platform.” the complaint says.

The new details paint a picture of a company aware of its alleged shortcomings when it came to protecting kids on its service, yet not sufficiently focused on fixing them. “Former Snap trust and safety employees complained that ‘they had little contact with upper management, compared to their work at other social media companies, and that there was pushback in trying to add in-app safety mechanisms because (Snap CEO) Evan Spiegel prioritized design,’” the complaint says. 

In a statement posted to its newsroom, Snap said its app is designed “as a place to communicate with a close circle of friends, with built-in safety guardrails, and have made deliberate design choices to make it difficult for strangers to discover minors on our service. We continue to evolve our safety mechanisms and policies, from leveraging advanced technology to detect and block certain activity, to prohibiting friending from suspicious accounts, to working alongside law enforcement and government agencies, among so much more.”

According to the complaint, Snap employees circulated an external report in 2021 that included examples of alleged predators connecting with kids as young as eight through Snapchat and obtaining child sexual abuse material. But they feared measures to catch this kind of behavior would be unduly burdensome on user privacy and “create disproportionate admin costs,” the complaint alleges.

Employees also allegedly identified risks with certain Snapchat features, like Quick Add, which suggests other users to connect with. “We need to come up with new approaches that ringfence our most vulnerable users (minors) and make it harder for predatory users to find them via quick add, search, etc.,” an executive wrote, according to the complaint. “We believe we can achieve this without meaningfully degrading the product experience for these users if we pursue new strategies in inventory generation/constraints and other techniques to more effectively silo minors from people outside their networks.” Snap later made it so the Quick Add feature would only show up for 13 to 17-year-olds’ accounts when they had “a certain number of friends in common with that person.” But internally, the complaint says, employees recognized that the approach would still have significant shortcomings.

The unsealed complaint also includes more details on how Snap allegedly facilitated the illicit sale of guns. In one undated presentation, the company acknowledged that its platform sees “50 posts related to illegal gun sales per day and 9,000 views per day of these marketed weapons.” And even when content is reported, “(r)eported content is usually viewed hundreds of times before report.”

It also includes internal communications acknowledging the addictiveness of Snapstreaks, where users are told how many days they’ve continued communicating with another user. “Wow, we should have more addicting features like this,” one employee allegedly wrote, according to a January 2017 email. “Most streakers are our core demographic,” wrote another. An October 2019 presentation allegedly noted that “Streaks make it impossible to unplug for even a day.”