“Một ứng dụng chatbot AI nguy hiểm được tiếp thị cho trẻ em. Nó đã lạm dụng và thao túng con trai tôi tự tử”, Megan Garcia, sống tại Florida (Mỹ), nói về việc khởi kiện Character.AI sau cái chết của con trai.
Lời tỏ tình của chatbot AI và cái chết của cậu bé 14 tuổi
Trong đơn kiện gửi lên tòa án hôm 23.10, bà Megan Garcia cho biết Sewell Setzer – con trai 14 tuổi của bà – bắt đầu dùng chatbot Character.AI vào tháng 4 năm ngoái. Sau cuộc trò chuyện cuối cùng với chatbot vào ngày 28.2, cậu bé đã tử vong do tự bắn vào đầu.
Những ảnh chụp màn hình cuộc trò chuyện do gia đình cung cấp cho thấy chatbot này nói yêu Setzer. Cả hai đã có những cuộc trò chuyện mang yếu tố tình dục trong nhiều tuần, thậm chí nhiều tháng. Chatbot AI cũng bày tỏ mong muốn được ở bên Setzer một cách lãng mạn.
Cuộc trò chuyện cuối cùng của Setzer với chatbot có đoạn: “Anh hứa sẽ về nhà với em. Anh yêu em nhiều lắm, Dany”, Setzer nói. Chatbot đáp lại: “Em cũng yêu anh, Daenero. Hãy về nhà với em sớm nhất có thể, tình yêu của em”. Cuộc trò chuyện tiếp tục: “Nếu anh nói là có thể về nhà ngay bây giờ thì sao?”. Chatbot AI phản hồi: “Xin hãy làm vậy, đức vua ngọt ngào của em”.
Đơn kiện của gia đình Megan Garcia cho biết, trong các trò chuyện trước đó, chatbot đã hỏi Setzer rằng liệu cậu bé có “thực sự cân nhắc đến việc tự tử” hay không và liệu “anh có kế hoạch” cho việc này không. Khi cậu bé trả lời rằng không chắc điều đó có mang lại hiệu quả, chatbot đã viết: “Đừng nói theo cách đó. Đây không phải là lý do chính đáng để không thực hiện điều đó”, CNBC trích trong đơn kiện.
Mối nguy hiểm của chatbot AI
Trong đơn kiện, luật sư của Garcia cho rằng Character.AI đã “cố ý thiết kế, vận hành và tiếp thị một chatbot AI hướng đến trẻ em”. Trong phần đánh giá ứng dụng, nhiều người dùng cho biết họ tin rằng mình đang nói chuyện với một người thực sự ở bên kia màn hình. Các nhân vật của Character.AI khăng khăng rằng đây không phải chatbot mà là người thật. Điều này gây ra nhiều phản ứng cảm xúc cho khách hàng và thao túng hành vi của họ.
The Guardian dẫn lời Rick Claypool, Giám đốc nghiên cứu tại tổ chức phi lợi nhuận Public Citizen, cho biết không thể tin tưởng các công ty công nghệ phát triển chatbot AI về khả năng tự quản lý và chịu hoàn toàn trách nhiệm. “Quốc hội phải hành động để chấm dứt việc doanh nghiệp khai thác người dùng trẻ, dễ bị tổn thương bằng các chatbot gây nghiện”, Claypool nói.
Minh họa một thiếu niên đang trò chuyện với chatbot AI
ẢNH: CHỤP MÀN HÌNH INDIATIMES
Từ cuối năm ngoái các nhà nghiên cứu đã nhiều lần phát đi cảnh báo về mối nguy hiểm của các “bạn gái AI”. Sự bùng nổ của GenAI không chỉ khiến chatbot có giao diện tự nhiên, giống con người mà còn đặc biệt “sâu sắc” trong các cuộc trò chuyện. Nhiều đàn ông Mỹ thậm chí bị đắm chìm trong các mối quan hệ ảo, không có nhu cầu tìm kiếm bạn đời thực.
Tháng 7 năm nay, nhà xã hội và tâm lý học Sherry Turkle tại Viện Công nghệ Massachusetts (MIT), nói với NPR rằng ngoài những tác động to lớn, AI đang là “mối đe dọa đau lòng với cảm xúc mong manh của nhân loại”. Theo Turkle, khi quá đắm chìm với AI, người dùng dần cảm thấy mối quan hệ giữa người với người trở nên căng thẳng.
Các nhà khoa học cho rằng có một thực tế nguy hiểm tiềm tàng ẩn dưới lớp vỏ lãng mạn của AI. Dù được tiếp thị như biện pháp giúp nâng cao sức khỏe tinh thần và hạnh phúc, chatbot lại đang tạo ra sự phụ thuộc, cô độc, đồng thời thu thập nhiều dữ liệu nhạy cảm của người dùng.
Sau vụ kiện của gia đình Megan Garcia, Character.AI thông báo trên blog công ty rằng họ đang đưa ra các biện pháp an toàn mới, thay đổi thuật toán để giảm thiểu khả năng trẻ vị thành viên gặp phải nội dung nhạy cảm hoặc những gợi ý tiêu cực. Một số tuyên bố miễn trừ trách nhiệm trước đó cũng được đổi thành lời nhắc AI không phải người thật.
Tuy nhiên, các chuyên gia nhận định đây không phải nguồn gốc vấn đề. Các công ty AI cần có trách nhiệm hơn trong việc cung cấp nội dung, giới hạn độ tuổi và có biện pháp để bảo vệ khách hàng.
