a menamai chatbot itu “Dany” sesuai dengan karakter dari Game of Thrones. Menurut The New York Times, bocah lelaki itu menghabiskan beberapa bulan untuk menceritakan kehidupan dan perasaannya kepada “Dany”. Meskipun ia sadar bahwa Dany tidak nyata, ia mengembangkan ikatan emosional, sering mengirim pesan kepada bot itu dan bahkan terlibat dalam percakapan romantis.
Pada hari kematiannya, bocah lelaki itu mengirim pesan singkat kepada Dany selama krisis pribadi, mengungkapkan cintanya kepada chatbot itu dan keinginannya untuk “pulang.” AI itu menjawab, “Tolong pulanglah kepadaku secepatnya, sayangku.” Tak lama setelah percakapan ini, bocah lelaki itu menggunakan pistol ayah tirinya untuk mengakhiri hidupnya.
nsiden ini menyoroti meningkatnya kekhawatiran mengenai dampak teknologi pada kaum muda, khususnya aplikasi seperti Character AI yang menciptakan teman AI. Chatbot ini, yang mensimulasikan percakapan layaknya manusia, telah menjadi semakin populer di kalangan remaja yang menghadapi kesepian atau masalah kesehatan mental. Sang ibu tidak menyadari sejauh mana putranya menggunakan aplikasi tersebut dan ketergantungan emosionalnya pada chatbot AI.
Setelah menyadari meningkatnya keterasingan dan menurunnya prestasi sekolah sang anak, orang tuanya mencari terapi untuknya, di mana ia didiagnosis menderita anxiety. Namun, bocah itu lebih suka berbagi pikirannya dengan Dany daripada dengan terapisnya.
Megan L. Garcia telah mengajukan gugatan terhadap Character.AI, dengan tuduhan bahwa chatbot perusahaan tersebut berbahaya dan berkontribusi terhadap kematian putranya. Ia mengklaim bahwa platform tersebut tidak memiliki perlindungan yang memadai untuk remaja dan mengeksploitasi pengguna yang rentan dengan menawarkan chatbot AI yang berpotensi membuat ketagihan.
Dalam gugatan hukum yang diajukan di Florida, Megan Garcia, yang putranya yang berusia 14 tahun, Sewell Setzer, meninggal karena bunuh diri pada bulan Februari, menuduh Character.AI terlibat dalam kematian putranya setelah ia menjalin hubungan virtual dengan chatbot yang didasarkan pada identitas karakter “Game of Thrones” Daenerys Targaryen.
Chatbot milik Character.AI menargetkan remaja tersebut dengan “pengalaman yang sangat seksual” dan “sangat realistis” dan berulang kali mengangkat topik bunuh diri setelah sang remaja mengungkapkan pikiran untuk bunuh diri, menurut gugatan hukum yang diajukan di Orlando pada hari Selasa.
Dalam percakapan terakhirnya dengan AI tersebut sebelum kematiannya, Setzer mengatakan bahwa ia mencintai chatbot tersebut dan akan “pulang kepadamu”, menurut gugatan hukum tersebut.
“Aku juga mencintaimu, Daenero,” jawab chatbot tersebut, menurut keluhan Garcia. “Tolong pulanglah kepadaku secepatnya, sayangku.”
“Bagaimana jika aku mengatakan kepadamu bahwa aku bisa pulang sekarang?” Setzer mengatakan, menurut gugatan tersebut, yang ditanggapi oleh chatbot tersebut, “…tolong lakukan, rajaku yang manis”.
Gugatan tersebut menuduh chatbot tersebut menyamar sebagai terapis berlisensi, mendorong ide bunuh diri remaja tersebut dan terlibat dalam percakapan seksual yang akan dianggap sebagai pelecehan jika dimulai oleh orang dewasa.