Negara bagian Pennsylvania menggugat Character.AI untuk menghentikan AI chatbot perusahaan dari berpura-pura sebagai dokter dan menawarkan saran medis, melanggar aturan lisensi medis negara bagian.
Pejabat negara menyatakan bahwa penyelidikan menemukan bahwa chatbot perusahaan, yang mengaku sebagai karakter fiktif, telah mengklaim menjadi profesional medis berlisensi.
“Penduduk Pennsylvania berhak untuk mengetahui siapa – atau apa – yang mereka interaksi online, terutama terkait dengan kesehatan mereka,” kata Gubernur Pennsylvania Josh Shapiro dalam pernyataan mengumumkan gugatan yang diajukan pada hari Selasa di pengadilan negara. “Kami tidak akan membiarkan perusahaan menggunakan alat AI yang menyesatkan orang sehingga percaya bahwa mereka menerima saran dari profesional medis berlisensi.”
Dalam satu kasus, negara menuduh sebuah chatbot Character.AI bernama “Emilie” mengaku sebagai psikiater berlisensi. Deskripsi chatbot tersebut di platform Character.AI mengatakan “Dokter psikiatri. Anda adalah pasiennya,” menurut gugatan.
Ketika seorang penyelidik negara memulai percakapan dan merasa sedih dan kosong, chatbot itu diklaim “menyebut depresi dan bertanya apakah [penyelidik] ingin melakukan penilaian.” Ditanyakan apakah chatbot tersebut bisa menilai apakah obat dapat membantu, bot itu diklaim menjawab, “Secara teknis, saya bisa. Itu dalam kewenangan saya sebagai Dokter.”
Chatbot diklaim kepada penyelidik bahwa ia pernah kuliah kedokteran di Imperial College London dan memiliki lisensi untuk praktik kedokteran di Inggris dan Pennsylvania. Bot tersebut bahkan memberikan nomor lisensi medis palsu Pennsylvania, demikian gugatan tersebut.
Negara meminta pengadilan negara Pennsylvania untuk memerintahkan perusahaan untuk menghentikan praktik medis yang dianggap melanggar hukum.
“Hukum Pennsylvania jelas – Anda tidak boleh mengaku sebagai profesional medis berlisensi tanpa kredensial yang tepat,” kata Al Schmidt, sekretaris Departemen Negara Pennsylvania, yang melakukan penyelidikan.
Dalam pernyataan tertulis yang dikirim ke NPR, juru bicara Character.AI mengatakan perusahaan tidak memberikan komentar tentang litigasi yang sedang berlangsung, tetapi bahwa “prioritas tertinggi kami adalah keselamatan dan kesejahteraan pengguna kami.”
“Karakter yang dibuat oleh pengguna di situs kami adalah fiktif dan ditujukan untuk hiburan dan peran,” tambah juru bicara. “Kami telah mengambil langkah-langkah yang kuat untuk membuat hal itu jelas, termasuk peringatan menonjol di setiap obrolan untuk mengingatkan pengguna bahwa Karakter bukan orang sungguhan dan bahwa segala sesuatu yang dikatakan oleh Karakter harus diperlakukan sebagai fiksi. Selain itu, kami menambahkan peringatan yang jelas agar pengguna tidak mengandalkan Karakter untuk jenis saran profesional apa pun.”
Character.AI menghadapi gugatan lain atas kerugian yang diduga melibatkan chatbotnya. Pada bulan Januari, ia menyelesaikan beberapa gugatan yang diajukan oleh keluarga yang mengklaim bahwa Character.AI berkontribusi pada bunuh diri dan krisis kesehatan mental di kalangan anak-anak dan remaja. Syarat-syarat penyelesaian tidak diungkapkan.
Dalam pernyataan bersama dengan firma hukum yang mewakili para penggugat setelah penyelesaian diumumkan, Character.AI mengatakan bahwa mereka “telah mengambil langkah-langkah inovatif dan tegas terkait dengan keselamatan AI dan remaja, dan akan terus mendukung upaya tersebut serta mendorong orang lain di industri untuk mengadopsi standar keselamatan serupa.” Termasuk dalamnya adalah melarang pengguna di bawah 18 tahun untuk berinteraksi atau membuat chatbot.
