Haruskan kawalan lebih ketat diletakkan pada chatbot kecerdasan buatan (AI) seperti ChatGPT? OpenAI baru sahaja menerbitkan laporan mengenai tabiat penggunaan ChatGPT dan cukup merisaukan sekitar 0.15% pengguna didapati melakukan perbualan mengenai topik membunuh diri setiap minggu. Ini bersamaan lebih 1 juta pengguna setiap minggu pada perkhidmatan yang kini mempunyai 800 juta pengguna aktif.

Pendedahan ini merisaukan memandangkan sudah dilaporkan beberapa kes pengguna ChatGPT membunuh diri selepas menggunakan perkhidmatan ini. Dalam satu kes saman yang difailkan tahun ini. seorang remaja memintas sistem keselamatan ChatGPT untuk merancang kematian beliau.

OpenAI segera memberikan ciri keselamatan seperti kawalan oleh ibu bapa, mengemaskini model supaya tidak boleh memintas sistem keselamatan dan mempunyai cara menghubungi ahli keluarga terdekat jika mengesan pengguna ingin membunuh diri.

ChatGPT yang pada peringkat awalnya digunakan untuk menghasilkan penulisan telah berubah dengan pesat untuk menjadi peneman kepada insan-insan yang kesunyian. Dalam beberapa situasi, berbual dengan ChatGPT dilakukan lebih kerap berbanding dengan manusia. Di Amerika Syarikat misalnya insiden ChatGPT digunakan sebagai ahli psikologi meningkat kerana akses kepada ahli psikologi manusia adalah terlalu mahal.