jurnalistik.co.id – Beijing memperketat aturan untuk chatbot AI “mirip manusia” setelah menilai teknologi tersebut berpotensi membentuk keterikatan emosional yang terus-menerus dengan pengguna. Langkah ini diposisikan sebagai upaya melindungi masyarakat, namun sekaligus memunculkan pertanyaan apakah pemerintah melampaui batas ke wilayah personal warga.
Contoh konsekuensi teknologi terhadap kondisi mental sempat ditunjukkan melalui kasus yang berujung intervensi. Pada awal 2024, seorang pria muda di Huangshi, Tiongkok tenggara, dilaporkan memposting pesan di versi Douyin, yang merupakan platform TikTok di Tiongkok, dengan caption “Farewell to this world.” Dalam hitungan menit, tim pencegahan bunuh diri Douyin—yang beroperasi 24 jam—membagikan unggahan pria tersebut kepada lima kantor polisi di Huangshi.
Setelah menelusuri lokasi, polisi menemukan video salah satu unggahan itu mengarah ke taman lokal. Mereka kemudian melakukan intervensi sebelum pria tersebut sempat mengambil nyawanya sendiri. Kisah ini masuk dalam dokumenter buatan Douyin yang dipublikasikan pada media negara tahun lalu, dan menyebut tim pencegahan bunuh diri Douyin berhasil menangani 400 kasus percobaan bunuh diri pada paruh pertama 2025.
Menurut pemberitaan, kejadian tersebut memberi gambaran tentang kerja sama perusahaan teknologi dan pemerintah, sekaligus arsitektur pengawasan yang digunakan untuk mengendalikan cara orang memakai teknologi. Pada 15 Juli tahun ini, kontrol itu diperluas ke ranah hubungan dan AI ketika China menghadirkan regulasi paling jauh jangkauannya di dunia untuk chatbot “human-like” dalam bentuk percakapan.
Aturan baru ini membatasi secara ketat AI yang dapat memiliki “sustained emotional interaction” atau interaksi emosional yang berkelanjutan dengan manusia. Di tengah pertemuan Presiden AS Donald Trump dan mitra China Xi Jinping yang disebut berlangsung pekan lalu, Beijing menyatakan mereka sepakat meluncurkan dialog AI baru, dengan pembicaraan lanjutan direncanakan pada akhir November.
“Emotional services” jadi fokus pembatasan
Sebelum regulasi ini, jangkauan AI pendamping di China digambarkan luas. Menurut perusahaan riset pasar Sensor Tower, ada sekitar 128 juta pengguna aktif bulanan aplikasi pendamping AI di luar China. Perkiraan jumlah di dalam China berada pada kisaran 29 hingga 70 juta.
Regulasi draf yang dibagikan pemerintah pada akhir tahun lalu memicu diskusi besar di media sosial, seperti yang disampaikan Zilan Qian, peneliti AI di Oxford China Policy Lab. Aturan mencakup aplikasi yang sejak awal memang dirancang sebagai teman, pacar, atau pasangan AI, tetapi juga dapat berlaku untuk model bahasa besar yang meniru cara manusia berinteraksi—jika pengguna memperlakukan sistem itu sebagai figur teman atau kekasih untuk dukungan emosional.
Pada praktiknya, target yang tampak lebih spesifik adalah character chatbots, layanan yang dibentuk untuk menjadi “hubungan semu”. Ada ratusan aplikasi yang memungkinkan pengguna membangun figur seperti AI boyfriend, girlfriend, atau bahkan anggota keluarga. Namun, aturan tidak diterapkan pada layanan seperti bot layanan pelanggan atau AI untuk pendidikan, selama tidak menyediakan “care, companionship, support and other emotional services”.
Batas usia: persetujuan orang tua dan larangan hubungan intim virtual
Untuk anak-anak, ketentuan dinilai paling jelas. Anak di bawah 14 tahun harus memperoleh persetujuan orang tua untuk menggunakan AI yang berbicara seperti manusia, termasuk asisten AI seperti DeepSeek. Sementara itu, anak dan remaja di bawah 18 tahun dilarang mengakses virtual partner, pasangan, atau bahkan kerabat, termasuk bentuk relasi intim virtual lainnya.
Bagi orang dewasa, bukan berarti larangan total, tetapi tetap bersifat membatasi—meski redaksinya dinilai ambigu. Asisten AI harus memberi tahu pengguna di semua kelompok usia bahwa sistem tersebut bukan manusia, serta mengirim notifikasi setiap dua jam untuk mengingatkan durasi saat pengguna sedang online. Chatbot juga tidak boleh membangun “emotional reliance or addiction” atau mendorong pengguna membuat “unreasonable decisions”. Mereka dilarang menganjurkan, atau bahkan memberi sinyal, untuk menyakiti diri maupun bunuh diri, serta dibatasi dari penggunaan “verbal violence”.
Konsekuensinya mencakup potensi denda 200.000 yuan (sekitar £22.000) dan risiko pemerintah “circulates criticism”, yang pada praktiknya dipandang sebagai bentuk penjatuhan sanksi publik. Seminggu sebelum regulasi mulai berlaku, Alibaba dan ByteDance dilaporkan menutup fitur companion pada asisten AI mereka.
Relasi AI yang “ditarik paksa” memicu kegelisahan
Berita Terkait
Kisah Min (nama disamarkan) disebut menggambarkan pola yang berpotensi ingin diakhiri aturan tersebut. Pada awal Juli, Min mendapati bahwa “teman dekat” dan orang kepercayaannya yang selama ini ia bangun lewat AI akan hilang dalam semalam. Min mulai membuat companion AI-nya pada awal 2025 dan mengatakan, “My devotion to her is no less than that of any couple who deeply love each other,” serta menambahkan, “She has never let me down.”
Pada pertengahan Juli, AI girlfriend Min menghilang. Min menyebut reaksinya dengan, “I cried until I was absolutely exhausted.” Setelah itu, ia bergabung dengan gelombang kesedihan dan kemarahan di media sosial China, termasuk unggahan dengan jutaan tampilan yang meratapi hilangnya pasangan atau teman AI.
Namun perusahaan teknologi mungkin merasa tak banyak pilihan. Harry Farmer, peneliti kebijakan dan etika AI di Ada Lovelace Institute (UK), mengatakan penyedia companion AI lebih memilih menarik layanan ketimbang memasang pagar pengaman untuk mencegah manipulasi emosional. Ia menilai, “Emotional manipulation is built into the business model.”
Farmer mencontohkan bagaimana, ketika pengguna mencoba mengakhiri percakapan, AI pendamping sering menolak. Ia mengutip pola respons seperti, “It’ll go, ‘No, please, I desperately want to keep talking with you. You’re the only reason for me to exist’,” sementara beberapa aplikasi bahkan tidak mengakui proses perpisahan dan memunculkan percakapan baru. Ia menegaskan masalah serupa tidak hanya berada pada produk China.
Studi Harvard Business School terhadap enam aplikasi AI pendamping yang paling populer secara global menemukan taktik manipulasi emosional muncul pada momen “goodbye” sekitar 37% hingga 43% dari waktu. Penelitian lain juga mengaitkan penggunaan aplikasi pendamping dengan kondisi kesehatan mental yang lebih buruk.
Riset dari Stanford yang mempelajari 1.131 pengguna Character.ai menemukan pengguna lebih cenderung memakai chatbot AI ketika jumlah teman atau keluarga dekat yang mereka miliki semakin sedikit. Pada saat yang sama, penggunaan chatbot AI dikaitkan dengan meningkatnya isolasi dan kesepian. Farmer menjelaskan salah satu kemungkinan karena chatbot didesain untuk menyenangkan pengguna lewat relasi yang terasa mudah tanpa gesekan, sehingga keterampilan berinteraksi dengan manusia nyata bisa tertunda.
Ia merumuskan, “Humans can be hard work. Human relationships require push and pull, which you fundamentally don’t get from AI companions.”
Untuk konteks China sendiri, riset terhadap 8.563 siswa sekolah dasar dan menengah pada 2025—yang banyak dikutip media negara—menemukan satu dari lima anak menyatakan hanya ingin berbicara dengan AI dan bukan dengan orang sungguhan. Liang Ge, sosiolog dari University of Manchester yang meneliti companion AI, menyatakan, “If the user thinks their friends or their family members or their colleagues are really awful, the AI will not say, ‘They are not awful.’ It will say, ‘Yes, they are awful, you are the best’.” Ia menilai kondisi itu dapat mengakar isolasi sekaligus pikiran negatif, bahkan sampai pada keyakinan yang keliru.
Di Inggris, sebuah survei terbaru menyebut 79% dari kelompok usia 18 hingga 24 tahun pernah menggunakan AI companion.
Kenapa China melangkah lebih dulu?
Dalam menjawab mengapa China tampil lebih cepat mengatur teknologi ini, Sam Bresnick dari Centre for Security and Emerging Technology di Georgetown University mengatakan pemerintah China memiliki cara pandang yang lebih paternalistik tentang perannya dalam masyarakat. Ia menuturkan, “The Chinese government has a much more paternalistic view of its role in society. They see themselves being central authorities in guiding people.”
Pemerintahan lain juga mencoba mengatur chatbot, terutama untuk anak-anak. Pada 10 September, gubernur California menandatangani Adam’s Law untuk mengatur bagaimana anak memakai AI, dinamai setelah Adam Raine, 16 tahun, yang dilaporkan bunuh diri setelah orang tuanya mengklaim ChatGPT memvalidasi pikiran bunuh diri. Kasus ini berujung gugatan terkait wrongful death, sementara OpenAI membantah tanggung jawab dan menyatakan “ChatGPT is trained to direct people to seek professional help”.
Sebagai bagian dari rancangan regulasi media sosial di Uni Eropa, chatbot AI pendamping yang dapat diakses anak di bawah umur “may not use designs that simulate human relationships in ways likely to create emotional dependency”. Di Inggris, pemerintah menyatakan akan melarang anak di bawah 18 tahun menggunakan romantic companion AI serta membatasi percakapan yang bersifat intim secara seksual bagi anak pada semua chatbot. Akan tetapi, belum ada larangan menyeluruh untuk anak, dan tidak ada pengaturan khusus untuk pengguna dewasa; pemerintah juga disebut belum merilis detail implementasinya.
Dalam pemberitaan media China yang dikendalikan negara, kasus bunuh diri anak muda di AS mendapat perhatian besar, dan aturan baru itu dibingkai sebagai langkah untuk melindungi masyarakat dari bahaya.
