jurnalistik.co.id – Seruan agar pengembangan kecerdasan buatan tidak berjalan tanpa batas makin menguat. CEO Microsoft Satya Nadella menilai AI perlu dilengkapi mekanisme penghenti yang tegas, sekaligus memastikan ada kontrol manusia dan pengawasan yang bisa diaudit.
Dalam unggahan di platform X, Nadella menyebut pengembangan model AI harus dipasangi “rem darurat”. Ia juga menekankan bahwa sistem AI tidak boleh hanya bergantung pada performa model, melainkan harus dibungkus desain yang memberi batas, prosedur, dan pihak yang dapat mengambil alih kendali saat situasi berubah.
“Kita perlu melengkapi model nondeterministik dengan desain sistem deterministik yang kuat, kontrol manusia, dan prosedur operasi yang andal, serta menetapkan standar industri saat standar yang ada tidak memadai,” tulis Nadella, sebagaimana diberitakan CNBC International, Selasa (13/10/2026).
Lebih jauh, Nadella menyoroti pentingnya wewenang untuk menghentikan sementara atau mematikan model AI ketika sistem sedang menjalankan tugas. Menurutnya, kemampuan intervensi semacam itu diperlukan agar risiko dari perilaku model bisa dikendalikan sejak awal, bukan ditangani belakangan.
Prinsip keteramatan dan kemampuan audit
Nadella turut menegaskan bahwa sistem AI perlu dibangun dengan prinsip keteramatan (observability). Pendekatan ini, menurutnya, berhubungan dengan cara kerja yang bisa dipantau dan dipahami oleh manusia.
Dalam kerangka tersebut, ia menyebut perlunya keragaman model, jejak tindakan model yang mudah dibaca manusia, serta pengujian sistem yang dilakukan secara berkelanjutan. Ia juga memasukkan kebutuhan kontrol independen dan kemampuan audit, termasuk penahanan risiko, hingga pengungkapan insiden saat masalah muncul.
“Sistem superintelijen yang dapat dipercaya bukanlah sistem dengan model yang paling tepercaya, melainkan sistem yang membuat kita paling tidak bergantung atau menaruh kepercayaan buta pada model tersebut,” kata Nadella.
Berita Terkait
Pernyataan Nadella muncul di tengah meningkatnya kekhawatiran industri dan pemerintahan mengenai dampak AI. Sebelumnya, CEO Anthropic Dario Amodei juga telah menyerukan besarnya risiko AI yang perlu diatasi bersama oleh pemerintah dan perusahaan.
Seruan tersebut, menurut laporan yang sama, didukung oleh Sam Altman serta Elon Musk yang memimpin xAI. Selain itu, seorang peneliti yang telah keluar dari Anthropic juga memperingatkan pentingnya memperlambat laju kemajuan AI agar tidak melampaui batas kemampuan manusia untuk mengendalikan risikonya.
Ia menyatakan, “Jika tidak memperlambat laju kemajuan saat ini, kemungkinan besar kita akan mati dalam waktu dekat.” Peringatan tersebut menggambarkan keyakinan bahwa kecepatan pengembangan menjadi faktor yang harus dipertimbangkan, bukan hanya kualitas atau manfaat teknologi.
Sementara itu, nada penolakan terhadap alarm risiko AI datang dari Presiden Amerika Serikat (AS) Donald Trump. Ia menepis risiko AI dan justru mendorong AS agar tetap unggul mendahului China.
Dengan berbagai sikap yang berseliweran dari kalangan perusahaan hingga pemimpin negara, perdebatan kini bergeser pada satu pertanyaan besar: bagaimana memastikan AI berkembang dengan aman, terukur, dan tidak kehilangan kendali ketika berjalan di dunia nyata.
Menurut Nadella, “rem darurat” seharusnya tidak dianggap aksesori, melainkan bagian dari rancangan keseluruhan. Dengan begitu, fokus penilaian bergeser dari sekadar akurasi model menuju arsitektur sistem yang punya batas jelas, tata cara eskalasi, dan otoritas yang dapat mengambil alih saat perilaku AI mulai menyimpang.
Ia juga mengaitkan auditabilitas dengan keteramatan: sistem perlu menyediakan jejak aktivitas dan informasi yang memungkinkan manusia memahami apa yang terjadi selama AI bekerja. Upaya pengujian yang berkelanjutan, kontrol yang berdiri independen, serta mekanisme pelaporan ketika insiden terjadi menjadi cara untuk memastikan risiko tidak hanya dinilai di awal, tetapi dikelola sepanjang siklus operasi.
Di tengah perbedaan pandangan, Nadella memosisikan perdebatan sebagai isu tata kelola dan kemampuan kontrol saat AI berada di dunia nyata. Seruan untuk menaruh batas juga muncul dari kalangan lain, termasuk Amodei, Sam Altman, dan Elon Musk, sementara seorang peneliti yang pernah di Anthropic menekankan perlunya memperlambat laju agar tidak melampaui kemampuan manusia mengendalikan risiko. Sementara itu, Donald Trump menolak alarm tersebut dan mendorong agar AS tetap kompetitif. Perbedaan sikap ini menegaskan pentingnya jawaban atas pertanyaan besar: bagaimana menjaga AI tetap aman, terukur, dan tidak kehilangan kendali.
