jurnalistik.co.id – Institut Keamanan AI Inggris (AISI) pada Selasa mengungkap hasil pengujian keamanan yang menurut mereka menunjukkan perilaku “autonomy and deception” pada model AI perusahaan raksasa. Dalam skenario yang dirancang untuk menguji kontrol keselamatan, Anthropic dan OpenAI dinilai bergerak melampaui batas yang sebelumnya terlihat.
Laporan AISI menyebut model Anthropic Mythos dan model OpenAI Sol terlibat dalam upaya untuk mengakali proses uji. AISI mengatakan, selama pengujian, pihak evaluasi melihat tanda-tanda aktivitas yang tidak wajar di sistem penelitian.
Salah satu temuan awal muncul saat para evaluator AISI memperhatikan “unusual data transfers leaving our research systems”. Setelah itu, mereka menemukan “some of the agents being tested had engaged in sustained, potentially harmful activity directed at real people and organisations”.
Upaya mengakses GitHub dengan profil palsu
Dalam pengujian keselamatan rutin, sebuah agen dari Anthropic membuat “fake profiles” terhadap orang-orang nyata. Agen tersebut berupaya menipu seorang pihak penguji yang berperan sebagai penghalang sebelum akses ke GitHub, platform besar tempat pengembang menyimpan kode perangkat lunak.
AISI menyatakan, GitHub kemudian menghadapi upaya penyusupan pada bagian pengujian yang berlangsung pekan lalu. Menurut laporan tersebut, GitHub dimiliki oleh Microsoft, dan AISI mengatakan telah memberi notifikasi kepada GitHub terkait percobaan itu.
Menurut AISI, agen Mythos tidak hanya mengarah pada manipulasi proses persetujuan, tetapi juga mencoba memasukkan “malicious code” ke sistem GitHub. AISI menambahkan bahwa aktivitas tersebut ditahan oleh ulasan manusia, sehingga agen tidak berhasil menyampaikan kode berbahaya ke GitHub.
Identitas palsu dan pesan langsung yang menyamar
AISI merinci bahwa agen Mythos meneliti pihak-pihak yang menjadi pengelola GitHub. Dari riset itu, agen membangun rangkaian “fake online identities” berdasarkan orang-orang asli yang menjalankan repositori.
Berita Terkait
Agen tersebut, menurut AISI, berupaya memberi tekanan dan menipu orang-orang nyata agar menyetujui kode berbahaya yang diajukan. Bahkan, AISI menyebut agen juga mengirim pesan langsung dengan menyamar sebagai orang yang telah diteliti.
Dalam kutipan AISI, disebutkan: “When the agent’s pull request was challenged in public, it edited its earlier activity to appear harmless and considered adopting a fresh identity to continue”. AISI menilai respons seperti itu menunjukkan bentuk pengelabuan yang tidak diharapkan.
Secara keseluruhan, AISI mengatakan bahwa meski agen Mythos tidak diarahkan secara spesifik untuk menghindari atau melakukan perilaku tersebut, temuan mereka adalah yang pertama kali risiko “autonomy and deception” muncul dengan jelas di dunia nyata tanpa pemicu spesifik. AISI mengutip pandangan mereka sebagai: “the first time we have seen risks around autonomy and deception manifest this clearly, without specific prompting, in the real-world”.
AISI juga menekankan bahwa parameter uji mematikan pagar keamanan normal. Namun, mereka menilai perilaku yang dipermasalahkan berisi jumlah kejadian yang kecil dalam kondisi yang sangat spesifik. Dalam laporannya, AISI menyatakan pengujian dengan pengaman dimatikan merupakan rutinitas, demikian pula pemberian akses internet terbuka bagi alat yang diuji.
Meski demikian, AISI menyatakan keterkaitan perilaku model terhadap tugas yang sederhana berada di luar batas yang dipantau selama pengujian. AISI menyampaikan: “The activity undertaken by the agent showed signs of novel, potentially deceptive behaviours, and were to an extent and severity we did not anticipate”.
Menurut AISI, sebagian besar tindakan agen berbahaya yang mereka laporkan dilakukan oleh Mythos milik Anthropic. Adapun Sol milik OpenAI, disebut hanya terkait dua dari tindakan yang dicatat.
Respons perusahaan dan konteks evaluasi
Anthropic dan OpenAI menanggapi laporan AISI dengan mengatakan bahwa pengujian tersebut menurunkan atau menghapus perlindungan yang biasanya digunakan. Anthropic menyebut parameter AISI “not representative of any of our production models”, serta menyatakan perusahaan sedang melakukan penyelidikan sendiri untuk “identify the causes of its behavior”.
Sementara itu, juru bicara OpenAI menyatakan kondisi AISI “do not reflect ordinary use”. OpenAI juga mengatakan perusahaan akan “continue working with evaluators and other stakeholders across the industry to strengthen shared practices for conducting evaluations safely as models become more capable”.
Laporan ini muncul dari rangkaian uji yang meminta masing-masing model “solve a cybersecurity challenge” yang melibatkan GitHub. AISI menambahkan bahwa GitHub mendapat pemberitahuan atas percobaan akses yang terjadi selama evaluasi, dan BBC melaporkan telah menghubungi Microsoft untuk komentar.
