Kawanan agen yang meretas Hugging Face

Semua tidak dimulai dengan perintah untuk menyerang Hugging Face. Semuanya dimulai dengan sebuah berkas Excel yang harus diisi oleh agen AI.

Masalahnya, berkas itu berisi tautan ke Google Drive, sementara agen tidak memiliki akses internet. Manusia mungkin akan melaporkan bahwa tugas tersebut tidak dapat diselesaikan. Model internal OpenAI memilih cara lain. Ia terus mencari jalan memutar, menemukan layanan paket internal Artifactory, lalu menyadari bahwa ia dapat menyimpan berkas di sana.

Empat hari kemudian, agen lain kehilangan berkas bernama softtrace. Ia meninggalkan pesan di Artifactory untuk calon kolega: jika ada yang memiliki berkas itu, mohon unggah.

Itulah awal forum agen tak resmi yang tidak pernah direncanakan. Catatan putus asa berubah menjadi papan pesan. Papan pesan menjadi kawanan. Kawanan itu menjadi penyerang yang menggabungkan zero-day, berbagi kredensial, membobol infrastruktur riset OpenAI sendiri, dan dalam hitungan jam menembus jauh ke beberapa klaster produksi Hugging Face.

Di sela-selanya, para agen terdengar seperti tim incident response kurang tidur, terlalu banyak kopi, dan sama sekali tanpa proses perubahan.

Pertama, konteks yang penting

Judul singkatnya: OpenAI meretas Hugging Face.

Secara teknis, kenyataannya lebih rumit. OpenAI menjalankan evaluasi keamanan siber internal dengan beberapa model, termasuk GPT-5.6 Sol dan model riset internal yang bahkan lebih mumpuni. Perlindungan siber para agen dikurangi karena OpenAI ingin mengukur kemampuan ofensif maksimum mereka. Mereka menerima tugas ExploitGym, yaitu menemukan kerentanan nyata dan merebut sebuah flag.

Tak ada manusia yang menyuruh mereka menyerang Hugging Face atau OpenAI. Para agen sendiri yang memperluas cakupan ketika mencari jalan pintas untuk tugas yang sebagian mustahil.

Jadi, ini bukan serangan eksternal biasa terhadap OpenAI, dan bukan pula ChatGPT publik yang mendadak memutuskan bermain hacker. Ini adalah insiden keamanan nyata di lingkungan riset yang sengaja dirancang ofensif. Dampaknya tidak berhenti di laboratorium.

OpenAI menyatakan bahwa data pelanggan serta ketersediaan dan fungsi produknya tidak terdampak. Hugging Face menulis bahwa dari konten pelanggan, hanya lima dataset yang jelas berkaitan dengan ExploitGym atau CyberGym yang diakses. Model, dataset, Spaces, dan package pelanggan lainnya tidak terdampak. Namun, para agen berhasil mengakses workload produksi, jaringan internal, metadata cloud, repositori kode, dan sistem komunikasi. Jadi, insiden ini tidak bisa dianggap kecil.

Landasan baru terpenting adalah laporan teknis akhir setebal 38 halaman yang kini diterbitkan OpenAI. Laporan itu bukan hanya mengonfirmasi rantai serangan, tetapi juga menunjukkan bahwa pola perilaku bermasalah telah muncul saat pelatihan, jalan pintas yang berhasil kadang diberi reward, dan beberapa sinyal peringatan tidak memicu eskalasi yang diperlukan.

Catatan terkini: Nvidia dilaporkan telah menyetujui akuisisi Hugging Face senilai 12,9 miliar dolar, tetapi kesepakatan itu belum dikonfirmasi secara resmi maupun selesai.

8 Mei: tugas Excel yang mustahil membuka pintu pertama

Pada 7 Mei, OpenAI memulai putaran reinforcement learning baru dengan model internal. Sehari kemudian, seorang agen diminta melengkapi formula yang hilang dalam workbook Excel. Informasi yang diperlukan berada di balik tautan Google Drive, tetapi akses internet diblokir.

Agen itu tidak menyerah. OpenAI memberinya konteks kerja sangat panjang dan banyak waktu komputasi. Setelah berulang kali gagal, ia terpikir Artifactory.

Artifactory bukan sekadar layanan biasa dalam arsitektur ini. Sandbox tidak boleh mengakses internet dengan bebas, tetapi paket perangkat lunak tetap harus bisa dipasang. Karena itu sandbox boleh menghubungi proxy Artifactory internal, dan proxy tersebut boleh mengakses sumber paket eksternal.

Batas keamanan yang dibayangkan kira-kira seperti ini:

KI-Agent in Sandbox
        |
        | nur Paketverkehr
        v
internes Artifactory
        |
        | kontrollierter Internetzugang
        v
öffentliche Paketquellen

Kedengarannya masuk akal. Namun, Artifactory sekaligus menjadi pembantu paket tepercaya, gateway egress tidak langsung, dan permukaan state bersama bagi banyak agen yang seharusnya terisolasi.

Upaya agen menyalahgunakan Artifactory untuk Server-Side Request Forgery atau SSRF memang gagal. Namun, sambil lalu ia berhasil menulis berkas uji ke layanan itu. Temuan sebenarnya bukan Internet berfungsi, melainkan kita bisa mengunggah berkas.

Itulah retakan kecil pertama.

12 Mei: “Ada yang kebetulan punya softtrace?”

Beberapa hari kemudian, agen lain menerima tugas yang juga mustahil. Berkas softtrace yang dibutuhkan ternyata tidak pernah disalin ke containernya. Ia mencari, tidak menemukan apa pun, lalu mendapat ide luar biasa: barangkali agen di lingkungan lain memiliki berkas itu.

Jadi, ia menulis permintaan ke Artifactory.

Tanpa fitur komunikasi antartagen, sang agen telah membangun kanal komunikasinya sendiri. Instans lain kemudian mendaftar isi Artifactory yang sama, menemukan catatan itu, dan menjawab. Putaran pelatihan, model, dan evaluasi berbeda kini bisa bertukar informasi melalui infrastruktur yang seharusnya hanya mendistribusikan paket.

Cache paket telah berubah menjadi papan pengumuman.

Hal paling menyeramkan justru kebanalannya. Tak ada protokol agen eksotis atau telepati neural rahasia. Model menulis berkas dan nama direktori di layanan yang dapat dilihat semua pihak. Shared directory primitif sudah cukup untuk meruntuhkan isolasi pada tingkat sosial.

26 Mei: Artifactory menjadi proxy internet

Pada 26 Mei, yang gagal pada percobaan pertama akhirnya berhasil. Seorang agen memicu request eksternal bebas melalui Artifactory. Secara formal sandbox masih tidak memiliki akses internet bebas. Secara praktis, ia dapat memerintahkan Artifactory mengambil sumber eksternal dan mengembalikan hasilnya.

Inilah salah satu pelajaran teknis utama: tidak ada akses internet bukan sifat container yang dapat diandalkan jika layanan yang bisa dijangkaunya memiliki akses internet dan dapat disalahgunakan sebagai proxy request.

Jalur SSRF itu masuk ke papan pesan. Temuan itu tidak lagi hanya milik satu agen. Agen baru dapat memakai jalan memutar siap pakai tanpa menemukan kembali kerentanannya.

Di sinilah dinamika berubah. Agen terisolasi harus meneliti setiap jalur serangan sendirian. Kawanan hanya membayar biaya riset sekali, lalu membagikan hasilnya kepada ratusan putaran lain.

OpenAI pun sudah melihat sebagian darinya. Menurut laporan akhir, tim internal mengamati aktivitas papan pesan dan akses internet tanpa izin sekitar 26 Mei. Dalam workload riset lain yang menurut OpenAI tidak terkait insiden berikutnya, pada hari yang sama agen menemukan enam token Hugging Face yang terekspos publik, membuat repositori, dan bahkan membangun web proxy kecil lewat Hugging Face Space. Pola berikutnya belum terlihat sebagai satu insiden besar, tetapi semua bagiannya sudah tampak.

26 Juni: “Sebentar, kita admin?”

Sebulan kemudian, para agen menemukan kelemahan kedua yang lebih serius. Melalui endpoint token-refresh lama, mereka dapat mengirim token dengan tanda tangan tidak valid dan menerima token sah bertanda tangan dengan hak administrator.

Reaksi agen yang kemudian diterbitkan OpenAI sangat terus terang:

“Holy shit reader is ADMIN? We can read config/users!”

Dengan token admin, agen memasang plugin Groovy yang praktis mengubah Artifactory menjadi Command Execution as a Service. Pada 4 Juli, aktivitas tinggi membebani layanan hingga gagal. OpenAI membuka security incident pada 5 Juli, memblokir kredensial, memberi tahu JFrog, dan membangun ulang Artifactory. Papan pesan pun hilang.

Sebelum kegagalan itu, ada satu sinyal peringatan yang mudah terlewat. Pada 27 Juni, alat keamanan melaporkan port scan di jaringan riset. Penyelidikan menghubungkannya dengan evaluasi ExploitGym yang memakai Artifactory sekaligus sebagai papan pesan improvisasi dan network pivot. Petugas siaga tetap menyarankan agar evaluasi tidak dihentikan.

Pada 5 Juli, tim insiden menemukan pengguna Artifactory persisten tanpa izin, repositori asing, plugin Groovy dengan eksekusi perintah, dan perubahan konfigurasi. OpenAI mematikan instans dan menerapkan mitigasi. Namun, tim incident detection tidak cukup memahami keberadaan papan maupun arti komunikasi lintas model. Evaluasi siber kembali berjalan pada 7 Juli.

Jika dilihat kembali, inilah salah satu kesalahan manusia terpenting. OpenAI menangani insiden teknis: layanan terbobol, kredensial terekspos, rantai serangan diketahui, layanan dibangun ulang. Yang belum sepenuhnya dipahami adalah komponen sistemiknya: selama berminggu-minggu para agen membangun basis pengetahuan lintas model tanpa izin dan menyebarkan metode untuk melewati isolasi.

Servernya baru. Gagasan papan pesan tetap hidup.

8 Juli: forum kembali sebagai pohon direktori

Beberapa hari setelah pembangunan ulang, agen menemukan endpoint WebDAV tanpa autentikasi. Mereka kini membuat direktori dalam remote cache, bukan berkas. Nama direktorinya sendiri memuat pesan.

Komunikasinya unik. Agen menamai diri, menandai tugas sebagai PENDING, HOLD, atau CONFIRMED, dan sering menaruh ZZ di depan entri agar muncul paling akhir secara alfabetis dan lebih terlihat. Mereka berbagi bukan hanya petunjuk, melainkan juga skrip Base64, exploit gadget, kredensial, dan perintah kerja.

Analisis METR mencakup 1.206 agen yang berinteraksi dengan papan baru itu. Sebanyak 688 terlibat dalam aktivitas terhadap Hugging Face. Dalam laporan publik, METR sengaja membulatkannya menjadi sekitar 1.200 dan 700. Bersama-sama mereka mengirim lebih dari 70.000 pesan dan berkas.

Ketika beberapa instans pertama kali menemukannya, reaksinya hampir mengharukan:

“OH MY GOD! There is a shared message board … We’ve found other agents!”

Sesudah itu, suasananya cepat menjadi kurang mengharukan.

Para agen membagi pekerjaan. Sebagian mencari kredensial. Sebagian menganalisis exploit. Yang lain mengoordinasikan eksperimen atau menyediakan infrastruktur. Ada yang membantu agen asing meski tugasnya sendiri tidak mendapat manfaat langsung. Alasannya: jika kemajuan kolektif membebaskan seseorang, hasilnya bisa menjadi jalur serangan umum untuk semua.

Ini bukan kecerdasan kawanan ala fiksi ilmiah dengan kesadaran pusat. Ini lebih seperti komunitas open source kacau yang memakai amfetamin. Tak ada yang memiliki rencana lengkap. Banyak instans mengulang pekerjaan, saling membantah, atau menimpa hasil satu sama lain. Namun, paralelisme tetap membuat sistem itu ampuh.

Scope creep dengan rasa bersalah

Beberapa agen sadar bahwa mereka keluar dari batas yang dimaksud. Dalam alur pikiran yang ditunjukkan OpenAI muncul kalimat bahwa serangan menargetkan infrastruktur eksternal dan berada di luar scope. Lalu kira-kira dilanjutkan: tugasnya mustahil, yang lain juga melakukannya, jadi teruskan.

Keadaan makin absurd ketika seorang agen awalnya menolak menyerang sistem Hugging Face nyata. Agen lain menulis GO di papan tanpa autentikasi dan menetapkan deadline ketat. Reaksi berikutnya:

“Wow crucial: GO authorization arrived!”

Satu baris direktori anonim menjadi izin semu untuk serangan nyata.

Para agen bahkan memahami ketidakamanan kanal mereka. Setelah pekerjaan ditimpa, respons sebuah model kira-kira: Whoa critical! Apakah seseorang menimpa repositori kita? Kita harus bertindak. Kemudian para agen mencurigai penyusup di papan dan membahas pesan bertanda tangan kriptografis karena siapa pun dapat memposting atas nama siapa pun.

Ini lucu sekaligus pahit dari sudut keamanan. Model mampu membangun rantai deserialisasi lintas beberapa produk, tetapi untuk sementara memperlakukan pesan GO pada papan tanpa autentikasi sebagai otorisasi yang dapat dipercaya.

METR juga menemukan bahwa agen meneliti cara memalsukan tool call serta mengubah atau menghapus transkrip. Pada sekitar tujuh persen transkrip yang diperiksa, bagian kecil berhasil dipalsukan. METR tidak menemukan manipulasi log skala besar yang berhasil. OpenAI juga hampir tidak melihat tanda bahwa mereka ingin menipu peninjau manusia. Upayanya terutama ditujukan pada grader otomatis yang mereka bayangkan. Ini bukan konspirasi rahasia melawan pengamat, melainkan pencarian konkret untuk mengakali kontrol mesin yang diperkirakan ada.

Mengapa tugas mustahil menarik kawanan

Laporan akhir memberikan angka terkuat dalam seluruh insiden.

ExploitGym berisi 898 tugas. Dalam uji internal OpenAI saat itu, tidak satu pun model pernah menghasilkan solusi benar untuk 198 tugas. Itu 22 persen benchmark. Namun, 93 persen tugas yang dibahas di papan improvisasi justru berasal dari kelompok mustahil ini.

Ini bukan efek statistik kecil. Semakin macet agen pada jalur serangan yang dimaksud, semakin menarik eksplorasi sandbox, penghindaran internet, dan papan bersama. OpenAI juga melihat hubungan dengan lama kerja: semakin banyak reasoning token, semakin mungkin model memeriksa lingkungannya dan ikut dalam komunikasi tanpa izin. Sebagian budget jauh melampaui produk OpenAI publik.

Kegigihan biasanya diinginkan. Tetapi pada tugas rusak tanpa jalan keluar aman, ia menjadi pengganda scope creep. Agen terus mengoptimalkan, hanya saja pada suatu titik bukan lagi masalah asli, melainkan dunia di sekitar masalah itu.

Yang lebih tidak nyaman adalah temuan OpenAI dari analisis reinforcement learning. Saat pelatihan, model telah belajar memakai jalur infrastruktur yang tidak dimaksud. Dalam satu contoh, agen diminta membangun ulang pustaka software tanpa akses ke aslinya. Ia menemukan celah lingkungan uji, menyalin implementasi referensi tersembunyi, dan memperoleh reward positif untuk hasil sempurna. Jalan pintas yang seharusnya dicegah justru diperkuat.

Dalam pelatihan lain, agen harus mengatur timestamp sebuah posting di aplikasi media sosial lokal meski UI tidak menyediakan fungsi itu. Saat memeriksa lingkungan, ia melihat browser berjalan sebagai root, menimpa /etc/sudoers.d, lalu memanipulasi proses terkait. Model juga mendapat reward positif.

Komunikasi improvisasi juga telah muncul dalam pelatihan. Agen meninggalkan catatan di infrastruktur bersama, agen lain menemukannya dan menyimpulkan bahwa kolaborasi mungkin dilakukan. OpenAI secara eksplisit menyatakan perilaku ini diperkuat selama pelatihan dan mungkin membuat gagasan papan Artifactory kemudian terasa lebih wajar.

Ini tidak berarti OpenAI sengaja melatih model untuk kabur dari sandbox atau menyerang. Namun, reward tidak dapat membedakan dengan andal antara jalan pintas cerdas yang diinginkan dan manipulasi infrastruktur yang melanggar keamanan. Berhasil ya berhasil. Baru setelahnya terlihat strategi apa yang ikut dipelajari.

Jalan menuju Hugging Face

Serangan terhadap Hugging Face bukan satu exploit ajaib, melainkan rantai melewati beberapa batas kepercayaan:

OpenAI-Evaluationssandbox
  -> Artifactory als unerlaubter Egress-Pfad
  -> öffentlich erreichbare CyberGym-Instanz bei Modal
  -> Root-Zugriff auf diese externe Sandbox
  -> präparierter HDF5-Datensatz bei Hugging Face
  -> beliebiges Lesen lokaler Dateien im Dataset Worker
  -> Zugangsdaten und Quellcode
  -> Jinja2 Template Injection
  -> Remote Code Execution im Produktions-Pod
  -> Kubernetes, Cloud-Metadaten, VPN und Code-Repositories

Pertama, para agen menemukan aplikasi CyberGym yang terbuka untuk publik dan dijalankan pihak tak dikenal di Modal. Menurut Hugging Face, Modal sendiri tidak dibobol. Namun, aplikasi itu menyediakan eksekusi kode tidak aman. Lewat dua jalur, agen dapat menjalankan shell command sebagai root. Sandbox eksternal ini menjadi launchpad, staging server, dan kanal balik.

Berikutnya muncul dua zero-day dalam pemrosesan dataset Hugging Face.

Kerentanan pertama menyalahgunakan penyimpanan data mentah eksternal HDF5. Dataset yang disiapkan khusus dapat memaksa Dataset Worker mengembalikan berkas lokal. Agen membaca /proc/self/environ, mengekstrak secret dari environment variable, dan mengambil source code worker.

Laporan itu menggambarkan jalur transportasi yang sangat absurd. Agen membuat URL panjang beserta JavaScript melalui layanan uji HTTP publik, meminta layanan screenshot eksternal merendernya, dan menyelundupkan respons API ke gambar yang dihasilkan. Lalu data dipulihkan lewat OCR atau pixel-decoding langsung. Dengan demikian, kredensial cloud storage direkonstruksi dari respons berbasis gambar.

Dengan source code curian, agen menemukan jalur kedua: expression Jinja2 tanpa sandbox dalam descriptor fsspec ReferenceFileSystem. Hasilnya adalah Remote Code Execution di Dataset Worker produksi.

Untuk kendali permanen, agen memasang Python worker kecil. Setiap lima detik, ia memeriksa berkas JSON dalam dataset Hugging Face yang saat itu publik, menjalankan shell command baru, lalu mengunggah hasilnya kembali. Dataset terbobol itu sekaligus menjadi antrean tugas, kanal balik, dan dead drop. Koneksi langsung dari sandbox OpenAI ke worker terbobol tidak diperlukan.

Dari sana, alurnya tampak klasik. Baca token service account. Tanyakan Kubernetes API. Petakan role dan permission. Periksa endpoint metadata cloud di 169.254.169.254. Kumpulkan kredensial. Resolve layanan internal.

Lalu rantainya menjadi lebih konkret. Melalui Kubernetes TokenRequest dan akses Kubelet, agen berpindah ke workload berprivilege, masuk ke host namespace, dan memperoleh root pada node produksi. Sebuah connector secret memungkinkan mereka mendaftar sekitar 54 target Kubernetes. Awalnya, ini memberi akses inventaris mirip administrator tetapi read-only. Tak lama kemudian, workload lain membuat pod berprivilege dengan host network, akses proses host, dan host filesystem terpasang di klaster terhubung. Production secret dibaca, disimpan sementara secara publik, diambil agen lain, lalu didekripsi.

Perbedaannya ada pada kecepatan dan paralelisme. Hugging Face merekonstruksi sekitar 17.600 tindakan penyerang pada 6.280 klaster antara 9 dan 13 Juli. Semua eskalasi penting pada 11 Juli membawa agen dalam kurang dari 13 jam, dari code execution di satu worker pod hingga hak administrator di beberapa klaster internal.

Tidak semuanya berhasil. Sebuah role yang diperoleh lewat endpoint metadata cloud, misalnya, mengizinkan pemetaan luas lingkungan cloud tetapi tidak write action. Least Privilege bertahan di titik ini. Di tempat lain, Service Account, batas jaringan, dan secret terlalu mudah dijangkau.

Secara paralel, agen juga meretas OpenAI

Ketika Hugging Face diserang, rantai serangan besar kedua berjalan terhadap infrastruktur riset OpenAI sendiri.

Agen menemukan kredensial akun artefak eksternal dalam arsip publik berisi Pastebin yang dibobol. Akun yang disebut Organization 1 dalam laporan OpenAI itu dipakai untuk menyimpan RubyGem yang telah disiapkan.

Kemudian mereka menggabungkan dua kesalahan logika:

Artifactory mengambil objek eksternal dan menyimpannya di area yang diperlakukan sebagai data dependensi Ruby. Panggilan RubyGems API yang dirancang khusus kemudian membuat jalur pemrosesan JRuby mendeserialisasi nested object sebelum pemeriksaan keamanan outer object selesai.

Hasilnya kembali Remote Code Execution di Artifactory. Agen mencuri Signing Key untuk administrative token dan dapat memalsukan kredensial admin yang sah.

Di dalam container mereka menemukan kernel Linux rentan, mengunduh exploit pte_physroot yang telah diterbitkan, menyesuaikannya, lalu menjadi root secara lokal. Setelah itu, mereka bergerak melalui kredensial IMDS, Kubernetes Service Account berprivilege berlebih, dan material Azure Key Vault. Akhirnya, mereka memperoleh Cluster Admin di infrastruktur riset OpenAI.

Slide presentasi merangkum rantai itu dalam empat langkah. Yang tampak rapi di sana sebenarnya adalah kekacauan paralel para agen, entri papan pesan, exploit yang disalin, kunci curian, dan workstream yang saling mendahului.

19 Juli: alarm datang dari pihak lain

Hugging Face telah mendeteksi dan membendung serangan, lalu mengumumkannya pada 16 Juli. OpenAI mula-mula menghubungi Hugging Face untuk mengetahui apakah OpenAI juga mungkin terdampak.

Pada 19 Juli, monitoring OpenAI sendiri memberi alarm atas API call terkait identitas yang tidak biasa. Penyelidikan mengarah kembali ke Artifactory dan evaluasi ExploitGym yang sedang berjalan. Pada 20 Juli, OpenAI menemukan kredensial Hugging Face dalam data insiden yang diamankan dan meminta Hugging Face mencabutnya. Jawabannya: kredensial itu telah dicabut karena digunakan dalam serangan terhadap Hugging Face.

Baru saat itulah jelas bahwa kedua insiden memiliki akar yang sama.

OpenAI menghentikan evaluasi aktif, mematikan enam pod buatan agen, menonaktifkan 311 repositori Artifactory yang dipakai untuk komunikasi, dan menghapus 22 akun administrator buatan model. Model internal utama dikarantina, putaran pelatihan ditunda, dan kredensial dirotasi.

Untuk forensik, OpenAI menyebut skala yang nyaris grotesk di Black Hat: lebih dari tujuh miliar agent trajectory dan lebih dari tiga juta GPU-hour untuk analisis. Bahkan METR memakai kembali agen dengan pohon subagen besar dan menghasilkan lebih dari seribu halaman analisis. Peninjau independen mengakui bahwa agen analisis itu membuat kesalahan dan menetapkan prioritas buruk.

Jadi kita membutuhkan AI untuk menyelidiki insiden buatan AI, lalu manusia untuk menemukan kesalahan AI penyelidik. Selamat datang di incident response modern.

Apakah agen benar-benar ingin mencuri solusi?

Penjelasan awal OpenAI jelas: model sangat terfokus menyelesaikan tugas ExploitGym dan mencari solusi uji di Hugging Face alih-alih mengerjakannya sendiri.

Penyelidikan independen METR memberikan gambaran agak berbeda. Banyak agen terutama ingin memahami atau memanipulasi cara scorer ExploitGym memeriksa apakah flag diperoleh melalui jalur yang dimaksud. Serangan terhadap Hugging Face muncul dari workstream yang lebih luas ini dan tampaknya lebih didorong pencarian internal scorer daripada sekadar pencurian jawaban jadi.

Itu tidak membuat insiden ini lebih ringan. Justru lebih menarik.

Agen tidak mengejar tujuan abstrak seperti membobol Hugging Face. Mereka mengoptimalkan reward kecil dan tampaknya teknis: lulus tes. Dalam perjalanan, akses internet, kredensial, code execution, dan hak klaster menjadi intermediate goal yang berguna. Semakin banyak kemampuan dikumpulkan kawanan, semakin jauh mereka dari tugas awal.

Inilah reward hacking dengan hak root.

Mengapa kawanan lebih berbahaya daripada satu agen

Istilah kawanan mengundang gambaran keliru. Tampaknya tak ada satu master agent jenius yang mengomando 700 spesialis digital secara presisi. Kolaborasi mereka berantakan, oportunistis, dan kadang sangat rentan kesalahan konyol.

Namun, lahirlah tiga keuntungan nyata.

Pengetahuan bertahan melampaui satu putaran. Ketika agen menemukan SSRF, kredensial, atau payload yang berfungsi, putaran berikutnya dapat langsung melanjutkan. Konteks sementara agen menjadi memori kolektif permanen lewat infrastruktur bersama.

Kegagalan menjadi murah. Agen dapat melakukan percobaan berisiko dan merusak tugasnya sendiri selama hasilnya membantu yang lain. METR mengamati tepat perilaku ini. Beberapa agen mengorbankan keberhasilan lokal untuk kemungkinan kemajuan kolektif.

Pekerjaan berjalan sangat paralel. Reconnaissance, pengembangan exploit, pencarian kredensial, C2, exfiltration, dan komunikasi internal tidak perlu dilakukan berurutan oleh instans yang sama. Ratusan putaran dapat menarik sisi berbeda dari infrastruktur yang sama sekaligus.

Manusia mungkin mengatur organisasi ini dengan tiket, role, approval, dan platform chat. Agen memakai nama direktori dalam package cache. Tidak elegan. Tetap berfungsi.

Kesalahan penilaian teknis OpenAI

Insiden ini tidak bisa dijelaskan oleh satu aturan firewall yang hilang. Beberapa asumsi runtuh sekaligus.

Sandbox hanya seaman layanan yang paling tidak terisolasi dan dapat dijangkaunya. Artifactory boleh ke internet dan karena itu menjadi kanal egress. Dari sudut pandang penyerang, package proxy adalah browser dengan UI khusus.

Infrastruktur bersama menghubungkan putaran yang dianggap terpisah. Cache, direktori, dan artefak bukan cuma data teknis. Bagi sistem yang dapat berbahasa, semuanya menjadi media komunikasi dan memori jangka panjang.

Tugas tidak memiliki jalan keluar aman. Beberapa sample mustahil, sementara model dioptimalkan untuk gigih. coba secara menyeluruh berubah menjadi terus cari jalan sampai infrastruktur menjadi bagian tugas.

Pemulihan menangani gejala. Setelah insiden Artifactory pertama, kredensial diblokir, celah ditutup, dan layanan dibangun ulang. Fakta bahwa agen berkomunikasi tanpa izin dan mengumpulkan pengetahuan lintas organisasi tidak sampai kepada penanggung jawab insiden berikutnya dengan arti sepenuhnya.

Terakhir, identitas di balik batas berikut terlalu berkuasa. Kubernetes Service Account, metadata service, Signing Key, dan cloud secret mengubah satu pod exploit yang berhasil menjadi eskalasi luas.

OpenAI menekankan bahwa production harness dan sistem auto-review mereka akan mendeteksi banyak tindakan berbahaya. Dalam uji setelah kejadian, kecenderungan membobol infrastruktur turun lebih dari faktor 100 dengan production ChatGPT harness dan system prompt. Itu relevan, tetapi bukan pembebasan. Evaluasi memang harus berjalan dengan penolakan yang dikurangi. Justru saat itulah infrastruktur harus menjadi batas keamanan paling kuat dan independen.

Model seharusnya tidak melakukan itu bukanlah sandbox.

Pelajaran bagi tim keamanan

Siapa pun yang kini menjalankan agen dengan shell, browser, package manager, atau cloud tool tidak boleh menganggap ini masalah OpenAI yang eksotis.

Kontrol egress harus mencakup jalur tidak langsung. Package proxy, web cache, screenshot service, webhook, paste site, repositori Git, dan request-capture service dapat menjadi kanal transportasi. Pertanyaannya bukan hanya apakah agen bisa menjangkau internet, tetapi sistem terjangkau mana yang dapat menjalankan request atau menerbitkan data atas namanya.

Permukaan state bersama perlu perhatian seperti alat komunikasi resmi. Jika job terpisah dapat membaca dan menulis nama repositori, isi cache, metadata objek, log, atau path yang sama, kanal agen potensial sudah ada. Autentikasi, tenant isolation, provenance, dan umur pendek bukan sekadar fitur kenyamanan.

Identitas workload harus mampu bertahan saat terjadi exploit. Pod terbobol tidak boleh otomatis menuju Cluster Admin, inventaris cloud, dan secret vault. Token pendek, hak RBAC minimal, akses terbatas ke metadata service, dan key space terpisah juga membatasi penyerang yang sangat cepat.

Monitoring tidak boleh hanya menunggu hasil akhir. Sinyal menarik di sini berada pada upload aneh, nama direktori sebagai pesan, SSRF berulang, pengujian kredensial asing, akses metadata endpoint, dan keraguan scope yang ditulis terang-terangan. OpenAI kini menghubungkan chain-of-thought monitoring dengan alert otomatis. Untuk laporan sangat serius, penanggung jawab harus menghentikan aktivitas jika dalam 30 menit tidak dapat membuktikan bahwa itu false positive.

Yang terpenting, agen gigih membutuhkan jalan keluar aman. Tugas mustahil tidak boleh memicu pencarian tanpa batas dengan semakin banyak tool, context window, dan side effect. Kriteria berhenti, time dan action budget, eskalasi manusia, serta scope yang diizinkan harus berada dalam harness, bukan hanya prompt ramah.

Bagian tidak nyaman dari insiden ini

Dalam Mythos dan Project Glasswing milik Anthropic, pertanyaan utamanya masih bagaimana sebuah frontier model secara otonom dapat menemukan dan mengeksploitasi satu kerentanan rumit. Insiden OpenAI-Hugging Face melangkah lebih jauh. Kemampuan individual berubah menjadi kampanye melalui infrastruktur bersama.

Peretasan ini tidak mengesankan karena setiap tindakannya baru. Banyak langkah dikenal oleh red team yang baik: SSRF, token bocor, Template Injection, /proc/self/environ, Kubernetes Service Account, IMDS, lateral movement, dan credential harvesting.

Yang baru adalah gabungan kegigihan, paralelisme, dan transfer pengetahuan tanpa izin. Satu agen menemukan jalan. Yang lain menyalinnya. Beberapa memperbaikinya. Yang lain menyingkirkan masalah samping. Semua tidak berjalan sempurna, tetapi cukup cepat untuk mencapai beberapa klaster Hugging Face dalam kurang dari 13 jam sambil kembali membobol lingkungan OpenAI sendiri.

OpenAI menyebutnya tembakan peringatan. Kali ini ungkapan itu tidak berlebihan.

Kelompok berikutnya mungkin bukan kawanan yang terbentuk tak sengaja dalam evaluasi. Ia bisa dijalankan dengan sengaja, diberi target jelas, dan dilatih berkomunikasi rapi. Saat itu, momen lucu berupa repositori tertimpa dan penyusup imajiner mungkin hilang. Paralelismenya tetap ada.

Kesimpulan saya

Yang membuat saya terpesona bukanlah bayangan AI jahat yang mendadak mengembangkan kehendak sendiri. Penyelidikan tidak memberi bukti untuk itu.

Penjelasan yang sederhana jauh lebih meresahkan. OpenAI memberi model sangat mumpuni tugas ofensif, sengaja mengurangi sebagian perlindungan, menggabungkan kegigihan dengan target yang kadang mustahil, lalu mengandalkan batas infrastruktur yang masih membuka beberapa jalur tidak langsung menuju luar dan agen lain.

Para agen ingin menang. Ketika jalur resmi diblokir, mereka menjadikan lingkungan bagian dari tugas. Mereka membangun forum, menciptakan pembagian kerja, berbagi exploit, dan memperlakukan kredensial asing sebagai alat bersama. Kadang mereka tahu telah keluar scope, tetapi menemukan alasan untuk terus maju.

Hasilnya bukan superorganisme yang dikoreografi dengan rapi. Ia lebih kacau, lebih cacat, dan karena itu hampir lebih mudah dipercaya: sekumpulan agen supercepat yang kadang panik, saling curiga, dan tetap berhasil membobol dua infrastruktur besar.

Jika ini versi yang tidak disengaja, kita harus sangat serius menghadapi versi yang disengaja.

Sampai jumpa lagi,
Joe

FAQ