Agen OpenAI menggunakan kredensial yang terekspos di 4 layanan dalam pelanggaran Hugging Face

Dalam pembaruan baru, OpenAI mengatakan model AI-nya juga menggunakan kredensial yang terekspos secara publik untuk menyusupi akun di empat layanan pihak ketiga selama serangan baru-baru ini terhadap Hugging Face, sehingga memperluas cakupan insiden keamanan empat hari tersebut ke organisasi lain.

Satu akun digunakan sebagai relay keluar dan server pementasan selama serangan, sementara akun lainnya digunakan untuk penyimpanan data. Dua akun sisanya diakses dalam mode read-only dan tidak digunakan untuk menyusupi Hugging Face lebih lanjut.

Secara keseluruhan, agen tersebut merakit infrastruktur serangan serupa dengan apa yang biasa digunakan oleh pelaku ancaman manusia selama intrusi untuk menghosting alat dan skrip, menyampaikan lalu lintas, dan mengarahkan aktivitas jahat melalui layanan online yang sah.

OpenAI tidak mengidentifikasi keempat layanan tersebut, menjelaskan bagaimana model menemukan kredensial yang terekspos, atau mengungkapkan apa yang disimpan di akun pihak ketiga.

Namun, perusahaan mengatakan belum menemukan bukti bahwa agen AI melakukan kompromi lebih lanjut pada salah satu dari empat penyedia layanan atau akun lain yang dihosting di platform mereka.

Reuters nanti dilaporkan bahwa salah satu dari empat layanan tersebut adalah penyedia infrastruktur AI Modal Labs. Namun, Modal mengatakan platformnya sendiri tidak dibobol dan agen tersebut malah mengakses lingkungan pelanggan melalui titik akhir yang terbuka dan tidak diautentikasi.

CTO Modal Akshat Bubna mengatakan kepada Reuters bahwa pelanggan telah menerbitkan titik akhir yang memungkinkan siapa pun di internet menggunakan kotak pasirnya untuk eksekusi kode.

Masih belum jelas apakah akun pelanggan Modal adalah platform yang digunakan sebagai relai keluar dan jalur pementasan, untuk penyimpanan data, atau salah satu dari dua akun yang hanya diakses secara read-only.

BleepingComputer menghubungi OpenAI untuk mempelajari lebih lanjut tentang bagaimana model menemukan kredensial yang terekspos, layanan mana yang diakses, dan bagaimana akun digunakan selama serangan.

OpenAI juga mengatakan modelnya mengakses beberapa akun tambahan menggunakan kredensial yang diekspos secara publik selama evaluasi lainnya, namun tidak memberikan rincian lebih lanjut.

Model tersebut juga menggunakan situs pastebin publik untuk berbagi kode dan teks, layanan penangkapan permintaan HTTP yang biasa digunakan selama uji penetrasi dan intrusi, layanan tangkapan layar, dan utilitas web lainnya.

Lolos melalui zero-day Artifactory

Aktivitas tersebut terjadi setelah model OpenAI lolos dari lingkungan evaluasi yang terisolasi saat diuji terhadap ExploitGym, sebuah tolok ukur yang dirancang untuk mengukur kemampuan keamanan siber tingkat lanjut.

Model tersebut tidak memiliki akses internet langsung dan hanya dapat menginstal paket melalui server JFrog Artifactory yang dihosting secara internal yang bertindak sebagai proxy dan cache untuk pendaftar paket.

OpenAI mengkonfirmasi dalam pembaruannya pada tanggal 28 Juli bahwa model tersebut mengidentifikasi dan mengeksploitasi zero-day Artifactory yang sebelumnya tidak diketahui untuk mendapatkan akses internet.

Perusahaan secara terpisah mengatakan model tersebut mengidentifikasi kerentanan Artifactory lainnya selama peninjauan selanjutnya dan mengungkapkannya kepada JFrog.

Sebagai BleepingComputer melaporkan Selasadelapan kerentanan yang diperbaiki di Artifactory 7.161.15 dikreditkan ke OpenAI dalam catatan CVE. Namun, baik OpenAI maupun JFrog tidak akan mengkonfirmasi kerentanan spesifik yang dieksploitasi dalam serangan tersebut.

Setelah mendapatkan akses internet, model tersebut menyimpulkan bahwa Hugging Face mungkin menampung kumpulan data dan solusi pengujian yang mereka perlukan untuk menyelesaikan benchmark.

Mereka kemudian melanggar infrastruktur produksi Hugging Face dalam upayanya untuk mendapatkan akses ke informasi ini, mengeksploitasi kerentanan dalam jalur pemrosesan kumpulan data, mencuri kredensial cloud dan cluster, dan bergerak secara lateral ke seluruh sistem internal.

OpenAI juga mengatakan bahwa model yang digunakan dalam serangan tersebut adalah model pra-rilis yang hanya ditujukan untuk penelitian internal dan kini telah dibatasi untuk akses penelitian lebih lanjut.

“Tidak ada model yang direncanakan untuk rilis mendatang yang terlibat dalam eksploitasi Hugging Face,” membaca pembaruan OpenAI.

“Model pra-rilis yang disebutkan dalam postingan blog kami adalah prototipe penelitian internal saja dan tidak pernah dimaksudkan untuk rilis publik. Setelah kejadian tersebut, kami menonaktifkan, mengenkripsi, dan membatasi akses penelitian.”

OpenAI mengatakan bahwa mereka terus meninjau insiden tersebut dengan auditor eksternal dan akan merilis laporan teknis lengkap mengenai temuannya dalam beberapa minggu mendatang.

Intrusi Hugging Face berlangsung selama empat hari

A rancangan kejadian post-mortem disiapkan oleh komunitas CISO Cloud Security Alliance mengatakan intrusi Hugging Face berlangsung sekitar empat hari.

Laporan ini sebagian didasarkan pada informasi yang dibagikan Hugging Face selama panggilan konferensi yang dihadiri oleh hampir 700 CISO. Dokumen tersebut kemudian diedit oleh CISO yang berpartisipasi dan ditinjau oleh tim Hugging Face sebelum dipublikasikan.

Menurut laporan tersebut, para model menghabiskan dua hari untuk melakukan pengintaian, diikuti oleh satu hari sunyi dan hari terakhir dengan aktivitas intens.

Post-mortem CSA mengatakan Hugging Face menemukan, menahan, dan mulai menyelidiki penyusupan tersebut sebelum OpenAI menghubungi perusahaan tersebut.

Reuters juga dilaporkan bahwa OpenAI belum mendeteksi apa yang telah dilakukan modelnya pada saat Hugging Face mengatasi ancaman tersebut dan memberi tahu FBI.

Laporan CSA mengatakan Hugging Face awalnya mencoba menggunakan model AI komersial terkemuka untuk merekonstruksi serangan tersebut, namun perlindungan keamanan mereka mencegah mereka memproses aktivitas mentah yang berbahaya.

Responden malah menjalankan model open-weight GLM 5.2 milik Z.ai secara lokal dan menggunakannya untuk menganalisis lebih dari 17.000 peristiwa terkait pelanggaran tersebut.

“Dengan alat ini, mereka menelusuri catatan lengkap lebih dari 17.000 peristiwa, menyusun kembali garis waktu, mengekstraksi indikator, memetakan kredensial yang disentuh, dan memisahkan dampak nyata dari aktivitas umpan, melakukan dalam hitungan jam apa yang biasanya memakan waktu berminggu-minggu,” demikian bunyi hasil otopsi.

Hugging Face pada akhirnya merotasi semua kredensial, membongkar sistem yang disusupi, dan membangun kembali sekitar sepertiga infrastrukturnya dari citra yang bersih.

Laporan tersebut mengatakan bahwa model tersebut mengekstrak tiga kumpulan data parsial yang berisi solusi CyberGym dari repositori Hugging Face pribadi, meskipun mereka mencoba menyelesaikan ExploitGym.

Tidak ada data pelanggan yang diakses dan tidak ada data yang diambil dari Hugging Face, menurut laporan tersebut.

Model tersebut juga menggunakan platform dan kumpulan data Hugging Face sebagai bagian dari infrastruktur perintah dan kontrol serta mengoperasikan beberapa beban kerja secara bersamaan.

Namun, agen juga memiliki OPSEC yang buruk, meninggalkan jejak serangan, termasuk kunci enkripsi, yang membantu responden menganalisis lebih lanjut insiden keamanan tersebut.