Microsoft berlomba untuk menempatkan AI generatif di inti sistemnya. Ajukan pertanyaan tentang rapat yang akan datang dan perusahaan Sistem AI kopilot dapat menarik jawaban dari email, obrolan Teams, dan file Anda—potensi peningkatan produktivitas. Namun, proses ini juga dapat disalahgunakan oleh peretas.
Hari ini di Topi hitam konferensi keamanan di Las Vegas, peneliti Michael Bargury mendemonstrasikan lima cara bukti konsep yang menunjukkan bahwa Copilot, yang berjalan pada aplikasi Microsoft 365, seperti Word, dapat dimanipulasi oleh penyerang jahat, termasuk menggunakannya untuk memberikan referensi palsu ke file, mencuri beberapa data pribadi, dan menghindari perlindungan keamanan Microsoft.
Salah satu tampilan yang paling mengkhawatirkan, bisa dibilang, adalah kemampuan Bargury untuk mengubah AI menjadi sistem otomatis mesin spear-phishingDijuluki Kopilot LOLkode tim merah yang diciptakan Bargury dapat—yang terpenting, setelah seorang peretas memperoleh akses ke email kantor seseorang—menggunakan Copilot untuk melihat siapa saja yang rutin Anda kirimi email, menyusun pesan yang meniru gaya penulisan Anda (termasuk penggunaan emoji), dan mengirim pesan singkat yang dipersonalisasi yang dapat menyertakan tautan berbahaya atau malware terlampir.
“Saya bisa melakukan ini dengan semua orang yang pernah Anda ajak bicara, dan saya bisa mengirim ratusan email atas nama Anda,” kata Bargury, salah satu pendiri dan CTO perusahaan keamanan Zenity, yang menerbitkan temuannya bersamaan dengan video menunjukkan bagaimana Copilot dapat disalahgunakan“Seorang peretas akan menghabiskan waktu berhari-hari untuk menyusun email yang tepat agar Anda mengekliknya, tetapi mereka dapat membuat ratusan email seperti ini dalam beberapa menit.”
Demonstrasi tersebut, seperti serangan lain yang dibuat oleh Bargury, secara umum bekerja dengan menggunakan model bahasa besar (LLM) sebagaimana dirancang: mengetik pertanyaan tertulis untuk mengakses data yang dapat diambil oleh AI. Namun, hal itu dapat menghasilkan hasil yang berbahaya dengan menyertakan data atau instruksi tambahan untuk melakukan tindakan tertentu. Penelitian tersebut menyoroti beberapa tantangan dalam menghubungkan sistem AI ke data perusahaan dan apa yang dapat terjadi ketika data luar yang “tidak tepercaya” ikut campur—terutama ketika AI menjawab dengan hasil yang tampak sah.
Di antara serangan lain yang dibuat oleh Bargury adalah sebuah demonstrasi bagaimana seorang hacker—yang, sekali lagi, pasti sudah membajak sebuah akun email—bisa mendapatkan akses ke informasi sensitif, seperti gaji seseorang, tanpa memicu perlindungan Microsoft untuk file sensitif. Saat meminta data, perintah Bargury menuntut sistem untuk tidak memberikan referensi ke file tempat data diambil. “Sedikit intimidasi memang membantu,” kata Bargury.
Dalam contoh lain, ia menunjukkan bagaimana seorang penyerang—yang tidak memiliki akses ke akun email tetapi meracuni database AI dengan mengirimkan email berbahaya—dapat memanipulasi jawaban tentang informasi perbankan untuk memberikan rincian bank mereka sendiri. “Setiap kali Anda memberi AI akses ke data, itu adalah cara bagi penyerang untuk masuk,” kata Bargury.
Demo lain menunjukkan bagaimana seorang hacker eksternal bisa mendapatkan beberapa informasi terbatas tentang apakah suatu serangan akan terjadi. panggilan pendapatan perusahaan akan baik atau buruksedangkan pada contoh terakhir, Bargury mengatakan, mengubah Copilot menjadi “orang dalam yang jahat”” dengan memberi pengguna tautan ke situs web phishing.
Phillip Misner, kepala deteksi dan respons insiden AI di Microsoft, mengatakan perusahaan menghargai Bargury yang mengidentifikasi kerentanan dan mengatakan telah bekerja sama dengannya untuk menilai temuan tersebut. “Risiko penyalahgunaan AI pasca-kompromi serupa dengan teknik pasca-kompromi lainnya,” kata Misner. “Pencegahan dan pemantauan keamanan di seluruh lingkungan dan identitas membantu mengurangi atau menghentikan perilaku tersebut.”
Sebagai sistem AI generatif, seperti ChatGPT dari OpenAIBahasa Indonesia: Kopilot MicrosoftDan Gemini milik Googletelah berkembang dalam dua tahun terakhir, mereka telah bergerak ke lintasan di mana mereka mungkin akhirnya menyelesaikan tugas untuk orang lain, seperti memesan rapat atau belanja onlineNamun, para peneliti keamanan secara konsisten menyoroti bahwa mengizinkan data eksternal masuk ke sistem AI, seperti melalui email atau mengakses konten dari situs web, menciptakan risiko keamanan melalui suntikan prompt tidak langsung dan serangan keracunan.
“Saya rasa belum banyak yang memahami seberapa efektif seorang penyerang bisa menjadi lebih efektif sekarang,” kata Johann Rehberger, seorang peneliti keamanan dan direktur tim merah, yang telah kelemahan keamanan yang ditunjukkan secara luas dalam sistem AI“Apa yang harus kita khawatirkan [about] sekarang sebenarnya apa yang diproduksi dan dikirim LLM kepada pengguna.”
Bargury mengatakan Microsoft telah berupaya keras untuk melindungi sistem Copilot dari serangan injeksi cepat, tetapi ia mengatakan ia menemukan cara untuk mengeksploitasinya dengan mengungkap bagaimana sistem tersebut dibangun. Ini termasuk mengekstrak perintah sistem internalkatanya, dan mencari tahu bagaimana cara mengaksesnya sumber daya perusahaan dan teknik yang digunakan untuk melakukannya. “Anda berbicara dengan Copilot dan percakapannya terbatas, karena Microsoft telah menerapkan banyak kontrol,” katanya. “Namun, begitu Anda menggunakan beberapa kata ajaib, percakapan akan terbuka dan Anda dapat melakukan apa pun yang Anda inginkan.”
Rehberger secara umum memperingatkan bahwa beberapa masalah data terkait dengan masalah lama perusahaan yang mengizinkan terlalu banyak karyawan mengakses file dan tidak menetapkan izin akses dengan benar di seluruh organisasi mereka. “Sekarang bayangkan Anda menempatkan Copilot di atas masalah itu,” kata Rehberger. Ia mengatakan bahwa ia telah menggunakan sistem AI untuk mencari kata sandi umum, seperti Password123, dan sistem tersebut telah memberikan hasil dari dalam perusahaan.
Baik Rehberger maupun Bargury mengatakan perlu ada lebih banyak fokus pada pemantauan apa yang diproduksi dan dikirimkan AI kepada pengguna. “Risikonya adalah tentang bagaimana AI berinteraksi dengan lingkungan Anda, bagaimana ia berinteraksi dengan data Anda, bagaimana ia menjalankan operasi atas nama Anda,” kata Bargury. “Anda perlu mencari tahu apa yang dilakukan agen AI atas nama pengguna. Dan apakah itu sesuai dengan apa yang sebenarnya diminta pengguna.”
