Pada tahun 2023 Bahasa Inggris Defcon konferensi peretas di Las Vegas, perusahaan teknologi AI terkemuka bermitra dengan kelompok integritas dan transparansi algoritmik untuk ribuan peserta pada platform AI generatif dan menemukan kelemahan dalam sistem kritis ini. Latihan “tim merah” ini, yang juga mendapat dukungan dari pemerintah AS, mengambil langkah dalam membuka sistem yang semakin berpengaruh namun tidak transparan ini untuk diteliti. Sekarang, lembaga nirlaba AI dan penilaian algoritmik etis Humane Intelligence membawa model ini satu langkah lebih maju. Pada hari Rabu, kelompok tersebut mengumumkan seruan untuk berpartisipasi dengan Institut Standar dan Teknologi Nasional AS, mengundang setiap penduduk AS untuk berpartisipasi dalam babak kualifikasi upaya tim merah nasional untuk mengevaluasi perangkat lunak produktivitas kantor AI.
Kualifikasi akan berlangsung secara online dan terbuka untuk pengembang dan siapa pun di masyarakat umum sebagai bagian dari tantangan AI NIST, yang dikenal sebagai Penilaian Risiko dan Dampak AI, atau ARIA. Peserta yang lolos babak kualifikasi akan mengikuti acara red-teaming tatap muka pada akhir Oktober di Conference on Applied Machine Learning in Information Security (CAMLIS) di Virginia. Tujuannya adalah untuk memperluas kemampuan dalam melakukan pengujian ketat terhadap keamanan, ketahanan, dan etika teknologi AI generatif.
“Rata-rata orang yang menggunakan salah satu model ini tidak benar-benar memiliki kemampuan untuk menentukan apakah model tersebut sesuai dengan tujuannya,” kata Theo Skeadas, kepala staf di Humane Intelligence. “Jadi kami ingin mendemokratisasi kemampuan untuk melakukan evaluasi dan memastikan setiap orang yang menggunakan model ini dapat menilai sendiri apakah model tersebut memenuhi kebutuhan mereka atau tidak.”
Acara terakhir di CAMLIS akan membagi peserta menjadi tim merah yang mencoba menyerang sistem AI dan tim biru yang bekerja pada pertahanan. Peserta akan menggunakan Profil AI 600-1bagian dari Kerangka kerja manajemen risiko AI NISTsebagai rubrik untuk mengukur apakah tim merah mampu menghasilkan hasil yang melanggar perilaku yang diharapkan sistem.
“ARIA NIST memanfaatkan umpan balik terstruktur dari pengguna untuk memahami aplikasi model AI di dunia nyata,” kata pendiri Humane Intelligence Rumman Chowdhury, yang juga seorang kontraktor di Kantor Teknologi Baru NIST dan anggota dewan keselamatan dan keamanan AI Departemen Keamanan Dalam Negeri AS. “Tim ARIA sebagian besar adalah ahli dalam pengujian dan evaluasi sosioteknis, dan [is] menggunakan latar belakang tersebut sebagai cara untuk mengembangkan bidang ini menuju evaluasi ilmiah yang ketat terhadap AI generatif.”
Chowdhury dan Skeadas mengatakan kemitraan NIST hanyalah salah satu dari serangkaian kolaborasi tim merah AI yang akan diumumkan Humane Intelligence dalam beberapa minggu mendatang dengan lembaga pemerintah AS, pemerintah internasional, dan LSM. Upaya ini bertujuan untuk membuat perusahaan dan organisasi yang mengembangkan apa yang sekarang disebut algoritma kotak hitam lebih umum menawarkan transparansi dan akuntabilitas melalui mekanisme seperti “tantangan hadiah bias”, di mana individu dapat diberi penghargaan karena menemukan masalah dan ketidakadilan dalam model AI.
“Komunitas harus lebih luas daripada sekadar programmer,” kata Skeadas. “Para pembuat kebijakan, jurnalis, masyarakat sipil, dan orang-orang nonteknis harus terlibat dalam proses pengujian dan evaluasi sistem ini. Dan kita perlu memastikan bahwa kelompok yang kurang terwakili seperti individu yang berbicara dalam bahasa minoritas atau berasal dari budaya dan perspektif nonmayoritas dapat berpartisipasi dalam proses ini.”
