Mesin deepfake OpenAI yang baru, Sora, telah membuktikan bahwa kecerdasan buatan sangat pandai memalsukan kenyataan. Platform video yang dihasilkan AI, didukung oleh model Sora 2 OpenAI yang baru, telah menghasilkan detail (dan sering menyinggung atau berbahaya) video yang disukai orang-orang terkenal Martin Luther King Jr.,Michael Jackson, dan Bryan Cranstonserta karakter berhak cipta seperti SpongeBob dan Pikachu. Pengguna aplikasi yang secara sukarela membagikan kemiripan mereka telah melihat diri mereka meneriakkan hinaan rasial atau menjadi bahan bakar untuk akun fetish.
Di Sora, ada pemahaman yang jelas bahwa segala sesuatu yang Anda lihat dan dengar tidaklah nyata. Namun seperti konten sosial lainnya, video yang dibuat di Sora dimaksudkan untuk dibagikan. Dan begitu mereka keluar dari zona karantina aplikasi yang tidak nyata, hanya ada sedikit perlindungan yang dilakukan untuk memastikan pemirsa tahu bahwa apa yang mereka lihat tidak nyata.
Peniruan yang meyakinkan dari aplikasi ini tidak hanya berisiko menyesatkan pemirsa. Hal ini menunjukkan betapa besarnya kegagalan teknologi pelabelan AI, termasuk sistem yang diawasi oleh OpenAI sendiri: Otentikasi C2PAsalah satu sistem terbaik yang kami miliki untuk membedakan gambar dan video asli dari AI palsu.
Otentikasi C2PA lebih dikenal sebagai “Kredensial Konten,” sebuah istilah yang diperjuangkan oleh Adobe, yang mempelopori inisiatif ini. Ini adalah sistem untuk melampirkan metadata yang tidak terlihat namun dapat diverifikasi pada gambar, video, dan audio pada saat pembuatan atau pengeditan, menambahkan detail tentang bagaimana dan kapan gambar tersebut dibuat atau dimanipulasi.
OpenAI adalah sebuah anggota komite pengarah dari Koalisi untuk Asal dan Keaslian Konten (C2PA), yang mengembangkan spesifikasi terbuka bersama dengan pimpinan Adobe Inisiatif Keaslian Konten (CAI). Faktanya, informasi C2PA tertanam di setiap klip Sora — Anda mungkin tidak akan pernah mengetahuinya, kecuali Anda adalah tipe orang yang membaca catatan kaki singkat pada segelintir postingan blog OpenAI.
C2PA hanya berfungsi jika diterapkan pada setiap langkah proses pembuatan dan pengeposan, termasuk terlihat jelas oleh orang yang melihat hasilnya. Secara teori, ini telah dianut oleh Adobe, OpenAI, Google, YouTubeMeta, TikTok, Amazon, awan suardan bahkan kantor pemerintahan. Namun hanya sedikit dari platform ini yang menggunakannya untuk menandai konten deepfake dengan jelas kepada penggunanya. Upaya Instagram, TikTok, dan YouTube hanyalah label yang nyaris tidak terlihat dan mudah untuk dilewatkan, dan hanya memberikan sedikit konteks jika Anda benar-benar ingin melihatnya. Dan untuk TikTok dan YouTube, saya sendiri belum pernah menemukannya saat menjelajahi platform, bahkan pada video yang jelas-jelas dibuat oleh AI.
Meta awalnya menambahkan a tag kecil “Dibuat oleh AI”. ke gambar di Facebook dan Instagram tahun lalu, tapi itu kemudian mengubah tag menjadi “Info AI” setelah para fotografer mengeluh bahwa karya yang mereka edit menggunakan Photoshop — yang secara otomatis menerapkan Kredensial Konten — diberi label yang salah. Dan sebagian besar platform online bahkan tidak melakukan hal itu, meskipun mereka lebih dari mampu memindai konten yang diunggah untuk mencari metadata AI.
Pencipta C2PA bersikeras bahwa mereka semakin dekat dengan adopsi yang luas. “Kami melihat kemajuan yang berarti di seluruh industri dalam mengadopsi Kredensial Konten, dan kami terdorong oleh kolaborasi aktif yang sedang berlangsung untuk membuat transparansi lebih terlihat secara online,” kata Andy Parsons, direktur senior Keaslian Konten di Adobe, kepada Tepi. “Seiring dengan semakin canggihnya AI generatif dan deepfake, orang-orang membutuhkan informasi yang jelas tentang cara konten dibuat.”
Namun setelahnya empat tahunkemajuan tersebut masih belum terlihat. Saya telah membahas CAI sejak saya mulai Tepi tiga tahun lalu, dan saya tidak menyadari selama berminggu-minggu bahwa setiap video dibuat menggunakan Sora dan Sora 2 memiliki Kredensial Konten yang tertanam. Tidak ada penanda visual yang menyinggung hal tersebut, dan dalam setiap contoh yang pernah saya lihat ketika video-video ini diposkan ulang ke platform lain seperti X, Instagram, dan TikTok, saya belum melihat label apa pun yang mengidentifikasi bahwa video-video tersebut dibuat oleh AI, apalagi memberikan penjelasan lengkap tentang kreasi mereka.
Salah satu contoh yang dicatat oleh Platform deteksi AI Copyleaks adalah video viral buatan AI di TikTok yang menampilkan rekaman CCTV seorang pria menangkap bayi itu sepertinya jatuh dari jendela apartemen. Video tersebut telah ditonton hampir dua juta kali dan tampaknya memiliki tanda air Sora yang buram. TikTok belum secara jelas menandai bahwa video tersebut dibuat oleh AI, dan ada ribuan komentator yang mempertanyakan apakah rekaman tersebut asli atau palsu.
Jika pengguna ingin memeriksa gambar dan video untuk metadata C2PA, bebannya hampir seluruhnya ada pada mereka. Mereka harus menyimpan dan kemudian mengunggah file yang didukung ke dalam CAI atau Aplikasi web Adobeatau mereka harus mengunduh dan menjalankan a ekstensi peramban yang akan menandai aset online apa pun yang memiliki metadata dengan ikon “CR”. Standar deteksi berbasis asal yang serupa, seperti Tanda air SynthID Google yang tidak terlihattidak mudah digunakan.
“Rata-rata orang tidak perlu khawatir tentang deteksi deepfake. Hal ini harus dilakukan pada platform dan tim kepercayaan dan keamanan,” Ben Colman, salah satu pendiri dan CEO perusahaan deteksi AI Pembela Realitasdiberi tahu Tepi. “Masyarakat harus mengetahui apakah konten yang mereka konsumsi menggunakan atau tidak menggunakan AI generatif.”
Orang-orang sudah menggunakan Sora 2 untuk menghasilkan video yang meyakinkan tentang ketakutan palsu terhadap bom, anak-anak di zona perang, dan adegan kekerasan dan rasisme. Satu klip ditinjau oleh Penjaga menunjukkan seorang pengunjuk rasa kulit hitam yang mengenakan masker gas, helm, dan kacamata meneriakkan slogan “Anda tidak akan menggantikan kami” yang digunakan oleh kelompok supremasi kulit putih – perintah yang digunakan untuk membuat video tersebut hanyalah “demonstrasi Charlottesville.” OpenAI mencoba mengidentifikasi keluaran Sora dengan tanda air yang muncul di seluruh videonya, tetapi tanda tersebut sangat mudah untuk dihilangkan.
TikTok, Amazon, dan Google belum memberikan komentar Tepi tentang dukungan C2PA. Meta memberitahu Tepi bahwa mereka terus menerapkan C2PA dan mengevaluasi pendekatan pelabelannya seiring berkembangnya AI. OpenAI hanya mengarahkan kami ke postingan blognya yang sedikit dan artikel pusat bantuan tentang dukungan C2PA. Meta, seperti OpenAI, memiliki seluruh platform untuk slop AI-nya, lengkap dengan feed khusus untuk sosial Dan konten videodan kedua perusahaan tersebut mengunggah video yang dihasilkan AI ke media sosial.
X, yang memilikinya kontroversi sendiri tentang deepfake selebriti telanjangmenunjuk kami ke kebijakannya yang seharusnya melarang media yang menipu yang dihasilkan oleh AI, namun tidak memberikan informasi apa pun tentang bagaimana hal ini dimoderasi selain mengandalkan laporan pengguna dan catatan komunitas. X adalah anggota pendiri CAI ketika masih dikenal sebagai Twitter, tetapi menarik diri dari inisiatif tersebut tanpa penjelasan setelah Elon Musk membeli platform tersebut.
Parsons mengatakan bahwa “Adobe tetap berkomitmen untuk membantu meningkatkan adopsi, mendukung upaya kebijakan global, dan mendorong transparansi yang lebih besar di seluruh ekosistem konten.” Namun sistem kehormatan yang diandalkan C2PA sejauh ini tidak berfungsi. Dan posisi OpenAI di C2PA tampaknya munafik karena OpenAI menciptakan alat yang dapat melakukan hal tersebut secara aktif mempromosikan deepfake dari orang-orang nyata, ia menawarkan perlindungan setengah matang terhadap penyalahgunaan yang mereka lakukan. Reality Defender melaporkan bahwa hal itu berhasil melewati perlindungan identitas Sora 2 sepenuhnya kurang dari 24 jam setelah aplikasi diluncurkan, sehingga memungkinkan aplikasi tersebut menghasilkan deepfake selebriti secara konsisten. Sepertinya OpenAI menggunakan keanggotaan C2PA-nya sebagai penutup sementara sebagian besar mengabaikan komitmen yang ada di dalamnya.
Hal yang membuat frustrasi adalah betapapun sulitnya verifikasi AI, Kredensial Konten memang ada manfaatnya. Metadata atribusi yang tersemat dapat membantu seniman dan fotografer mendapatkan kredit yang andal atas karya mereka, misalnya, meskipun seseorang mengambil tangkapan layarnya dan memposting ulang di platform lain. Ada juga alat tambahan yang dapat memperbaikinya. Sistem berbasis inferensi seperti Reality Defender – yang juga merupakan anggota Inisiatif C2PA – menilai kemungkinan bahwa sesuatu dihasilkan atau diedit menggunakan AI dengan memindai tanda-tanda halus dari generasi sintetis. Sistem ini kurang akurat, namun semakin membaik seiring berjalannya waktu dan tidak bergantung pada pembacaan tanda air atau metadata.
“C2PA adalah solusi yang bagus, namun tidak bisa berdiri sendiri.”
“C2PA adalah solusi yang bagus, namun tidak bisa berdiri sendiri,” kata Colman. “Hal ini perlu dilakukan bersamaan dengan alat-alat lain, sehingga jika ada sesuatu yang tidak bisa menangkapnya, maka hal lain bisa terjadi.”
Metadata juga dapat dengan mudah dihapus. Ilmuwan riset Adobe John Collomosse secara terbuka mengakui hal ini di blog CAI tahun lalu, dan mengatakan bahwa hal tersebut merupakan hal biasa bagi media sosial dan platform konten. Kredensial Konten menggunakan teknologi sidik jari gambar untuk mengatasi hal ini, namun semua teknologi dapat dibobol, dan pada akhirnya tidak jelas apakah ada solusi teknis yang benar-benar efektif.
Beberapa perusahaan tampaknya tidak berusaha keras untuk mendukung beberapa alat yang kami miliki. Colman yakin bahwa cara untuk memperingatkan masyarakat umum tentang konten deepfake “akan menjadi lebih buruk sebelum menjadi lebih baik,” namun kita akan melihat perbaikan nyata dalam beberapa tahun ke depan.
Meskipun Adobe memperjuangkan Kredensial Konten sebagai bagian dari solusi terbaik untuk mengatasi deepfake, Adobe menyadari bahwa sistem saja tidak cukup. Untuk satu, Parsons langsung mengakui hal tersebut dalam postingan CAI tahun lalu, mengatakan bahwa sistem ini bukanlah solusi yang tepat.
“Kami melihat kritik yang beredar bahwa hanya mengandalkan metadata aman Kredensial Konten, atau hanya menggunakan tanda air yang tidak terlihat untuk memberi label pada konten AI generatif, mungkin tidak cukup untuk mencegah penyebaran informasi yang salah,” tulis Parsons. “Untuk lebih jelasnya, kami setuju.”
Dan ketika sistem reaktif jelas tidak berfungsi, Adobe juga mendukung upaya undang-undang dan peraturan untuk menemukan solusi proaktif. Perusahaan mengusulkan agar Kongres membentuk a Hak Anti-Peniruan Identitas Federal yang baru (FAIR Act) pada tahun 2023 yang akan melindungi pencipta agar karya atau kemiripannya tidak direplikasi oleh alat AI, dan mendukung Mencegah Penyalahgunaan UU Replika Digital (PADRA) tahun lalu. Upaya serupa, seperti “Tidak Ada Tindakan Palsu” yang bertujuan untuk melindungi orang-orang dari peniruan wajah atau suara AI yang tidak sah, juga telah mendapatkan dukungan dari berbagai platform seperti YouTube.
“Kami melakukan pembicaraan yang baik dengan koalisi bipartisan yang terdiri dari senator dan anggota kongres yang benar-benar mengakui bahwa deepfake adalah masalah semua orang, dan mereka benar-benar berupaya membuat undang-undang yang proaktif, bukan reaktif,” kata Colman. “Kita sudah terlalu lama mengandalkan kecanggihan teknologi untuk mengatur diri sendiri.”
Ikuti topik dan penulis dari cerita ini untuk melihat lebih banyak hal serupa di feed beranda hasil personalisasi Anda dan untuk menerima pembaruan email.
