Sebuah ledakan dari sisi bangunan bata tua. Sebuah sepeda yang jatuh di persimpangan kota. Seekor kecoak di dalam kotak makanan siap saji. Butuh waktu kurang dari 10 detik untuk membuat masing-masing gambar ini dengan alat Reimagine di Editor Ajaib Pixel 9. Foto-foto ini tajam. Berwarna penuh. Foto-foto ini sangat presisi. Tidak ada latar belakang yang kabur, tidak ada jejak jari keenam. Foto-foto ini sangat meyakinkan, dan semuanya sangat palsu.
Siapa pun yang membeli Pixel 9 — model terbaru ponsel andalan Google, tersedia mulai minggu ini — akan memiliki akses ke antarmuka pengguna yang paling mudah dan paling mudah untuk kebohongan tingkat atas, yang terpasang langsung di perangkat seluler mereka. Ini hampir pasti akan menjadi norma, dengan fitur serupa yang sudah ada tersedia pada perangkat pesaing dan akan segera diluncurkan pada perangkat lain dalam waktu dekat. Ketika telepon pintar “berfungsi dengan baik”, biasanya itu hal yang baik; di sini, masalahnya justru ada di sana.
Fotografi telah digunakan dalam layanan penipuan untuk . (Mempertimbangkan Foto-foto roh Victoriaitu foto monster Loch Ness yang terkenalatau Pembersihan fotografi oleh Stalin (kawan-kawan yang dibersihkan dari dunia nyata.) Namun, akan menjadi tidak jujur jika mengatakan bahwa foto-foto telah tidak pernah dianggap sebagai bukti yang dapat diandalkan. Setiap orang yang membaca artikel ini pada tahun 2024 tumbuh di era di mana foto, secara default, merupakan representasi kebenaran. Adegan yang dipentaskan dengan efek film, manipulasi foto digital, atau yang lebih baru, deepfake — ini adalah potensi penipuan yang perlu diperhitungkan, tetapi itu adalah pengecualian dalam ranah kemungkinan. Diperlukan pengetahuan khusus dan alat khusus untuk menyabotase kepercayaan intuitif pada sebuah foto. Palsu adalah pengecualian, bukan aturan.
Jika aku mengatakan Lapangan TiananmenAnda kemungkinan besar akan membayangkan foto yang sama seperti saya. Hal ini juga berlaku untuk Abu Ghraib atau gadis napalm. Gambar-gambar ini telah menggambarkan perang dan revolusi; gambar-gambar ini telah merangkum kebenaran hingga tingkat yang mustahil diungkapkan sepenuhnya. Tidak ada alasan untuk mengungkapkan mengapa foto-foto ini penting, mengapa foto-foto ini begitu penting, mengapa kami sangat menghargainya. Kepercayaan kami pada fotografi begitu dalam sehingga ketika kami menghabiskan waktu membahas kebenaran dalam gambar, lebih penting untuk menekankan bahwa terkadang foto-foto itu mungkin palsu.
Ini semua akan berubah — asumsi umum tentang sebuah foto akan berubah menjadi palsu, karena membuat foto palsu yang realistis dan dapat dipercaya sekarang menjadi hal yang mudah dilakukan. Kita tidak siap dengan apa yang terjadi setelahnya.
Tidak ada seorang pun di Bumi saat ini yang pernah hidup di dunia di mana foto bukan merupakan titik tumpu konsensus sosial — selama kita semua ada di sini, foto membuktikan sesuatu telah terjadi. Pertimbangkan semua cara di mana kebenaran yang diasumsikan dari sebuah foto, sebelumnya, telah memvalidasi kebenaran pengalaman Anda. Benturan yang sudah ada sebelumnya di spatbor mobil sewaan Anda. Kebocoran di langit-langit Anda. Kedatangan sebuah paket. Kecoak yang sebenarnya, bukan buatan AI di tempat makan Anda. Ketika kebakaran hutan melanda lingkungan tempat tinggal Anda, bagaimana Anda mengomunikasikan kepada teman dan kenalan tentang tebalnya asap di luar?
Dan hingga kini, beban pembuktian sebagian besar berada di tangan mereka yang menyangkal kebenaran sebuah foto untuk membuktikan klaim mereka. Penganut teori bumi datar tidak sejalan dengan konsensus sosial bukan karena mereka tidak memahami astrofisika — berapa banyak dari kita yang benar-benar memahami astrofisika? — tetapi karena mereka harus terlibat dalam serangkaian pembenaran yang semakin rumit tentang mengapa foto dan video tertentu tidak nyata. Mereka harus menciptakan konspirasi negara yang luas untuk menjelaskan hasil foto satelit yang terus-menerus yang menangkap kelengkungan Bumi. Mereka harus menciptakan panggung suara untuk pendaratan di Bulan tahun 1969.
Kita berasumsi bahwa beban pembuktian ada di tangan mereka. Di era Pixel 9, mungkin ada baiknya kita mulai memoles astrofisika kita.
Sebagian besar, gambar rata-rata yang dibuat oleh alat-alat AI ini, dengan sendirinya, akan cukup tidak berbahaya — pohon tambahan di latar belakang, buaya di restoran pizza, kostum konyol yang disisipkan di atas kucing. Secara keseluruhan, banjir besar ini mengubah cara kita memperlakukan konsep foto secara keseluruhan, dan hal itu sendiri memiliki dampak yang luar biasa. Pertimbangkan, misalnya, bahwa dekade terakhir telah menyaksikan pergolakan sosial yang luar biasa di Amerika Serikat yang dipicu oleh video kasar tentang kebrutalan polisiKetika pihak berwenang mengaburkan atau menyembunyikan kenyataan, video-video ini mengungkapkan kebenaran.
Seruan terus-menerus “Berita Palsu!” dari kalangan Trumpist menandakan dimulainya era omong kosong yang tak terkendali ini, di mana dampak kebenaran akan diredam oleh semburan kebohongan. Abu Ghraib berikutnya akan terkubur di bawah lautan kejahatan perang yang dihasilkan AI. George Floyd berikutnya akan luput dari perhatian dan tidak terbukti benar.
Anda sudah bisa melihat bentuk apa yang akan datang. Di Sidang kasus Kyle Rittenhousepihak pembela mengklaim bahwa fitur pinch-to-zoom Apple memanipulasi foto, dan berhasil membujuk hakim untuk menempatkan beban pembuktian berada di tangan jaksa penuntut untuk menunjukkan bahwa rekaman iPhone yang diperbesar itu bukan Dimanipulasi oleh AI. Baru-baru ini, Donald Trump diklaim secara salah bahwa foto rapat umum Kamala Harris yang dihadiri banyak orang adalah hasil rekayasa AI — sebuah klaim yang hanya mungkin dibuat karena orang-orang mampu mempercayainya.
Bahkan sebelum AI, kami yang berkecimpung di media telah bekerja dalam posisi bertahan, meneliti detail dan asal-usul setiap gambar, memeriksa konteks yang menyesatkan atau manipulasi foto. Bagaimanapun, setiap peristiwa berita besar disertai dengan serbuan misinformasi. Namun, pergeseran paradigma yang akan datang melibatkan sesuatu yang jauh lebih mendasar daripada kecurigaan terus-menerus yang terkadang disebut literasi digital.
Google memahami betul apa yang dilakukannya terhadap foto sebagai sebuah institusi — dalam sebuah wawancara dengan Berkabelmanajer produk grup untuk kamera Pixel menggambarkan alat pengeditan sebagai “bantuan[ing] Anda menciptakan momen yang sesuai dengan cara Anda mengingatnya, yang autentik bagi ingatan Anda dan konteks yang lebih luas, tetapi mungkin tidak autentik hingga sepersekian detik tertentu.” Sebuah foto, di dunia ini, tidak lagi menjadi pelengkap bagi ingatan manusia yang bisa salah, tetapi malah menjadi cerminnya. Dan saat foto-foto menjadi tidak lebih dari sekadar halusinasi yang nyata, hal-hal paling bodoh pun akan berubah menjadi pertikaian di ruang sidang atas reputasi para saksi dan keberadaan bukti yang mendukung.
Erosi konsensus sosial ini dimulai sebelum Pixel 9, dan tidak akan dilanjutkan oleh Pixel 9 saja. Namun, kemampuan AI baru pada ponsel ini perlu diperhatikan bukan hanya karena hambatan untuk masuknya sangat rendah, tetapi juga karena perlindungan yang kami temukan sangat lemah. Standar watermarking gambar AI yang diusulkan industri ini terperosok dalam standar biasa yang membosankandan Google sendiri sistem penandaan air AI yang sangat dibanggakan tidak terlihat dimana pun saat The Verge mencoba Magic Editor milik Pixel 9. Foto yang dimodifikasi dengan alat Reimagine hanya memiliki sederet metadata yang dapat dihapus yang ditambahkan ke dalamnya. (Kerapuhan bawaan metadata semacam ini seharusnya diatasi dengan penemuan Google berupa tanda air SynthID yang secara teoritis tidak dapat dihapus.) Google memberi tahu kami bahwa output Pixel Studio — generator perintah murni yang lebih mirip dengan DALL-E — akan ditandai dengan tanda air SynthID; ironisnya, kami menemukan kemampuan alat Reimagine milik Magic Editor, yang memodifikasi foto yang sudah ada, jauh lebih mengkhawatirkan.
Gambar: Cath Virginia / The Verge, Neil Armstrong, Dorothea Lange, Joe Rosenthal
Google mengklaim Pixel 9 tidak akan menjadi pabrik omong kosong tanpa batas, tetapi tidak memberikan jaminan substantif. “Kami merancang alat AI Generatif kami untuk menghormati maksud perintah pengguna dan itu berarti alat tersebut dapat membuat konten yang dapat menyinggung ketika diperintahkan oleh pengguna untuk melakukannya,” kata Alex Moriconi, manajer komunikasi Google, kepada The Verge dalam email. “Meskipun demikian, tidak semuanya bisa dilakukan. Kami memiliki kebijakan dan Persyaratan Layanan yang jelas tentang jenis konten yang kami izinkan dan yang tidak kami izinkan, dan membangun pembatas untuk mencegah penyalahgunaan. Terkadang, beberapa perintah dapat menantang pembatas alat ini dan kami tetap berkomitmen untuk terus meningkatkan dan menyempurnakan pengamanan yang kami terapkan.”
Itu kebijakan adalah apa yang Anda harapkan — misalnya, Anda tidak dapat menggunakan layanan Google untuk memfasilitasi kejahatan atau menghasut kekerasan. Beberapa perintah yang dicoba mengembalikan pesan kesalahan umum, “Magic Editor tidak dapat menyelesaikan suntingan ini. Coba ketik sesuatu yang lain.” (Namun, Anda dapat melihat di seluruh cerita ini, beberapa perintah yang mengkhawatirkan berhasil.) Namun, jika dipikir-pikir, moderasi konten yang standar tidak akan menyelamatkan foto dari kehancurannya yang akan segera terjadi sebagai tanda kebenaran.
Kita pernah hidup di era di mana fotografi adalah jalan pintas menuju realitas, mengetahui hal-haluntuk memiliki bukti yang kuat. Itu adalah alat yang sangat berguna untuk menjelajahi dunia di sekitar kita. Kita sekarang melompat maju ke masa depan di mana kenyataan kurang dapat diketahui. Perpustakaan Alexandria yang hilang dapat dimasukkan ke dalam kartu microSD di Nintendo Switch saya, namun teknologi canggih adalah telepon genggam yang memuntahkan kebohongan sebagai fitur bonus kecil yang menyenangkan.
Kami adalah kacau.







