Model AI Ini Dapat Mengintuisi Cara Kerja Dunia Fisik

Versi aslinya dari cerita ini muncul di Majalah Kuanta.

Berikut ini tes untuk bayi: Tunjukkan pada mereka segelas air di atas meja. Sembunyikan di balik papan kayu. Sekarang gerakkan papan ke arah kaca. Jika papan terus melewati kaca, seolah-olah kaca itu tidak ada, apakah mereka terkejut? Banyak anak berusia 6 bulan, dan pada usia satu tahun, hampir semua anak memiliki gagasan intuitif tentang kekekalan suatu benda, yang dipelajari melalui observasi. Sekarang beberapa model kecerdasan buatan juga melakukan hal yang sama.

Para peneliti telah mengembangkan sistem AI yang mempelajari dunia melalui video dan menunjukkan gagasan “kejutan” ketika disajikan dengan informasi yang bertentangan dengan pengetahuan yang telah diperoleh.

Model yang dibuat oleh Meta dan disebut Video Joint Embedding Predictive Architecture (V-JEPA) ini tidak membuat asumsi apa pun tentang fisika dunia yang terkandung dalam video. Meskipun demikian, hal ini dapat mulai memahami cara kerja dunia.

“Klaim mereka, secara apriori, sangat masuk akal, dan hasilnya sangat menarik,” katanya Micha Heilbronseorang ilmuwan kognitif di Universitas Amsterdam yang mempelajari bagaimana otak dan sistem buatan memahami dunia.

Abstraksi Lebih Tinggi

Seperti yang diketahui oleh para insinyur yang membuat mobil self-driving, mungkin sulit untuk membuat sistem AI dapat memahami apa yang dilihatnya dengan andal. Sebagian besar sistem yang dirancang untuk “memahami” video guna mengklasifikasikan kontennya (“seseorang yang bermain tenis”, misalnya) atau mengidentifikasi kontur suatu objek—misalnya, mobil di depan—berfungsi dalam apa yang disebut “ruang piksel”. Model ini pada dasarnya memperlakukan setiap piksel dalam video dengan tingkat kepentingan yang sama.

Namun model ruang piksel ini memiliki keterbatasan. Bayangkan mencoba memahami jalan di pinggiran kota. Jika pemandangannya menampilkan mobil, lampu lalu lintas, dan pepohonan, modelnya mungkin terlalu fokus pada detail yang tidak relevan seperti gerakan dedaunan. Mungkin tidak sesuai dengan warna lampu lalu lintas, atau posisi mobil di dekatnya. “Saat Anda melihat gambar atau video, Anda tidak ingin mengerjakannya [pixel] ruang karena terlalu banyak detail yang tidak ingin Anda modelkan,” katanya Randall Balestrieroseorang ilmuwan komputer di Brown University.

Arsitektur V-JEPA yang dirilis pada tahun 2024 dirancang untuk menghindari masalah ini. Meskipun spesifikasi berbagai jaringan saraf tiruan yang membentuk V-JEPA rumit, konsep dasarnya sederhana.

Sistem ruang piksel biasa menjalani proses pelatihan yang melibatkan penyembunyian beberapa piksel dalam bingkai video dan melatih jaringan saraf untuk memprediksi nilai piksel yang terselubung tersebut. V-JEPA juga menutupi sebagian frame video. Namun ia tidak memprediksi apa yang ada di balik wilayah yang ditutupi pada tingkat piksel individual. Sebaliknya, ia menggunakan tingkat abstraksi yang lebih tinggi, atau representasi “laten”, untuk memodelkan konten.

Representasi laten hanya menangkap detail penting tentang data. Misalnya, dengan memberikan gambar garis dari berbagai silinder, jaringan saraf yang disebut encoder dapat belajar mengubah setiap gambar menjadi angka yang mewakili aspek dasar setiap silinder, seperti tinggi, lebar, orientasi, dan lokasinya. Dengan melakukan hal ini, informasi yang terkandung dalam ratusan atau ribuan piksel diubah menjadi beberapa angka—representasi laten. Jaringan saraf terpisah yang disebut decoder kemudian belajar mengubah detail penting silinder menjadi gambar silinder.

V-JEPA berfokus pada penciptaan dan reproduksi representasi laten. Pada tingkat tinggi, arsitektur dibagi menjadi tiga bagian: encoder 1, encoder 2, dan prediktor. Pertama, algoritme pelatihan mengambil sekumpulan bingkai video, menutupi kumpulan piksel yang sama di semua bingkai, dan memasukkan bingkai tersebut ke dalam pembuat enkode 1. Terkadang, beberapa bingkai terakhir dari video disamarkan sepenuhnya. Encoder 1 mengubah bingkai bertopeng menjadi representasi laten. Algoritme ini juga memasukkan frame yang terbuka kedoknya secara keseluruhan ke dalam encoder 2, yang mengubahnya menjadi kumpulan representasi laten lainnya.

Sekarang sang prediktor mulai bertindak. Ia menggunakan representasi laten yang dihasilkan oleh encoder 1 untuk memprediksi keluaran encoder 2. Intinya, dibutuhkan representasi laten yang dihasilkan dari frame bertopeng dan memprediksi representasi laten yang dihasilkan dari frame yang tidak kedok. Dengan menciptakan kembali representasi laten yang relevan, dan bukan piksel yang hilang dari sistem sebelumnya, model belajar melihat mobil di jalan dan tidak mempermasalahkan dedaunan di pepohonan.

“Hal ini memungkinkan model untuk membuang… informasi yang tidak perlu dan fokus pada aspek yang lebih penting dari video,” katanya Quentin Garridoseorang ilmuwan peneliti di Meta. “Membuang informasi yang tidak perlu sangatlah penting dan merupakan sesuatu yang ingin dilakukan V-JEPA secara efisien.”

Setelah tahap pra-pelatihan ini selesai, langkah selanjutnya adalah menyesuaikan V-JEPA untuk menyelesaikan tugas-tugas tertentu seperti mengklasifikasikan gambar atau mengidentifikasi tindakan yang digambarkan dalam video. Fase adaptasi ini memerlukan beberapa data yang diberi label manusia. Misalnya, video harus diberi tag dengan informasi tentang tindakan yang terkandung di dalamnya. Adaptasi untuk tugas akhir memerlukan lebih sedikit data berlabel dibandingkan jika seluruh sistem telah dilatih secara end to end untuk tugas hilir tertentu. Selain itu, jaringan encoder dan prediktor yang sama dapat diadaptasi untuk tugas yang berbeda.

Meniru Intuisi

Pada bulan Februari, tim V-JEPA dilaporkan bagaimana sistem mereka memahami sifat-sifat fisik intuitif dunia nyata—sifat-sifat seperti kekekalan objek, keteguhan bentuk dan warna, serta efek gravitasi dan tumbukan. Pada tes yang disebut IntFisyang memerlukan model AI untuk mengidentifikasi apakah tindakan yang terjadi dalam video masuk akal atau tidak, V-JEPA hampir 98 persen akurat. Model terkenal yang memprediksi ruang piksel hanya sedikit lebih baik daripada kebetulan.

Tim V-JEPA juga secara eksplisit mengukur “kejutan” yang ditunjukkan oleh model mereka ketika prediksinya tidak sesuai dengan pengamatan. Mereka mengambil model V-JEPA yang telah dilatih sebelumnya pada video alami, memberinya video baru, lalu menghitung secara matematis perbedaan antara apa yang diharapkan V-JEPA dalam bingkai video berikutnya dan apa yang sebenarnya terjadi. Tim menemukan bahwa kesalahan prediksi meningkat ketika frame masa depan berisi peristiwa yang secara fisik tidak mungkin terjadi. Misalnya, jika sebuah bola menggelinding di belakang objek yang tertutup dan menghilang untuk sementara dari pandangan, model akan menghasilkan kesalahan ketika bola tidak muncul kembali dari belakang objek di frame berikutnya. Reaksinya serupa dengan respons intuitif yang terlihat pada bayi. V-JEPA bisa dibilang kaget.

Heilbron terkesan dengan kemampuan V-JEPA. “Kami mengetahui dari literatur perkembangan bahwa bayi tidak memerlukan banyak paparan untuk mempelajari jenis fisika intuitif ini,” katanya. “Sangat menarik bahwa mereka menunjukkan bahwa hal itu dapat dipelajari, dan Anda tidak harus datang dengan semua bawaan bawaan ini.”

Karl Fristonseorang ahli saraf komputasi di University College London, berpendapat bahwa V-JEPA berada di jalur yang benar dalam meniru “cara otak kita mempelajari dan memodelkan dunia”. Namun, masih terdapat kekurangan pada beberapa elemen mendasar. “Apa yang hilang darinya [the] proposal saat ini merupakan pengkodean ketidakpastian yang tepat,” katanya. Misalnya, jika informasi dalam kerangka masa lalu tidak cukup untuk memprediksi kerangka masa depan secara akurat, maka prediksi tersebut menjadi tidak pasti, dan V-JEPA tidak mengukur ketidakpastian ini.

Pada bulan Juni, tim V-JEPA di Meta merilis model 1,2 miliar parameter generasi berikutnya, V-JEPA 2yang telah dilatih sebelumnya pada 22 juta video. Mereka juga menerapkan model tersebut pada robotika: Mereka menunjukkan cara menyempurnakan jaringan prediktor baru hanya dengan menggunakan data robot berdurasi sekitar 60 jam (termasuk video robot dan informasi tentang tindakannya), kemudian menggunakan model yang telah disempurnakan tersebut untuk merencanakan tindakan robot selanjutnya. “Model seperti itu dapat digunakan untuk menyelesaikan tugas-tugas manipulasi robot sederhana dan membuka jalan bagi pekerjaan masa depan ke arah ini,” kata Garrido.

Untuk mendorong V-JEPA 2, tim merancang tolok ukur yang lebih sulit untuk pemahaman fisika intuitif, yang disebut IntFis 2. V-JEPA 2 dan model lainnya hanya menghasilkan sedikit lebih baik daripada peluang pada pengujian yang lebih berat ini. Salah satu alasannya, kata Garrido, adalah V-JEPA 2 hanya dapat menangani video berdurasi beberapa detik sebagai masukan dan memprediksi beberapa detik ke depan. Apa pun yang lebih lama akan dilupakan. Anda dapat membandingkannya lagi dengan bayi, tetapi Garrido memiliki pemikiran yang berbeda. “Dalam arti tertentu, ingatan model ini mengingatkan kita pada ikan mas,” katanya.

Cerita asli dicetak ulang dengan izin dari Majalah Kuanta, publikasi editorial independen dari Yayasan Simons yang misinya adalah untuk meningkatkan pemahaman masyarakat terhadap sains dengan meliput perkembangan dan tren penelitian di bidang matematika serta ilmu fisika dan kehidupan.