Jika Anda bertanya Yann LeCunSilicon Valley memiliki masalah pemikiran kelompok. Sejak meninggalkan Meta pada bulan November, peneliti dan tokoh AI telah melakukannya dibidik berdasarkan pandangan ortodoks bahwa model bahasa besar (LLM) akan membawa kita ke kecerdasan umum buatan (AGI), ambang batas di mana komputer menyamai atau melampaui kecerdasan manusia. Semuanya, katanya dalam a wawancara baru-baru initelah “diisi LLM.”
Pada tanggal 21 Januari, startup Logical Intelligence yang berbasis di San Francisco menunjuk LeCun sebagai dewan direksi. Membangun teori dikandung oleh LeCun dua dekade sebelumnya, startup ini mengklaim telah mengembangkan bentuk AI yang berbeda, lebih siap untuk belajar, bernalar, dan mengoreksi diri.
Kecerdasan Logis telah mengembangkan apa yang dikenal sebagai model penalaran berbasis energi (EBM). LLM secara efektif memprediksi kata berikutnya yang paling mungkin muncul secara berurutan, sedangkan EBM menyerap serangkaian parameter—misalnya, aturan sudoku—dan menyelesaikan tugas dalam batasan tersebut. Metode ini seharusnya menghilangkan kesalahan dan memerlukan komputasi yang jauh lebih sedikit, karena lebih sedikit trial and error.
Model debut startup ini, Kona 1.0, dapat memecahkan teka-teki sudoku berkali-kali lebih cepat daripada LLM terkemuka di dunia, meskipun faktanya ia hanya berjalan pada satu GPU Nvidia H100, menurut pendiri dan CEO Eve Bodnia, dalam sebuah wawancara dengan WIRED. (Dalam pengujian ini, LLM diblokir dari penggunaan kemampuan pengkodean yang memungkinkan mereka “memaksa” teka-teki tersebut.)
Logical Intelligence mengklaim sebagai perusahaan pertama yang membangun EBM yang berfungsi, hingga saat ini hanya sekedar imajinasi akademis. Idenya adalah agar Kona dapat mengatasi permasalahan pelik seperti mengoptimalkan jaringan energi atau mengotomatiskan proses manufaktur yang canggih, dalam kondisi yang tidak menoleransi kesalahan. “Tak satu pun dari tugas-tugas ini berhubungan dengan bahasa. Itu semua kecuali bahasa,” kata Bodnia.
Bodnia mengharapkan Logical Intelligence untuk bekerja sama dengan AMI Labs, sebuah startup berbasis di Paris yang baru-baru ini diluncurkan oleh LeCun, yang sedang mengembangkan bentuk lain dari AI—yang disebut model dunia, yang dimaksudkan untuk mengenali dimensi fisik, menunjukkan memori persisten, dan mengantisipasi hasil dari tindakannya. Jalan menuju AGI, menurut Bodnia, dimulai dengan melapisi berbagai jenis AI ini: LLM akan berinteraksi dengan manusia dalam bahasa alami, EBM akan melakukan tugas-tugas penalaran, sementara model dunia akan membantu robot mengambil tindakan dalam ruang 3D.
Bodnia berbicara dengan WIRED melalui konferensi video dari kantornya di San Francisco minggu ini. Wawancara berikut telah diedit untuk kejelasan dan panjangnya.
WIRED: Saya harus bertanya tentang Yann. Ceritakan kepada saya tentang bagaimana Anda bertemu, perannya dalam mengarahkan penelitian di Logical Intelligence, dan apa saja perannya di dewan direksi.
Bodnia: Yann memiliki banyak pengalaman akademis sebagai profesor di New York University, namun dia telah mengenal industri nyata melalui Meta dan kolaborator lainnya selama bertahun-tahun. Dia telah melihat kedua dunia tersebut.
Bagi kami, dialah satu-satunya ahli dalam model berbasis energi dan berbagai jenis arsitektur terkait. Saat kami mulai mengerjakan EBM ini, dialah satu-satunya orang yang dapat saya ajak bicara. Dia membantu tim teknis kami untuk menavigasi arah tertentu. Dia sangat, sangat aktif. Tanpa Yann, saya tidak dapat membayangkan kami berkembang secepat ini.
Yann blak-blakan tentang potensi keterbatasan LLM dan arsitektur model mana yang paling mungkin memajukan penelitian AI. Dimana kamu berdiri?
LLM adalah permainan menebak yang besar. Itu sebabnya Anda membutuhkan banyak komputasi. Anda mengambil jaringan saraf, memberinya semua sampah dari internet, dan mencoba mengajarkannya bagaimana orang berkomunikasi satu sama lain.
Saat Anda berbicara, bagi saya bahasa Anda cerdas, tetapi bukan karena bahasanya. Bahasa adalah manifestasi dari apa pun yang ada di otak Anda. Penalaran saya terjadi di semacam ruang abstrak yang saya pecahkan ke dalam bahasa. Saya merasa seperti orang-orang mencoba merekayasa balik kecerdasan dengan meniru kecerdasan.
Bayangkan pergi ke sebuah kuliah dan sang profesor menunjukkan kepada Anda beberapa matematika dasar, lalu alih-alih mencoba memahami konsep tersebut—seperti cara mengalikan—Anda memperhatikan bahasa sang profesor. [to learn which word follows the previous word.]
Mengapa tidak fokus pada AI yang tidak bergantung pada bahasa, yang bukan permainan tebak-tebakan?
Bagaimana cara EBM menangani tugas secara berbeda dari LLM?
Model berbasis energi mampu mengoreksi diri sendiri.
Analogi terbaiknya adalah mendaki Everest. Ada banyak jalur yang berbeda, dan setiap musim jalurnya mungkin berbeda karena cuaca. Anda harus mengevaluasi secara real time berapa banyak lalu lintas yang akan terjadi, berapa banyak oksigen yang Anda miliki.
Jika Anda seorang pendaki LLM, Anda tidak melihat keseluruhan peta. Anda menetapkan satu arah pada satu waktu dan terus berjalan. Jika ada lubang, Anda akan melompat dan mati. LLM tidak diperbolehkan menyimpang sampai mereka menyelesaikan tugas.
EBM adalah model penalaran yang benar. Saat Anda pergi ke gunung, Anda memerlukan kombinasi data dari pengalaman Anda dan apa yang Anda pelajari secara real time. Anda dapat melihat ke berbagai arah, pilih salah satu, dan jika Anda menemukan lubang, coba cara lain. Tugas selalu ada di benak Anda.
Jika bukan bahasa, jenis data apa yang membentuk kumpulan data pelatihan untuk EBM?
Itu bisa berupa apa saja.
Model kami sangat kecil, di bawah 200 juta parameter, sehingga memungkinkan kami melatihnya dengan sangat cepat. Kami tidak berusaha membuat satu model untuk segalanya—satu otak untuk semua. Kami membuat model yang lebih kecil untuk setiap bisnis individual. Datanya akan berbeda untuk setiap klien.
Pelatihan ini sangat berbeda dari LLM tradisional. Kami memberikannya sebagian data, yang disebut data renggang. Model ini mampu mengekstrak data lengkap dari data renggang. Bayangkan saya menunjukkan cara menggambar kucing dan Anda dapat memperkirakan cara menggambar anjing. Kami melihat ekstrapolasi semacam ini.
Bagaimana sebuah bisnis dapat menerapkan EBM?
Saya terutama tertarik pada sektor energi. Dalam waktu nyata, Anda harus memproses banyak variabel dan mendistribusikan energi sesuai dengan itu. Saat ini, ia hanya membuang sebagian besar energi, sebagian digunakan dan sebagian lagi tidak. Orang-orang mengelolanya, tapi kami dapat mengotomatiskannya.
Kami juga tertarik pada farmakologi—penemuan obat, kanker, dan sebagainya. Semua ini memerlukan pengolahan data yang rumit. Kami juga berbicara dengan salah satu produsen chip terbesar dan salah satu pusat data terbesar.
Apakah Anda mengharapkan Logical Intelligence untuk melengkapi atau bersaing dengan AMI Labs, startup Yann yang berbasis di Paris, yang juga mengembangkan arsitektur model alternatif?
Perusahaan kami fokus pada pembangunan otak. AMI berfokus pada model dunia, di mana Anda menempatkan AI dalam skenario dunia nyata dan menggunakan data untuk menavigasi dunia dan membuat prediksi. Saya akan membiarkan mereka berbicara sendiri, tapi kami berkomitmen untuk bekerja sama.
Anda memilih untuk tidak membuat model Anda menjadi sumber terbuka, Kona. Mengapa demikian?
Kami akan mempertimbangkan untuk membuat sesuatu menjadi open source pada akhirnya. Namun saya merasa sangat bertanggung jawab atas apa yang saya buat, dan ingin memastikan bahwa saya memahaminya dengan cukup baik sebelum saya mempublikasikannya ke dunia nyata.
Ini merupakan langkah nyata menuju AGI. Anda ingin bertanya pada diri sendiri seberapa amannya, apa saja kemungkinannya, dan di mana batasannya. Saya hanya ingin menjadi orang tua yang bertanggung jawab.
Istilah AGI telah menjadi sangat populer; Saya yakin Anda tidak menggunakannya dengan enteng. Bisakah Anda menjelaskan mengapa menurut Anda EBM mewakili jalan menuju AGI?
Saya melihat AGI sebagai ekosistem model AI yang kompatibel dan melayani dunia dan manusia dengan cara yang paling produktif dan aman. Itu membutuhkan kemampuan menyelaraskan diri, menilai diri sendiri, membuat rencana. Ini juga berarti tidak ada ruang untuk halusinasi.
Ada tahapan berbeda dalam evolusi AGI. Kita berada pada tahap yang sangat kecil.
Anda sedang mencari pendanaan saat ini. Bagaimana Anda akan menggunakan uang itu?
Semuanya perlu ditingkatkan. Model ini perlu diperluas. Kami ingin mencoba kasus penggunaan yang berbeda, namun hal ini memerlukan tim yang berbeda untuk bekerja dengan mitra yang berbeda.
Saya juga merasa bahwa bagian dari tugas saya adalah mendidik masyarakat bahwa ada berbagai bentuk AI. Tidak harus AI berbasis teks. Orang-orang berkata, “Oh, kita berada dalam gelembung AI.” Tapi kami tidak. Kami berada dalam gelembung LLM.
