Meta merilis model AI open-source terbesar dan terbaik sejauh ini

Pada bulan April, Meta menggoda publik bahwa mereka tengah menggarap sesuatu yang pertama bagi industri AI: model sumber terbuka dengan kinerja yang menyamai model privat terbaik dari perusahaan seperti OpenAI.

Kini, model tersebut telah hadir. Meta merilis Llama 3.1, model AI open-source terbesar yang pernah ada, yang diklaim perusahaan tersebut lebih unggul GPT-4o Dan Soneta Claude 3.5 karya Antropik pada beberapa tolok ukur. Ia juga membuat asisten Meta AI berbasis Llama tersedia di lebih banyak negara dan bahasa sambil menambahkan fitur yang dapat menghasilkan gambar berdasarkan kemiripan spesifik seseorang. CEO Mark Zuckerberg sekarang memprediksi bahwa Meta AI akan menjadi asisten yang paling banyak digunakan pada akhir tahun ini, melampaui ChatGPT.

Llama 3.1 secara signifikan lebih kompleks dibandingkan model Llama 3 yang lebih kecil yang keluar beberapa bulan yang laluVersi terbesar memiliki 405 miliar parameter dan dilatih dengan lebih dari 16.000 Nvidia GPU H100 yang sangat mahalMeta tidak mengungkapkan biaya pengembangan Llama 3.1, tetapi berdasarkan biaya chip Nvidia saja, dapat dipastikan biayanya mencapai ratusan juta dolar.

Jadi, mengingat biayanya, mengapa Meta terus memberikan Llama dengan lisensi yang hanya memerlukan persetujuan dari perusahaan dengan ratusan juta pengguna? sebuah surat yang diterbitkan di blog perusahaan MetaZuckerberg berpendapat bahwa model AI sumber terbuka akan menyalip — dan sudah berkembang lebih cepat daripada — model kepemilikan, mirip dengan bagaimana Linux menjadi sistem operasi sumber terbuka yang menggerakkan sebagian besar ponsel, server, dan gadget saat ini.

Ia membandingkan investasi Meta dalam AI sumber terbuka dengan Open Compute Project sebelumnya, yang menurutnya menghemat “miliaran” dana perusahaan dengan meminta perusahaan luar seperti HP membantu meningkatkan dan menstandardisasi desain pusat data Meta saat membangun kapasitasnya sendiri. Ke depannya, ia mengharapkan dinamika yang sama terjadi pada AI, dengan menulis, “Saya yakin rilis Llama 3.1 akan menjadi titik balik dalam industri tempat sebagian besar pengembang mulai menggunakan sumber terbuka.”

Untuk membantu Llama 3.1 beredar di dunia, Meta bekerja sama dengan lebih dari dua lusin perusahaan, termasuk Microsoft, Amazon, Google, Nvidia, dan Databricks, untuk membantu para pengembang menerapkan versi mereka sendiri. Meta mengklaim bahwa Llama 3.1 menghabiskan biaya sekitar setengah dari biaya GPT-4o OpenAI untuk menjalankannya dalam tahap produksi. Meta merilis bobot model sehingga perusahaan dapat melatihnya pada data khusus dan menyesuaikannya dengan keinginan mereka.

Tidak mengherankan, Meta tidak banyak bicara tentang data yang digunakannya untuk melatih Llama 3.1. Orang-orang yang bekerja di perusahaan AI mengatakan mereka tidak mengungkapkan informasi ini karena merupakan rahasia dagang, sementara para kritikus mengatakan ini adalah taktik untuk menunda serangan gugatan hak cipta yang tak terelakkan yang akan datang.

Meta akan mengatakan bahwa mereka menggunakan data sintetis, atau data yang dihasilkan oleh model, bukan manusia, agar versi Llama 3.1 dengan parameter 405 miliar dapat meningkatkan versi yang lebih kecil, yaitu 70 miliar dan 8 miliar. Ahmad Al-Dahle, VP AI generatif Meta, memprediksi bahwa Llama 3.1 akan populer di kalangan pengembang sebagai “guru untuk model yang lebih kecil yang kemudian diterapkan” dengan “cara yang lebih hemat biaya.”

Ketika saya bertanya apakah Meta setuju dengan konsensus yang berkembang bahwa industri ini kehabisan data pelatihan berkualitas untuk model, Al-Dahle menyarankan ada batas yang akan datang, meskipun mungkin lebih jauh dari yang dipikirkan beberapa orang. “Kami benar-benar berpikir kami memiliki beberapa lagi [training] berjalan,” katanya. “Namun sulit untuk mengatakannya.”

Untuk pertama kalinya, pengujian red teaming (atau adversarial testing) Meta terhadap Llama 3.1 mencakup pencarian kasus penggunaan siber dan biokimia yang potensial. Alasan lain untuk menguji model tersebut lebih giat adalah apa yang Meta gambarkan sebagai perilaku “agentik” yang muncul.

Misalnya, Al-Dahle memberi tahu saya bahwa Llama 3.1 mampu terintegrasi dengan API mesin pencari untuk “mengambil informasi dari internet berdasarkan permintaan yang rumit dan memanggil beberapa alat secara berurutan untuk menyelesaikan tugas Anda.” Contoh lain yang diberikannya adalah meminta model untuk memetakan jumlah rumah yang terjual di Amerika Serikat selama lima tahun terakhir. “Model ini dapat mengambil [web] mencari Anda dan menghasilkan kode Python dan mengeksekusinya.”

Implementasi Llama milik Meta sendiri adalah asisten AI-nya, yang diposisikan sebagai chatbot serbaguna seperti ChatGPT dan dapat ditemukan di hampir setiap bagian Instagram, Facebook, dan WhatsApp. Mulai minggu ini, Llama 3.1 akan dapat diakses pertama kali melalui WhatsApp dan situs web Meta AI di AS, diikuti oleh Instagram dan Facebook dalam beberapa minggu mendatang. Aplikasi ini juga sedang diperbarui untuk mendukung bahasa-bahasa baru, termasuk Prancis, Jerman, Hindi, Italia, dan Spanyol.

Sementara model parameter 405 miliar tercanggih Llama 3.1 gratis untuk digunakan di Meta AI, asisten akan mengalihkan Anda ke model 70 miliar yang lebih terbatas setelah melampaui jumlah permintaan yang tidak ditentukan dalam minggu tertentu. Ini menunjukkan model 405 miliar terlalu mahal untuk dijalankan Meta dalam skala penuh. Juru bicara Jon Carvill memberi tahu saya bahwa perusahaan akan memberikan informasi lebih lanjut tentang ambang batas permintaan setelah menilai penggunaan awal.

Fitur baru “Bayangkan Saya” di Meta AI memindai wajah Anda melalui kamera ponsel untuk kemudian memungkinkan Anda memasukkan kemiripan Anda ke dalam gambar yang dihasilkannya. Dengan mengambil kemiripan Anda dengan cara ini dan bukan melalui foto di profil Anda, Meta diharapkan dapat menghindari terciptanya mesin deepfake. Perusahaan melihat permintaan orang-orang yang ingin membuat lebih banyak jenis media AI dan membagikannya ke feed mereka, meskipun itu berarti mengaburkan batas antara apa yang nyata dan tidak.

Meta AI juga akan hadir di headset Quest dalam beberapa minggu mendatang, menggantikan antarmuka perintah suaranya. Seperti implementasi di kacamata Meta Ray-BanAnda akan dapat menggunakan Meta AI di Quest untuk mengidentifikasi dan mempelajari apa yang Anda lihat saat berada di mode passthrough headset yang menunjukkan dunia nyata melalui layar.

Selain prediksi Zuckerberg bahwa Meta AI akan menjadi chatbot yang paling banyak digunakan pada akhir tahun ini (ChatGPT memiliki lebih dari 100 juta pengguna), Meta belum membagikan angka penggunaan asistennya. “Saya pikir seluruh industri masih dalam tahap awal menuju kesesuaian pasar produk,” kata Al-Dahle. Bahkan dengan betapa berlebihannya AI yang sudah terasa, jelas bahwa Meta dan pemain lain berpikir bahwa perlombaan baru saja dimulai.