‘Astaga’: Gemini 3 memenangkan perlombaan AI — untuk saat ini

Ketika rilis model AI segera memunculkan meme dan risalah yang menyatakan bahwa industri lainnya sudah matang, Anda tahu bahwa Anda memiliki sesuatu yang layak untuk dibedah.

Google Gemini 3 dirilis pada hari Selasa dan disambut dengan meriah. Perusahaan ditelepon model ini merupakan “era kecerdasan baru”, yang mengintegrasikannya ke dalam Google Penelusuran pada hari pertama untuk pertama kalinya. Ini melampaui OpenAI dan produk pesaing lainnya dalam berbagai tolok ukur dan menduduki puncak tangga lagu di LMArena, platform evaluasi AI crowdsourced yang pada dasarnya merupakan peringkat model AI Billboard Hot 100. Dalam waktu 24 jam setelah peluncurannya, lebih dari satu juta pengguna mencoba Gemini 3 di Google AI Studio dan Gemini API, menurut Google. “Dari sudut pandang adopsi hari pertama, [it’s] yang terbaik yang pernah kami lihat dari semua rilis model kami,” kata Logan Kilpatrick dari Google DeepMind, yang merupakan pimpinan produk untuk AI Studio Google dan API Gemini, kepada Tepi.

Bahkan CEO OpenAI Sam Altman dan CEO xAI Elon Musk secara terbuka mengucapkan selamat kepada tim Gemini atas pekerjaan yang dilakukan dengan baik. Dan CEO Salesforce Marc Benioff menulis bahwa setelah menggunakan ChatGPT setiap hari selama tiga tahun, menghabiskan dua jam di Gemini 3 mengubah segalanya: “Astaga… Saya tidak akan kembali lagi. Lompatan ini gila — penalaran, kecepatan, gambar, video… semuanya menjadi lebih tajam dan cepat. Rasanya dunia baru saja berubah lagi.”

“Ini lebih dari sekedar perubahan papan peringkat,” kata Wei-Lin Chiang, salah satu pendiri dan CTO LMArena. kata Chiang Tepi bahwa Gemini 3 Pro memegang “pemimpin yang jelas” dalam kategori pekerjaan termasuk pengkodean, pencocokan, dan penulisan kreatif, dan kemampuan pengkodean agennya “dalam banyak kasus sekarang melampaui model pengkodean teratas seperti Claude 4.5 dan GPT-5.1.” Model ini juga mendapat posisi teratas dalam pemahaman visual dan merupakan model pertama yang melampaui skor ~1500 di papan peringkat teks platform.

Kinerja model baru ini, kata Chiang, “menggambarkan bahwa perlombaan senjata AI dibentuk oleh model-model yang dapat memberikan alasan yang lebih abstrak, menggeneralisasi secara lebih konsisten, dan memberikan hasil yang dapat diandalkan dalam serangkaian evaluasi dunia nyata yang semakin beragam.”

Alex Conway, insinyur perangkat lunak utama di DataRobot, mengatakan Tepi bahwa salah satu kemajuan Gemini 3 yang paling menonjol adalah pada tolok ukur penalaran khusus yang disebut ARC-AGI-2. Gemini mendapatkan skor hampir dua kali lebih tinggi dibandingkan OpenAI GPT-5 Pro dan hanya menghabiskan sepersepuluh biaya per tugas, katanya, yang “benar-benar menantang anggapan bahwa model-model ini tidak mengalami kemajuan.” Dan pada benchmark SimpleQA — yang melibatkan pertanyaan dan jawaban sederhana tentang berbagai topik, dan membutuhkan banyak pengetahuan khusus — Gemini 3 Pro mendapat skor dua kali lebih tinggi dari GPT-5.1 OpenAI, kata Conway. “Jika digunakan berdasarkan kasus, ini akan sangat bagus untuk lebih banyak topik khusus dan mendalami penelitian dan bidang ilmiah tercanggih,” katanya.

Namun papan peringkat bukanlah segalanya. Ada kemungkinan – dan di dunia AI yang penuh tekanan, hal ini menggoda – untuk melatih model untuk tolok ukur yang sempit dibandingkan kesuksesan untuk tujuan umum. Jadi untuk benar-benar mengetahui seberapa baik kinerja suatu sistem, Anda harus mengandalkan pengujian di dunia nyata, pengalaman yang bersifat anekdot, dan kasus penggunaan yang kompleks di alam liar.

Tepi berbicara dengan para profesional lintas disiplin yang menggunakan AI setiap hari untuk bekerja. Konsensusnya: Gemini 3 tampak mengesankan, dan mampu melakukan tugasnya dengan baik dalam berbagai macam tugas — namun jika menyangkut kasus-kasus kecil dan aspek khusus dalam industri tertentu, banyak profesional tidak akan mengganti model mereka saat ini dengan model tersebut dalam waktu dekat.

Mayoritas orang Tepi berbicara dengan rencana untuk terus menggunakan Claude Anthropic untuk kebutuhan pengkodean mereka, meskipun ada kemajuan dari Gemini 3 di bidang itu. Beberapa juga mengatakan bahwa Gemini 3 tidak optimal dalam hal interaksi pengguna. Tim Dettmers, asisten profesor di Universitas Carnegie Mellon dan ilmuwan peneliti di Ai2, mengatakan bahwa meskipun ini adalah “model yang hebat”, namun dalam hal UX, model ini agak mentah, yang berarti “model tersebut tidak mengikuti instruksi dengan tepat.”

Tulsee Doshi, direktur senior manajemen produk Google DeepMind untuk Gemini dan Gen Media, mengatakan Tepi bahwa perusahaan memprioritaskan menghadirkan Gemini 3 ke berbagai produk Google dengan “cara yang sangat nyata”. Ketika ditanya tentang kekhawatiran dalam mengikuti instruksi, dia berkata bahwa akan sangat membantu jika kita melihat “di mana orang-orang mencapai beberapa poin penting.”

Dia juga mengatakan bahwa karena model Pro adalah rilis pertama dalam suite Gemini 3, model selanjutnya akan membantu “menyelesaikan kekhawatiran tersebut.”

Joel Hron, CTO Thomson Reuters, mengatakan bahwa perusahaan tersebut memiliki tolok ukur internal sendiri yang dikembangkan untuk menentukan peringkat model internal dan model publik pada bidang yang paling relevan dengan pekerjaan mereka — seperti membandingkan dua dokumen yang panjangnya mencapai beberapa ratus halaman, menafsirkan dokumen yang panjang, memahami kontrak hukum, dan penalaran dalam bidang hukum dan perpajakan. Dia mengatakan bahwa sejauh ini, Gemini 3 telah berkinerja kuat di semua platform tersebut dan merupakan “lompatan signifikan dari Gemini 2.5.” Performanya juga mengungguli beberapa model Anthropic dan OpenAI saat ini di beberapa area tersebut.

Louis Blankemeier, salah satu pendiri dan CEO Cognita, sebuah startup AI radiologi, mengatakan bahwa dalam hal “angka murni” Gemini 3 “sangat menarik.” Namun, katanya, “kita masih memerlukan waktu untuk mencari tahu kegunaan model ini di dunia nyata.” Untuk bidang yang lebih umum, kata Blankemeier, Gemini 3 adalah sebuah bintang, tetapi ketika ia bermain-main dengannya untuk radiologi, ia kesulitan mengidentifikasi dengan tepat patah tulang rusuk halus pada rontgen dada, serta kondisi yang tidak biasa atau jarang terjadi. Dia menyebut radiologi mirip dengan mobil self-driving dalam banyak hal, dengan banyak kasus yang rumit – jadi model yang lebih baru dan lebih bertenaga mungkin masih tidak seefektif model lama yang telah disempurnakan dan dilatih berdasarkan data khusus dari waktu ke waktu. “Dunia nyata jauh lebih sulit,” katanya.

Demikian pula, Matt Hoffman, kepala AI di Longeye, sebuah perusahaan yang menyediakan alat AI untuk investigasi penegakan hukum, melihat potensi pada generator gambar Nano Banana Pro yang didukung Gemini 3 Pro. Generator gambar memungkinkan Longeye membuat kumpulan data sintetis yang meyakinkan untuk pengujian, sehingga menjaga keamanan data investigasi yang nyata dan sensitif. Meskipun tolok ukurnya mengesankan, tolok ukur tersebut mungkin tidak sesuai dengan kasus penggunaan perusahaan yang sebenarnya. “Saya tidak yakin Longeye dapat menukar model yang kami gunakan dalam produksi dengan Gemini 3 dan melihat peningkatan dalam waktu dekat,” katanya.

Perusahaan lain juga mengatakan bahwa mereka tertarik dengan Gemini – namun belum tentu menggunakannya untuk menggantikan yang lainnya. Built, sebuah startup pemberi pinjaman konstruksi, saat ini menggunakan campuran model dasar dari Google, Anthropic, OpenAI, dan lainnya untuk menganalisis permintaan penarikan konstruksi — paket dokumen yang sering dikirimkan ke pemberi pinjaman konstruksi, seperti faktur dan bukti pekerjaan yang telah selesai, yang meminta agar dana dibayarkan. Hal ini memerlukan analisis multimodal teks dan gambar, ditambah jendela konteks yang besar untuk agen utama yang mendelegasikan tugas kepada yang lain, kata VP teknik Thomas Schlegel. Tepi. Itu adalah bagian dari apa yang Google janjikan dengan Gemini 3, sehingga perusahaan saat ini sedang menjajaki peralihannya ke versi 2.5.

“Di masa lalu kami telah menemukan Gemini sebagai yang terbaik dalam tugas-tugas serba guna, dan 3 tampaknya menjadi langkah maju yang besar dalam hal yang sama,” kata Schlegel. “Itu semua yang kami sukai tentang Gemini yang menggunakan steroid.” Namun dia belum berpikir bahwa model tersebut akan menggantikan semua model lainnya, termasuk Claude untuk tugas coding dan produk OpenAI untuk pertimbangan bisnis.

Bagi Tanmai Gopal, salah satu pendiri dan CEO platform agen AI PromptQL, kehebohan yang ditimbulkan oleh Gemini 3 memang wajar, namun “ini jelas bukan akhir dari segalanya” bagi para pesaing Google. Model-model AI kini menjadi lebih baik dan lebih murah, dan karena model-model tersebut memiliki siklus rilis yang sangat cepat, “seseorang selalu menjadi yang terdepan dalam jangka waktu tertentu.” (Misalnya, sehari setelah Gemini 3 keluar, OpenAI dilepaskan GPT-5.1-Codex-Max, pembaruan untuk model yang berumur satu minggu, tampaknya menantang Gemini 3 pada beberapa tolok ukur pengkodean.)

Gopal mengatakan PromptQL masih melakukan evaluasi internal untuk memutuskan bagaimana, jika memang ada, pilihan model tim akan berubah, namun “hasil awal belum tentu menunjukkan sesuatu yang jauh lebih baik” dibandingkan jajaran mereka saat ini. Dia mengatakan preferensinya saat ini adalah Claude untuk pembuatan kode, ChatGPT untuk penelusuran web, dan GPT-5 Pro untuk “brainstorming mendalam,” namun dia mungkin menggunakan Gemini 3 sebagai model default, karena “mungkin yang terbaik di kelasnya untuk tugas konsumen di bidang materi iklan, teks, [and] gambar.”

Dan seperti hampir setiap model, Gemini 3 memiliki momen yang saya sebut sebagai “sindrom tangan robot” — ketika sistem AI melakukan sesuatu yang rumit dengan warna-warna cerah namun terkesima dengan pertanyaan yang paling sederhana, mirip dengan tangan robot di masa lalu yang kesulitan memegang kaleng soda. Peneliti terkenal Andrej Karpathy, yang merupakan anggota pendiri OpenAI dan mantan direktur AI di Tesla, menulis pada X setelah menguji Gemini 3 bahwa dia “memiliki kesan awal yang positif kemarin dalam hal kepribadian, tulisan, pengkodean getaran, humor, dll., potensi pengemudi harian yang sangat kuat, jelas merupakan LLM tingkat 1,” tetapi dia mencatat bahwa model tersebut menolak untuk mempercayainya saat dia bilang itu tahun 2025 dan kemudian bilang lupa menyalakan Google Penelusuran. (Dia memastikan bahwa dalam pengujian awal, dia mungkin telah diberikan model dengan sistem prompt yang sudah usang.)

Di dalam Tepipengalaman sendiri menguji Gemini 3kami mendapati bahwa “pelayanannya cukup baik — dengan beberapa peringatan.” Kemungkinan besar perusahaan ini tidak akan bertahan selamanya, namun ini merupakan langkah maju yang jelas bagi perusahaan.

“Anda seperti berada dalam permainan lompatan dari model ke model, bulan ke bulan, ketika model baru dirilis,” kata Hron. “Tetapi yang menarik bagi saya tentang rilis Google adalah bahwa ia membuat perbaikan besar di banyak dimensi model — jadi bukan berarti model ini hanya menjadi lebih baik dalam pengkodean atau hanya menjadi lebih baik dalam penalaran … Secara keseluruhan, model ini menjadi lebih baik.”