Di sebuah kantor terbuka yang berantakan di Mountain View, California, sebuah robot beroda yang tinggi dan ramping telah sibuk berperan sebagai pemandu wisata dan pembantu kantor informal—terima kasih kepada peningkatan model bahasa yang besar, Google DeepMind terungkap hari iniRobot ini menggunakan versi terbaru dari Google Model bahasa besar Gemini untuk mengurai perintah dan menemukan jalannya.
Ketika disuruh oleh manusia, “Carikan aku tempat untuk menulis,” misalnya, robot tersebut dengan patuh berjalan pergi, menuntun orang tersebut ke papan tulis bersih yang terletak di suatu tempat di dalam gedung.
Kemampuan Gemini dalam menangani video dan teks—selain kapasitasnya untuk menyerap sejumlah besar informasi dalam bentuk tur video kantor yang direkam sebelumnya—memungkinkan robot “pembantu Google” memahami lingkungannya dan menavigasi dengan benar saat diberi perintah yang memerlukan penalaran yang masuk akal. Robot tersebut menggabungkan Gemini dengan algoritma yang menghasilkan tindakan tertentu untuk diambil robot, seperti berputar, sebagai respons terhadap perintah dan apa yang dilihatnya di depannya.
Ketika Gemini diperkenalkan pada bulan Desember, Demis Hassabis, CEO Google DeepMind, mengatakan pada WIRED bahwa kemampuan multimodanya kemungkinan akan membuka kemampuan robot baru. Ia menambahkan bahwa para peneliti perusahaan tengah bekerja keras menguji potensi robotik model tersebut.
Di dalam kertas baru Dalam menguraikan proyek tersebut, para peneliti di balik pekerjaan tersebut mengatakan bahwa robot mereka terbukti 90 persen andal dalam menavigasi, bahkan ketika diberi perintah rumit seperti “Di mana saya menaruh tatakan gelas saya?” Sistem DeepMind “telah meningkatkan kealamian interaksi manusia-robot secara signifikan, dan sangat meningkatkan kegunaan robot,” tulis tim tersebut.
Atas kebaikan Google DeepMind
Foto: Muinat Abdul; Google DeepMind
Demo ini dengan jelas menggambarkan potensi model bahasa besar untuk mencapai dunia fisik dan melakukan pekerjaan yang bermanfaat. Gemini dan lainnya obrolan bot sebagian besar beroperasi dalam batasan browser web atau aplikasi, meskipun mereka semakin mampu menangani input visual dan audio, keduanya Google Dan OpenAI memiliki baru-baru ini. Pada bulan Mei, Hassabis memamerkan versi terbaru dari Gemini mampu memahami tata letak kantor seperti yang terlihat melalui kamera telepon pintar.
Laboratorium penelitian akademis dan industri berlomba-lomba untuk melihat bagaimana model bahasa dapat digunakan untuk meningkatkan kemampuan robot. program untuk Konferensi Internasional tentang Robotika dan Otomasi, acara populer bagi para peneliti robotika, mencantumkan hampir dua lusin makalah yang melibatkan penggunaan model bahasa penglihatan.
Investor adalah menuangkan uang menjadi perusahaan rintisan yang bertujuan untuk menerapkan kemajuan AI pada robotika. Beberapa peneliti yang terlibat dalam proyek Google telah meninggalkan perusahaan untuk mendirikan perusahaan rintisan bernama Kecerdasan Fisikyang menerima pendanaan awal sebesar $70 juta; perusahaan ini berupaya menggabungkan model bahasa besar dengan pelatihan dunia nyata untuk memberi robot kemampuan pemecahan masalah umum. Pisahkan AIyang didirikan oleh para ahli robotika di Universitas Carnegie Mellon, memiliki tujuan serupa. Bulan ini, perusahaan itu mengumumkan pendanaan sebesar $300 juta.
Beberapa tahun yang lalu, robot memerlukan peta lingkungannya dan perintah yang dipilih dengan saksama agar dapat menavigasi dengan sukses. Model bahasa yang besar berisi informasi yang berguna tentang dunia fisik, dan versi yang lebih baru yang dilatih pada gambar dan video serta teks, yang dikenal sebagai model bahasa visual, dapat menjawab pertanyaan yang memerlukan persepsi. Gemini memungkinkan robot Google untuk mengurai instruksi visual serta instruksi lisan, mengikuti sketsa di papan tulis yang menunjukkan rute ke tujuan baru.
Dalam makalah mereka, para peneliti mengatakan bahwa mereka berencana untuk menguji sistem tersebut pada berbagai jenis robot. Mereka menambahkan bahwa Gemini seharusnya dapat memahami pertanyaan yang lebih rumit, seperti “Apakah mereka punya minuman favorit saya hari ini?” dari pengguna yang memiliki banyak kaleng Coca-Cola kosong di meja mereka.
