Gemini Sekarang Dapat Memesan Anda Uber atau Memesan Makanan DoorDash di Ponsel Anda. Begini Cara Kerjanya

salah salah perasaan sudah terlihat.

Satu dekade yang lalu, perusahaan seperti Google dan Apple berjanji bahwa asisten suara mereka masing-masing dapat menyelesaikan tugas atas nama Anda. Apple mengatakan Siri dapat meminta Uber—mencobanya hari inidan Siri baru saja membuka aplikasi Uber. Google mengklaim Anda bisa “Pesan seperti biasa” di Starbucks dengan Asisten Google, namun pengalamannya kikuk, dan Google akhirnya menghapus fitur tersebut.

Tapi sekarang, di usia model bahasa besar Dan AI yang memahami bahasa alami, kita juga melihat janji yang sama. Pada Acara Samsung Galaxy UnpackedGoogle dan Samsung memamerkan bagaimana Anda dapat menggunakan asisten suara Gemini untuk menyelesaikan tugas dengan sejumlah aplikasi pihak ketiga tertentu: memesan Uber, atau memesan makanan melalui Uber Eats, DoorDash, atau Grubhub. (Harapkan lebih banyak dukungan aplikasi akhir tahun ini ketika Android 17 hadir.)

Fitur ini—masih dalam pratinjau awal—hanya akan tersedia di AS dan Korea Selatan pada awalnya, dimulai dengan smartphone Galaxy S26 saat diluncurkan pada 11 Maret, dan kemudian sebagai pembaruan perangkat lunak untuk perangkat tersebut. Seri Google Piksel 10. Begini cara kerjanya.

Langkah demi Langkah

Minta Gemini untuk “Ambilkan saya Uber ke bandara,” dan Anda akan melihatnya membuka aplikasi Uber di jendela virtual. Gemini akan terus menjalankan tindakan ini di latar belakang, namun Anda dapat memantau apa yang dilakukannya dengan mengetuk notifikasi langsung. Anda akan dapat melihat keseluruhan prosesnya, meskipun idenya adalah Anda membiarkannya berjalan di latar belakang saat Anda fokus pada sesuatu yang lebih penting.

Jika memerlukan informasi lebih lanjut, katakanlah jika Anda berada di kawasan tiga negara bagian New York dan tidak yakin bandara mana yang ingin Anda tuju, maka ia akan menghubungi Anda dan menanyakan pertanyaan tersebut. Setelah selesai, Anda akan mendapat notifikasi, dan Anda akan dibawa ke tahap pemesanan aplikasi Uber. Gemini tidak akan membuat keputusan pemesanan untuk Anda, jadi Anda harus memilih apakah Anda ingin UberX atau UberXL, konfirmasi tarifnya, dan ketuk pesan.

“Saya mengacu pada beberapa tugas yang mungkin ingin Anda otomatisasi sebagai semacam cucian digital—hal-hal yang Anda tahu perlu dilakukan, namun belum tentu bersemangat untuk menyelesaikannya,” Sameer Samat, presiden Ekosistem Android di Google, mengatakan kepada WIRED.

Samat menunjukkan kepada saya contoh Otomatisasi Tugas yang lebih kompleks dengan Grubhub. (Saat ini, Anda hanya dapat menjalankan satu otomatisasi dalam satu waktu.) Dia membuka rangkaian teks grup, di mana beberapa teman berbicara tentang memesan pizza dari Pizza Hut sebelum malam permainan papan. Orang-orang menyebutkan pizza tertentu di thread. Dia menelepon Gemini, dan memintanya untuk, “Cari tahu urutannya.” Dengan itu, Gemini mengetahui konteks dari layar dan mengatur pesanan semua orang dengan rapi.

Samat kemudian meminta Gemini untuk “memesan ini di Grubhub untuk diantar ke rumah,” yang kemudian meluncurkan proses otomatisasi tugas. Gemini membuka jendela virtual Grubhub dan mulai bekerja. Beberapa menit kemudian, Gemini kembali dengan membawa semua barang di gerobak. Yang harus dilakukan Samat hanyalah memverifikasi bahwa semuanya tampak baik dan sesuai pesanan.

Ada kalanya Gemini mungkin mengalami masalah, tetapi ia akan selalu mencoba mencari solusi sebelum kembali kepada Anda. Lagi pula, apa gunanya asisten yang terus-menerus menanyakan pertanyaan padahal Anda hanya ingin asisten itu melakukan sesuatu atas nama Anda? Katanya suatu saat, Gemini kembali kepadanya menanyakan ukuran dan jenis kerak yang diinginkannya. Di lain waktu, restoran membatasi jumlah pizza besar yang bisa dia pesan selama layanan sibuk, jadi Gemini kembali dan bertanya apakah dua pizza ukuran sedang boleh saja.

Samat menegaskan kembali bahwa Gemini tidak hanya menghafal “peta” aplikasi—sesuatu yang kita lihat pada agen AI versi awal, seperti R1 Kelinci. Gemini menggunakan kemampuan penalarannya untuk membuat rencana, melihat layar seperti yang Anda inginkan, dan menavigasinya. Meskipun aplikasinya mengalami perubahan visual mulai hari ini hingga besok, Gemini masih dapat mengetahui apa yang harus dilakukan. “Ini bisa menjadi hal yang kuat untuk hal-hal seperti itu,” kata Samat.

Dalam contoh lain, Samat menunjukkan kepada saya catatan Google Keep dengan daftar RSVP orang-orang yang menghadiri acara barbekyu mendatang, yang juga mencatat siapa saja yang vegan. Dia meminta Gemini untuk mencari tahu berapa banyak hot dog dan roti yang dibutuhkan—Gemini melakukan perhitungan, lalu Samat bertanya apakah Gemini dapat menambahkan item yang diperlukan ke keranjang Safeway-nya di DoorDash, dan beberapa menit kemudian, semuanya sudah ada di keranjangnya.

Visi AI

Otomatisasi tugas Gemini di sini hanyalah salah satu dari tiga cara menyelesaikan tugas. Jika ada Integrasi Model Context Protocol (MCP).—bahasa universal sumber terbuka yang memungkinkan LLM berkomunikasi dengan aplikasi pihak ketiga—kemudian Gemini dapat menjalankan tugas di backend. (Dalam hal ini, Anda tidak akan melihat seluruh proses berjalan; Anda hanya akan melihat langkah checkout terakhir muncul setelah Anda membuat permintaan.) Ada juga “Fungsi Aplikasi” yang dapat dibuat oleh pengembang yang memungkinkan Gemini untuk berinteraksi dengannya secara terstruktur. Namun jika tidak ada, maka saat itulah Gemini dapat membuka aplikasi itu sendiri dan menavigasi tombol, kotak teks, dan menu untuk menyelesaikan tugas.

“Ini pertama kalinya kami melakukan ini di Android dengan aplikasi, sehingga melakukan hal ini dengan benar sangatlah penting,” kata Samat. “Saya pikir ini adalah langkah maju yang menarik dalam teknologi. Kami memandang ini sebagai awal dari era baru kecerdasan seluler, dan Android adalah tempat yang kami pikirkan untuk Anda melihat masa depan terlebih dahulu.”

Masalah privasi berlimpah ketika memberikan Gemini akses ke aplikasi Anda. Samat mengatakan itu sebabnya Google tidak menyertakan aplikasi yang terlalu sensitif dalam batch pertama ini untuk otomatisasi tugas. Dia mengatakan data ini tidak digunakan untuk iklan, dan pengguna dapat menghapusnya data yang dilihat Gemini. “Kami pikir sangat penting bagi masyarakat untuk memiliki kepercayaan terhadap sistem, dan hal ini didapat dari adanya kendali dan transparansi atas apa yang dilakukan sistem.”

Meskipun saat ini layar ponsel cerdas masih diperlukan untuk menyelesaikan tugas, Samat membayangkan masa depan di mana Anda dapat memulai tugas ini melalui perangkat lain—misalnya, sepasang kacamata pintar, liontin AI, atau bahkan mobil. (Akan ada beberapa Android XR baru yang didukung kacamata pintar diluncurkan tahun ini.) Dia mengatakan perusahaan sedang mencari cara lain agar otentikasi akhir dapat dilakukan pada perangkat lain tersebut. Lagi pula, Anda tidak ingin seseorang mencuri kacamata pintar Anda dan meminta Gemini memesannya 55 burger, 55 kentang goreng, 55 taco—Yah, kamu mengerti maksudnya.