Google Photos Mendapatkan Infus Gemini untuk Memperkuat Pencariannya

Google Foto memiliki pengalaman pencarian yang lumayan saat ini. Saya baru-baru ini mencoba mencari beberapa foto pertunangan saudara perempuan saya dari beberapa tahun yang lalu, dan sebuah “gaun kuning” sederhana dengan namanya ditambahkan di depan membawa semua gambar ke ujung jari saya dalam beberapa saat. Namun Google meyakini mereka dapat melakukan lebih baik lagi dan kini tengah menyempurnakan fungsi pencarian dengan penyempurnaan pada pemrosesan bahasa alami dan, Anda dapat menebaknya, kecerdasan buatan.

Meningkatkan pengalaman pencarian sangatlah penting karena perpustakaan foto daring adalah semakin membesar setiap tahunnyaArtinya, akan lebih sulit menemukan foto-foto ulang tahun Ayah yang ke-60 tanpa harus menyaringnya melalui banyak foto lainnya. hal-halGoogle mengatakan lebih dari 6 miliar gambar diunggah setiap hari ke Google Foto, dan hampir setengah miliar orang menggunakan fungsi pencarian aplikasi tersebut setiap bulan.

Pembaruan ini berfungsi dalam dua bagian terpisah. Pertama, Google meningkatkan penelusuran yang ada dengan pemrosesan bahasa alami yang lebih baik untuk memahami kueri yang lebih deskriptif. Anda tidak perlu lagi menggunakan kata kunci tertentu. Beberapa contoh yang diberikan Google termasuk “Alice dan aku tertawa” dan “Berkayak di danau yang dikelilingi pegunungan.” Beberapa di antaranya mengharuskan Anda memanfaatkan fitur Google Photos tertentu, seperti mengidentifikasi diri Anda dan orang-orang di foto Anda sehingga sistem memahami siapa “Alice”. Hasil ini dapat diurutkan berdasarkan tanggal atau relevansi.

Google mengatakan pembaruan baru ini diluncurkan dalam bahasa Inggris ke Bahasa Indonesia: Android Dan Bahasa Indonesia: dimulai hari ini dan akan diperluas ke bahasa lain dalam beberapa minggu mendatang.

Bagian selanjutnya dari peningkatan pencarian hadir dalam bentuk Ask Photos, fitur yang diumumkan Google di konferensi pengembang I/O pada bulan MeiAsk Photos didukung oleh Gemini, chatbot model bahasa besar milik Google, dan menggantikan pengalaman pencarian tradisional di Google Photos. Ia menggunakan model bahasa besar multimoda untuk memahami teks dalam gambar beserta gambar dan subjek di dalamnya. Proses ini agak aneh, karena Anda mendapatkan pengalaman percakapan saat mencari foto, agak mirip Ringkasan AI dalam Penelusuran Googlemeskipun hasilnya bisa lebih kuat dan memberikan konteks yang lebih luas.

Misalnya, jika Anda pergi jalan-jalan ke Islandia beberapa tahun lalu dan tidak ingat nama hotel tempat Anda menginap di Reykjavik, Anda dapat bertanya kepada Gemini di Ask Photos. Asalkan Anda mengambil foto hotel, aplikasi tersebut akan menampilkan gambar tersebut dengan respons teks. Begitu pula, jika teman Anda bertanya apa yang Anda lakukan di Jepang karena mereka ingin mulai merencanakan rencana perjalanan, Anda dapat mengatakan kepada Gemini, “10 hal teratas yang saya lakukan di Jepang,” dan aplikasi tersebut akan membuat daftar berdasarkan gambar di perpustakaan Anda yang dapat Anda salin dan tempel serta kirimkan ke teman Anda, dan gambar tersebut akan muncul di bagian bawah hasil pencarian.

Karena ini merupakan pengalaman percakapan, jika Anda tidak memperoleh hasil yang diinginkan, Anda dapat terus menyesuaikan apa yang Anda katakan kepada Gemini untuk mengasah citra yang Anda cari.

Saya mendapat kesempatan untuk mencobanya. Saya sudah memberi nama keluarga dan teman saya di Google Photos untuk menemukan foto mereka dengan cepat, tetapi pengalaman pengaturan Ask Photos memungkinkan Anda mengidentifikasi secara tepat WHO mereka ada hubungannya dengan Anda. Jadi untuk anjing saya, ia bertanya apakah ia adalah “hewan peliharaan” saya atau “hewan peliharaan teman saya.” Ia tahu nama istri saya, tetapi ia tidak tahu bahwa ia adalah “istri” saya, jadi saya tetapkan sebutan itu.

Saya menanyakan beberapa hal yang awalnya tidak memberikan hasil apa pun dalam pengalaman pencarian Google Photos tradisional, termasuk, “foto-foto awal saya dan istri saya.” Dengan cukup cepat, aplikasi itu memberi saya pilihan foto kami berdua bersama-sama dari tahun kami bertemu. Saya mencari “foto pertunangan saudara perempuan saya” dan aplikasi itu memberikan foto yang saya ambil dari tangan saudara perempuan saya dan cincinnya. Gemini mengatakan tidak yakin apakah ini saudara perempuan saya karena aplikasi itu tidak dapat melihat wajah, tetapi foto-foto itu diambil di Central Park dan memberikan tanggal. Aplikasi itu juga bertanya apakah saya ingin “melihat lebih banyak foto dari sekitar tanggal ini.” Saya berasumsi aplikasi itu benar mengira saya ingin melihat lebih dari sekadar cincin di jari.

Hal lain yang saya coba termasuk mencari plat nomor saya dengan mendeskripsikan mobil saya—aplikasi ini menarik beberapa gambar mobil saya dan memberikan nomor plat nomor saya yang benar. Saya juga menanyakan 10 hal teratas yang saya lakukan di Jepang saat berkunjung pada tahun 2023, tetapi saya tidak tahu seberapa berguna beberapa hal ini untuk dibagikan kepada orang lain yang merencanakan perjalanan. Daftar yang dikurasi mencakup hal-hal seperti “Menenggelamkan diri dalam seni dan budaya di museum dan galeri” atau “Berjalan-jalan romantis di taman bunga sakura.” Oke, terima kasih.

Ketidakjelasan detail ini berasal dari ketidakmampuannya untuk memahami dengan tepat di mana saya berada saat saya mengambil foto saya, tetapi ada saat-saat ketika itu melakukan cari tahu. “Menikmati minuman lokal di pabrik bir Sapporo” atau “Mengagumi Kuil Itsukushima, gerbang torii ikonik yang menjulang dari air.” Saya menjalankan pencarian yang sama lagi dan hasilnya jauh lebih baik pada percobaan kedua.

Kembar ganda

Gemini yang mendukung Ask Photos tidak sama dengan pengalaman Gemini yang tersedia di tempat lain di Telepon Android atau di aplikasi Gemini di iOS dan desktop. Google mengatakan model tersebut dirancang khusus untuk Google Photos, dan data yang dapat diakses Gemini di aplikasi tersebut tidak dibagikan dengan banyak varian Gemini lainnya. Meskipun Anda dapat menanyakan apa pun kepada Gemini di Photos, hasil Anda akan didasarkan pada gambar di pustaka Anda. Semua itu dikirim ke server cloud Google untuk diproses.

Misalnya, saya meminta Gemini di Android untuk menulis puisi tentang saya dan hasilnya agak hambar. Berikut adalah puisi yang ditulis Gemini di Ask Photos tentang saya. Sebagian isinya generik, tetapi saya cukup terkejut saat mengetahui bahwa saya adalah pengulas teknologi. (Meskipun saya rasa saya seharusnya tidak melakukannya karena ada banyak foto produk di perpustakaan saya.)

“Menjelajahi tempat-tempat baru, melangkah lebih jauh. Ia berpesta dengan teman-temannya, menikmati minuman yang enak, dan tertawa bersama keluarganya, secepat kedipan mata. Jadi, ini untukmu, Julian, kehidupan yang penuh kesenangan, semoga bateraimu tidak pernah habis, semoga datamu tidak pernah habis. Kau ahli teknologi, pengulas terkenal, penyair, pelawak, dan penyemangat kota!”

Jika Anda ingin kembali ke pengalaman pencarian standar di Google Photos, Anda dapat mengetuk “Beralih ke pencarian klasik.” Namun, Anda juga tidak perlu melakukan itu. Saya hanya ingin mencari beberapa foto diri saya, jadi saya mulai mengetik nama saya di Ask Photos, dan dengan cepat saya menemukan koleksi semua foto saya di perpustakaan—tidak perlu pemrosesan Gemini. Jika Anda telah menyebutkan sebagian besar orang dan hewan peliharaan yang sering muncul di perpustakaan Anda, Anda tidak perlu menunggu Ask Photos memproses permintaan hanya untuk melihat foto mereka.

Terkait hal tersebut, saya bertanya kepada Yael Marzan, kepala produk Google Photos, apakah Ask Photos pada akhirnya akan menggantikan fungsi pencarian tradisional sepenuhnya, dan berikut ini jawabannya: “Kami yakin Ask Photos adalah cara yang lebih baik untuk melakukan pencarian, tetapi kami perlu melakukannya secara perlahan dan bertanggung jawab serta menyesuaikannya dengan cara yang masuk akal.”

Peluncuran Ask Photos jauh lebih terbatas. Ini adalah fitur Google Labs, yang menunjukkan bahwa fitur ini masih dalam tahap percobaan, dan hanya pengguna tertentu di AS yang akan melihat pengalaman ini mulai hari ini. adalah daftar tunggu jika Anda ingin meminta akses awal. Marzan mengatakan tim Photos sangat bergantung pada masukan pengguna untuk meningkatkan pengalaman. Ia mengatakan karena ini adalah teknologi AI generatif, ada lebih banyak risiko, dan alasan peluncuran yang hati-hati ini adalah untuk melihat bagaimana orang menggunakan Ask Photos dan memastikannya memberikan “jawaban yang aman, akurat, dan tidak menyinggung.”

Perlu dicatat bahwa postingan blog Google tentang fitur baru tersebut mengindikasikan bahwa manusia dapat meninjau kueri untuk meningkatkan Ask Photos, “tetapi hanya setelah terputus dari Akun Google Anda untuk melindungi privasi Anda.” Hasilnya tidak ditinjau oleh manusia kecuali Anda memberikan umpan balik, “atau dalam kasus yang jarang terjadi untuk mengatasi penyalahgunaan atau bahaya.”