Pinterest sedang mengembangkan miliknya sendiri Proses pembuatan teks ke gambar AImeskipun pendekatan Pinterest sedikit berbeda dengan apa yang Anda lihat di aplikasi lain.
Seperti yang diuraikan dalam ikhtisar baru dari tim Teknik PinterestModel “Canvas” Pinterest bertujuan untuk menyediakan opsi yang dihasilkan untuk latar belakang produk, tanpa mengubah foto produk itu sendiri sebagai fokus utama.
Yang memerlukan sedikit pelatihan lebih. Sebagian besar model bahasa yang besar dirancang untuk membuat gambar berdasarkan deskripsi, dengan mencocokkan catatan teks dari gambar lain dengan keluaran visual yang sebenarnya. Akan tetapi, sebagian besar gambar produk tidak menggambarkan latar belakang dalam keterangan, jadi tim Pinterest harus menemukan cara baru untuk mengisolasi latar belakang dan latar depan, lalu mempermudah panduan alat dengan perintah sederhana.
Sesuai dengan Pinterest:
“Pelatihan Pinterest Canvas memberi kita model dasar yang kuat yang memahami seperti apa bentuk objek, apa nama objek tersebut, dan bagaimana objek tersebut biasanya disusun menjadi adegan. Namun, seperti yang dinyatakan sebelumnya, tujuan kami adalah melatih model yang dapat memvisualisasikan atau menata ulang ide atau produk nyata dalam konteks baru.” “
Jadi, secara konseptual, Pinterest ingin menggunakan basis data gambar produk yang sudah ada untuk menetapkan jenis pembingkaian, penempatan, dan latar belakang yang umum, agar dapat memfasilitasi permintaan pembuatan latar belakang AI dengan lebih baik.
Ini adalah pendekatan yang rumit, tetapi Pinterest kini telah membangun sistem yang dapat melakukannya dengan tingkat akurasi yang tinggi.
“[We] menggunakan model segmentasi untuk menghasilkan masker produk dengan memisahkan latar depan dan latar belakang. Keterangan teks yang ada biasanya hanya menggambarkan produk sambil mengabaikan latar belakang, yang penting untuk memandu proses pengecatan latar belakang, jadi kami menggabungkan keterangan yang lebih lengkap dan terperinci dari LLM visual. Pada tahap ini, kami melatih Bahasa Indonesia: LoRA pada semua lapisan UNet untuk memungkinkan penyempurnaan parameter yang cepat dan efisien. Terakhir, kami menyempurnakan secara singkat pada serangkaian gambar produk yang dipromosikan dan sangat diminati, untuk mengarahkan model ke arah estetika yang sesuai dengan Pinners.” “
Jadi, sekali lagi, sistem ini dirancang khusus untuk menghasilkan latar belakang berdasarkan gambar Pin yang ada, sementara Pinterest juga berupaya menyelaraskan model di sekitar gaya visual tertentu, untuk lebih menyederhanakan pembuatan.
Pada akhirnya, hal itu akan memungkinkan merek untuk mengetik dalam gaya apa pun yang mereka suka, berdasarkan deskriptor umum, dan sistem Pinterest akan dapat memberikan opsi untuk foto produk Anda dalam estetika itu.
Ini adalah konsep menarik yang Pinterest sudah diuji dengan mitra iklan terpilih.
Ini bisa menjadi cara yang bagus untuk membuat lebih banyak variasi gambar Pin Anda, dan meningkatkan daya tarik produk Anda dalam berbagai pendekatan desain.
Anda dapat membaca lebih lanjut tentang pendekatan Pinterest terhadap pembuatan latar belakang AI Di Sini.
