Argumen gelembung AI yang besar ini salah

Peringatan masam tentang sebuah Gelembung AI memiliki mengguncang pasar dalam beberapa minggu terakhir. Namun, setidaknya ada satu kekhawatiran besar yang salah tempat.

Pada bulan Maret lalu, saya sudah menceritakannya kepada Anda risiko depresiasi untuk beberapa perusahaan AI, termasuk CoreWeave. Pada bulan Agustus, Jim Chanos, orang yang menyingkat Enron, berbagi keprihatinan serupa.

Kekhawatiran besar berpusat pada GPUchip yang dibutuhkan untuk melatih dan menjalankan model AI. Ketika GPU baru keluar, GPU lama menjadi kurang berharga karena keusangan dan keausan. Perusahaan cloud harus menggunakan penyusutan untuk mengurangi nilai aset tersebut selama periode yang mencerminkan kenyataan. Semakin cepat penyusutan, semakin besar dampaknya terhadap pendapatan.

Investor mulai khawatir bahwa GPU hanya memiliki masa manfaat satu atau dua tahun, sementara penyedia cloud mendepresiasi nilai aset tersebut selama lima atau enam tahun. Ketidakcocokan akuntansi seperti ini dapat menyebabkan industri AI mengalami penurunan pendapatan yang buruk dalam beberapa tahun.

Pandangan ini hampir menjadi konsensus di Wall Street saat ini. Ini adalah salah satu bukti utama argumen bahwa kita berada dalam gelembung AI yang sangat besar. Masalahnya itu salah: Bahkan sebagai Nvidia meluncurkan arsitektur GPU baru setiap 18 bulan atau kurang, GPU tidak mengalami penuaan secepat yang dikhawatirkan oleh beberapa investor.

“GPU dapat berjalan secara menguntungkan selama sekitar 6 tahun,” tulis Stacy Rasgon, analis chip terkemuka di Bernstein, dalam sebuah laporan penelitian pada hari Senin. “Akuntansi penyusutan sebagian besar perusahaan hyperscaler besar adalah masuk akal.”

Margin yang sehat

Biaya pengoperasian GPU di pusat data AI “sangat rendah” dibandingkan harga pasar untuk menyewa GPU melalui cloud. Hal ini membuat “margin kontribusi” dari menjalankan GPU lama dalam jangka waktu yang lebih lama menjadi cukup tinggi, kata Rasgon dan rekan analisnya di Bernstein. (Margin kontribusi mengukur pendapatan yang tersisa setelah biaya variabel. Ini adalah cara yang umum untuk menilai profitabilitas produk dan pengambilan keputusan bisnis).

“Bahkan dengan peningkatan yang berarti dalam harga/kinerja pada setiap generasi GPU, vendor dapat memperoleh margin yang nyaman pada A100 yang berusia 5 tahun, yang pada gilirannya menyiratkan umur depresiasi 5-6 tahun adalah hal yang wajar,” tambah para analis, mengacu pada chip A100 Nvidia, yang dirilis pada tahun 2020.

Tujuh sampai delapan tahun

Untuk mengetahui mengapa GPU ini begitu berharga untuk jangka waktu yang lama, ada baiknya untuk berbicara dengan orang-orang yang benar-benar menjalankan komponen ini dalam skala besar. pusat data AI.

Matt Rowe, direktur senior pengembangan bisnis strategis di penyedia cloud AI Lambda, baru-baru ini mengatakan bahwa umur efektif GPU dapat mencapai tujuh atau delapan tahun.

Meskipun sebagian besar perusahaan masih menggunakan jadwal penyusutan enam tahun untuk tujuan akuntansi, perpanjangan garansi dan strategi penempatan kembali memperpanjang masa manfaatnya, katanya kepada Bernstein.

Kontrak garansi sering kali diabaikan oleh para pengamat yang mengkhawatirkan depresiasi, jelas Rowe. Garansi ini biasanya berlangsung selama lima tahun, jadi jika GPU rusak, GPU tersebut akan diganti dengan yang baru, sehingga memperpanjang umur armada GPU secara keseluruhan.

Dia juga mencatat bahwa Amazon Web Services menawarkan GPU generasi awal, seperti K80, P100, dan V100. Semua ini berlangsung lebih dari enam tahun.

GPU Nvidia H100, yang memulai debutnya pada tahun 2022, masih berjalan dengan baik di pusat data Lambda. Pemanfaatannya di atas 85% dan Lambda belum memangkas harga cloud publik sesuai permintaan untuk GPU ini selama lebih dari 12 bulan, kata Rowe.

“Kami semua berpikir tujuh hingga delapan tahun adalah hal yang mungkin dilakukan,” kata Rowe.

pengalaman Crusoe

Saya mengobrol minggu ini dengan Erwan Menard, SVP manajemen produk di Crusoeyang berkembang secara besar-besaran gerbang bintang kompleks pusat data di Texas. Sebelum bergabung dengan Crusoe, Menard membantu membangun layanan cloud Vertex AI Google, sehingga ia benar-benar ahli dalam bidangnya.

Menard menggambarkan siklus hidup di mana GPU bermigrasi dari tugas pelatihan model AI yang mutakhir ke beban kerja inferensi yang tidak terlalu menuntut.

Saat membuat model baru yang canggih, Anda memerlukan GPU terbaru dan terhebat dari Nvidia.

Kemudian, Anda harus menjalankan model teratas ini, sebuah proses yang disebut inferensi. Itu membutuhkan GPU yang kuat, tapi bukan yang terbaru.

Selain itu, ada ribuan beban kerja AI yang berbeda dan berharga yang dapat berjalan dengan baik pada GPU lama, menurut Menard. Itu berarti ada banyak GPU yang berumur beberapa tahun di armada Crusoe dan masih aktif digunakan dan menguntungkan.

“Karena terdapat keragaman model yang besar untuk memecahkan banyak masalah yang berbeda, terdapat banyak ruang untuk menggunakan GPU dalam jangka waktu lama, hanya dengan mentransisikannya dari satu jenis pekerjaan ke jenis pekerjaan berikutnya,” kata Menard kepada saya. “Ini sebenarnya adalah pandangan yang diterima secara luas di industri ini.”

Gratis versus berbayar

Perusahaan cloud AI mempertimbangkan ekspektasi dan anggaran pengguna untuk membantu mereka memutuskan GPU mana yang akan digunakan. Sebagai ilustrasi, Menard menjelaskan contoh layanan AI yang memiliki versi gratis dan versi berbayar.

“Anda mungkin memutuskan bahwa untuk versi freemium Anda akan menggunakan model AI yang dapat disimpulkan pada perangkat keras lama yang lebih murah dengan kinerja lebih rendah,” katanya.

Hal ini mungkin cukup baik untuk menciptakan pengalaman awal bagi pengguna. Kemudian, beberapa pelanggan mungkin bermigrasi ke versi berbayar. Pada saat itu, Anda memanfaatkan model AI yang lebih bertenaga yang memerlukan GPU lebih baru untuk menghadirkan pengalaman pengguna yang superior.

“Kami melihat banyak peluang ini,” kata Menard. “Tidak semuanya membutuhkan satu mega-model yang berjalan pada GPU terbaru dan terhebat.”

Sumber terbuka + GPU lama

Beberapa layanan AI tidak terlalu intensif komputasi dan dapat dijalankan pada model sumber terbuka, seperti penawaran Qwen dari Alibaba, DeepSeek, atau Llama dari Meta. Salah satu contohnya adalah layanan ucapan-ke-teks (seperti layanan transkripsi yang saya gunakan untuk menyalin wawancara saya dengan Menard).

Model yang lebih lama atau kurang mampu dapat dijalankan pada GPU yang lebih lama, namun tetap memberikan kecerdasan berharga untuk layanan AI yang akan dibayar oleh pelanggan. (Business Insider membayar transkripsi tersebut, misalnya).

Karena semakin banyak startup yang menggunakan model open-source yang lebih murah, GPU lama sebenarnya dapat digunakan lebih banyak lagi. “Model terbuka mungkin sangat bagus dan memberikan struktur biaya yang lebih kompetitif,” kata Menard.

GPU lama lebih murah

GPU lama menggunakan lebih banyak energi untuk menghasilkan kecerdasan dalam jumlah yang sama, sehingga kekhawatiran investor lainnya adalah bahwa GPU yang lebih baru akan selalu lebih disukai—yang memperparah masalah penyusutan ini.

Hal itu sebenarnya tidak benar juga, menurut Menard. GPU lama lebih murah untuk dibeli, jadi fakta bahwa GPU tersebut mengonsumsi lebih banyak energi tidak mengubah fakta bahwa GPU lama seringkali lebih murah untuk dijalankan, jika semua biaya sudah diperhitungkan.

“Penggerak untuk GPU tertentu adalah biaya, yang pertama dan terpenting,” jelasnya. “Jadi kami memilih yang lebih tua karena lebih murah.”

Apa itu L40?

Jadi, saya bertanya kepada Menard tentang contoh GPU lama yang digunakan Crusoe. Dia menggambarkan pusat data modular baru yang dibangun Crusoe didukung oleh baterai EV daur ulang dari startup Bahan Redwood.

“Saya bisa memasang L40 dari Nvidia di pusat data ini,” kata Menard. “Karena keseluruhan penerapannya mengutamakan energi dalam desainnya, saya akan mampu memberikan dampaknya.”

Saya belum pernah mendengar tentang L40 dan harus bertanya kepadanya apa itu.

“Itu GPU lama,” katanya sambil tertawa.

Mendaftarlah untuk buletin Tech Memo BI Di Sini. Hubungi saya melalui email di abarr@businessinsider.com.

Baca selanjutnya