Taufan Sukma Abdi Putra
Di sisi lain, perusahaan juga bisa menggunakan Netra Cloud untuk menggunakan teknologi inti yang sama untuk menyediakan layanan inferensi terkelola melalui API yang kompatibel dengan OpenAI, dengan skema penagihan berdasarkan penggunaan token.
Sejak diluncurkan, Netra mencatat sinyal awal yang menjanjikan. Hingga 28 Oktober 2026, platform Netra telah memproses lebih dari 288 miliar token, dengan rata-rata 6,14 miliar token per hari pada 21–27 Oktober dan rekor harian 12,47 miliar token, serta memiliki 1.415 pengguna terdaftar dan 19 partner.
Pada benchmark terbaru Netra, throughput prefill mencapai 73.527 input token per detik pada concurrency 32 tanpa cache.
Untuk decode, konfigurasi empat GPU AMD Instinct MI350X mencapai aggregate throughput 5.062 output token per detik pada concurrency 32, dibandingkan 2.870,2 pada dua GPU NVIDIA B300 dan 2.497,8 pada empat GPU NVIDIA B300.
Pada concurrency 1, decode speed per user mencapai 1.152 token per detik pada empat MI350X, dibandingkan 498,8 pada dua B300 dan 608,6 pada empat B300.
