Taufan Sukma Abdi Putra
"Memiliki GPU yang kuat tidak otomatis menghasilkan inferensi yang cepat atau biaya yang efektif. Menjawab hal itu, Netra Runtime membuat inferensi AI menjadi lebih cepat dan efisien pada infrastruktur yang sudah ada," ujar Nugroho.
Di Indonesia, Nugroho menjelaskan, hal ini menjadi krusial bagi organisasi yang memerlukan kendali penuh atas lokasi pemrosesan model dan data sensitif mereka.
Dalam hal ini, Netra melihat dua kebutuhan pelanggan yang berbeda, yaitu beberapa perusahaan memiliki GPU sendiri dan ingin menjalankan model di dalam infrastruktur mereka.
Sementara yang lain menginginkan akses ke inferensi cepat tanpa harus membeli atau mengoperasikan perangkat keras. Netra menjawab kedua kebutuhan tersebut melalui penyebaran privat serta API terkelola yang berbasis pada penggunaan.
"Lebih dari satu dekade membangun teknologi di Bukalapak, mengajarkan Saya bahwa biaya infrastruktur tidak pernah hanya soal hardware yang dibeli, tapi seberapa baik software memanfaatkannya. Di era AI, pelajaran ini semakin penting. Pertanyaan bagi perusahaan bukan lagi sekadar model mana yang paling pintar dan paling cepat, tapi berapa biaya untuk menghasilkan suatu pekerjaan," ujar Nugroho.
Karenanya, Netra menjawab kebutuhan ini dengan menjadi infrastruktur inferensi berkinerja tinggi untuk GPU AMD dan NVIDIA. Dalam private deployment, perangkat lunak ini berjalan di infrastruktur GPU milik pelanggan, sehingga pelanggan tetap memegang kendali penuh atas model dan data mereka.
