Anthropic selama ini memosisikan diri sebagai perusahaan AI terdepan yang lebih berorientasi pada keselamatan, tetapi perusahaan tersebut juga tidak kebal terhadap kekhawatiran ini. Pekan lalu, Anthropic mengungkapkan kasus lain ketika model AI-nya meretas sistem eksternal, setelah insiden pada Juli ketika beberapa model Claude meretas sistem milik tiga perusahaan dalam pengujian keamanan siber.
“Mengingat laju pengembangan kemampuan AI yang semakin cepat, kekhawatiran saya adalah dalam 6-12 bulan, sekumpulan agen semacam itu berpotensi mampu mengambil alih seluruh internet dan menyebabkan kerugian hingga ratusan miliar dolar,” tulis Amodei.
Amodei mengatakan dirinya tidak menyerukan penghentian pelatihan model atau kemajuan teknologi. Menurut dia, yang diperlukan adalah memastikan perusahaan memiliki waktu yang memadai untuk menyelaraskan dan mengamankan model mereka, serta memungkinkan evaluator pihak ketiga mengonfirmasi langkah-langkah tersebut.
Namun, terdapat kepentingan finansial yang sangat besar untuk tetap berada di posisi terdepan. OpenAI dan Anthropic sama-sama tengah mempersiapkan penawaran saham perdana (initial public offering/IPO) dalam skala besar. Setiap kemampuan baru dapat membantu memberikan putaran pendanaan berikutnya.
Sebagai bagian dari kerangka yang diusulkannya, Amodei mengatakan Anthropic akan menempatkan peninjau pihak ketiga secara permanen di dalam perusahaan-perusahaan AI terdepan, dengan akses terhadap perangkat yang relevan serta proses penilaian risiko internal.