Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI
Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire meluncurkan sistem pemantauan internal yang dirancang untuk mendeteksi potensi penyimpangan tindakan sistem otomatis. Inovasi terbaru ini memperoleh sorotan karena penggunaan agen digital semakin berkembang. Dalam berbagai aplikasi, agen AI dapat mengoperasikan perangkat lunak dengan intervensi pengguna yang lebih sedikit. Kondisi tersebut membuka peluang otomatisasi, tetapi memerlukan sistem perlindungan tambahan. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi tanda perilaku berbahaya lebih awal.
Jika dibandingkan dengan sistem pemantauan konvensional, sistem pemantauan internal ini tidak hanya membaca seluruh percakapan sistem. Melalui pendekatan berbeda, teknologi tersebut membaca aktivasi internal jaringan saraf. Data aktivasi tersebut memungkinkan pengenalan pola mengenai arah perilaku model. Keunggulan pendekatan ini adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Melalui rancangan tersebut, pengawasan dapat menjadi lebih hemat. Namun demikian, akurasi pengawasan tidak dapat dianggap sempurna.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Elemen dasar dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang memeriksa pola komputasi selama pemrosesan. Ketika agen AI menjalankan tugas, proses komputasi menciptakan sejumlah representasi numerik. Informasi internal tersebut dapat mencerminkan aktivitas komputasi yang sedang berlangsung. Sistem klasifikasi internal kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Pada pemantauan tindakan digital, sistem klasifikasi dapat digunakan mengidentifikasi pola penyalahgunaan kemampuan siber. Dengan pemrosesan semacam ini, indikasi masalah mungkin ditemukan lebih awal.
Salah satu alasan efisiensinya adalah pemanfaatan komputasi yang telah tersedia. Dalam pengawasan berbasis model tambahan, sebuah model AI lain perlu menganalisis kembali rangkaian percakapan yang panjang. Proses tersebut berpotensi menambah waktu pemrosesan, terutama apabila sistem menjalankan banyak langkah. Sebaliknya, detektor cukup memanfaatkan representasi model yang telah dihitung. Berkat mekanisme tersebut, kebutuhan komputasi tambahan berpotensi lebih rendah. Walaupun demikian, pemilihan sinyal internal perlu diperhatikan untuk mengurangi kesalahan klasifikasi.
Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan
Pendekatan pemantauan tersebut menggunakan proses pemeriksaan berlapis. Pada tahap awal, sistem klasifikasi membaca sinyal model secara berkelanjutan. Jika tidak muncul indikasi berbahaya, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, sistem berpotensi melakukan eskalasi kepada sistem peninjauan lanjutan. Pemeriksaan kedua membantu menilai apakah indikasi tersebut benar-benar berbahaya. Dengan pendekatan ini, proses analisis mendalam tidak harus berjalan terus-menerus.
Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur langkah penanganan ketika indikator muncul. Pengaturan respons ini dapat mencakup pencatatan aktivitas, permintaan peninjauan manual, atau pemblokiran aktivitas yang melanggar kebijakan. Sebagai contoh, asisten digital pengembang mungkin memperoleh akses repositori kode. Apabila aktivitas berbahaya terdeteksi, administrator dapat meminta pemeriksaan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar pengguna tidak terlalu banyak menerima peringatan palsu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Berdasarkan evaluasi internal perusahaan, pendekatan deteksi inside-out diuji menggunakan model AI terbuka Kimi K3. Eksperimen perusahaan dilakukan terhadap sekitar 1.500 sesi untuk memeriksa kinerja detektor. Mengacu pada hasil yang dipublikasikan, teknologi tersebut mengenali 94 persen aktivitas hacking yang tergolong berisiko. Selain itu, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Data pengujian tersebut memperlihatkan bahwa masih terdapat kesalahan penandaan terhadap aktivitas aman. Karena kondisi tersebut, pengembang harus mempertimbangkan tingkat kesalahan peringatan.
Dari sisi biaya, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe menghabiskan dana kurang lebih US$51. Sebagai perbandingan, model tambahan kelas ringan membutuhkan sekitar US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, pemantauan menggunakan empat klasifikasi sekaligus dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Meskipun angka tersebut menarik, hasilnya belum otomatis berlaku pada semua model. Oleh sebab itu, validasi tambahan sebaiknya dilakukan sebelum menentukan tingkat keandalan umum.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Perkembangan komersial sistem tersebut adalah ketersediaan teknologi Goodfire bagi pengguna platform penyedia model AI Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, pelanggan memiliki kesempatan menggunakan sistem perlindungan tambahan ketika mengoperasikan model AI. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada sistem AI yang bobotnya tersedia karena model dapat dijalankan pada infrastruktur sendiri. Berkat dukungan pemantauan berlapis, pengembang memiliki pilihan memperkuat mekanisme keamanan saat inferensi.
Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model memiliki potensi digunakan pada jenis risiko lainnya. Bidang pengawasan yang dapat dipilih antara lain risiko keselamatan kimia serta biologi, reward hacking, dan tindakan siber yang melanggar kebijakan. Pada penggunaan model otomatis, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, agen mungkin mencoba memanipulasi hasil evaluasi. Dengan memahami pola tersebut, tim keamanan memiliki kesempatan melakukan evaluasi sebelum masalah menimbulkan dampak lebih besar.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengembangan pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi pengawasan model otomatis. Dengan menganalisis sinyal komputasi model, teknologi tersebut dirancang mengenali indikasi perilaku berisiko tanpa membutuhkan analisis ulang setiap respons secara mendalam. Hasil pengujian Goodfire melaporkan keberhasilan mengenali 94 persen aktivitas hacking berisiko, dengan efisiensi komputasi dibandingkan pendekatan pembanding. Meskipun hasilnya menjanjikan, potensi peringatan palsu tetap menjadi faktor evaluasi. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama pembatasan izin agen. Apa pandangan Anda, apakah teknologi activation probes akan meningkatkan kepercayaan terhadap sistem AI otonom? Jangan ragu menyampaikan pandangan mengenai masa depan sistem kecerdasan buatan yang lebih aman.
