Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI
Perusahaan riset keamanan AI Goodfire menghadirkan pendekatan inside-out monitoring yang dikembangkan guna mengenali aktivitas kecerdasan buatan yang mencurigakan. Inovasi terbaru ini memperoleh sorotan karena sistem kecerdasan buatan semakin mandiri. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan pengawasan manusia yang terbatas. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Melalui teknologi terbarunya, Goodfire berupaya mengenali tanda perilaku berbahaya lebih awal.
Jika dibandingkan dengan sistem pemantauan konvensional, pendekatan yang dikembangkan perusahaan tidak sepenuhnya bergantung pada seluruh percakapan sistem. Sebaliknya, detektor memeriksa representasi numerik yang muncul selama pemrosesan. Informasi tersebut dapat memberikan petunjuk mengenai kemungkinan tindakan berisiko. Nilai tambah teknologi tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Dengan demikian, kebutuhan sumber daya tambahan dapat ditekan. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Elemen dasar dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa representasi numerik jaringan saraf. Ketika agen AI menjalankan tugas, model menghasilkan berbagai aktivasi internal. Informasi internal tersebut berkaitan dengan representasi yang dipelajari model. Activation probes kemudian memeriksa pola tertentu untuk mendeteksi aktivitas berisiko. Dalam penerapan keamanan, detektor dapat dilatih untuk mengenali indikasi aktivitas peretasan berbahaya. Berkat pemeriksaan aktivasi, risiko dapat dikenali sebelum keluaran akhir terbentuk.
Salah satu alasan efisiensinya adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Pada metode konvensional, sistem pengawas berbasis bahasa dapat memerlukan pemrosesan tambahan terhadap riwayat tindakan model. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila model memproses informasi dalam jumlah besar. Sebaliknya, sistem dapat menganalisis aktivasi selama proses komputasi. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Meskipun konsumsi sumber daya relatif kecil, kualitas probe harus dievaluasi untuk mengurangi kesalahan klasifikasi.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Pendekatan pemantauan tersebut menggunakan proses pemeriksaan berlapis. Pada tahap awal, detektor internal memeriksa representasi internal selama pemrosesan. Jika tidak muncul indikasi berbahaya, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Sebaliknya, hasil deteksi dapat dikirim kepada model pemeriksa tambahan. Pemeriksaan kedua membantu menilai apakah indikasi tersebut benar-benar berbahaya. Dengan pendekatan ini, proses analisis mendalam tidak harus berjalan terus-menerus.
Di samping mengidentifikasi risiko, pengelola sistem dapat menentukan respons terhadap peringatan. Pengaturan respons ini dapat mencakup logging untuk pemeriksaan, pengiriman kasus kepada manusia, atau penghentian tindakan tertentu. Sebagai contoh, sistem otomatis yang dapat menggunakan alat berpotensi menggunakan repositori kode. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, ambang deteksi perlu ditetapkan dengan hati-hati agar pengguna tidak terlalu banyak menerima peringatan palsu.
Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire
Dalam pengujian yang dilaporkan, pendekatan deteksi inside-out diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, probe mampu menandai 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal teridentifikasi sebagai potensi masalah. Angka tersebut menunjukkan adanya kesalahan penandaan terhadap aktivitas aman. Karena kondisi tersebut, sistem perlu menyeimbangkan tingkat kesalahan peringatan.
Dari sisi biaya, Goodfire melaporkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah memerlukan biaya kurang lebih US$233, sedangkan model pemeriksa kelas atas menghabiskan biaya mendekati US$10.000. Sebagai aspek performa tambahan, penggunaan empat probe secara bersamaan menurut perusahaan meningkatkan latensi waktu menuju respons pertama kurang dari 2 persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Dengan mempertimbangkan keterbatasan ini, validasi tambahan sebaiknya dilakukan sebelum menganggap hasil tersebut berlaku universal.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Perkembangan komersial sistem tersebut adalah penggunaan sistem monitoring internal bagi pengguna platform penyedia model AI Baseten. Layanan Baseten menyediakan layanan komputasi bagi penerapan model AI. Berkat integrasi layanan, pengembang dapat memanfaatkan sistem perlindungan tambahan ketika menerapkan layanan kecerdasan buatan. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada model terbuka karena model dapat dijalankan pada infrastruktur sendiri. Berkat dukungan pemantauan berlapis, organisasi berpotensi meningkatkan perlindungan terhadap tindakan agen.
Selain pemantauan keamanan siber, pendekatan interpretabilitas model dikembangkan agar dapat memantau beragam pola penyalahgunaan. Bidang pengawasan yang dapat dipilih meliputi penyalahgunaan terkait senjata kimia dan biologis, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Dalam skenario pengujian, model dapat mengeksploitasi kelemahan lingkungan pengujian. Melalui deteksi risiko secara dini, tim keamanan memiliki kesempatan melakukan evaluasi sebelum masalah menimbulkan dampak lebih besar.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengembangan sistem inside-out monitoring menjadi perkembangan penting dalam teknologi keamanan agen AI. Melalui pemeriksaan aktivasi internal jaringan saraf, detektor memungkinkan identifikasi pola penyimpangan model tanpa membutuhkan analisis ulang setiap respons secara mendalam. Evaluasi menggunakan Kimi K3 memberikan gambaran efektivitas terhadap 94 persen sesi peretasan berbahaya, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, perbedaan karakteristik antar-model tetap perlu diperhatikan. Oleh karena itu, pemantauan internal sebaiknya dilengkapi evaluasi tindakan eksternal. Apa pandangan Anda, apakah pendekatan interpretabilitas berbasis AI akan meningkatkan kepercayaan terhadap sistem AI otonom? Jangan ragu menyampaikan pandangan mengenai perkembangan teknologi keamanan AI.
