Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan riset keamanan AI Goodfire meluncurkan teknologi pengawasan aktivasi model yang dikembangkan guna mengenali potensi penyimpangan tindakan sistem otomatis. Pengembangan tersebut memiliki relevansi penting karena penggunaan agen digital semakin berkembang. Ketika digunakan untuk menjalankan pekerjaan, agen AI mampu menjalankan sejumlah tindakan digital dengan pengawasan manusia yang terbatas. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi memerlukan sistem perlindungan tambahan. Dengan pendekatan pemantauan internal, Goodfire berupaya mengenali aktivitas mencurigakan sebelum tindakan terjadi.
Tidak seperti pendekatan pemeriksaan keluaran, teknologi Goodfire tidak hanya membaca teks yang dihasilkan model. Melalui pendekatan berbeda, sistem menganalisis aktivasi internal jaringan saraf. Informasi tersebut memungkinkan pengenalan pola mengenai arah perilaku model. Manfaat utama metode tersebut adalah penggunaan kembali proses perhitungan model. Melalui rancangan tersebut, pengawasan dapat menjadi lebih hemat. Walaupun teknologi tersebut menawarkan keuntungan, kemampuan sistem perlu diuji pada berbagai kondisi.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Bagian penting dalam teknologi inside-out monitoring adalah activation probes, yaitu sistem pemeriksa sederhana yang menganalisis aktivasi internal model AI. Saat model memproses instruksi, model menghasilkan berbagai aktivasi internal. Sinyal tersebut memuat petunjuk mengenai representasi yang dipelajari model. Detektor aktivasi kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, probe berpotensi dirancang mendeteksi sinyal yang berkaitan dengan tindakan tidak aman. Melalui mekanisme tersebut, pengawasan tidak harus menunggu seluruh respons selesai.
Faktor yang mendukung kecepatan sistem adalah analisis sinyal yang sudah dihasilkan jaringan saraf. Dalam pengawasan berbasis model tambahan, sebuah model AI lain dapat memerlukan pemrosesan tambahan terhadap rangkaian percakapan yang panjang. Proses tersebut berpotensi menambah waktu pemrosesan, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, pengawasan menggunakan aktivasi selama proses komputasi. Oleh karena itu, kebutuhan komputasi tambahan berpotensi lebih rendah. Walaupun demikian, penyesuaian detektor tetap diperlukan untuk memastikan pengawasan sesuai risiko.
Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan
Goodfire menerapkan proses pemeriksaan berlapis. Ketika agen sedang bekerja, activation probes memantau sinyal model secara berkelanjutan. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Sebaliknya, aktivitas tersebut dapat diteruskan kepada sistem peninjauan lanjutan. Evaluasi berikutnya membantu menilai apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.
Selain melakukan deteksi, administrator berkesempatan mengatur respons terhadap peringatan. Mekanisme penanganan tersebut meliputi pencatatan aktivitas, pengiriman kasus kepada manusia, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, agen pemrograman mungkin memperoleh akses berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, akses tertentu bisa ditinjau sebelum dilanjutkan. Walaupun respons otomatis membantu, ambang deteksi perlu ditetapkan dengan hati-hati agar aktivitas sah tidak sering terganggu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Pengujian tersebut mencakup sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Mengacu pada hasil yang dipublikasikan, sistem berhasil mendeteksi 94 persen aktivitas hacking yang tergolong berisiko. Selain itu, kurang lebih 8,7 persen sesi yang sebenarnya aman teridentifikasi sebagai potensi masalah. Angka tersebut memperlihatkan bahwa masih terdapat kesalahan penandaan terhadap aktivitas aman. Karena kondisi tersebut, administrator perlu mengevaluasi kemampuan menemukan ancaman.
Dalam evaluasi efisiensi, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, model tambahan kelas ringan menghabiskan dana sekitar US$233, sedangkan pengawasan menggunakan model premium menghabiskan biaya mendekati US$10.000. Selain penghematan tersebut, pengoperasian empat detektor internal dalam pengujian memberikan tambahan latensi waktu menuju respons pertama kurang dari 2 persen. Walaupun hasil pengujian menjanjikan, data tersebut berasal dari evaluasi tertentu. Dengan mempertimbangkan keterbatasan ini, evaluasi pada model berbeda tetap diperlukan sebelum menganggap hasil tersebut berlaku universal.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Salah satu langkah penerapan adalah akses terhadap pengawasan berbasis probe bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai layanan komputasi bagi penerapan model AI. Melalui kerja sama tersebut, pelanggan memiliki kesempatan menggunakan pengawasan aktivasi internal ketika mengoperasikan model AI. Teknologi Goodfire memiliki manfaat potensial terutama pada model terbuka karena pengembang dapat memodifikasi pengaturannya. Dengan demikian, organisasi berpotensi meningkatkan pengendalian risiko ketika model digunakan.
Di luar pendeteksian aktivitas hacking, teknologi Goodfire dikembangkan agar dapat memantau jenis risiko lainnya. Bidang pengawasan yang dapat dipilih meliputi aktivitas berbahaya berkaitan dengan CBRN, upaya mengeksploitasi mekanisme evaluasi, dan aktivitas peretasan tanpa izin. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Sebagai contoh, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Dengan memahami pola tersebut, pengembang dapat memperoleh peringatan sebelum aktivitas berkembang menjadi insiden.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengembangan sistem inside-out monitoring memperlihatkan arah baru dalam teknologi pengawasan model otomatis. Melalui pemeriksaan aktivasi internal jaringan saraf, teknologi tersebut dirancang mengenali indikasi perilaku berisiko tanpa membutuhkan analisis ulang setiap respons secara mendalam. Hasil pengujian Goodfire melaporkan keberhasilan mengenali 94 persen aktivitas hacking berisiko, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, potensi peringatan palsu tetap harus dipertimbangkan. Oleh karena itu, pemantauan internal sebaiknya dilengkapi pengawasan manusia pada aktivitas penting. Bagaimana pendapat Anda, apakah sistem pemantauan internal Goodfire akan membantu mengurangi penyalahgunaan kecerdasan buatan? Mari berbagi pemikiran mengenai masa depan sistem kecerdasan buatan yang lebih aman.
