Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI
Perusahaan riset keamanan AI Goodfire menghadirkan pendekatan inside-out monitoring yang dikembangkan guna mengenali perilaku agen AI berisiko. Pengembangan tersebut menjadi perhatian karena sistem kecerdasan buatan semakin mandiri. Pada lingkungan komputasi modern, agen AI mampu menjalankan sejumlah tindakan digital dengan tingkat otomatisasi yang semakin tinggi. Peningkatan kemampuan tersebut mendukung efisiensi pekerjaan, tetapi menghadirkan risiko pengendalian. Dengan pendekatan pemantauan internal, Goodfire ingin mengidentifikasi aktivitas mencurigakan sebelum tindakan terjadi.
Jika dibandingkan dengan sistem pemantauan konvensional, sistem pemantauan internal ini tidak sepenuhnya bergantung pada seluruh percakapan sistem. Sebaliknya, detektor memeriksa aktivasi internal jaringan saraf. Informasi tersebut dapat memberikan petunjuk mengenai aktivitas yang sedang diproses. Keunggulan pendekatan ini adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Melalui rancangan tersebut, pengawasan dapat menjadi lebih hemat. Meskipun pendekatan ini menjanjikan, akurasi pengawasan tidak dapat dianggap sempurna.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu model klasifikasi khusus yang membaca aktivasi internal model AI. Saat model memproses instruksi, proses komputasi menciptakan berbagai aktivasi internal. Sinyal tersebut dapat mencerminkan representasi yang dipelajari model. Activation probes kemudian memeriksa pola tertentu untuk mendeteksi aktivitas berisiko. Sebagai contoh, sistem klasifikasi dapat digunakan mengidentifikasi indikasi aktivitas peretasan berbahaya. Dengan pemrosesan semacam ini, pengawasan tidak harus menunggu seluruh respons selesai.
Keunggulan teknis pendekatan tersebut adalah penggunaan kembali aktivasi model. Pada metode konvensional, pemeriksa kecerdasan buatan terpisah perlu menganalisis kembali teks yang dihasilkan agen. Proses tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila agen bekerja selama berjam-jam. Melalui pendekatan Goodfire, detektor cukup memanfaatkan aktivasi selama proses komputasi. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Sekalipun metode tersebut dirancang hemat, penyesuaian detektor tetap diperlukan untuk menjaga relevansi hasil.
Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan
Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Pada tahap awal, detektor internal memeriksa aktivasi pada berbagai langkah. Jika tidak muncul indikasi berbahaya, agen berpotensi tetap menjalankan tugas. Sebaliknya, sistem berpotensi melakukan eskalasi kepada sistem peninjauan lanjutan. Evaluasi berikutnya digunakan untuk memeriksa apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.
Selain melakukan deteksi, penyedia layanan memiliki pilihan menetapkan langkah penanganan ketika indikator muncul. Pengaturan respons ini dapat mencakup penyimpanan laporan kejadian, eskalasi ke petugas keamanan, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, agen pemrograman berpotensi menggunakan lingkungan pengujian. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Namun demikian, ambang deteksi perlu ditetapkan dengan hati-hati agar pengguna tidak terlalu banyak menerima peringatan palsu.
Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi
Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal dievaluasi pada model AI terbuka Kimi K3. Pengujian tersebut melibatkan kurang lebih 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, probe mampu menandai 94 persen sesi peretasan berbahaya. Sebagai hasil evaluasi tambahan, kurang lebih 8,7 persen sesi yang sebenarnya aman teridentifikasi sebagai potensi masalah. Angka tersebut menunjukkan adanya peringatan yang tidak tepat. Oleh sebab itu, sistem perlu menyeimbangkan kemampuan menemukan ancaman.
Untuk membandingkan kebutuhan komputasi, Goodfire melaporkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, model tambahan kelas ringan membutuhkan sekitar US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Sebagai aspek performa tambahan, penggunaan empat probe secara bersamaan dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Walaupun hasil pengujian menjanjikan, performa dapat berbeda pada lingkungan lain. Oleh sebab itu, pengujian independen masih penting sebelum menerapkan sistem secara luas.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Perkembangan komersial sistem tersebut adalah akses terhadap pengawasan berbasis probe bagi organisasi yang menjalankan model melalui Baseten. Layanan Baseten menyediakan infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, organisasi berpotensi menerapkan detektor risiko berbasis model ketika menjalankan agen otomatis. Teknologi Goodfire memiliki manfaat potensial terutama pada open-weight models karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Melalui penerapan pengawasan tambahan, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.
Di luar pendeteksian aktivitas hacking, sistem klasifikasi aktivasi memiliki potensi digunakan pada jenis risiko lainnya. Bidang pengawasan yang dapat dipilih meliputi risiko keselamatan kimia serta biologi, manipulasi sistem penghargaan, dan aktivitas peretasan tanpa izin. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Sebagai contoh, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Dengan memahami pola tersebut, pengembang dapat memperoleh peringatan sebelum tindakan berisiko berlanjut tanpa pengawasan.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Pengembangan pendekatan pengawasan berbasis activation probes menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Berkat pemanfaatan representasi numerik selama pemrosesan, teknologi tersebut dirancang mengenali indikasi perilaku berisiko tanpa membutuhkan analisis ulang setiap respons secara mendalam. Hasil pengujian Goodfire melaporkan keberhasilan mengenali 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Walaupun perkembangan ini menarik, kebutuhan pengujian independen tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, pengawasan berbasis aktivasi idealnya didukung pengawasan manusia pada aktivitas penting. Menurut Anda, apakah sistem pemantauan internal Goodfire akan menjadi standar keamanan agen AI masa depan? Silakan bagikan pendapat Anda mengenai masa depan sistem kecerdasan buatan yang lebih aman.
