Microsoft Mage Kembangkan Agen Komputer yang Menggabungkan Kendali Layar dan Perintah Terminal
Microsoft memperkenalkan Mage-VL-Cowork, model kecerdasan buatan yang dirancang untuk mengoperasikan komputer melalui dua pendekatan sekaligus, yaitu antarmuka grafis dan perintah terminal. Dikembangkan oleh Microsoft Mage Team, model ini memiliki sekitar empat miliar parameter dan mampu menentukan kapan harus menggunakan mouse, keyboard, atau menjalankan kode untuk menyelesaikan pekerjaan. Dalam laporan teknis yang dipublikasikan pada 29 Oktober 2026, Microsoft menunjukkan kemampuan agen tersebut dalam menangani berbagai tugas komputer. Perkembangan TEKNOLOGI ini membuka peluang otomatisasi yang lebih fleksibel, terutama untuk pekerjaan yang melibatkan aplikasi desktop, pengolahan dokumen, spreadsheet, serta pengelolaan file digital.
Inovasi Mage-VL-Cowork Menggabungkan Interaksi Visual dan Pemrograman
Transformasi teknologi AI terus memperluas cara manusia menggunakan komputer dalam berbagai pekerjaan. Microsoft menghadirkan Mage-VL-Cowork sebagai agen komputer berbasis kecerdasan buatan yang dapat berinteraksi melalui antarmuka visual maupun terminal. Tidak seperti agen yang hanya memanfaatkan tangkapan layar untuk menentukan tindakan, sistem ini dirancang untuk menentukan metode interaksi berdasarkan kebutuhan tugas. Saat sistem harus memahami tampilan visual, agen dapat menggunakan kendali mouse dan keyboard. Untuk pekerjaan berbeda, perintah terminal dapat digunakan ketika pengolahan langsung melalui kode lebih efisien. Pendekatan tersebut termasuk dasar penting dalam pengembangan agen komputer yang lebih fleksibel.
Daya tarik teknologi Mage-VL-Cowork adalah penerapan satu kebijakan pengambilan keputusan untuk memilih kedua jalur interaksi. Artinya, perpindahan antara antarmuka grafis dan terminal tidak harus ditentukan oleh sistem pengarah eksternal yang terpisah. Model tersebut menggunakan kemampuan untuk menilai tindakan yang paling sesuai pada setiap tahap pekerjaan. Sebagai contoh, agen dapat memeriksa tampilan aplikasi menggunakan screenshot, kemudian memproses file dengan kode jika diperlukan. Sesudah file diperbarui, sistem dapat kembali memeriksa hasil melalui antarmuka visual. Kemampuan tersebut berpotensi mengurangi langkah berulang dalam berbagai pekerjaan digital tanpa menghilangkan kebutuhan pengawasan pengguna.
Dua Jalur Interaksi Mage-VL-Cowork untuk Mengendalikan Aplikasi
Ketika menerima instruksi, Mage-VL-Cowork mengandalkan dua jalur tindakan yang menyediakan karakteristik berbeda. Saluran pengoperasian awal adalah graphical user interface atau GUI yang memungkinkan agen mengenali kondisi layar melalui tangkapan gambar. Dengan menggunakan kendali visual, agen dapat mengklik tombol, memindahkan kursor, mengetik teks, serta melakukan tindakan antarmuka lainnya. Pendekatan visual tersebut bermanfaat ketika pekerjaan menggunakan aplikasi dengan tata letak yang harus diperhatikan. Dalam pekerjaan desain, pengeditan gambar dapat membutuhkan pemeriksaan langsung terhadap posisi objek, warna, dan hasil perubahan. Pada situasi seperti ini, penggunaan GUI memberikan konteks visual yang tidak selalu terlihat melalui perintah terminal.
Jalur kedua adalah terminal yang mendukung agen menjalankan perintah sistem dan kode pemrograman. Melalui pendekatan tersebut, pekerjaan yang membutuhkan pengolahan file terstruktur dapat diselesaikan secara langsung. Dalam penggunaan praktis, perubahan pada spreadsheet dapat dijalankan menggunakan pustaka Python tanpa harus mengklik setiap sel secara manual. Sebagai manfaat tambahan, terminal dapat dimanfaatkan untuk mengidentifikasi keberadaan file, menjalankan perhitungan, dan memvalidasi hasil pekerjaan. Berkat integrasi kedua metode tersebut, Mage-VL-Cowork dirancang untuk menggunakan jalur yang paling sesuai. Namun demikian, setiap tindakan tetap harus mempertimbangkan izin akses dan batasan keamanan sistem.
Mage-VL-Cowork Membantu Mengolah Spreadsheet dan Dokumen
Salah satu penerapan menarik Mage-VL-Cowork terlihat melalui pekerjaan yang melibatkan spreadsheet dan aplikasi desktop. Melalui evaluasi yang dipublikasikan, model diminta untuk memperbarui lembar kerja menggunakan LibreOffice Calc. Instruksi pengolahan data ini meliputi penggabungan rentang sel, penambahan label, serta pembuatan grafik. Daripada hanya menggunakan serangkaian klik panjang, agen memilih kode Python melalui terminal untuk mengolah file secara langsung. Berdasarkan contoh pelaksanaan, Mage-VL-Cowork melaksanakan pekerjaan dalam waktu 39 detik dengan enam langkah. Hasil tersebut menggambarkan bahwa pemilihan metode interaksi dapat memengaruhi efisiensi penyelesaian tugas. Meskipun hasilnya menarik, waktu pengerjaan tidak selalu identik untuk seluruh spreadsheet dan konfigurasi komputer.
Penggunaan agen komputer juga didemonstrasikan dalam pengolahan gambar melalui aplikasi GIMP. Melalui demonstrasi penyuntingan, sistem menjalankan instruksi untuk mengatur alpha channel, menghapus latar tertentu, dan menyesuaikan dimensi gambar. Tidak seperti tugas pengolahan angka, penyuntingan visual memerlukan pemahaman terhadap hasil yang muncul di layar. Dengan mempertimbangkan karakteristik tersebut, agen mengandalkan GUI untuk melakukan perubahan dan terminal untuk mengevaluasi hasil file. Kemampuan berpindah tersebut memungkinkan penyelesaian tugas yang tidak cukup diselesaikan dengan satu metode. Walaupun menawarkan otomatisasi, hasil desain tetap penting untuk diperiksa agar sesuai dengan kebutuhan pengguna.
Hasil Benchmark Mage-VL-Cowork Menunjukkan Kemampuan Agen AI
Untuk mengukur kemampuan, Microsoft menguji Mage-VL-Cowork menggunakan benchmark OSWorld-Verified. Pengujian tersebut diterapkan untuk menilai keberhasilan agen komputer ketika menyelesaikan pekerjaan pada lingkungan desktop. Dalam pengujian resmi tim, model Mage-VL-Cowork memperoleh tingkat keberhasilan 66,0 persen dengan batas maksimal 50 langkah. Angka tersebut dihitung berdasarkan pengujian terhadap 361 tugas yang tidak digunakan dalam pelatihan. Nilai benchmark tersebut menunjukkan kemampuan model berukuran relatif ringkas dalam mengelola pekerjaan komputer yang beragam. Walaupun performanya menjanjikan, skor tersebut juga menunjukkan bahwa sejumlah tugas masih gagal diselesaikan. Oleh sebab itu, hasil benchmark tidak boleh dipahami sebagai jaminan keberhasilan pada seluruh kondisi nyata.
Di samping evaluasi sistem operasi, Microsoft juga menilai model dalam pekerjaan berbasis browser. Melalui pengujian WebVoyager-Static, versi Mage-VL-Cowork setelah supervised fine-tuning mencapai tingkat keberhasilan 58,6 persen. Hasil benchmark tersebut menyediakan gambaran mengenai kemampuan agen dalam mengoperasikan berbagai aktivitas web. Sebagai analisis tambahan, Microsoft membandingkan kemampuan sistem dengan konfigurasi yang menggunakan lebih banyak jalur interaksi. Data evaluasi mengindikasikan bahwa penambahan alat tidak selalu mengoptimalkan hasil akhir. Pada evaluasi yang dilakukan, konfigurasi GUI dan kode justru memberikan hasil lebih baik dibandingkan pendekatan dengan jalur aksesibilitas tambahan. Hasil perbandingan tersebut menekankan pentingnya rancangan sistem yang efisien, bukan sekadar jumlah alat yang tersedia.
Peluang serta Risiko Otomatisasi Desktop Berbasis Kecerdasan Buatan
Dalam mengembangkan model tersebut, Microsoft menerapkan metode pelatihan bertahap yang mencakup beberapa jenis pembelajaran. Bagian awal pelatihan diarahkan pada pemahaman visual dan kemampuan memahami elemen antarmuka. Setelah kemampuan dasar terbentuk, model dilatih untuk menjalankan tindakan GUI serta menggunakan terminal dan kode. Sesudah itu, pelatihan hybrid mendukung agen mempelajari kapan harus menggunakan masing-masing metode. Tim pengembang turut menerapkan reinforcement learning untuk memperbaiki keberhasilan penyelesaian pekerjaan. Strategi pelatihan ini dikembangkan agar sistem tidak hanya memahami satu tindakan, tetapi juga mengelola rangkaian pekerjaan yang lebih panjang. Berkat kombinasi metode pelatihan, model dapat mempelajari hubungan antara pengamatan, keputusan, dan pemeriksaan hasil.
Walaupun otomatisasi komputer menawarkan berbagai manfaat produktivitas, keamanan tetap termasuk aspek penting. Sistem yang memiliki akses untuk mengeksekusi perintah terminal memiliki kemampuan untuk menghapus file atau menjalankan tindakan yang memengaruhi lingkungan komputer. Karena itu, penggunaan agen sebaiknya diatur melalui izin akses yang sesuai. Untuk pekerjaan profesional, administrator dapat menggunakan lingkungan terisolasi, pembatasan direktori, serta pemeriksaan sebelum tindakan sensitif. Di samping perlindungan sistem, hasil pekerjaan sebaiknya diperiksa sebelum digunakan secara resmi. Pengawasan manusia tetap diperlukan karena model dapat tidak tepat menjalankan instruksi dalam kondisi tertentu. Berkat tata kelola yang baik, otomatisasi dapat digunakan secara lebih bertanggung jawab.
Ringkasan Keunggulan Agen AI Microsoft dengan Kendali Layar dan Terminal
Pengembangan Mage-VL-Cowork menandai kemajuan berarti dalam pengembangan kecerdasan buatan. Dengan menggabungkan kendali GUI dan perintah terminal, model Microsoft ini menghadirkan pendekatan yang lebih sesuai kebutuhan untuk menjalankan pekerjaan komputer. Penerapan satu kebijakan pemilihan tindakan mendukung agen menentukan kapan harus berinteraksi melalui layar dan kapan lebih tepat menjalankan kode. Performa benchmark sebesar 66,0 persen pada OSWorld-Verified menunjukkan kemampuan yang menjanjikan untuk model berukuran sekitar empat miliar parameter. Meskipun menunjukkan kemajuan, agen tersebut masih membutuhkan pengembangan lanjutan dan pengawasan ketika menangani pekerjaan sensitif.
Dalam perkembangan berikutnya, agen AI dengan kemampuan hybrid diperkirakan meningkatkan otomatisasi pekerjaan yang melibatkan berbagai aplikasi. Khususnya bagi pembuat perangkat lunak, pendekatan Microsoft memberikan gambaran mengenai pentingnya pengelolaan alat otomatisasi. Sebagai kebutuhan pengembangan, keamanan, transparansi tindakan, dan validasi hasil tetap penting untuk dikembangkan. Berkat integrasi teknologi dan pengawasan manusia, agen komputer dapat mendukung berbagai pekerjaan digital. Dari sudut pandang Anda, apakah agen yang dapat menggabungkan kendali layar dan terminal akan mengubah cara bekerja dalam industri TEKNOLOGI? Bagikan pandangan Anda mengenai potensi agen AI untuk penggunaan komputer.
