Menggunakan Fitur Computer Use GitHub Copilot untuk Mengotomatiskan Pekerjaan Desktop
GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Fitur Computer Use Memperluas Kemampuan GitHub Copilot
Pengenalan fitur Computer Use menjadi kemajuan menarik dalam pengembangan asisten kecerdasan buatan. Sebelumnya, GitHub Copilot sering digunakan untuk membantu penulisan kode. Melalui kemampuan terbaru, Copilot memiliki kemampuan bekerja pada aplikasi desktop menggunakan perintah berbentuk percakapan. Teknologi tersebut memungkinkan AI memahami konteks visual, kemudian menjalankan perintah keyboard sesuai kebutuhan pengguna. Melalui sistem ini, pekerjaan berulang dapat dikerjakan secara lebih efisien tanpa bergantung sepenuhnya pada pengoperasian pengguna.
Kemampuan otomatisasi desktop ini diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk perangkat desktop yang menggunakan Windows atau macOS. Saat pertama diperkenalkan, fitur tersebut masih berada dalam pengembangan terbuka. Dengan status tersebut, fitur yang tersedia mungkin diperbarui berdasarkan evaluasi teknis. Keunggulan yang menonjol adalah kompatibilitas dengan program berbasis antarmuka grafis yang tidak memiliki antarmuka perintah. Dalam situasi tersebut, Copilot berpotensi memanfaatkan interaksi visual seperti navigasi menu untuk menjalankan alur operasional. Meski menawarkan kemudahan, fitur ini tetap membutuhkan pengawasan terhadap tindakan.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Untuk mulai memanfaatkan Computer Use, pengguna harus mengetahui bahwa GitHub Copilot sudah terpasang. Ketika antarmuka GitHub Copilot tampil, pilih bagian pengaturan aplikasi, kemudian pilih kategori Computer Use. Di dalam halaman pengaturan, aktifkan pilihan Enable Computer Use agar kemampuan interaksi desktop tersedia. Secara bawaan, fitur ini memerlukan aktivasi pengguna. Pendekatan tersebut memberikan perlindungan tambahan kepada pengguna sebelum sistem menjalankan kendali antarmuka. Dengan demikian, pengguna dapat menentukan kapan fitur otomatisasi diperlukan.
Untuk perangkat yang menjalankan macOS, izin sistem tertentu perlu dipenuhi agar Computer Use bisa berfungsi dengan program yang terpasang. Izin tersebut mencakup Accessibility dan Screen Recording. Melalui Accessibility, sistem dapat mengoperasikan kontrol aplikasi, sedangkan Screen Recording mendukung pembacaan tampilan. Pengguna dapat mengikuti arahan pada halaman Computer Use. Di sisi lain, langkah memulai tersedia pada menu Computer Use tanpa persyaratan izin macOS tersebut. Meski Windows memiliki mekanisme tersendiri, kendali atas perangkat lunak tetap mengikuti pengaturan izin.
Kontrol Otomatisasi Desktop Menggunakan GitHub Copilot CLI
Tidak hanya menggunakan menu pengaturan, Computer Use tersedia melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan terminal, cara ini menawarkan pengaturan yang langsung. Ketika membuka sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna dapat mengetik perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, masukkan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` berfungsi menonaktifkan fitur. Melalui pengendalian ini, pengguna bisa menentukan kapan otomatisasi aktif sesuai jenis tugas yang sedang dijalankan.
Setelah Computer Use aktif, pengguna memiliki kesempatan menyampaikan permintaan pekerjaan yang jelas. Sebagai contoh, pengguna memiliki pilihan mengarahkan Copilot untuk menjalankan program yang tersedia, kemudian memeriksa tampilan perangkat lunak. Ketika pekerjaan membutuhkan pengeditan, Copilot dapat membantu pengetikan teks setelah akses aplikasi disetujui. Supaya instruksi tidak menimbulkan kebingungan, tentukan batasan pekerjaan secara terperinci. Sebagai ilustrasi, pengguna bisa memberikan permintaan untuk memindahkan informasi antaraplikasi dengan ruang lingkup tugas yang terukur. Pendekatan ini berpotensi meminimalkan interaksi yang tidak diperlukan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Contoh penggunaan yang relevan adalah otomatisasi pekerjaan administratif yang memerlukan banyak interaksi. Pada lingkungan bisnis, pengguna dapat menghabiskan waktu untuk membuka berbagai jendela. Dengan bantuan GitHub Copilot, beberapa langkah tersebut berpotensi diotomatisasi. Sebagai contoh, Copilot memiliki kemampuan membantu mengakses program administrasi, kemudian merangkum informasi pada layar. Dengan persetujuan yang sesuai, sistem berpotensi menjalankan pengisian formulir. Melalui alur tersebut, pekerjaan yang biasanya membutuhkan banyak klik berpotensi menjadi lebih efisien.
Fitur ini juga bermanfaat bagi organisasi yang memiliki perangkat lunak konvensional. Sebagian perangkat lunak bisnis mendukung otomatisasi melalui terminal. Keterbatasan integrasi ini dapat menyebabkan proses integrasi membutuhkan pekerjaan tambahan. Berkat interaksi berbasis antarmuka, Copilot dapat mencoba menjalankan aktivitas dengan kontrol aplikasi langsung. Pada contoh pekerjaan, pengguna memiliki pilihan memberikan tugas untuk mengambil data dari program tanpa API. Meski mampu membantu pekerjaan GUI, keberhasilan otomatisasi masih bergantung pada kondisi jendela yang digunakan.
Cara Mengendalikan Akses GitHub Copilot ke Aplikasi Desktop
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, pengamanan akses aplikasi tetap menjadi bagian penting. Ketika Copilot berinteraksi aplikasi desktop, konten aplikasi dapat menjadi bagian dari referensi untuk menjalankan tindakan. Oleh sebab itu, pengguna harus memastikan ruang lingkup kontrol desktop. Sistem Computer Use meminta persetujuan sebelum menjalankan tindakan pada perangkat lunak sesuai aturan kontrol sesi. Melalui pengaturan ini, pengguna memiliki kesempatan membatasi tindakan berdasarkan kebutuhan pekerjaan.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot memiliki opsi pengaturan Always allow untuk program yang telah dipercaya. Jika opsi ini diaktifkan, Copilot dapat menggunakan kembali aplikasi yang mendapat otorisasi pengguna tanpa selalu meminta konfirmasi baru. Meski mempermudah penggunaan berulang, penggunaan Always allow harus dipertimbangkan secara cermat, terutama untuk sistem berisi data pribadi. Pemilik komputer memiliki kesempatan memeriksa otorisasi yang telah disimpan dan mengatur ulang daftar izin sesuai perubahan penggunaan. Selain itu, operasi yang sedang berlangsung bisa diinterupsi melalui tombol Stop atau tombol Esc sesuai dukungan sesi. Melalui kontrol tersebut, otomatisasi dapat dihentikan ketika diperlukan.
Kesimpulan: Computer Use Memperluas Peran GitHub Copilot
Pengenalan Computer Use menunjukkan perluasan kemampuan GitHub Copilot dari pendukung penulisan kode menuju otomatisasi aplikasi desktop. Berkat akses terhadap elemen antarmuka, Copilot mampu mendukung pengelolaan dokumen menggunakan perintah percakapan. Pendekatan otomatisasi tersebut bermanfaat terutama untuk perangkat lunak lama yang sulit diotomatisasi menggunakan cara konvensional. Walaupun memberikan kemudahan, pengguna tetap perlu persetujuan akses agar risiko kesalahan dapat dibatasi.
Pada era otomatisasi digital modern, otomatisasi melalui antarmuka visual dapat berkembang sebagai pendekatan baru dalam pekerjaan kantor. Meski otomatisasi menjadi lebih mudah, kemungkinan perubahan data yang tidak diinginkan memerlukan langkah mitigasi. GitHub sendiri menggarisbawahi bahwa computer use masih berada dalam public preview. Agar penggunaan lebih efektif, jelaskan aplikasi yang terlibat dan evaluasi pekerjaan sebelum digunakan. Bagaimana menurut Anda, apakah Computer Use GitHub Copilot mampu mengurangi pekerjaan berulang pada masa mendatang? Silakan bagikan pendapat Anda mengenai fitur Computer Use.
