Tips Kelola Agen AI untuk Hindari Layanan Pelanggan yang Buruk

Teknogav.com – Kini makin banyak organisasi yang menggunakan agen AI, sayangnya AI otonom ini dapat melakukan kerusakan aktual di organisasi. Beberapa kerusakan yang dapat ditimbulkan mencakup buruknya layanan pelanggan dan hancurnya basis data utama perusahaan. Agen AI menciptakan masalah tata kelola yang besar bagi CIO dan CISO. Tanpa campur tangan manusia, agen AI mengambil keputusan, menggunakan alat, dan memproses data sensitif. Padahal banyak alat TI dan keamanan standar organisasi tidak mampu mengendalikan AI.

Organisasi perlu memiliki cara agar terlindung dari tindakan berbahaya agen AI yang digunakan. Keamanan yang benar-benar sempurna susah dicapai akibat sifat probabilistik dari pembuatan LLM, serta kurangnya pemisahan antara instruksi dan saluran data. Namun ketika terjadi kesalahan, kerusakan dapat dibatasi signifikan dengan serangkaian pengendalian ketat yang mendekati Zero Trust. Kaspersky memberikan beberapa tips berikut ini agar organisasi bisa memitigasi risiko keamanan siber yang bisa ditimbulkan agen AI:

Terapkan prinsip otonomi minimal dan hak akses minimal. Batasi otonomi agen AI dengan menetapkan tugas dengan batasan yang ditentukan secara ketat. Pastikan agen AI hanya memiliki akses ke alat, API, dan data perusahaan tertentu yang diperlukan untuk misi mereka. Kurangi izin sampai seminimal mungkin jika sesuai — misalnya, tetap menggunakan mode baca saja (read-only).
Pakai kredensial yang jangka waktunya singkat. Terbitkan token dan kunci API sementara dengan cakupan terbatas untuk setiap tugas tertentu. Ini mencegah penyerang menggunakan kembali kredensial jika mereka berhasil membahayakan agen.
Wajib melibatkan manusia untuk pengoperasian kritis. Konfirmasi manusia masih dibutuhkan secara eksplisit untuk tindakan yang tidak bisa dibatalkan atau berisiko tinggi. Contohnya adalah untuk otorisasi transfer keuangan atau penghapusan data massal
Batasi eksekusi dan pengendalian lalu lintas. Jalankan kode dan alat di lingkungan terisolasi (kontainer atau sandbox) dengan daftar izin ketat untuk alat dan koneksi jaringan untuk mencegah panggilan keluar yang tidak sah.
Terapkan kebijakan ketat untuk memeriksa rencana dan argumen agen terhadap aturan keamanan sebelum mereka benar-benar beroperasi.

Validasi dan sanitasi input dan output. Gunakan filter dan skema validasi khusus untuk memeriksa semua permintaan dan respons model untuk injeksi dan konten berbahaya. Ini perlu dilakukan di setiap tahap pemrosesan data dan setiap kali data diteruskan antar agen.
Pencatatan log yang aman secara berkelanjutan. Catat setiap tindakan agen dan pesan antar agen dalam log yang tidak dapat diubah. Catatan ini akan dibutuhkan untuk audit dan investigasi forensik di masa mendatang.
Pemantauan perilaku dan agen pengawas. Terapkan sistem otomatis untuk mendeteksi anomali, seperti lonjakan tiba-tiba dalam panggilan API, upaya replikasi diri, atau agen yang tiba-tiba menyimpang dari tujuan intinya. Organisasi akan lebih mudah mengendalikan agen AI jika sudah menggunakan XDR dan mengolah telemetri di SIEM
Kendalikan rantai pasokan (supply chain) dan SBOM (software bills of materials/daftar material perangkat lunak). Hanya gunakan alat dan model yang sudah diverifikasi dari registri tepercaya. Saat mengembangkan perangkat lunak, tandatangani setiap komponen, tetapkan versi dependensi, dan periksa kembali setiap pembaruan.
Analisis statis dan dinamis kode yang dihasilkan. Pindai setiap baris kode yang ditulis agen untuk kerentanan sebelum dijalankan. Larang penggunaan fungsi berbahaya seperti eval() sepenuhnya. Dua kiat terakhir ini seharusnya sudah menjadi bagian dari alur kerja DevSecOps standar, dan perlu diperluas ke semua kode yang ditulis oleh agen AI. Melakukan ini secara manual hampir tidak mungkin, sehingga gunakan alat otomatisasi. Salah satu alat yang bisa digunakan ada pada Kaspersky Cloud Workload Security

Amankan komunikasi antar agen. Pastikan autentikasi dan enkripsi timbal balik di semua saluran komunikasi antar agen. Gunakan tanda tangan digital untuk memverifikasi integritas pesan.
Temukan cara untuk langsung mengunci agen atau alat tertentu ketika perilaku anomali terdeteksi
Gunakan antarmuka untuk kalibrasi kepercayaan. Terapkan indikator risiko visual dan peringatan tingkat kepercayaan untuk mengurangi risiko manusia mempercayai AI secara berlebihan.
Pelatihan bagi pengguna dengan memberikan pelatihan karyawan secara sistematis mengenai realitas operasional sistem bertenaga AI. Gunakan contoh yang disesuaikan dengan peran pekerjaan mereka yang sebenarnya untuk menguraikan risiko khusus AI. Pelatihan harus diperbarui beberapa kali dalam setahun, video kepatuhan setahun sekali tidak akan cukup seiring pesatnya perkembangan bidang ini.

Kaspersky juga merekomendasikan Kaspersky Expert Training: Large Language Models Security untuk analisis SOC. Pelatihan tersebut meliputi ancaman utama terhadap LLM dan strategi pertahanan untuk menghadapinya. Kursus tersebut juga berguna bagi pengembang dan arsitek AI yang mengerjakan implementasi LLM.