Efektivitas ChatGPT dalam Mendeteksi Phishing Masih Terbatas

Teknogav.com – ChatGPT merupakan model bahasa bertenaga AI yang telah berhasil unjuk kebolehan dalam membuat email phishing dan memprogram malware. Kendati demikian kemampuannya masih terbatas dalam mendeteksi tautan berbahaya secara efektif. Kemampuan ChatGPT dalam mendeteksi tautan phishing diteliti oleh pakar Kaspersky untuk mengungkap tingkat positif keliru yang dimiliki ChatGPT.

Hasil studi Kaspersky menunjukkan bahwa ChatGPT mengetahui banyak hal mengenai phishing dan bisa menebak sasaran serangan phishing. Kendati demikian, tingkat positif keliru yang dimiliki ChatGPT begitu tinggi, yaitu mencapai 64%.

ChatGPT ramai dibahas di sektor keamanan siber karena berpotensi membuat phishing. Dampak ChatGPT terhadap keamanan dalam pekerjaan pakar keamanan siber cukup memicu kekhawatiran. Pembuat ChatGPT sendiri pun mengingatkan bahwa penerapan teknologi baru ini ke domain keamanan siber terlalu dini dan berisiko tinggi.

Eksperimen pun dilakukan pakar Kaspersky untuk mengungkap kemampuan ChatGPT dalam mendeteksi tautan phishing. Pengetahuan keamanan siber yang dipelajari selama pelatihan pun turut diuji. Pengujian dilakukan pada gpt-3.5-turbo, model yang mendukung ChatGPT dan dilakukan terhadap lebih dari 2.000 tautan. Tautan tersebut telah terdeteksi sebagai phishing oleh teknologi anti-phishing Kaspersky. Pengujian tautan yang dianggap phishing tersebut digabungkan dengan ribuan tautan yang aman.

Tingkat deteksi dalam percobaan tersebut berbeda-beda, tergantung pada perintah yang digunakan. Ada dua pertanyaan yang diajukan kepada ChatGPT, yaitu sebagai berikut:

"Apakah tautan ini mengarah ke situs web phishing?" Hasil dari pertanyaan ini menunjukkan tingkat deteksi 87,2% dan tingkat positif keliru 23,2%.
“Apakah tautan ini aman untuk dikunjungi?” Hasil dari pertanyaan ini menunjukkan tingkat deteksi 93,7%. Sayangnya tingkat positif keliru juga terlalu tinggi untuk segala jenis aplikasi produksi, yaitu 64,3%.

Kemampuan ChatGPT dalam membantu mengkelompokkan dan menyelidiki serangan pun menjadi pertanyaan selanjutnya. Hal ini karena biasanya penyerang menyebutkan merek populer di tautan mereka. Langkah tersebut dilakukan untuk mengecoh pengguna agar mempercayai tautan tersebut asli dan milik perusahaan terkemuka.

Hasil yang mengesankan dalam mengidentifikasi potensi target phishing ditunjukkan model bahasa AI. ChatGPT telah berhasil mengekstraksi target yang asalnya melebihi setengah jumlah tautan. Tautan-tautan tersebut termasuk portal teknologi utama seperti Facebook, TikTok dan Google, serta merketplace seperti Amazon dan Steam. Selain itu juga terdapat banyak bank dari seluruh dunia.

Hasil eksperimen juga menunjukkan bahwa ChatGPT dapat bermasalah ketika harus membuktikan poinnya pada keputusan berbahaya atau tidaknya tautan tersebut. Beberapa penjelasan bersifat tepat dan berdasarkan fakta. Namun, penjelasan lain mengungapkan keterbatasan model bahasa, termasuk halusinasi dan pernyataan yang salah. Banyak penjelasan yang keliru walau intonasinya menyakinkan.

Contoh penjelasan mengelirukan ChatGPT

Referensi ke WHOIS, yang tidak dapat diakses oleh model:

Terakhir, jika kita melakukan pencarian WHOIS untuk nama domain, nama domain tersebut baru saja didaftarkan (14-10-2020) dan detail pendaftar disembunyikan.

Referensi ke konten di situs web yang tidak dapat diakses oleh model:

situs web meminta kredensial pengguna di situs web non-Microsoft. Ini adalah taktik umum untuk serangan phishing.

Pernyataan yang keliru:

Domain 'sxxxxxxp.com' tidak terkait dengan Netflix dan situs web menggunakan protokol 'http', bukan 'https' (situs web menggunakan https)

Pengungkapan informasi keamanan siber:

Nama domain untuk URL 'yxxxx3.com' tampaknya terdaftar di Korea Utara yang berisiko berbahaya.

“ChatGPT benar-benar menjanjikan dalam membantu kita para analis (manusia) dalam mendeteksi serangan phishing. Namun, mari jangan membiarkan itu mendahului kita karena model bahasa masih memiliki keterbatasan. Meskipun teknologi tersebut mungkin setara dengan analis phishing tingkat intern dalam hal penalaran mengenai serangan phishing dan mengekstraksi siapa saja yang termasuk target potensial, mereka cenderung masih menghasilkan pernyataan yang bersifat keliru. Jadi, meskipun mungkin belum merevolusi lanskap keamanan siber, mereka masih dapat menjadi alat yang bermanfaat bagi komunitas dan masyarakat,” ucap Vladislav Tushkanov, Ilmuwan Data Utama di Kaspersky.

Tips Keamanan Siber untuk Perusahaan

Penerapan teknologi pembelajaran mesin untuk tugas keamanan siber terus dilakukan tim Machine Learning Kaspersky. Produk-produk Kaspersky terus diperbarui dengan teknologi dan intel terkini. Pakar Kaspersky pun memberikan beberapa rekomendasi berikut ini untuk memanfaatkan keahlian Kaspersky dalam pembelajaran mesin dan tetap terlindungi. Berikut ini adalah beberapa tips berikut:

Gunakan alat keamanan siber tingkat perusahaan seperti Kaspersky Managed Detection and Response yang dapat mendeteksi dan mencegah intrusi tahap awal. Penyaringan insiden nyata dilakukan dengan model pemebelajaran canggih oleh solusi ini. Solusi ini hanya mengirim sinyal yang bersifat berbahaya ke analis manusia profesional. Kemampuan perusahaan dalam bertahan menghadapi ancaman siber dan mengoptimalkan penggunaan sumber daya tenaga kerja dapat ditingkatkan oleh layanan ini.
Pelatihan dasar kebersihan keamanan siber bagi karyawan perusahaan merupakan hal yang penting. Simulasi serangan phishing juga bisa membantu memastikan pemahaman mengenai cara membedakan email phish
Gunakan informasi inteleijen Acanaman terkini untuk mengetahui taktik, teknik dan prosedur (TTP) aktual yang digunakan pelaku ancaman siber. Upaya ini penting untu meningkatkan postur keamanan siber yang baik.

Demikianlah beberapa tips yang dapat diterapkan agar perusahaan senantiasa tetap aman dari ancaman siber.