Cloudflare Meluncurkan Alat untuk Memerangi Bot AI

Techverse.asia - Cloudflare, penyedia layanan cloud yang diperdagangkan secara publik, telah meluncurkan alat baru yang gratis untuk mencegah bot mengambil data dari situs web yang di-hosting di platform-nya untuk melatih model kecerdasan buatan (AI). Alat ini tersedia untuk seluruh basis pelanggannya, termasuk mereka yang menggunakan paket gratis.

Menurut data internal perusahaan, 85,2 persen pelanggannya telah memilih untuk memblokir bahkan bot AI yang mengidentifikasi diri mereka dengan benar agar tidak dapat mengakses situs mereka.

“Fitur ini secara otomatis akan diperbarui seiring berjalannya waktu ketika kami melihat sidik jari baru dari bot-bot yang melakukan pelanggaran yang kami identifikasi secara luas melakukan pengikisan web untuk pelatihan model,” kata perusahaan itu dikutip Techverse.asia, Kamis (4/7/2024).

Beberapa vendor AI, termasuk Google, OpenAI, dan Apple, mengizinkan pemilik situs web untuk memblokir bot yang mereka gunakan untuk pengumpulan data dan pelatihan model dengan mengubah robots.txt di situs mereka, yaitu file teks yang memberi tahu bot halaman mana yang dapat mereka akses di situs web.

Namun demikian, seperti yang ditunjukkan Cloudflare dalam sebuah postingan yang mengumumkan alat pemberantasan botnya, tidak semua pengikis AI menghargai hal ini.

“Pelanggan tidak ingin bot AI mengunjungi situs web mereka, terutama yang melakukannya secara tidak jujur. Kami khawatir bahwa beberapa perusahaan AI yang bermaksud menghindari aturan untuk mengakses konten akan terus beradaptasi untuk menghindari deteksi bot,” lanjut bunyi keterangan tersebut.

Jadi, dalam upaya mengatasi masalah ini, Cloudflare menganalisis lalu lintas bot AI dan crawler untuk menyempurnakan model deteksi bot otomatis. Model tersebut mempertimbangkan, antara lain, apakah bot AI mungkin mencoba menghindari deteksi dengan meniru penampilan dan perilaku seseorang yang menggunakan browser web.

“Saat pelaku kejahatan mencoba merayapi situs web dalam skala besar, mereka biasanya menggunakan alat dan kerangka kerja yang dapat kami sidik jarinya. Berdasarkan sinyal-sinyal ini, model kami mampu menandai lalu lintas dari bot AI yang mengelak dengan tepat sebagai bot,” tulis Cloudflare.

Cloudflare telah menyiapkan formulir bagi host untuk melaporkan dugaan bot serta crawler AI dan menyatakan bahwa mereka akan terus memasukkan bot AI ke daftar hitam secara manual seiring berjalannya waktu. Masalah bot AI menjadi lebih mudah karena lonjakan AI generatif yang memicu permintaan akan data pelatihan model.

Banyak situs, yang waspada terhadap model pelatihan vendor AI pada konten mereka tanpa memberi tahu atau memberi kompensasi kepada mereka, telah memilih untuk memblokir scraper dan crawler AI. Sekitar 26 persen dari seribu situs teratas di web telah memblokir bot OpenAI, menurut sebuah penelitian; yang lain menemukan bahwa lebih dari 600 penerbit berita telah memblokir bot tersebut.

Namun, pemblokiran bukanlah perlindungan yang pasti. Seperti yang sudah banyak disinggung, beberapa vendor tampaknya mengabaikan aturan standar pengecualian bot untuk mendapatkan keunggulan kompetitif dalam perlombaan AI.

Mesin pencari AI, seperti Perplexity, baru-baru ini dituduh menyamar sebagai pengunjung sah untuk mengambil konten dari situs web, dan OpenAI serta Anthropic dikatakan terkadang mengabaikan aturan robots.txt.

Dalam sebuah surat kepada penerbit bulan lalu, startup lisensi konten TollBit mengatakan bahwa, pada kenyataannya, mereka melihat "banyak agen AI" mengabaikan standar robots.txt.

Alat seperti milik Cloudflare tersebut dapat membantu, tetapi hanya jika alat tersebut terbukti akurat dalam mendeteksi bot AI rahasia. Dan hal ini tidak akan memecahkan masalah yang lebih sulit diselesaikan yaitu penerbit yang berisiko mengorbankan lalu lintas rujukan dari alat AI seperti Ikhtisar AI Google, yang mengecualikan situs dari penyertaan jika mereka memblokir perayap AI tertentu.