Cloudflare akan Rilis Marketplace untuk Menagih Bot AI yang Melakukan Scraping

Techverse.asia - Cloudflare mengumumkan rencana untuk meluncurkan marketplace pada 2025, tempat pemilik situs web yang dapat menjual akses kepada penyedia model AI untuk mengikis konten situs mereka.

Marketplace tersebut merupakan langkah terakhir dari rencana mereka yang lebih besar untuk memberi penerbit kontrol yang lebih besar atas bagaimana dan kapan bot AI mengikis situs web mereka.

"Jika Anda tidak memberi kompensasi kepada kreator dengan satu atau lain cara, maka mereka akan berhenti berkarya, dan itulah bagian yang harus diselesaikan," kata CEO Cloudflare Matthew Prince dilansir dari Techcrunch.

Sebagai langkah pertama dalam rencana barunya, Cloudflare meluncurkan alat observabilitas gratis untuk pelanggan, yang disebut Audit AI. Pemilik situs web akan mendapatkan dasbor untuk melihat analitik tentang mengapa, kapan, dan seberapa sering model AI merayapi situs mereka untuk mendapatkan informasi.

Cloudflare juga akan memungkinkan pelanggan memblokir bot AI dari situs mereka dengan mengklik tombol. Pemilik situs web dapat memblokir semua web scraper menggunakan Audit AI, atau membiarkan web scraper tertentu masuk jika mereka memiliki kesepakatan atau menganggap pengikisan mereka bermanfaat.

Demo Audit AI menunjukkan bagaimana pemilik situs web dapat menggunakan alat tersebut, yang dapat melihat dari mana setiap scraper yang mengunjungi situs mereka berasal, dan menawarkan jendela selektif untuk melihat berapa kali scraper dari OpenAI, Meta, Amazon, dan penyedia model AI lainnya mengunjungi situs seseorang.

Cloudflare mencoba mengatasi masalah yang membayangi industri AI yakni bagaimana publisher yang lebih kecil dapat bertahan hidup di era AI jika orang-orang membuka ChatGPT alih-alih situs web mereka? Saat ini, penyedia model AI mengikis ribuan situs web kecil untuk mendapatkan informasi yang mendukung LLM mereka.

Sementara beberapa publisher yang lebih besar telah membuat kesepakatan dengan OpenAI untuk melisensikan konten, sebagian besar situs web tidak mendapatkan apapun, tetapi konten mereka masih dimasukkan ke dalam model AI populer setiap hari.

Itu dapat merusak model bisnis bagi banyak situs web, mengurangi lalu lintas yang sangat mereka butuhkan.

Awal tahun ini, perusahaan rintisan pencarian bertenaga AI, Perplexity dituduh mengikis situs web yang secara sengaja menunjukkan bahwa mereka tidak ingin dirayapi menggunakan Robots Exclusion Protocol.

Tak lama kemudian, Cloudflare merilis tombol untuk memastikan pelanggan dapat memblokir semua bot AI dengan satu klik. "Itu karena rasa frustrasi yang kami dengar, di mana orang-orang merasa konten mereka dicuri," ujarnya.

Beberapa pemilik situs web memberi tahu Business Insider bahwa bot AI begitu sering mengikis situs web mereka, sehingga terasa seperti serangan DDoS yang melumpuhkan server mereka. Situs web yang dikikis tidak hanya menjengkelkan, tetapi juga dapat benar-benar menghabiskan tagihan cloud dan memengaruhi layanan.

Tetapi bagaimana jika pengguna ingin memblokir bot Perplexity, tetapi tidak bot OpenAI? Prince menerangkan bahwa pelanggan Cloudflare meminta alat yang memungkinkan mereka memilih model AI mana yang memiliki akses ke situs mereka.

Alat baru Cloudflare yang diluncurkan itu akan memungkinkan pelanggan untuk memblokir beberapa perayap AI, sementara membiarkan yang lain masuk.

Bahkan media besar yang telah mencapai kesepakatan lisensi dengan OpenAI - seperti Time, Condé Nast, dan The Atlantic — memiliki wawasan yang relatif sedikit tentang seberapa banyak ChatGPT mengikis situs web mereka.

Banyak dari mereka harus menerima apa yang dikatakan OpenAI kepada mereka, tetapi jawabannya menentukan apakah penerbit mendapatkan kesepakatan lisensi yang bagus atau tidak. Namun, marketplace Cloudflare, yang akan diluncurkan tahun depan, bertujuan untuk memungkinkan penerbit kecil untuk membuat kesepakatan dengan penyedia model AI juga.

“Mari kita berikan Anda semua kemampuan untuk melakukan apa yang sebelumnya hanya dilakukan oleh Reddit, Quora, dan penerbit besar di dunia. Bagaimana jika kami mengizinkan Anda menetapkan, secara efektif, harga untuk mengakses dan mengambil konten Anda untuk diserap ke dalam sistem ini,” katanya.