Tekno

Halo sobat wirneet, Bots AI Crawlers merupakan sistem yang di bangun untuk mengambil konten di website / blog kita untuk di training datanya untuk kebutuhan mereka dalam mencari data yang akurat, bots AI sendiri mencari sampling untuk di training sebanyak - banyaknya, maka dari itu kita sebagai pembuat konten tentu timbul pertanyaan, kenapa bots AI dengan mudah menggunakan data kita sebagai sampling mereka, ini tentu menjadi masalah terkait hak cipta atau copyright.

Mimin sendiri tidak setuju, apabila data kita di jadikan sampling untuk di training, pasalnya kita sudah memberikan yang terbaik dalam menulis artikel berdasarkan pengalaman, dan selama ini google juga menerapkan aturan terkait konten plagiat, dimana orang lain dengan mudah mengambil informasi tanpa sepengetahuan dan mempublikasikannya.

Baca juga Teknologi AI dan Manfaatnya

Jadi perlu Anda ketahui bahwa sistem AI yang di ChatGPT hasilnya tersebut itu merupakan dari sumber data - data artikel dari website atau blog kita, nah mereka mengambil data kita untuk di training di sistem AI mereka, berikut dibwah ini Cara Blok Bots AI Crawlers Konten di Website Kita Menggunakan Cloudflare dan robots.txt

Cara Blok Bots AI di Cloudflare

Silakan buka website cloudflare, kemudian silakan pilih domain yang akan kita blok bots AI, disini saya pakai domain wirneet.com sendiri.

Step selanjutnya silakan pilih menu Security > Bots, kemudian silakan aktifkan AI Scrapers and Crawlers, bisa Anda lihat seperti dibawah ini.

Cara Blok Bots AI di robots.txt

Selain cara di atas, kita bisa menambakan parameter untuk melakukan blok bots AI di file robots.txt, Anda cukup menambakan teks seperti dibawah ini.

User-agent: GPTBot
Disallow: /

Jadi user agent dengan kode akses GPTBot bakal tidak izinkan masuk dan mengmabil data kita, dengan menambahkan secara spesifik, maka otomatis website kita tidak digunakan / sampling untuk training data oleh ChatGPT.

Demikian tips dan tutorial ini kami bagikan, terima kasih juga telah berkunjung di blog kami, Semoga bermanfaat.