Saya perhatikan dibeberapa forum komunitas, para konten kreator menggunakan AI untuk bikin konten website, bard AI-nya google, jika di klik detail baru akan memberikan data referensi website yang dia gunakan.
Namun di tools e-ay yang lain banyak yang tidak memberikan informasi, dari mana saja referensi data dia.
Nah jika konten web yang kita miliki, tidak direferensikan, maka orang pengguna e-ay tentu juga tidak akan pernah melirik website kita, apalagi memberi backlink, mereka pikir AI berpikir sendiri untuk membuat konten website yang mereka suruh sesuai prompt yang mereka masukkan ke tools e-ay.
Jadi kepikiran block saja bot AI yang suka ngambil data di website kita, tanpa mengutip referensi dari website kita.
Salah satu cara block bot e-ay melalui robots.txt
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: MAZBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: proximic
Disallow:
User-agent: ChatGPT-User
Disallow: /
Perintah diatas masukkan ke dalam file robots.txt website, nantinya bot e-ay yang umum dikenali seperti GPTBot, MAZBot, CCBot, dan lainnya, maka botnya akan membaca bahwa dia tidak diperbolehkan crawling data. Sehingga (idealnya) dia tidak akan melanjutkan pengambilan data website kita.
Selain itu juga nanti server kita terkurangi bebannya, karena tidak semua bot di allow.
Referensi:
- https://searchengineland.com/google-extended-crawler-432636
- https://www.dionzi.com/2023/10/cara-blokir-bot-ai.html