Generator Robots.txt

Standar yang Lahir pada 1994, Distandardisasi pada 2022

Robots Exclusion Protocol dirancang oleh Martijn Koster pada Februari 1994, hampir tiga dekade kemudian akhirnya dikodifikasikan sebagai RFC 9309 pada September 2022. Selama 28 tahun ia adalah standar de facto yang semua orang setuju untuk diikuti tanpa ada yang setuju tentang detailnya. RFC menetapkan sintaks (baris User-agent / Disallow / Allow), aturan preseden, batas ukuran file (parser harus menerima setidaknya 500 KiB), dan cara menangani error (4xx → crawler boleh mengakses apa saja; 5xx → crawler harus mengasumsikan pelarangan penuh). Sebagian besar crawler mesin pencari besar berperilaku kira-kira sama sebelum RFC, tetapi perbedaan kecil tetap penting.

Di Mana File Berada

File robots.txt harus dilayani di URL persis /robots.txt dari root origin Anda (satu per skema + host + port). Subdirektori tidak berfungsi; /blog/robots.txt hanyalah 404 bagi crawler. Setiap subdomain memerlukan filenya sendiri (www.example.com/robots.txt dan blog.example.com/robots.txt adalah file independen). File tersebut adalah teks biasa, dilayani sebagai text/plain, dikodekan UTF-8 (BOM diizinkan tetapi sangat tidak disarankan).

Sintaks dalam Satu Halaman

# Comments start with #
User-agent: *               # Apply to all crawlers
Disallow: /admin/           # Block this directory
Disallow: /search           # Block search results
Allow: /admin/login         # Allow this path even within /admin/

User-agent: Googlebot       # Specific Googlebot rules
Disallow: /test/

Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/news-sitemap.xml

Perilaku kunci:

• Struktur grup. Sebuah «grup» dimulai dengan satu atau lebih baris User-agent: dan dilanjutkan dengan aturan Allow: / Disallow: hingga User-agent: berikutnya memulai grup baru.
• Spesifisitas menang. Grup user-agent yang paling spesifik berlaku untuk crawler tertentu. Googlebot membaca aturan User-agent: Googlebot-nya dan mengabaikan aturan User-agent: * sepenuhnya.
• Disallow: kosong berarti «izinkan segalanya». Disallow: / berarti «blokir segalanya». Kehadiran/ketidakhadiran garis miring sangat kritis.
• Wildcard. * cocok dengan urutan karakter apa pun; $ cocok dengan ujung URL. Disallow: /*.pdf$ memblokir semua PDF. Secara resmi ini adalah ekstensi Google, tetapi sebagian besar crawler besar menerimanya.
• Sensitivitas huruf besar-kecil. Nama user-agent tidak sensitif terhadap huruf besar-kecil (Googlebot = googlebot). Jalur URL dalam aturan sensitif terhadap huruf besar-kecil (/Page ≠ /page) pada filesystem yang sensitif huruf besar-kecil.

Apa yang robots.txt TIDAK Lakukan

Kesalahpahaman paling umum, dan salah satu yang langsung disebutkan Google dalam dokumentasinya sendiri: robots.txt mencegah perayapan, bukan pengindeksan. Jika sebuah halaman ditautkan dari tempat lain di web, Google mungkin mengindeks URL tersebut (dan menampilkannya di hasil pencarian dengan keterangan seperti «Tidak ada informasi yang tersedia untuk halaman ini») meskipun tidak pernah merayapi halaman itu sendiri. Untuk benar-benar menjaga halaman keluar dari hasil pencarian, gunakan tag <meta name="robots" content="noindex"> pada halaman itu sendiri, atau header HTTP X-Robots-Tag: noindex. Crawler harus diizinkan mengakses halaman agar dapat melihat direktif noindex, artinya Anda tidak boleh men-Disallow halaman di robots.txt jika Anda juga telah menambahkan noindex ke halaman tersebut, karena crawler tidak akan pernah melihat noindex.

Hal lain yang tidak dilakukan robots.txt:

• Menyembunyikan URL sensitif. File ini dapat dibaca publik; siapa pun dapat mengambil yoursite.com/robots.txt. Mencantumkan jalur seperti /admin/ atau /internal-tools/ memberitahu dunia bahwa URL tersebut ada. Untuk kerahasiaan sejati, gunakan autentikasi; untuk «jangan diindeks saja», gunakan noindex.
• Menghentikan crawler jahat. Pelaku jahat mengabaikan robots.txt sepenuhnya. Ini adalah permintaan kepada crawler yang berperilaku baik, bukan penegakan.
• Memblokir crawler embed-card dengan cara yang andal. facebookexternalhit milik Facebook, Twitterbot milik Twitter, LinkedInBot milik LinkedIn, serta bot Slack dan Discord semuanya membaca robots.txt, tetapi jika Anda memblokir mereka, tautan yang dibagikan tidak akan merender pratinjau di platform tersebut. Izinkan mereka secara eksplisit jika Anda menginginkan kartu berbagi.

User Agent yang Perlu Diketahui

Pertanyaan Crawler AI

Sejak 2023, gelombang crawler pelatihan AI telah muncul, dan banyak situs telah menambahkan aturan robots.txt untuk memilih keluar dari pelatihan AI. Yang utama perlu diketahui:

• GPTBot: crawler pelatihan OpenAI.
• ChatGPT-User: crawler on-demand OpenAI saat pengguna ChatGPT memintanya mengambil sebuah URL.
• OAI-SearchBot: crawler produk pencarian OpenAI.
• Google-Extended: token terpisah Google untuk pelatihan AI (Bard / Gemini), independen dari Googlebot. Memungkinkan Anda mengizinkan Search tetapi memblokir pelatihan AI.
• ClaudeBot / Claude-User / Claude-SearchBot: berbagai crawler Anthropic.
• PerplexityBot: Perplexity AI.
• CCBot: Common Crawl, dataset terbuka tempat sebagian besar LLM dilatih.
• Bytespider: ByteDance / TikTok.
• Applebot-Extended: token terpisah Apple Intelligence, mirip dengan Google-Extended.

Dua hal penting yang perlu diketahui: (1) pilihan keluar bersifat sukarela, karena hanya crawler yang menghormati robots.txt yang terpengaruh, dan (2) batas antara «search» dan «AI training» semakin kabur, sehingga memblokir semua crawler AI juga dapat memengaruhi bagaimana konten Anda muncul dalam hasil pencarian yang dirangkum AI. Gunakan preset «Block AI Crawlers» di atas sebagai titik awal, lalu tentukan trade-off mana yang masuk akal untuk situs Anda.

Crawl-Delay dan Mengapa Google Mengabaikannya

Direktif Crawl-delay: non-standar meminta crawler untuk menunggu N detik antara permintaan ke server Anda. Bing, Yandex, dan banyak crawler kecil menghormatinya. Google tidak. Dokumentasi Google menyatakan secara eksplisit bahwa Googlebot mengabaikan Crawl-delay. Search Console dulu mengekspos pengaturan Crawl rate manual, tetapi Google menghapusnya untuk sebagian besar situs pada awal 2024 dan sekarang menyesuaikan crawl rate secara otomatis berdasarkan respons server. Jika tujuan Anda adalah memperlambat Googlebot secara khusus, robots.txt adalah alat yang salah.

Direktif Sitemap

Mencantumkan sitemap Anda di robots.txt adalah petunjuk kepada crawler tentang tempat menemukan daftar URL Anda. Gunakan URL absolut (lengkap https://), satu per baris. Anda dapat mencantumkan beberapa sitemap untuk situs yang membagi konten ke dalam sitemap terpisah (sitemap utama, sitemap berita, sitemap video, sitemap gambar). Direktif Sitemap bukan bagian resmi dari protokol robots.txt asli, tetapi setiap mesin pencari besar membacanya.

Kesalahan Umum

1. Melarang file CSS / JavaScript. Google menggunakan konten yang dirender untuk peringkat. Jika Googlebot tidak dapat mengambil /css/ atau /js/ Anda, ia tidak dapat merender halaman Anda dengan benar, yang merugikan SEO. Jangan blokir direktori sumber daya.
2. Mengacaukan Disallow dengan noindex. Disallow menghentikan perayapan; halaman mungkin masih muncul dalam pencarian melalui tautan masuk. Gunakan meta tag noindex untuk kontrol pengindeksan yang sebenarnya.
3. Mencantumkan URL privat. Apa pun yang ada di robots.txt dapat dibaca publik. Jangan mengiklankan /admin/ atau /wp-admin/ jika Anda tidak ingin penyerang mengetahui keberadaannya; sebaiknya gunakan autentikasi yang tepat dan andalkan noindex.
4. Disallow: kosong saat yang Anda maksud adalah Disallow: /. Yang kosong mengizinkan segalanya; Disallow: / memblokir segalanya. Keduanya berlawanan.
5. Mencoba memblokir crawler embed dan kemudian bertanya-tanya mengapa pratinjau berbagi tidak berfungsi. Jika Anda men-Disallow facebookexternalhit, tautan yang dibagikan tidak akan merender kartu Facebook. Izinkan bot media sosial secara eksplisit jika Anda menginginkan pratinjau.
6. Lupa menambahkan baris Sitemap. Gratis, berguna, dan sebagian besar generator menghilangkannya.
7. Mengandalkan Crawl-delay untuk membatasi Google. Tidak berfungsi. Gunakan Search Console.
8. Menggunakan robots.txt untuk memblokir berdasarkan IP / wilayah / perangkat. Protokol tidak memiliki konsep ini. Gunakan aturan sisi server sebagai gantinya.
9. Tidak menguji file. Google menghapus robots.txt Tester yang berdiri sendiri pada November 2023 dan menggantinya dengan robots.txt Report di dalam Search Console; laporan tersebut menandai kesalahan sintaks dan menampilkan crawl terbaru. Selalu periksa (atau validator robots.txt open-source lainnya) sebelum men-deploy.

Pertanyaan yang Lebih Sering Diajukan

Di mana tepatnya saya meletakkan file?

Root domain Anda, dapat diakses di persis https://yoursite.com/robots.txt. Pada sebagian besar host, artinya meletakkan robots.txt di direktori root public / htdocs / www Anda. WordPress dan banyak CMS menghasilkannya secara dinamis; periksa apakah CMS Anda melakukannya sebelum menambahkan file statis (file statis menang jika keduanya ada).

Apakah saya memerlukan robots.txt sama sekali?

Secara teknis tidak. Tanpanya, crawler default ke «izinkan segalanya», yang cukup untuk sebagian besar situs publik. Tetapi Anda hampir selalu menginginkannya untuk mengarahkan ke sitemap Anda, memblokir perangkap crawl yang jelas (halaman hasil pencarian, arsip paginasi, URL parametrik), dan semakin banyak untuk memilih keluar dari pelatihan AI. Robots.txt kosong atau default-allow tetap berguna sebagai tempat untuk menaruh baris Sitemap.

Seberapa besar robots.txt bisa?

RFC 9309 mengharuskan parser menerima setidaknya 500 KiB (~500.000 byte). Google memberlakukan batas 500 KiB dan mengabaikan apa pun di luar itu. Sebagian besar file robots.txt jauh di bawah 1 KiB. Jika milik Anda mendekati batas tersebut, Anda mungkin mencantumkan terlalu banyak URL spesifik dan sebaiknya menggunakan pola wildcard.

Apa yang terjadi jika robots.txt saya mengembalikan error 500?

Menurut RFC 9309, ketika crawler tidak dapat mengambil robots.txt karena error server (5xx), ia harus mengasumsikan pelarangan penuh, artinya Google dan crawler yang patuh lainnya akan berhenti merayapi situs Anda sepenuhnya hingga file tersebut dapat dijangkau kembali. Jika endpoint robots.txt Anda mati, visibilitas pencarian Anda juga ikut turun. Pastikan tetap tersedia.

Bagaimana dengan Crawl-delay untuk Google?

Google secara eksplisit mengabaikan Crawl-delay. Direktif ini memang berfungsi untuk Bing, Yandex, dan sebagian besar crawler lainnya. Pengaturan Crawl rate manual yang dulu diekspos Search Console telah dihapus untuk sebagian besar situs pada awal 2024; Google sekarang menyesuaikan crawl rate secara otomatis berdasarkan respons server Anda. Mengatur Crawl-delay di robots.txt tidak akan merusak apa pun; hanya saja tidak akan mengubah perilaku Googlebot.

Apakah saya harus memblokir crawler AI?

Trade-off. Memblokir GPTBot, Google-Extended, ClaudeBot, dll. memilih konten Anda keluar dari data pelatihan untuk model tersebut, yang merupakan pilihan tepat jika Anda ingin membatasi penggunaan ulang konten Anda. Biayanya: seiring hasil pencarian yang dirangkum AI semakin umum, konten yang diblokir mungkin juga kurang mungkin dikutip atau dimunculkan. Banyak penerbit memblokir crawler pelatihan AI tetapi mengizinkan crawler pencarian AI (OAI-SearchBot, dll.) agar tetap dapat dikutip. Preset «Block AI Crawlers» mengambil pendekatan maksimalis; sesuaikan dengan prioritas Anda.