admin
Banyak pemula WordPress mengabaikan file robots.txt, padahal file kecil ini mengatur bot mana yang boleh masuk dan path mana yang harus dihindari. Di 2026, dengan makin banyaknya bot AI dan crawler alternatif, konfigurasi yang rapi membantu melindungi crawl budget dan mencegah indeks halaman junk. Artikel how-to ini memandu Anda langkah demi langkah, tanpa asumsi teknis berat.
Apa itu robots.txt dan kenapa penting untuk pemula
Robots.txt adalah file teks di root domain (contoh: https://domainanda.com/robots.txt) yang memberi instruksi kepada crawler. Ia tidak mengamankan data sensitif—hanya permintaan sopan. Google, Bing, dan bot lain biasanya mematuhinya, tetapi jangan mengandalkannya untuk menyembunyikan login atau data pribadi; gunakan autentikasi dan noindex.
Kesalahan umum pemula: memblokir /wp-admin/ terlalu longgar sekaligus menutup aset CSS/JS, atau salah Disallow sehingga sitemap tidak terbaca. Target Anda: biarkan konten utama terbuka, batasi parameter berisik, dan arahkan ke sitemap XML.
Persiapan sebelum mengedit
Cek akses dan cadangan
Pastikan Anda punya akses ke root situs: File Manager hosting, SFTP, atau plugin file manager. Salin dulu robots.txt lama jika sudah ada. Catat URL sitemap Anda, biasanya https://domainanda.com/sitemap_index.xml (Yoast, Rank Math, atau AIOSEO).
Alat uji yang gratis
- Google Search Console → Settings → robots.txt Tester (atau laporan Page indexing terkait blocked by robots.txt).
- Browser: buka /robots.txt setelah publish.
- Alat online sederhana untuk validasi sintaks (pastikan tidak mengubah file live sembarangan).
Tutorial 6 langkah setup robots.txt
Langkah 1: Buat atau buka file di root
Di root public_html (atau folder web root), buat file bernama tepat robots.txt (huruf kecil). Jika pakai WordPress.com atau host yang membatasi, gunakan fitur “Edit robots.txt” di plugin SEO Anda. Jangan taruh di subfolder tema.
Langkah 2: Tulis User-agent dasar
Mulai dengan blok universal:
User-agent: *
Allow: /
Baris ini bilang “semua bot boleh mulai dari root”. Hindari Disallow: / total kecuali situs staging yang memang ditutup.
Langkah 3: Blokir area admin dan teknis dengan aman
Tambahkan pembatasan tipikal WordPress tanpa merusak front-end:
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Disallow: /wp-includes/
- Disallow: /trackback/
- Disallow: /xmlrpc.php
Allow admin-ajax penting agar fitur front-end yang memakai AJAX tidak terganggu. Jangan Disallow seluruh /wp-content/ karena itu bisa memblokir gambar dan CSS.
Langkah 4: Batasi parameter dan hasil pencarian internal
Halaman pencarian internal dan filter URL sering menghabiskan crawl tanpa nilai SEO. Contoh praktis:
- Disallow: /?s=
- Disallow: /*?s=
- Disallow: /page/*?* (sesuaikan jika struktur permalink Anda beda)
Sesuaikan dengan pola URL toko online atau listing jika Anda memakai parameter sort/color. Uji satu per satu agar tidak overblocking.
Langkah 5: Cantumkan Sitemap
Di bagian bawah file, tambahkan:
Sitemap: https://domainanda.com/sitemap_index.xml
Gunakan URL absolut HTTPS. Jika punya beberapa sitemap (post, product, video), Anda boleh menulis beberapa baris Sitemap. Ini mempercepat penemuan URL baru di 2026, terutama saat IndexNow dan crawl paralel makin umum.
Langkah 6: Simpan, verifikasi, dan monitor 7–14 hari
Upload/simpan file. Buka https://domainanda.com/robots.txt di browser mode inkognito. Di GSC, minta validasi URL beranda dan satu artikel. Periksa laporan “Blocked by robots.txt”. Pantau crawl stats: penurunan 404 aneh atau lonjakan “crawled – currently not indexed” bisa menandakan aturan terlalu ketat.
Contoh file lengkap untuk blog pemula
Berikut kerangka yang aman sebagai titik awal (sesuaikan domain dan pola URL):
User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /?s=
Disallow: /*?s=
Sitemap: https://domainanda.com/sitemap_index.xml
Untuk staging, gunakan User-agent: * dan Disallow: / plus password protection—jangan hanya andalkan robots.txt.
Kesalahan yang sering terjadi di 2026
- Typo “Disallow: /wp-content/uploads” sehingga gambar tidak ter-crawl.
- Memblokir bot AI secara agresif tanpa strategi konten; beberapa sitasi AI tetap butuh akses publik yang wajar.
- Menaruh noindex di robots.txt—sintaks itu tidak valid; pakai meta robots atau header HTTP.
- Duplikat aturan bertentangan antar plugin SEO dan file manual.
Checklist cepat setelah publish
- File bisa diakses publik di /robots.txt.
- Sitemap tercantum dan merespons 200.
- Beranda, artikel, kategori utama tidak ter-Disallow.
- GSC tidak melaporkan pemblokiran masif pada URL kanonik.
- Cadangan file tersimpan di tempat aman.
Dengan enam langkah di atas, pemula bisa mengendalikan crawler tanpa plugin berbayar mahal. Mulai dari aturan minimal, uji, lalu perhalus sesuai struktur situs. Review ulang setiap kali Anda menambah toko, membership, atau parameter URL baru agar robots.txt tetap selaras dengan tujuan SEO 2026.
