Panduan Lengkap Setup robots.txt WP 2026: Tutorial 7 Langkah

Di 2026, crawl budget tetap terbatas meski Googlebot makin pintar. File robots.txt yang rapi jadi gerbang pertama: salah tulis satu baris bisa mengunci aset penting atau membuang crawl ke parameter sampah. Panduan lengkap ini memandu Anda setup robots.txt WordPress dari nol hingga verifikasi, tanpa plugin berlebihan.

Mengapa robots.txt Masih Krusial di 2026

robots.txt bukan alat ranking langsung, tapi mengontrol apa yang boleh di-crawl. Dengan soft navigation, faceted filter, dan preview AI crawler, file ini membantu memprioritaskan URL kanonis. Target praktis: kurangi path admin, search internal, dan tracking query tanpa memblokir CSS/JS yang dibutuhkan rendering.

Persiapan Sebelum Edit

Backup file robots.txt lama (jika ada) via FTP/SFTP atau File Manager hosting.
Pastikan situs sudah HTTPS dan canonical domain stabil (www atau non-www).
Catat URL sitemap XML aktif, misalnya https://domain.com/sitemap_index.xml.
Siapkan akses Google Search Console (GSC) untuk uji robots.txt tester.

Tutorial 7 Langkah Setup robots.txt WordPress 2026

Langkah 1: Cek Perilaku Default WordPress

WordPress sering menyajikan robots.txt virtual jika file fisik tidak ada. Buka https://domain.com/robots.txt di browser. Catat baris Disallow: /wp-admin/ dan Allow ke admin-ajax. Pahami dulu sebelum menimpa agar tidak merusak pola bawaan yang sudah aman.

Langkah 2: Buat File Fisik di Root

Unggah file bernama tepat robots.txt (huruf kecil) ke folder public_html atau root document. Encoding UTF-8 tanpa BOM. Hak akses file biasanya 644. Setelah unggah, refresh URL robots.txt—harus menampilkan isi file fisik, bukan respons dinamis WP saja.

Langkah 3: Tulis Aturan User-agent Dasar

Mulai dengan blok generik:

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Pola ini menjaga dashboard tertutup sambil membiarkan AJAX yang sering dibutuhkan tema dan plugin. Jangan Disallow seluruh /wp-content/ atau /wp-includes/—itu merusak rendering dan sinyal JavaScript SEO.

Langkah 4: Blokir Path Pembuang Crawl

Tambahkan larangan spesifik yang umum di WP 2026:

Disallow: /?s= dan Disallow: /*?s=* untuk hasil pencarian internal
Disallow: /page/*?* bila filter paginasi berparameter bermasalah (sesuaikan pola situs)
Disallow: /wp-login.php bila ingin mengurangi noise bot non-Google (opsional; Google jarang mengindeks login)
Disallow path plugin preview, cart query, atau UTM berulang jika sudah ditangani di parameter URL GSC

Hindari wildcard agresif seperti Disallow: /* yang bisa mengunci seluruh situs.

Langkah 5: Izinkan Aset Penting & AI Crawler Selektif

Pastikan CSS, JS, dan gambar tema tidak terblokir. Jika Anda memakai llms.txt atau kebijakan AI terpisah, tetap biarkan Googlebot penuh di konten kanonis. Untuk bot AI pihak ketiga yang hanya menyedot tanpa nilai, Anda boleh menambah blok User-agent spesifik—uji dulu dampaknya pada brand mention.

Langkah 6: Cantumkan Sitemap

Di akhir file, tambahkan satu atau beberapa baris:

Sitemap: https://domain.com/sitemap_index.xml

Gunakan URL absolut HTTPS. Jika ada sitemap berita atau video terpisah, daftarkan masing-masing. Baris Sitemap dibaca banyak crawler utama dan mempercepat penemuan URL baru tanpa menggantikan ping GSC.

Langkah 7: Validasi & Monitor 14 Hari

Uji di GSC → robots.txt Tester: cek URL beranda, artikel, kategori, dan satu URL admin. Fetch live URL penting. Pantau laporan Page Indexing 7–14 hari: lonjakan “Blocked by robots.txt” pada URL yang seharusnya indeks = ada pola salah. Perbaiki bertahap, jangan ganti seluruh file sekaligus di situs traffic tinggi.

Contoh Kerangka robots.txt Minimal Aman

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*?s=
Sitemap: https://domain.com/sitemap_index.xml

Sesuaikan path toko, membership, atau multilingual (hreflang) agar subfolder bahasa tidak ikut terlarang.

Kesalahan Fatal yang Harus Dihindari

Menaruh robots.txt di subfolder tema—bot hanya baca root domain.
Disallow: /wp-content/uploads pada situs gambar-heavy (merusak image SEO).
Mengandalkan hanya robots.txt untuk konten rahasia—pakai autentikasi dan noindex.
Blokir parameter yang sebenarnya ingin diverifikasi di rich result.
Lupa sitemap setelah migrasi domain 2026.

Integrasi dengan Stack SEO WordPress

Samakan aturan robots.txt dengan meta robots, header X-Robots-Tag, dan pengaturan plugin SEO (Rank Math, Yoast, AIOSEO). robots.txt menahan crawl; noindex menahan indeks. Untuk halaman thin atau thank-you, utamakan noindex follow di level halaman, bukan Disallow buta yang menghilangkan sinyal internal link.

Checklist Cepat Setelah Go-Live

HTTP status robots.txt = 200, bukan 301 berantai.
Ukuran file tetap kecil (beberapa KB), tanpa komentar berlebihan.
Tidak ada konflik Allow/Disallow yang membingungkan bot (urutan dari spesifik ke umum).
Crawl stats GSC stabil atau naik pada URL kanonis dalam 2 minggu.

Dengan tujuh langkah di atas, robots.txt WordPress Anda di 2026 menjadi kebijakan crawl yang jelas: melindungi admin, membuang noise pencarian internal, membuka aset rendering, dan menunjuk sitemap dengan tegas. Ulangi audit setiap kali menambah plugin besar, migrasi hosting, atau membuka subfolder baru agar crawl budget tetap jatuh ke halaman yang pantas ranking.