Di 2026, crawl budget bukan lagi soal “berapa banyak URL yang di-crawl Googlebot”. Anda berhadapan dengan Googlebot HTML, Google-Extended, Bingbot, Bytespider, GPTBot, ClaudeBot, plus bot marketplace. Tanpa segmentasi, bot sekunder bisa menghabiskan kapasitas yang seharusnya dipakai untuk halaman revenue. Berikut tips lanjutan untuk praktisi yang sudah nyaman dengan log analysis dan GSC.

1. Petakan bot real dari log, bukan dari user-agent list generik

Ekspor access log 14–30 hari (Nginx/Apache/Cloudflare). Normalisasi IP ke rentang resmi (Googlebot via DNS reverse + forward, Bing via bingbot.com). Buat pivot:

• hits/hari per bot family
• status code 200 vs 3xx/4xx/5xx
• bytes transferred & TTFB p95
• depth path (/, /produk/, /blog/, parameter)

Target praktis: Googlebot “useful crawl” (200 + HTML indexable) ≥ 70% dari total hit-nya. Jika 4xx parameter > 15%, budget bocor—perbaiki sebelum menambah konten baru.

2. Pisahkan “index crawl” vs “training/AI crawl” di edge

Jangan andalkan robots.txt saja untuk GPTBot/Google-Extended jika Anda ingin tetap muncul di AI answer tetapi melindungi server. Di CDN (Cloudflare Workers / Fastly VCL / Akamai):

• allow full HTML untuk Googlebot & Bingbot pada path money pages
• serve cache-only atau soft-throttle (rate limit 1–2 rps per IP range) untuk bot training yang Anda izinkan
• blok atau challenge bot yang tidak diverifikasi DNS namun mengaku sebagai crawler besar

Contoh aturan operasional: money URL (/checkout, /kategori/*) mendapat prioritas queue; archive tag dengan traffic organik < 50 sesi/90 hari di-deprioritaskan lewat X-Robots-Tag: noindex bertahap, bukan mass delete.

3. Pakai crawl-delay implisit lewat Cache-Control & 304, bukan Crawl-delay usang

Direktif Crawl-delay di robots sudah tidak relevan untuk Google. Yang bekerja di 2026:

• ETag + Last-Modified ketat agar bot menerima 304; target rasio 304 ≥ 25% pada URL statis/semi-statis
• stale-while-revalidate di CDN agar origin jarang kena spike saat beberapa bot paralel
• kompresi Brotli level stabil + HTTP/3; kurangi TTFB p95 di bawah 400 ms untuk HTML di region utama

Ukur sebelum/sesudah: hit origin per bot turun 20–40% biasanya cukup untuk “membebaskan” budget ke URL baru tanpa menambah resource server.

4. Antrian prioritas lewat sitemap berlapis + lastmod jujur

Sitemap indeks terpisah:

• sitemap-money.xml — update lastmod hanya saat konten/harga/stok benar-benar berubah
• sitemap-fresh.xml — artikel < 72 jam
• sitemap-media.xml — image/video jika memang Anda kejar rich/discover

Jangan stamp lastmod massal tiap deploy; Google 2025–2026 semakin agresif menurunkan kepercayaan sitemap yang “berisik”. Untuk situs > 100k URL, batasi URL aktif di sitemap utama < 50k yang benar-benar ingin di-re-crawl mingguan.

5. Tutup lubang parameter & faceted URL dengan keputusan berbasis log, bukan asumsi

Ambil top 20 parameter yang paling sering di-crawl (utm, sort, filter warna, page). Untuk tiap parameter tentukan satu kebijakan:

• canonical ketat ke URL bersih + konsisten di header & HTML
• atau noindex,follow jika berguna untuk user tapi tidak untuk index
• atau blok robots hanya jika zero value dan membebani (uji 14 hari, pantau impressi GSC)

Indikator sukses tingkat lanjut: dalam 21 hari, proporsi crawl Googlebot ke URL non-kanonikal turun ≥ 30%, sementara indexing coverage “Crawled – currently not indexed” pada cluster money pages tidak naik.

Checklist eksekusi mingguan (tim SEO + DevOps)

• Dashboard log: top bot, 404 burst, path boros byte
• GSC Crawl stats vs log (selisih > 20% = sampling/CDN issue)
• Sitemap diff: URL baru vs URL yang benar-benar di-hit bot dalam 7 hari
• Review allowlist AI bot sesuai kebijakan konten & legal

Segmentasi crawl budget 2026 adalah disiplin operasional, bukan plugin sekali pasang. Mulai dari log yang bersih, edge rules yang terukur, dan sitemap yang jujur—baru scaling konten terasa dampaknya di indeks dan di AI surfaces tanpa merusak stabilitas origin.