Setting Robots.txt Blogspot yang Bikin Crawling Lebih Rapi

Ilustrasi robot NgulikSEO ramah sedang menjelaskan cara kerja robots.txt pada Blogger agar proses crawling lebih rapi dan terarah.

Sebagai pemilik blog di platform Blogger (Blogspot) pasti kamu pernah mendengar istilah robots.txt, tapi tidak benar-benar yakin apa fungsinya dan kenapa penting untuk SEO blog kamu. Di bagian pertama artikel ini, kita akan mendalami apa itu robots.txt, kenapa kamu perlu mengaturnya secara custom di Blogger, risiko jika salah konfigurasi, serta langkah awal untuk mengaturnya dengan aman.

Apa Itu Robots.txt dan Mengapa Penting?

Robots.txt adalah file teks berformat .txt yang diletakkan di root (akar) situs web. Fungsinya: memberi instruksi kepada crawler (robot mesin pencari) halaman mana yang boleh atau tidak boleh dirayapi. 

Kenapa ini krusial?

  • Mesin pencari seperti Google pertama-tama “berkunjung” ke robots.txt untuk memahami aturan crawling situs. 

  • Dengan robots.txt, kamu bisa mencegah halaman-halaman duplikat atau “tipis” (thin content) seperti halaman pencarian internal (/search) agar tidak dirayapi. 

  • Mengatur robots.txt dengan benar membantu mengefisienkan “crawl budget” – artinya Googlebot akan fokus merayapi konten penting di blog kamu.

Kenapa Blogger (Blogspot) Perlu Setting Robots.txt Custom?

Sebenarnya, Blogger sudah punya robots.txt default. Sebagian blog pengguna baru mungkin berpikir “ngapain custom?” — tetapi ada beberapa alasan kuat kenapa custom robots.txt sangat berguna:

  1. Kontrol Lebih Spesifik
    Dengan kustom, kamu bisa menentukan halaman mana yang tidak diindeks: misalnya /search, /label, atau parameter mobile seperti ?m=1.

  2. Mencegah Duplikat Konten
    Jika blog kamu punya banyak arsip atau feed, tanpa aturan yang tepat, crawler bisa merayapi semuanya dan menimbulkan konten duplikat. Dengan robots.txt, kamu bisa melarang perayapan bagian arsip tertentu. 

  3. Efisiensi Crawl
    Dengan memblokir URL yang kurang penting, crawler akan lebih fokus pada konten inti (postingan, halaman statis), sehingga membuat blog kamu lebih efisien dirayapi.

  4. SEO Lebih Aman & Terstruktur
    Menjadi pemilik blog yang paham aturan robots.txt bisa meningkatkan profesionalitas SEO kamu. Namun, ini bukan tanpa risiko: salah konfigurasi bisa membuat halaman penting blog tidak di-crawl sama sekali. 

Risiko Jika Salah Setting robots.txt

Penting banget untuk mempertimbangkan risiko sebelum memasang custom robots.txt. Beberapa risiko umum:

  • Halaman Tidak Terindeks
    Salah menuliskan aturan Disallow bisa membuat Googlebot melewatkan halaman penting blog kamu. 

  • Parameter Mobile Terlupakan
    Banyak blog Blogger menggunakan parameter ?m=1 untuk versi mobile. Jika tidak di-blok, versi mobile duplikat bisa disalahindeks. 

  • Arsip / Label Terindex
    Jika kamu tidak menonaktifkan perayapan label atau pencarian, ini bisa menimbulkan duplikat konten yang buruk untuk SEO. 

  • Caching / Delay Update
    Setelah mengubah robots.txt, butuh waktu agar Google memperbarui versi yang di-crawl. Selama periode ini, efek kustomisasi mungkin belum langsung terasa.

Cara Mengaktifkan Custom Robots.txt di Blogger

Oke, sekarang masuk ke praktik. Berikut langkah-langkah untuk mengaktifkan custom robots.txt di Dashboard Blogger:

  1. Buka Dashboard Blogger → pilih blog yang ingin diatur

  2. Pergi ke Setelan (Settings) → bagian Crawler dan Pengindeksan (Crawlers and indexing)

  3. Cari opsi Aktifkan robots.txt kustom / Enable Custom robots.txt → ubah ke Ya / Yes 

  4. Klik pada kolom Custom robots.txt yang muncul

  5. Paste kode robots.txt yang sudah kamu siapkan (contoh di bagian berikutnya)

  6. Klik Simpan / Save

Selalu ingat: setelah menyimpan, periksa https://namablog.blogspot.com/robots.txt supaya kamu bisa memastikan aturan yang kamu masukkan benar.

Template Kode Robots.txt Dasar & Penjelasan

Berikut contoh kode robots.txt custom dasar yang cukup aman dan sering digunakan oleh banyak blogger:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://namablog.blogspot.com/sitemap.xml

Penjelasan setiap baris:

BarisFungsi
User-agent: Mediapartners-GoogleMenargetkan crawler khusus Google AdSense (crawler iklan) agar diizinkan merayapi semua halaman. 
Disallow:Kosong berarti crawler AdSense boleh merayapi semuanya.
User-agent: *Menyasar semua crawler / robot mesin pencari.
Disallow: /searchMelarang perayapan URL yang mengandung /search, misalnya hasil pencarian internal blog, yang biasanya duplikat dan tidak penting. 
Allow: /Mengizinkan semua URL root (posting, halaman) dirayapi.
Sitemap: https://namablog.blogspot.com/sitemap.xmlMenunjukkan letak sitemap blog agar crawler tahu peta halaman mana saja yang tersedia. 

Tips untuk Menyesuaikan robots.txt bagi Blogger Pemula

Supaya setting kamu lebih aman dan efektif, berikut beberapa tips untuk pemula:

  • Gunakan kode dasar terlebih dahulu sebelum membuat aturan yang sangat spesifik.

  • Selalu cek robots.txt via URL root setelah menyimpannya untuk konfirmasi.

  • Gunakan Google Search Console untuk memantau perayapan dan validitas sitemap.

  • Jangan langsung blok banyak URL; mulailah dari /search dulu, lalu perhatikan efeknya.

  • Backup eksternal (misalnya catatan di Google Docs) kode robots.txt kamu agar bisa restore jika terjadi kesalahan.

Pengaturan Lanjutan Robots.txt yang Sering Dipakai Blogger Indonesia

Setelah kamu nyaman dengan kode dasar, kamu bisa mulai menerapkan aturan lanjutan. Pengaturan ini cocok buat kamu yang blognya sudah berisi banyak konten, memiliki label/arsip yang panjang, atau sering bermasalah dengan indexing.

1. Memblok Parameter Mobile ?m=1 (Masalah Khas Blogspot)

Blogspot secara otomatis menghasilkan halaman versi mobile dengan tambahan parameter ?m=1. Masalahnya, halaman ini bisa muncul dan diindeks sebagai versi duplikat dari posting utama.

Solusinya, kamu bisa membantu Google agar tidak merayapi URL tersebut:

User-agent: *
Disallow: /*?m=1$

Kenapa ini penting?

  • URL ?m=1 tidak diperlukan untuk SEO modern karena Blogger sudah mengimplementasikan responsive design.

  • URL duplikat bisa membingungkan crawler dalam menentukan canonical.

  • Crawl budget jadi boros hanya untuk versi halaman yang sebenarnya tidak kamu anggap penting.

2. Melarang Perayapan Arsip dan Label (opsional, tapi sangat berguna)

Jika kamu punya blog dengan ratusan posting, halaman arsip seperti:

  • /YYYY/MM/

  • /label/

bisa memicu duplikat konten. Biasanya halaman ini hanya berisi list posting, bukan konten inti.

Kamu bisa melarang perayapan bagian ini:

Disallow: /20*/
Disallow: /label/

Kapan aturan ini diperlukan?

  • Jika kamu tidak mengandalkan halaman label/arsip sebagai bahan navigasi yang ingin ditampilkan di Google.

  • Jika fokus utama SEO kamu adalah halaman posting, bukan kategori.

Banyak blogger Indonesia memilih memblok label karena performa SEO lebih stabil saat crawler hanya fokus ke konten utama.

3. Memblok Feed untuk Mengurangi Crawl Spam

Blogspot menyediakan banyak tipe feed (atom, rss, feed post, feed comment). Masalahnya: banyak feed ini di-crawl oleh bot lain dan bisa memboroskan crawl budget.

Contoh blok feed:

Disallow: /feeds/
Disallow: /feeds/posts/
Disallow: /feeds/comments/

Ini tidak mempengaruhi sitemap dan tidak berdampak pada indexing posting, jadi aman.

4. Kombinasi Kode Robots.txt “Advance” yang Masih Aman untuk Blogspot

Berikut template lanjutan yang lebih komprehensif tetapi tetap aman:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /*?m=1$
Disallow: /20*/
Disallow: /label/
Disallow: /feeds/
Allow: /

Sitemap: https://namablogkamu.blogspot.com/sitemap.xml

Catatan:

  • Tidak semua blog butuh aturan ini. Cocok untuk blog dengan banyak konten.

  • Jangan menggunakan aturan ini jika blog kamu baru berisi sedikit posting (<20).

Cara Menghemat Crawl Budget Dengan Robots.txt

Blogger tidak memberikan kontrol mendalam seperti WordPress, tetapi robots.txt masih bisa membantu efisiensi crawl.

1. Hindari Memperbanyak Halaman Arsip

Blogger secara default membuat arsip bulanan otomatis. Ini bisa menghasilkan puluhan halaman arsip dalam beberapa tahun.

Jika kamu memblok /20*/, crawler tidak perlu membuang energi merayapi arsip, sehingga:

  • Google lebih cepat menemukan posting baru

  • Crawling lebih terfokus pada konten yang punya nilai ranking

2. Blok Parameter yang Tidak Memberi Nilai Tambah

Parameter seperti:

  • ?max-results=

  • ?updated-max=

  • ?by-date=

  • ?m=1

tidak memberikan manfaat SEO. Semua bisa diblok tanpa risiko.

3. Pastikan Sitemap Kamu Accessible

Robots.txt yang baik harus menyertakan sitemap karena ini jalur ideal bagi Google menemukan halaman penting.

Contoh:

Sitemap: https://namablogkamu.com/sitemap.xml

Jangan mencoba “memaksa” Google merayapi halaman yang tidak kamu butuhkan di sitemap. Biarkan sitemap menyajikan struktur yang rapi.

Cara Mengecek Robots.txt Kamu Sudah Benar

Ada beberapa langkah sederhana untuk memastikan tidak ada salah konfigurasi.

1. Cek langsung via URL

Buka:

https://namablogkamu.blogspot.com/robots.txt

Pastikan:

  • Tidak ada baris ganda atau duplikat aturan

  • Tidak ada Disallow berlebihan yang memblok konten inti

  • Struktur baris rapi dan mudah dibaca

2. Gunakan Google Search Console (GSC)

Di bagian Indexing → Pages, cek:

  • Apakah ada halaman penting yang diblokir oleh robots.txt

  • Lihat laporan “Blocked by robots.txt”

  • Jika ada halaman penting yang terblokir, segera perbaiki

3. Testing via Inspect URL

Gunakan fitur URL Inspection, lalu lihat status:

  • “Allowed” → aman

  • “Blocked by robots.txt” → perlu dianalisis

Dampak Setting Robots.txt yang Benar terhadap SEO Blogspot

Beberapa efek yang sering dirasakan blogger setelah memperbaiki robots.txt:

1. Crawling Lebih Teratur

Google bot berhenti memboroskan waktunya ke halaman yang sebenarnya tidak kamu inginkan muncul di SERP.

2. Indexing Lebih Cepat

Posting baru sering muncul di index hanya dalam hitungan menit hingga jam karena jalurnya lebih jelas.

3. Duplikat Konten Menurun

Dengan memblok /search, /label/, dan arsip, duplikasi berkurang drastis.

4. Performa Blog Lebih Stabil

Crawler yang bekerja efisien tidak membebani server Blogger, dan ini sering membuat pengalaman pengguna terasa lebih cepat.

Studi Kasus: Blog Baru vs Blog Lama

Untuk memberikan gambaran praktis, berikut perbandingan bagaimana robots.txt memengaruhi dua tipe blog:

Blog Baru (1–20 artikel)

Rekomendasi:

  • Pakai template robots.txt dasar

  • Fokus pada indexing posting dan halaman statis

  • Jangan blok label dulu jika kamu sering menggunakannya

Dampak:

  • Robot lebih cepat mengenali struktur blog

  • Tidak ada resiko “kekurangan” halaman untuk dirayapi

Blog Lama (100+ artikel)

Rekomendasi:

  • Mulai blok /20*/ (arsip), /label/, dan feed

  • Blok parameter mobile ?m=1

  • Perbaiki sitemap bila perlu

Dampak:

  • Crawl budget lebih hemat

  • Indexing lebih stabil

  • SERP lebih bersih tanpa halaman arsip yang tidak penting

Mini Checklist: Apakah Robots.txt Kamu Sudah Optimal?

Gunakan checklist ini untuk menilai konfigurasi kamu:

  • Halaman penting (posting, page) diizinkan

  • /search diblok

  • Sitemap disertakan

  • Parameter ?m=1 diblok (opsional, tapi disarankan)

  • Arsip/label diblok (khusus blog besar)

  • Tidak ada aturan Disallow yang berlebihan

  • Sudah dicek via URL + Search Console

Kalau semua centang, berarti konfigurasi kamu sudah masuk standar SEO Blogger yang stabil.

Kesimpulan

Setting robots.txt di Blogspot bukan sekadar menyalin kode dari internet. Kamu perlu memahami:

  • Bagian mana dari blog kamu yang perlu diblok

  • Bagaimana crawl budget bekerja

  • Bagaimana cara menjaga indexing tetap stabil dari waktu ke waktu

Robots.txt yang ditulis dengan strategi (bukan asal blok) membuat blog kamu lebih rapi, efisien, dan mudah dipahami crawler. Hasil akhirnya: performa SEO lebih stabil dan peluang ranking lebih besar.

FAQ: Setting Robots.txt Blogspot

1. Apakah salah setting robots.txt bisa menghilangkan ranking?
Ya, jika kamu memblok URL penting. Karena itu, selalu cek dengan Search Console.

2. Apakah wajib memblok /label/ dan arsip tahunan?
Tidak wajib. Hanya disarankan untuk blog besar dengan banyak konten.

3. Apakah blok ?m=1 aman?
Aman. Blogger sudah responsif tanpa memerlukan versi mobile.

4. Apakah robots.txt mempengaruhi kecepatan blog?
Secara langsung tidak. Tapi crawling lebih efisien bisa berdampak pada performa keseluruhan.

5. Apakah saya perlu sitemap tambahan selain bawaan Blogger?
Tidak perlu. Sitemap bawaan Blogger sudah cukup.



Artikel Terkait, Wajib Dibaca!!! : 
- Setting SEO Blogspot: Trik Dasar Penting untuk Hasil Maksimal
- Meta Tag Blogspot: Power Upgrade untuk Performa SEO Maksimal
- Cara Ampuh Menulis Judul Postingan Blogspot yang SEO Friendly
- Cara Menulis Deskripsi Blog yang Bikin Pembaca Tertarik
- Setting Meta Tag Blogger yang Bikin Performa Makin Stabil


Tags:
Lebih baru Lebih lama