Skip to main content

Setelan Robots.txt dan Tag Header Robot Kustom Blogger

Cara aktifkan Robots.txt dan Tag Header Robot Kustom di setelan Blogger.

Robots.txt dapat diartikan sebagai sebuah file teks yang otomatis tertanam dalam Blog khususnya di Blogger yang biasanya berisi sekumpulan baris perintah kepada perayap dari mesin pencari apakah halaman tertentu di blog kita boleh dirayapi atau tidak.

Kalau sekumpulan baris perintah memperbolehkan untuk dirayapi maka halaman tersebut akan terindex dan bisa muncul dimesin pencari dan sebaliknya.

Lebih jelasnya: https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=id

Cara aktifkan Robots.txt Kustom


1. Pengaturan / Setelan.
2. Crawler dan pengindeksan.

Tap tombol hijau untuk meng-aktifkan dan tap Robots.txt Kustom untuk membuka kotak tempat penyimpanan kode perintah, seperti gambar dibawah. 


Berikut ini contoh 4 baris perintah.
Secara default jika diaktifkan kode berikut otomatis ada, namun jika tidak ada silakan salin saja yang dibawah ini dengan mengubah sedikit alamat "jaeyzona" dengan alamat blog anda.

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://jaeyzona.blogspot.com/sitemap.xml

Keterangan:

User-agent: * 
Semua mesin pencari baik google, bing maupun yandex diperbolehkan untuk merayapi semua halaman.

Disallow: /search
Halaman /search tidak dizinkan.
Halaman search/pencarian sudah satu paket dengan halaman /label jadi tidak perlu menyertakan halaman /label untuk "tidak diizinkan" karena sudah terwakilkan oleh /search.

Allow: /
Semua halaman bertanda garis miring didepan di izinkan dan sebaliknya.

Sitemap:
Perintah untuk merayapi sitemap.

Kalau digabungkan 4 baris kode tersebut dapat dibaca seperti ini:

Semua halaman diizinkan untuk dirayapi/di-indek kecuali halaman search/pencarian dan di-izinkan untuk merayapi semua halaman yang berawalan garis miring dan di-izinkan merayapi sitemap.

* Mengapa halaman search tidak diizinkan? karena kalau diizinkan kuatir tidak baik buat Seo blog sebab halaman search alamatnya sering berubah2, hal yang berubah2 semacam ini kurang baik buat Seo dan selain itu bertujuan agar halaman lain diutamakan cepat terindex.

* Sitemap boleh dihapus dari baris perintah dan boleh memasang lebih dari satu alamat sitemap pada baris baru, misal:

Sitemap: https://jaeyzona.blogspot.com/sitemap.xml
Sitemap: https://jaeyzona.blogspot.com/feeds/posts/default/

* Susunan tiap baris dari isi robots.txt sebaiknya tidak berjarak.

Dianjurkan:
A
A

Tidak dianjurkan: 
A

A

Selain itu, untuk dapat melihat pengaturan robot blog kita maupun situs lain, silakan akses alamat dari browser, contoh: https://jaeyzona.blogspot.com/robots.txt 

Semua situs biasanya menggunakan nama yang sama yaitu robots.txt

Cara aktifkan Tag Header Robot Kustom


Selain robots.txt juga terdapat Tag Header Robot yang pengaturannya lebih spesifik.

Tag halaman Beranda, cukup conteng "All" yang lain biarkan saja.


Tag arsip dan halaman penelusuran, jangan diconteng "All dan Unavailable_after" sedangkan yang lain conteng saja semua.


Tag postingan dan halaman, cukup conteng "All" yang lain biarkan saja.


Pada kesimpulannya semua pengaturan diatas bertujuan agar halaman penting seperti beranda dan postingan cepat terindex. Dan agar mesin pencari tidak buang2 waktu untuk merayapi halaman pencarian/label/arsip yang tidak begitu penting karena pada dasarnya halaman pencarian/label/arsip berisikan konten yang sama saja yang kontennya sudah terwakilkan oleh beranda dan postingan.

Comments