Pengertian Robot.txt Pada Blogger
April 15, 2018
Add Comment
Saat anda memulai blog dan ingin mendalaminya maka anda akan pernah mendengar kata "robots.txt". Pasti anda akan bingung apa yang dimaksud dengan robots.txt ini. tapi jangan khawatir karena saya akan berbagi informasi tentang apa itu pengertian robots.txt blogger dan bagaimana cara kerjanya.
Robots.txt blogger ini erat hubungannya pada mesin pencari seperti yahoo, bing dan google. Pengertian cara kerjanya adalah mengatur dan mengontrol mesin pencari yang mana boleh dan tidak boleh ditampilkan/diindex melalui robot.txt ini. Sehingga membuat robots.txt wajib dimiliki setiap situs blogger atau website yang ada di internet.
Pada blogger tidak usah pusing karena punya google sudah terdapat otomatis robots.txt kamu cukup klik aktifkan untuk menyalakan fiturnya. berikut ini contoh sinagaseo robots.txt :
Kode itu yang dimaksud adalah untuk identitas robot yang melakukan crawler sedangkan tanda " * " adalah kode untuk seluruh jenis robot yang melakukan crawler.
2. Disallow: /search
Digunakan untuk melarang robot crawler memasuki url awalan sinagaseo.com/search yang ada pada blog kamu.
3. Allow: /p
Fungsinya mengijinkan crawler pada seluruh url awalan sinagaseo.com/p sehingga semua dengan ekstensi "/p" dilakukan diindex oleh robot.txt yang ada.
4. Sitemap: https://sinagaseo.blogspot.com/sitemap.xml
Fungsinya memberikan info kepada crawler agar mudah melakukan index pada seluruh artikel yang kita miliki.
Cukup mudahkan untuk memahami pengertian daripada robots.txt ini. Kalau ada yang kurang jelas anda bisa meninggalkan komentar atau berkunjung ke facebook / kirim email ke saya untuk infonya. Selain daripada itu ada beberapa User Agent robots.txt yaitu :
Robots.txt blogger ini erat hubungannya pada mesin pencari seperti yahoo, bing dan google. Pengertian cara kerjanya adalah mengatur dan mengontrol mesin pencari yang mana boleh dan tidak boleh ditampilkan/diindex melalui robot.txt ini. Sehingga membuat robots.txt wajib dimiliki setiap situs blogger atau website yang ada di internet.
Pada blogger tidak usah pusing karena punya google sudah terdapat otomatis robots.txt kamu cukup klik aktifkan untuk menyalakan fiturnya. berikut ini contoh sinagaseo robots.txt :
User-agent: *
Disallow: /search
Allow: /p/
Sitemap: https://sinagaseo.blogspot.com/sitemap.xml
Pengertian/Arti Kode Pada Robots.txt
1. User-agent: *Kode itu yang dimaksud adalah untuk identitas robot yang melakukan crawler sedangkan tanda " * " adalah kode untuk seluruh jenis robot yang melakukan crawler.
2. Disallow: /search
Digunakan untuk melarang robot crawler memasuki url awalan sinagaseo.com/search yang ada pada blog kamu.
3. Allow: /p
Fungsinya mengijinkan crawler pada seluruh url awalan sinagaseo.com/p sehingga semua dengan ekstensi "/p" dilakukan diindex oleh robot.txt yang ada.
4. Sitemap: https://sinagaseo.blogspot.com/sitemap.xml
Fungsinya memberikan info kepada crawler agar mudah melakukan index pada seluruh artikel yang kita miliki.
Cukup mudahkan untuk memahami pengertian daripada robots.txt ini. Kalau ada yang kurang jelas anda bisa meninggalkan komentar atau berkunjung ke facebook / kirim email ke saya untuk infonya. Selain daripada itu ada beberapa User Agent robots.txt yaitu :
8 User-agent robots.txt biasa
- Alltheweb : FAST-WebCrawler /
- Altavista : Scooter
- Google Adsense : Mediapartners-google
- Google Search Engine : Googlebot
- Inktomi : Slurp
- Lycos : Lycos_Spider_ (T-Rex)
- MSN : msnbot
- Yahoo : Yahoo Slurp
0 Response to "Pengertian Robot.txt Pada Blogger"
Post a Comment