Sederhana.co.id Semua Serba Sederhana
Halo Sobat Sederhana, pada kesempatan ini kita akan membahas tentang cara setting robot.txt di Yoast yang sederhana namun efektif. Robot.txt adalah file yang berfungsi untuk mengarahkan crawler pada website sehingga crawler tersebut dapat melakukan index hanya pada halaman atau konten yang diizinkan. Cara setting robot.txt di Yoast ini sangat penting untuk dilakukan karena dapat membantu website untuk mendapatkan peringkat yang lebih tinggi di hasil pencarian Google. Langsung saja, kita mulai pembahasan tentang cara setting robot.txt di Yoast sederhana.
Apa Itu Robot.txt?
Robot.txt adalah sebuah file teks yang diletakkan di direktori root website yang berfungsi untuk memberikan instruksi pada robot atau crawler mesin pencari mengenai halaman apa saja yang boleh atau tidak boleh diakses. Robot.txt biasanya digunakan pada website yang cukup besar atau memiliki banyak halaman sehingga bisa mempersulit pengindeksan oleh mesin pencari.
Robot.txt terdiri dari dua bagian, yaitu user-agent dan directive. User-agent adalah bot atau crawler yang akan diarahkan sedangkan directive adalah perintah yang akan diikuti oleh crawler tersebut. Dalam Yoast, robot.txt dapat diakses melalui menu SEO -> Tools -> File editor -> Robot.txt.
Mengapa Cara Setting Robot.txt di Yoast Penting?
Cara setting robot.txt di Yoast penting karena dapat membantu website untuk mendapatkan peringkat yang lebih tinggi di hasil pencarian Google. Dengan mengatur robot.txt dengan benar, kita dapat mengarahkan crawler pada halaman atau konten yang benar-benar relevan dengan topik website. Hal ini akan membantu mesin pencari untuk memperoleh gambaran yang lebih jelas tentang topik website sehingga pengguna yang mencari informasi yang relevan dengan topik website akan lebih mudah menemukan website kita di hasil pencarian.
Cara setting robot.txt di Yoast juga dapat membantu kita untuk menghindari halaman atau konten yang tidak relevan atau tidak berguna seperti halaman login atau halaman checkout. Dengan mengarahkan crawler pada halaman yang relevan, website kita juga akan terhindar dari risiko duplicate content yang dapat merugikan peringkat website di hasil pencarian.
Cara Setting Robot.txt di Yoast
Berikut adalah cara setting robot.txt di Yoast yang sederhana namun efektif:
Langkah |
Keterangan |
|---|---|
1 |
Buka Yoast SEO dan pilih menu SEO -> Tools -> File editor -> Robot.txt. |
2 |
Pilih user-agent yang akan diatur. User-agent yang paling umum adalah Googlebot. |
3 |
Tambahkan directive. Directive yang umum adalah allow dan disallow. Allow berfungsi untuk mengizinkan crawler mengakses halaman tertentu sedangkan disallow berfungsi untuk melarang crawler mengakses halaman tertentu. |
4 |
Tambahkan sitemap. Sitemap berfungsi untuk memberitahu mesin pencari tentang halaman apa saja yang ada di website kita. |
5 |
Simpan perubahan dan cek robot.txt pada Google Search Console untuk memastikan tidak ada kesalahan. |
1. Buka Yoast SEO dan Pilih Menu SEO -> Tools -> File Editor -> Robot.txt
Buka Yoast SEO pada dashboard website dan pilih menu SEO -> Tools -> File Editor -> Robot.txt. Ini adalah tempat dimana kita dapat mengedit file robot.txt secara langsung.
2. Pilih User-agent yang Akan Diatur
Setelah membuka file editor robot.txt, pilih user-agent yang akan diatur. User-agent yang paling umum adalah Googlebot karena Google adalah mesin pencari terbesar dan paling banyak digunakan di dunia.
3. Tambahkan Directive
Tambahkan directive yang sesuai dengan kebutuhan website. Directive yang umum adalah allow dan disallow. Allow berfungsi untuk mengizinkan crawler mengakses halaman tertentu sedangkan disallow berfungsi untuk melarang crawler mengakses halaman tertentu.
Contoh:
# Allow Googlebot to crawl all web pagesUser-agent: GooglebotDisallow:
# Disallow Googlebot from crawling specific pageUser-agent: GooglebotDisallow: /specific-page/
4. Tambahkan Sitemap
Tambahkan sitemap untuk memberitahu mesin pencari tentang halaman apa saja yang ada di website kita.
Contoh:
Sitemap: https://www.example.com/sitemap.xml
5. Simpan Perubahan dan Cek Robot.txt pada Google Search Console
Setelah kita melakukan perubahan pada file robot.txt, simpan perubahan dan cek robot.txt pada Google Search Console untuk memastikan tidak ada kesalahan dalam file tersebut. Jika ditemukan kesalahan, segera lakukan perbaikan agar website kita tidak terpengaruh pada peringkat di hasil pencarian.
FAQ tentang Cara Setting Robot.txt di Yoast
Apa yang Dilakukan oleh Robot.txt?
Robot.txt berfungsi untuk memberikan instruksi pada robot atau crawler mesin pencari mengenai halaman apa saja yang boleh atau tidak boleh diakses. Hal ini berguna untuk memperjelas topik website dan menghindari halaman atau konten yang tidak relevan atau tidak berguna.
Apakah Setting Robot.txt di Yoast Penting?
Ya, cara setting robot.txt di Yoast penting karena dapat membantu website untuk mendapatkan peringkat yang lebih tinggi di hasil pencarian Google. Dengan mengatur robot.txt dengan benar, penggunan mesin pencari akan lebih mudah menemukan website kita di hasil pencarian.
Bagaimana Cara Setting Robot.txt di Yoast?
Cara setting robot.txt di Yoast cukup mudah. Buka Yoast SEO dan pilih menu SEO -> Tools -> File editor -> Robot.txt. Pilih user-agent yang akan diatur, tambahkan directive, dan tambahkan sitemap. Simpan perubahan dan cek robot.txt pada Google Search Console untuk memastikan tidak ada kesalahan.
Kesimpulan
Dalam artikel ini, kita telah membahas tentang cara setting robot.txt di Yoast yang sederhana namun efektif. Cara setting robot.txt di Yoast sangat penting untuk dilakukan karena dapat membantu website untuk mendapatkan peringkat yang lebih tinggi di hasil pencarian Google. Dengan mengatur robot.txt dengan benar, penggunan mesin pencari akan lebih mudah menemukan website kita di hasil pencarian. Selain itu, cara setting robot.txt di Yoast juga dapat membantu kita untuk menghindari halaman atau konten yang tidak relevan atau tidak berguna sehingga menghindari risiko duplicate content yang dapat merugikan peringkat website di hasil pencarian. Semoga Bermanfaat dan sampai jumpa di artikel menarik lainnya.