Robots.txt WordPress, Bagaimana Mengoptimalkannya Untuk SEO Anda?

File Robots.txt biasanya berada di folder root situs Anda. Anda harus terhubung ke situs Anda menggunakan klien FTP atau dengan menggunakan manajer file cPanel untuk melihatnya. Ini sama seperti file teks biasa, dan Anda dapat membukanya dengan editor teks biasa seperti Notepad. Jika Anda tidak memiliki file robots.txt di direktori root situs Anda, maka Anda selalu dapat membuatnya. Yang perlu Anda lakukan adalah membuat file teks baru di komputer Anda dan simpan sebagai robots.txt. Selanjutnya, cukup unggah ke folder akar situs Anda.

Cara Menggunakan File Robots.txt

Format untuk file robots.txt sebenarnya cukup sederhana. Baris pertama biasanya menamai agen pengguna. Agen pengguna sebenarnya adalah nama bot pencarian yang Anda coba komunikasikan. Misalnya, Googlebot atau Bingbot. Anda dapat menggunakan tanda bintang * untuk menginstruksikan semua bot. Baris berikutnya mengikuti dengan petunjuk Allow atau Disallow untuk mesin pencari, sehingga mereka tahu bagian mana yang Anda ingin mereka indeks, dan mana yang tidak ingin Anda indeks.

Lihat file contoh robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Dalam contoh file robots.txt ini untuk WordPress, saya telah menginstruksikan semua bot untuk mengindeks direktori pengunggahan gambar. Dalam dua baris berikutnya saya telah melarang mereka untuk mengindeks direktori plugin WordPress dan file readme.html.

Mengoptimalkan File Robots.txt WordPress Anda untuk SEO

Dalam pedoman untuk webmaster, Google menyarankan webmaster agar tidak menggunakan file robot.txt untuk menyembunyikan konten berkualitas rendah. Jika Anda berpikir tentang menggunakan file robots.txt untuk menghentikan Google mengindeks kategori, tanggal, dan halaman arsip lainnya, maka itu mungkin bukan pilihan yang bijaksana. Ingat, tujuan robots.txt adalah menginstruksikan bot apa yang harus dilakukan dengan konten yang mereka rayapi di situs Anda. Itu tidak menghentikan bot dari merayapi situs web Anda.

Ada plugin WordPress lain yang memungkinkan Anda untuk menambahkan tag meta seperti nofollow dan noindex di halaman arsip Anda. Saya tidak mewajibkan Anda harus memiliki halaman arsip Anda deindexed, tetapi jika Anda ingin melakukannya, maka itulah cara yang tepat. Anda tidak perlu menambahkan halaman login WordPress, direktori admin, atau halaman registrasi ke robots.txt karena halaman login dan registrasi memiliki tag noindex yang ditambahkan sebagai meta tag oleh WordPress.

Sebaiknya jangan larang file readme.html di file robots.txt WordPress Anda. File readme ini dapat digunakan oleh seseorang yang mencoba mencari tahu versi WordPress yang Anda gunakan. Jika ini adalah seorang individu, maka mereka dapat dengan mudah mengakses file hanya dengan menjelajahinya. Di sisi lain jika seseorang menjalankan kueri jahat untuk mencari situs WordPress menggunakan versi tertentu, maka tag pelarangan ini dapat melindungi Anda dari serangan massal tersebut. Anda juga dapat melarang direktori plugin WordPress Anda. Ini akan memperkuat keamanan situs Anda jika seseorang mencari plugin rentan tertentu untuk dieksploitasi untuk serangan massal.

Cara Membuat Dan Mengedit File Robots.txt Dengan Yoast SEO

Jika Anda menggunakan plugin Yoast SEO populer, Anda dapat membuat (dan kemudian mengedit) file robots.txt Anda langsung dari antarmuka Yoast. Namun, sebelum Anda dapat mengaksesnya, Anda harus mengaktifkan fitur lanjutan Yoast SEO dengan masuk ke SEO → Dashboard → Features dan beralih pada halaman setelan Lanjutan :

Setelah diaktifkan, Anda dapat pergi ke SEO → Tools dan klik pada editor File:

Dengan asumsi Anda belum memiliki file Robots.txt fisik, Yoast akan memberi opsi untuk membuat file robots.txt:

Menambahkan XML Sitemap Anda ke File Robots.txt

Jika Anda menggunakan plugin WordPress SEO Yoast atau beberapa plugin lain untuk menghasilkan peta situs XML Anda, maka plugin Anda akan mencoba menambahkan peta situs Anda secara otomatis ke dalam file robots.txt. Namun jika gagal, maka plugin Anda akan menunjukkan tautan ke XML Sitemaps yang dapat Anda tambahkan ke file robots.txt Anda secara manual seperti ini:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bagaimana File Robots.txt Yang Ideal?

Jujur, banyak blog populer menggunakan file robots.txt yang sangat sederhana. Isinya bervariasi, tergantung pada kebutuhan situs tertentu:

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

File robots.txt ini hanya memberi tahu semua bot untuk mengindeks semua konten dan menyediakan tautan ke peta situs XML situs. Berikut ini contoh lain dari file robots.txt :

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://www.wpbeginner.com/post-sitemap.xml
Sitemap: https://www.wpbeginner.com/page-sitemap.xml
Sitemap: https://www.wpbeginner.com/deals-sitemap.xml
Sitemap: https://www.wpbeginner.com/hosting-sitemap.xml

Bagaimana Menggunakan Robots.txt Untuk Menghentikan Bot Dari Merambah Hasil Pencarian WordPress

Mungkin Anda ingin menghentikan perayap penelusuran merayapi halaman hasil pencarian Anda. Secara default, WordPress menggunakan parameter kueri “? S =”. Jadi untuk memblokir akses, yang perlu Anda lakukan adalah menambahkan kode berikut:

User-agent: *
Disallow: /?s=
Disallow: /search/

Saya harap Anda menikmati panduan ini dan pastikan untuk meninggalkan komentar jika Anda memiliki pertanyaan lebih lanjut tentang menggunakan file robots.txt WordPress. Jika Anda menikmati artikel ini, maka Anda akan menyukai platform hosting WordPress IDwebhost. Baik itu mempercepat situs web atau mendapatkan dukungan 24×7 dari tim WordPress yang berpengalaman untuk membantu bisnis Anda sukses. Infrastruktur bertenaga Google Cloud kami berfokus pada pengoptimalan kinerja dan keamanan. Mari saya tunjukkan pada Anda perbedaan IDwebhost! Lihat fiturnya di sini!