Cara Setting Robots.txt pada WordPress dengan Benar
Ketika suatu website telah diluncurkan ke dunia maya, ada salah satu protokol yang diperlukan yaitu file robots.txt.
Robots.txt adalah file yang berisikan sekumpulan instruksi sebagai penunjuk jalan bagi mesin pencarian melakukan perayapan pada suatu website.
Kenapa Robots.txt penting bagi Wordpress?
- Untuk membatasi mesin pencari melakukan indeks kepada website, agar data penting tidak tersebar luas dan tidak disalahgunakan oleh pihak yang tidak bertanggung jawab.
- Apabila pada settingan robots.txt melakukan indeks keseluruhan terhadap website anda, maka kemungkinan besar bandwidth disedot banyak sehingga membuat website jadi lemot.
- Jika banyak tersedia halaman pada sebuah website, maka mesin pencarian akan semakin lama melakukan indexing pada konten dan laman.
Setting dan Simpan Robots.txt
Sebelum melakukan setting, wajib untuk memahami terlebih dahulu perintah-perintah yang ada pada robots.txt, yang antara lain sebagai berikut;
User-agent : pada perintah ini berfungsi untuk mendeskripsikan nama/jenis robots yang melakukan crawling.
Allow : perintah untuk menandakan bagian yang bisa akses oleh robots crawling.
Disallow : perintah untuk memberi tanda bagian yang tidak boleh diakses oleh robots crawling.
Berikut contoh setting file robots.txt;
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Opsi lain yang bisa digunakan pada setting robots.txt untuk mengizinkan mesin pencarian melakukan crawling terhadap website, cukup dengan menambahkan script berikut:
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://domainAnda.com/sitemap.xml
Sebagai contoh peletakan atau penyimpanan file Robots.txt dilakukan pada hosting yang menggunakan CPanel.
Pada dashboard cPanel hosting, pilih menu ‘Files’ kemudian pilih ‘File Manager’. Scroll ke bawah dan pilih folder ‘public_html’ kemudian pilih folder tempat install website Anda.
Penjelasan cara atau langkah diatas bisa dikatakan manual, dan ada cara lain yang bisa digunakan tanpa perlu ribet yaitu menggunakan plugin yang tersedia pada WordPress; All in One SEO Pack, Yoast SEO, Multipart, robots.txt editor, SEO Rank Analyser dan banyak lagi.
Kesimpulan
Keberadaan file robots.txt sangat penting bagi website wordpress, sebab fungsi yang dimiliki yaitu memberikan arahan kepada robots crawl Google untuk melakukan crawling terhadap laman website yang boleh dan tidak boleh untuk di indeks. Lokasi penyimpanan file robots.txt terletak di server hosting bagian root domain. Dan ada pilihan penggunaan plugin WordPress untuk setting robots.txt.
Berbagai sumber.