Cara Menyetting Robot TXT di WordPress

30 Dec 2018 22:08 514 Hits 0 Comments
Cara Memasang Robot.TXT di WordPress

Pemilik situs pasti sungguh sangat berharap jika situs miliknya masuk di halaman pertama dalam mesin pencarian Google. Namun, mesin pencari Google tak dapat membedakan halaman mana saja yang boleh dan tak boleh diindeks. Supaya halaman setiap situs bisa terindeks secara rapi dan membatasi halaman yang tidak dapat diindeks, Anda pasti akan membutuhkan file robots.txt. Apa itu robots.txt dan seperti apa cara menyetting robot txt di WordPress? Kami akan mengulasnya pada artikel kali ini.

Sebelum itu, harus diketahui jika dengan menggunakan robots.txt kedalam situs, maka bisa memberikan tanda ke Google menuju mana saja akses yang bisa dilakukan dan halaman mana saja yang boleh diindeks.

Selain itu robots.txt juga sangat penting untuk SEO, di mana pada setiap artikel yang berada di blog kita akan semakin mudah dan cepat terindeks pada mesin pencari Google. Tujuannya yaitu untuk menaikan peringkat situs yang kita miliki di Search Engine Result Pages (SERP) dan proses indexing akan lebih terstruktur.

Apa itu Robots.txt?

Robots.txt merupakan sebuah file yang akan menyiapkan beberapa instruksi untuk mesin pencari atau menunjukkan jalan kepada mesin pencari ke situs Anda. Kalau bahasa mudahnya yaitu sebagai jalan atau tanda yang akan digunakan oleh situs web untuk menunjukkan jalan kepada mesin pencari agar dapat menemukan situs.

Saat membuat website baru dan menghubungkannya dengan Google Webmaster Tool maka setiap halaman yang berada di web akan di ‘crawl’ secara otomatis oleh Google dan muncul pada mesin hasil pencarian. Google tentu saja akan melakukan pendataan sesuai dengan kata kunci yang terdapat pada situs dan lain sebagainya.

Robots.txt memiliki tugas untuk memisahkan halaman yang tak ingin Anda tampilkan pada mesin pencarian. Sebab jika tidak ada file ini Google tetap masih bisa melakukan proses ‘crawl’ hingga keseluruhan halaman yang berada di situs.

Selain itu robots.txt juga mempunyai fungsi untuk menghalangi sejumlah situs pencari agar tak melakukan crawl terhadap situs Anda. Hal ini bertujuan agar dapat mengurangi beban yang harus diterima oleh situs.

Jadi pada intinya, robots.txt dapat membantu mesin pencari dalam hal memilih halaman situs mana saja yang dapat ditampilkan pada mesin pencarian. Pengguna juga dapat menyesuaikan halaman mana saja boleh ditampilkan pada mesin pencarian Google.

Letak File Robots.txt

File robots.txt sesungguhnya sudah terdapat di dalam folder root dalam server penyimpanan file situs atau yang biasanya dikenal dengan public_html. Hanya saja robots.txt adalah file virtual yang tidak dapat diakses ataupun diganti melalui direktori manapun. Jadi, saat Anda mencoba membuka halaman public_html maka tak akan menemukan file robots.txt di sana.

Agar bisa memodifikasi rule robots.txt Anda harus menambahkan beberapa file baru di sana. Membuat sendiri sebuah file robots.txt kemudian meletakkannya ke dalam folder public_html dan memasukkan skrip konfigurasi dengan tahap manual.

File baru yang dibuat nanti bertugas menjadi file replacement yang akan segera menimpa file konfigurasi yang telah ada.

Langkah Memasang Robot.txt Di WordPress Dapat Dilihat Selengkapnya Di Cara Memasang Robot.TXT di WordPress

Tags

About The Author

SSTutorial 20
Pensil

SSTutorial

Just Sharing Artikel

Comments

You need to be logged in to be able to post a comment. Click here to login
Plimbi adalah tempat menulis untuk semua orang.
Yuk kirim juga tulisanmu sekarang
Submit Artikel