File robots.txt adalah: file pada akar situs Anda yang menunjukkan bagian dalam situs yang tidak Anda izinkan untuk diakses oleh perayap mesin telusur. File menggunakan Standar Pengecualian Robot, yang merupakan protokol dengan sekelompok kecil perintah yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan berdasarkan jenis perayap web tertentu (seperti perayap seluler vs perayap desktop).
Anda hanya memerlukan filerobots.txtjika situs menyertakan konten yang tidak Anda izinkan untuk diindeks oleh Google atau mesin telusur lainnya.
Untuk menguji URL yang dapat dan tidak dapat diakses Google di situs web, coba gunakan Penguji robots.txt.
Anda hanya memerlukan filerobots.txtjika situs menyertakan konten yang tidak Anda izinkan untuk diindeks oleh Google atau mesin telusur lainnya.
Untuk menguji URL yang dapat dan tidak dapat diakses Google di situs web, coba gunakan Penguji robots.txt.
Comments