Membuat robots.txt

             Untuk membuat file robots.txt, Anda memerlukan akses ke akar domain. Apabila tidak yakin tentang cara mengakses akar, Anda dapat menghubungi penyedia layanan hosting web. Selain itu, jika tidak dapat mengakses akar domain, Anda dapat menggunakan metode pemblokiran alternatif, seperti file yang dilindungi sandi di server, dan menyisipkan tag meta ke HTML.

Anda dapat membuat atau mengedit file robots.txt yang sudah ada menggunakan alat Penguji robots.txt. Tindakan ini memungkinkan Anda menguji perubahan saat menyesuaikan robots.txt.

Pelajari sintaksis robots.txt

File robots.txt yang paling sederhana menggunakan dua kata kunci, User-agent dan Disallow. User-agents (agen pengguna) adalah robot mesin telusur (atau perangkat lunak perayap web); sebagian besar agen pengguna tercantum dalam Basis Data Robot Web. Disallow (larang) merupakan perintah bagi agen pengguna yang memberitahukannya agar tidak mengakses URL tertentu. Di sisi lain, agar Google dapat mengakses URL tertentu yang merupakan direktori turunan dalam direktori induk yang dilarang, Anda dapat menggunakan kata kunci ketiga, Allow.

Google menggunakan beberapa agen pengguna, seperti Googlebot untuk Google Penelusuran dan Googlebot-Imageuntuk Google Penelusuran Gambar. Sebagian besar agen pengguna Google mengikuti aturan yang Anda siapkan untuk Googlebot, namun Anda dapat mengganti opsi ini dan membuat aturan khusus hanya untuk agen pengguna Google tertentu.

Sintaksis untuk menggunakan kata kunci adalah sebagai berikut:

User-agent: [the name of the robot the following rule applies to]

Disallow: [the URL path you want to block]

Allow: [the URL path in of a subdirectory, within a blocked parent directory, that you want to unblock]

Dua baris ini dianggap sebagai satu entri di file, tempat aturan Disallow hanya berlaku untuk agen pengguna yang ditentukan di atasnya. Anda dapat menyertakan sebanyak mungkin entri, dan beberapa baris Disallow dapat berlaku untuk beberapa agen pengguna, semua dalam satu entri. Anda dapat menyetel perintah User-agent untuk diterapkan ke semua perayap web dengan mencantumkan tanda bintang (*) seperti contoh di bawah:

User-agent: *

Menyimpan file robots.txt Anda

Anda harus menerapkan konvensi penyimpanan berikut sehingga Googlebot dan perayap web lain dapat menemukan dan mengidentifikasi file robots.txt:

• Anda harus menyimpan kode robots.txt sebagai file teks,
• Anda harus menempatkan file di direktori tingkat teratas situs (atau root domain), dan
• File robots.txt harus diberi nama robots.txt.

Sebagai contoh, file robots.txt yang disimpan di akar example.com, di alamat URL http://www.example.com/robots.txt, dapat ditemukan oleh perayap web, namun file robots.txtdi http://www.example.com/not_root/robots.txt tidak dapat ditemukan oleh perayap web apa pun.

sumber:https://support.google.com/