Anda yang sudah berkenalan dengan Search Engine Optimization atau SEO pasti juga sudah berjumpa dengan yang namanya file robots.txt. Sebagai pengulangan dan pengingat kembali, robots.txt merupakan sebuah file yang berlokasi di root folder server kita yang berguna untuk berkomunikasi dengan spider, bots, atau crawler. Ketiga nama tersebut di atas memiliki arti yang sama. Bisa diibaratkan mereka itu adalah semacam binatang di dunia internet yang kerjanya berkunjung dari satu web ke web yang lain dengan maksud dan tujuan berbeda.
Ketika berbicara tentang SEO, maka yang kita bahas selanjutnya adalah robot atau crawler yang dipelihara oleh Google, berikut robot-robot dari mesin pencari lainnya. Para pengrajin SEO biasa menyebutnya sebagai Googlebot. Googlebot inilah yang berkelana dari satu halaman web ke halaman web lainnya, termasuk halaman web kita, guna mencari dan mencatat segala hal yang mereka temukan selama di perjalanan. Berkat Googlebot inilah, maka halaman demi halaman dari web kita dapat tercatat oleh mesin pencari Google untuk kemudian diolah untuk ditampilkan ke dalam halaman hasil pencarian Google (SERP = Search Engine Result Page).
Para Googlebot ini memang milik Google dan bekerja atas perintah Google. Namun, sebagai pemilik web, kita juga bisa memberikan perintah ataupun berkomunikasi dengan mereka. Caranya melalui file yang bernama robots.txt tersebut. File ini merupakan sebuah file teks biasa yang di dalamnya memuat perintah-perintah khusus dengan sintaks tertentu. Penjelasan lebih lanjut tentang robots.txt bisa dibaca di sini.
Nah, kemudian bagaimana caranya membuat file robots.txt? Sangat mudah. Bagi Anda yang bekerja dengan komputer berbasis Windows pasti punya sebuah aplikasi yang bernama Notepad. Dengan mengetikkan beberapa perintah yang diperlukan untuk mengarahkan para Googlebot, kita cukup menyimpannya dengan nama file robots.txt, lalu kita upload ke server dengan menggunakan aplikasi FTP.
Cara lainnya adalah dengan menggunakan berbagai layanan online yang tersedia di internet. Cara ini lebih mudah dan cepat karena kita tidak usah repot untuk mengingat dan mengetikkan satu per satu baris perintah dalam file robots.txt. Umumnya kita tinggal memasukkan beberapa pilihan untuk menentukan robot mana saja yang boleh mengakses halaman, berikut direktori mana saja yang boleh diakses dari web server kita. Dengan beberapa kali klik, kita akan langsung disodorkan dengan sebuah file robots.txt yang sudah jadi dan siap di-upload ke dalam server.
Beberapa layanan berikut ada yang berbayar namun sebagian besar dari mereka menyediakannya secara gratis. Soal hasil, mungkin takkan jauh berbeda satu sama lain. Tinggal masing-masing kenyamanan kita saja untuk menggunakannya.
- 1-hit Robots.Txt Generator
- Advanced Robots.txt Generator
- DotNetNuke Robots.txt Generator Module
- Global promoter’s Robots.txt File Generator
- Hypergurl Robot Text Generator
- Invision-graphics Robots.txt Generator Tool
- Mcanerin’s Robots.txt Tool
- Oven Fresh Robots.txt Maker
- Online Robots.txt Generator
- Position gold’s Robots.txt Generator
- Page promoter’s Robots.txt
- Robotstxt.ca
- RoboGen ROBOTS.TXT Editor
- Robot-Manager Standard Edition
- Submit corner’s Robots Generator
- Seo Administrator – robots.txt generator
- Site submit robots.txt
- SEO Tools – Robots.txt Generator
- SEO-watch. Robots.txt Generator
- Search bliss Robots.txt Generator
- Visibility Robots.txt Generator
- Website tool box pro Robots.txt File Generator
- Yellow pipe’s Robots.txt Generator