Ang isang robots.txt na file na nakaimbak sa ugat ng iyong website ay sasabihin sa mga robot ng web tulad ng mga spider ng search engine kung anong mga direktoryo at mga file ang pinapayagan sa pag-crawl. Madaling gamitin ang isang file na robots.txt, ngunit mayroong ilang mga bagay na dapat mong tandaan:
- Huwag pansinin ng mga web robot ng Blackhat ang iyong file na robots.txt. Ang mga pinaka-karaniwang uri ay mga bot ng malware at mga robot na naghahanap ng mga email address upang anihin.
- Ang ilang mga bagong programmer ay magsusulat ng mga robot na hindi papansin ang robots.txt na file. Ito ay kadalasang ginagawa nang hindi sinasadya.
- Maaaring makita ng sinuman ang iyong file na robots.txt. Ang mga ito ay palaging tinatawag na robots.txt at laging nakaimbak sa ugat ng website.
- Sa wakas, kung may nag-link sa isang file o direktoryo ng isang tao na ibinukod ng iyong file na robots.txt mula sa isang pahina na hindi ibinukod ng kanilang robots.txt file, maaaring makita pa rin ng mga search engine.
Huwag gumamit ng mga file na robots.txt upang itago ang anumang bagay na mahalaga. Sa halip, dapat mong ilagay ang mahalagang impormasyon sa likod ng mga secure na password o iwanan ito sa buong web.
Paano Gamitin ang Mga Sample na Mga File na ito
Kopyahin ang teksto mula sa sample na pinakamalapit sa kung ano ang gusto mong gawin, at i-paste ito sa iyong file na robots.txt. Baguhin ang robot, direktoryo, at mga pangalan ng file upang tumugma sa iyong ginustong pagsasaayos.
Dalawang Mga Pangunahing Mga File Robots.txt
User-agent: *Huwag pahintulutan: / Sinasabi ng file na ito na ang anumang robot ( User-agent: *) na access ito dapat huwag pansinin ang bawat pahina sa site ( Huwag pahintulutan: /). User-agent: *Huwag pahintulutan: Sinasabi ng file na ito na ang anumang robot ( User-agent: *) na access ito ay pinapayagan upang tingnan ang bawat pahina sa site ( Huwag pahintulutan:). Maaari mo ring gawin ito sa pamamagitan ng pag-alis ng blangko ng iyong robots.txt file o hindi pagkakaroon ng isa sa iyong site sa lahat. User-agent: *Huwag pahintulutan: / cgi-bin /Huwag pahintulutan: / temp / Sinasabi ng file na ito na ang anumang robot ( User-agent: *) Na access ito dapat huwag pansinin ang mga direktoryo / cgi-bin / at / temp / ( Huwag pahintulutan: / cgi-bin / Hindi Pinapayagan: / temp /). User-agent: *Huwag pahintulutan: /jenns-stuff.htmHuwag pahintulutan: /private.php Sinasabi ng file na ito na ang anumang robot ( User-agent: *) Na access ito dapat huwag pansinin ang mga file /jenns-stuff.htm at /private.php ( Huwag pahintulutan: /jenns-stuff.htm Pawalang-bisa: /private.php). User-agent: Lycos / x.xHuwag pahintulutan: / Sinasabi ng file na ito na ang Lycos bot ( User-agent: Lycos / x.x) ay hindi pinapayagan ang pag-access kahit saan sa site ( User-agent: *Huwag pahintulutan: /User-agent: GooglebotHuwag pahintulutan: Ang unang file na ito ay hindi pinahihintulutan ang lahat ng mga robot tulad ng ginawa namin sa itaas, at pagkatapos ay malinaw na hinahayaan ang Googlebot ( User-agent: Googlebot) ay may access sa lahat ng bagay ( Habang mas mainam na gamitin ang isang napakahigpit na linya ng User-agent, tulad ng User-agent: *, maaari kang maging tiyak na gusto mo. Tandaan na binasa ng mga robot ang file sa pagkakasunud-sunod. Kaya kung sinasabi ng mga unang linya na ang lahat ng mga robot ay hinarangan mula sa lahat, at pagkatapos ay sa kasunod na file na sinasabi nito na ang lahat ng mga robot ay pinahihintulutan ng access sa lahat, ang mga robot ay magkakaroon ng access sa lahat. Kung hindi ka sigurado kung isinulat mo nang tama ang iyong robots.txt file, maaari mong gamitin ang Mga Tool sa Webmaster ng Google upang suriin ang iyong file na robots.txt o magsulat ng bago. Protektahan ang Mga Tukoy na Mga Direktoryo Mula sa Mga Robot
Protektahan ang Mga Tukoy na Pahina Mula sa Mga Robot
Pigilan ang isang Specific Robot mula sa Pag-access sa Iyong Site
Payagan Tanging Isang Tukoy na Access sa Robot
Pagsamahin ang Maramihang Mga Linya upang Makakuha ng Eksaktong Mga Pagbubukod Gusto mo
