Hogyan írjunk
Kereső robotok bejáratánál a helyszínen az első dolog fordul a robots.txt fájl kapja az utasításokat a további intézkedések, és megtudja, milyen fájlokat és könyvtárakat tilos indexelés. Ezért szükséges, hogy ismerjük a webmester, hogyan kell írni a fájlt, mert a hibák vezethet nagyon súlyos következményei lehetnek. Ismétlem, és tisztázni, hogy a robots.txt nem teszi indexelés a fájlt, de csak tiltja. És még egy árnyalatot. Ez nem teljesen jelzés a keresőmotorok. Inkább azt mondhatjuk, hogy ez egy referencia dokumentumot.
robots.txt fájl - egy közönséges kiterjesztésű fájl txt, amely létrehozta a Jegyzettömb, és tartalmazza a gyökér könyvtárába egy adott helyen és amely utasításokat tartalmaz a keresési indexelő robotok. Utasítás lehet általános, valamint az egyes specifikus robotok.
Alapvető szabályok létrehozásával és feltöltésével robots.txt fájl:
- ne keverje össze a nevét, hogy az úgynevezett robots.txt fájlt, nem robot.txt és így tovább.
- levelet robots.txt fájl nevét mindig kisbetűs, azaz robots.txt, és nem robots.txt és robots.txt és így tovább.
- elhelyezni a robots.txt fájl a gyökérkönyvtárban a helyén, hanem más helyen.
User-agent: *
Disallow: / adminka /
Disallow: / kép /
User-agent: Yandex
Disallow: / adminka /
Host: www.site.ru
Most, konkrét példákat ír robots.txt fájlt a különböző feladatokat.
1. Kapcsolja ki a teljes telek az indexelés minden keresőmotorok.
2. Ne tiltsák a teljes site indexelése minden keresőmotorok.
3. Megtiltják az egész oldalt, hogy indexelt keresés robot (pl SeoBot).
4. Ne tiltsák az egész oldalon az indexelés egy robot (pl SeoBot) és blokkolja az összes többi indexelő robotjai.
5. letiltása több könyvtár az indexelés minden keresőmotorok.
User-agent: *
Disallow: / directoria-1 /
Disallow: / directoria-1 /
Disallow: / hidedirectoria /
6. letiltása több fájlt indexelés minden keresőmotorok.
User-agent: *
Letiltás: /hide.php
Letiltás: /secret.html
Milyen hibákat el kell kerülni írásban tartalmát a robots.txt fájlt?
Itt van az alapvető szabályokat írásban tartalmát a robots.txt fájl: