A fájl az indexelés a keresőkben
Tiltása irányelv szükséges a robot, hogy neki indexelése bármilyen fájlt vagy mappát.
Példa, amely lehetővé teszi, hogy index bejárók:
A következő példa letiltja index a webhely minden keresőrobotok:
Ha kell zárni egy konkrét oldalt az index:
User-agent: *
Letiltás: /stranitsa.html
Blokkol egy könyvtárat és annak teljes tartalmát:
User-agent: *
Disallow: / cgi-bin /
Disallow: / images /
De ne hibázik, ha nem tesz egy „/” után a mappa nevét, például ezt:
User-agent: *
Tiltása: / images
kezdve a «kép» karakterekből összes fájl és könyvtár lesz tiltva.
Allow fut közvetlenül ellentétes tiltása.
Host irányelv annak jelzésére, az elsődleges tükör webhely:
User-agent: Google
Letiltás:
Host: site.com
User-agent: Google
Letiltás:
Host: www.site.com
Sitemap irányelv - sitemap - jelzi a helyét az XML-sitemaps:
Ebben az esetben, ha az erőforrás egy olyan ismétlődő oldalak (általában egy ilyen helyzet áll elő a blogok), és el kell távolítani azokat az oldalakat indexelni a beszúrni Robots META tag «HEAD» Címkék:
Ebben az esetben az összes keresőrobotok bármelyik rendszer fogja elfelejteni, hogy létezik ezen oldalak és a keresők nem fog ismétlődő oldalakat, amelyek negatív hatással, amikor használják promóció.
A projektek által létrehozott CMS van egy nagy szám a szükséges fájlokat dolgozni, de nem hordoznak semmilyen információt. Meg kell indexelése miatt az időveszteség ellenőrzése felesleges hulladékot, hanem a szükséges oldalakat.
Helyes robots.txt fájl
Mivel a blog segítségével létrehozott WordPress, akkor írja le például a fájl. Tulajdonképpen ő WordPress automatikusan létrehoz egy robots.txt, de hiányzik egy csomó a jobb oldalon.