Mi és milyen site
robots.txt - egy szöveges fájl, hogy kerül az oldalon, és célja a kereső robotokat. Ebben a fájlban, akkor adja meg a paramétereket indexelni a webhely kereső robotok egyszerre vagy minden kereső külön rendszer.
Minden keresőrobotok, amikor közeledik a helyszínen az első helyen keresi a robots.txt fájlt.
Hogyan hozzunk létre?
Ez a záró az indexelés?
Szabályok robots.txt fájl feltöltés
Tehát, a robots.txt fájlban, minden parancs vagy irányelv kell felírni külön-külön. A csapatok száma nem korlátozott.
Először is, hol kezdjem kitöltésével a fájl - meghatározza, milyen a robot lesz a csapat, hogy megírjam ezt az első sorban:
ha az utasítások Yandex robotok:
Google robotok:
az összes robot, kivétel nélkül:
Tiltása parancs tiltja robotok indexel egy adott fájlt vagy mappát.
megtiltja az index ebben a mappában:
tiltja indexelése ezt a fájlt:
tilalom indexelése az egész oldalon:
Ellenőrizze webhelye - ez az egyik leggyakoribb oka neindeksirovaniya oldalon.
Fontos! Helytelenül adják több irányelvet egyetlen sort:
Disallow: / cgi-bin / / sejt / / bot /
Allow ellentétben - eltávolítja a tilalmat indexálás bizonyos fájlokat. Egy példa a felhasználásra:
User-agent: Yandex
Engedélyezés: / cgi-binDisallow: /
Ez a bejegyzés a fájl letöltése a robot Yandex tiltja az összes, de az oldalakat, hogy kezdődik a „/ cgi-bin”.
Fontos! Ha az irányelv, de nem adja meg paramétereket, a értéket lesz, mint a:
tilalom indexelése oldalon van:
A honlapon található betiltották az indexelés:
Ha van egy oldaltérkép sitemaps.xml formátumban adja meg az utat, hogy azt egy speciális Webhelytérkép irányelv (ha több fájlt, jelölje ki az összes):
Ez a fiók által használt robotok Yandex. Határozza meg és adja meg a fogadó irányelv elsődleges tükör webhely:
Host irányelv nem biztosítja válogatott fő reflektor, de lehetővé teszi a Yandex kiemelten kezeli.
Példa töltés robots.txt
Ellenőrzés a robots.txt fájlt
Annak ellenőrzésére, a kapott fájlt használhatja Yandex.Webmaster.