Hogyan írjunk
Minden keresőrobotok, amikor közeledik a helyszínen az első helyen keresi a robots.txt fájlt. Ha - a webmester, tudnia kell, a cél és robots.txt szintaxist.
robots.txt fájl - egy szöveges fájl található a gyökérkönyvtárban a helyén, amely rögzíti a különleges utasítások kereső robotokat.
Az értelmezés a robot fogják használni a rész, amely a leginkább megfelel szorosan a felhasználó-szer. Ha a robots.txt egy tömbben a neve a robot fogják használni, hogy pontosan ez, nem a szakasz User-agent: *.
Bármely szakasz addig tart, amíg az elején a következő szakaszban, vagy a végén robots.txt fájlt. A szabvány szerint, a szomszédos szakaszok közötti egészül ki legalább egy üres sor. Minden rész kell kezdődnie, User-agent irányelvek tartalmazzák User-agent értéke egy robotot, amely ebben a szakaszban. Például: User-agent az elsődleges irányelv lánctalpas Yandex az alábbiak szerint:
Ahhoz, hogy adja meg a szakasz (blokk), kapcsolódó összes botok a User-agent irányelv lehet használni, hogy „*”.
Amennyiben a robots.txt van egy szakasza a nevét egy speciális bot, akkor lehet használni erre a robot, különben a blokk kezdődő
tiltása irányelv
Tiltó irányelv, míg a leggyakrabban használt a robots.txt fájlban. Tiltása tiltja indexeli webhelyét, vagy annak egy része szerint az előírt módon értelmében az irányelvet. Megtiltja az egész site indexelés a keresési bot Yandex.
Allow
Ez az irányelv szintaktikai hasonló tiltása, de ellentétben a tiltása irányelv ellentétes megengedő. Például a következő példában, minden robotok index az egész oldalt tilos, kivéve az utak kezdődő / mester.
Fontos megérteni, hogy vannak irányelvek, amelyek képesek megérteni, hogy nem minden robotok. Ez az a fajta irányelv a fogadó, amely az összes népszerű robotok által elismert, a Yandex. Host, hogy meghatározza a robot Yandex fő tükör a webhelyen. Az a tény, hogy ugyanaz a hely lehet hozzáférni több domainen például master-tenge.kz. robot.txt
User-agent: Yandex Host: master-tenge.kz