Indexelés a rambler számára
A robots.txt fájlok használata
Robots és robots.txt fájl
Rambler, valamint egyéb keresőprogramokat és az index az internetes források a program használ egy robot. Robot letöltés dokumentumokat az interneten, találni bennük utalás egyéb dokumentumok, letölti az újonnan talált dokumentumokat, és megtalálni őket referenciák, és így tovább, amíg az összes érdek azt megkerülik a webhelyen. A robot "nevű" StackRambler.
Ha a robot felismeri ezt a dokumentumot, a webhely indexeléséhez szükséges minden további művelet a robots.txt utasításainak megfelelően történik. Megtilthatja a webhely egyes könyvtáraihoz és / vagy fájljaihoz való hozzáférést egy adott keresőmotor robotmutatóihoz vagy robotjaihoz.
Azonban az utasításokat a robots.txt fájl (például robotok meta-tagek. Cm. [Viseditor.php? Ie_ver_ms = 6sid = root_biblioteka-optimizatora_rambler_rambler-indexfld = textclrqstart = 1138739826000deslocal = 1049 # 1 alább)], majd csak az úgynevezett "udvarias" robotok - melyek közül a indexelő robot Rambler, természetesen vonatkozik.
Robots.txt fájl elhelyezése
A robot a robots.txt-t csak a kiszolgáló gyökérkönyvtárában keresi. A kiszolgáló neve itt a tartománynév, és ha igen, a port.
Helyezzen több robots.txt fájlt a webhelyre. helyezze a robots.txt fájlt az alkönyvtárakba (beleértve a www.hostsite.ru/
user1 /) értelmetlen: a "extra" fájlokat a robot nem veszi figyelembe. Így a webhely alkönyvtárainak indexelésével kapcsolatos tilalmakról szóló összes információt egy robots.txt fájlban kell összegyűjteni a webhely "gyökerén".
A robots.txt nevet kis (kis) betűkkel kell beírni, mert az internetes erőforrások (URI) nevei megkülönbözteti a kis- és nagybetűket.
Az alábbiakban példák a robots.txt helyes és helytelen helyére.
Robots.txt fájlformátum
A következő egyszerű robots.txt fájl megtiltja a webhely összes oldalának indexelését minden robotra, kivéve a Rambler robotot, amely ellenkezőleg az oldal összes oldalát indexelheti.
# Az összes robotra vonatkozó utasítás
Felhasználói ügynök: *
Disallow: /
# A Rambler robot utasításai
Felhasználói ügynök: StackRambler
Letiltás:
Az egyes robotok oktatási csoportjai: User-agent
Minden robots.txt fájl oktatócsoportokból áll. Ezek mindegyike a User-agent sorral kezdődik, jelezve, hogy mely robotok vannak a Disallow utasításai.
Minden robot számára saját oktatócsoportja van. Ez azt jelenti, hogy a robot csak egy User-agent sorban említhető. és minden User-agent sorban csak egy robot említhető.
A kivétel a User-agent: *. Ez azt jelenti, hogy a következő Disallow minden robotra vonatkozik, kivéve azokat, amelyekhez saját User-agent vonalak vannak.
A User-agent karakterlánc által megadott minden csoportban. legalább egy Disallow utasításnak kell lennie. A Disallow utasítások száma korlátlan.
A "Disallow: / dir" sor tiltja az összes kiszolgálóoldal meglátogatását, amelynek teljes neve (a kiszolgáló gyökerétől kezdve) "/ dir" -nel kezdődik. Például: "/dir.html", "/dir/index.html", "/directory.html".
A "/ dir" könyvtár látogatásának megtiltásához az utasításnak úgy kell kinéznie, mint: "Disallow: / dir /".
Annak érdekében, hogy az utasítás megtilthassa bármit, a megadott útvonalnak "/" -al kell kezdődnie. Ennek megfelelően a "Disallow:" utasítás nem tilt minden semmit, azaz minden megengedi.
Megjegyzés: ugyanúgy és oktatás „nem megengedett: *”, „nem megengedett: * .doc”, „nem megengedett: /dir/*.doc” nem tiltja semmi, mert a fájl az egy csillaggal vagy tartalmaz nem létezik! A reguláris kifejezések használatával húrok tiltása. valamint a robots.txt fájlban egyáltalán, akkor nem biztosított.
Üres vonalak megengedettek a User-Agent által megadott utasításcsoportok között.
A Disallow utasítás csak akkor tekinthető meg, ha bármelyik User-agent sor alá van rendelve - azaz ha van egy User-agent sor felett.
META-címkék használata "Robotok"
Az indexelési utasítások a tartalom mezőben kerülnek rögzítésre. A következő utasítások lehetségesek:
Alapértelmezett érték: .
A következő példában a robot indexelheti a dokumentumot, de nem választhatja ki a linkeket, hogy további dokumentumokat kereshessen:
A címke neve, a nevek és a mezőértékek érzékenyek a kis- és nagybetűkre.
A mező tartalma párhuzamos utasítások, jelenléte ellentmondó utasításokat, stb. nem megengedett; különösen a tartalom mező értéke nem lehet "none, nofollow".
TUDTA, HOGY:
