Computerra hogyan kell változtatni a sebességét a feltérképezés - Yandex
A rendszer segítségével a speciális irányelvek a robots.txt fájlban, webmesterek megváltoztathatja időtartama megszakítás, ami a kereső robot „Yandex” kérések között a szerverre.
A speciális oktatás Crawl-késedelem robots.txt, webmesterek megváltoztathatja időtartama megszakítás, ami a kereső robot „Yandex” kérések között a szerverre. Ez hasznos lehet abban az esetben, „pók” teremt indokolatlan hangsúlyt a helyszínen, és legyen valahogy „megnyugodni.”
Crawl-delay lehetővé teszi, hogy a bejáró minimális idő (másodpercben) a vizsgálat befejeztével egy oldalon, az elején a következő indexelés. Kompatibilitás robotok, amelyek nem teljesen követik a szokásos feldolgozásakor fájl robots.txt 1. irányelv Crawl-delay hozzá kell adni a csoport, kezdve a User-agent felvétel után azonnal tiltása vonal (engedélyezve).
Például, hogy egy robot segítségével minden oldalon a webes erőforrás időtúllépés három másodperces, regisztrálnia kell a robots.txt alábbi utasításokat:
User-agent: Yandex
Crawl-delay: 3
User-agent: Yandex
Disallow: / adminisztrátor
Crawl-delay: 3
Az utolsó példa yandeksovsky „pók” nem csak szigorúan fenntartani három másodperces szünetet letöltése előtt minden oldalon, de figyelmen kívül hagyja a könyvtár Adminisztrátor 2.
„Yandex” támogatja frakcionált értékek Crawl-delay - például 0,5 vagy 4,5. Ez azt jelenti, hogy ha szeretné, akkor az ellenőrzés a bejáró beállításokat, és állítsa be a sebességet, amellyel indexek oldalak tized másodperc.
És az utolsó. Crawl-delay irányelvet alkalmazni lehet minden keresőrobotok a kézi User-agent helyettesítő „*”.
1. A cél nevű fájlt robots.txt és néhány bonyolult vele dolgozni, akkor olvassa el az ebben az oszlopban anyag RTFM. [Vissza]
2. Egyes tartalomkezelő rendszerek (Joomla, például) a Rendszergazda mappát állományok és szkriptek, hogy megfeleljen munkaterületre vezérlőpulton. Emiatt a lezárás adminisztrátor mappát a „pók” lehet indokolt döntést. [Vissza]