Hogyan lehet megnyugtatni a Yandex botot, ami terhet ró a tárhelyre?
Az alapkérdésre adott válasz:
A robots.txt-ban így írunk valami ilyesmit:
Felhasználói ügynök: Yandex
Feltérési késleltetés: 10
Ha a kiszolgáló nagy terhelésű, és nincs elegendő ideje a terhelési kérelmek teljesítéséhez, használja a Crawl-delay directive (Feltérési késedelem irányelv) lehetőséget. Lehetővé teszi, hogy a keresőrobotot beállítsa a legkevesebb időtartamra (másodpercben) az egyik oldal betöltése és a következő letöltés kezdete között.
Kompatibilitás robotok, amelyek nem teljesen követik a szokásos feldolgozása során robots.txt, Crawl-delay irányelv hozzáadni a csoporthoz, hogy kezdődik a felvétel User-Agent, azonnal alábbi irányelvek és tiltása engedélyezve).
A Yandex kereső robot támogatja a frakcionált Crawl-Delay értékeket, például 0,5. Ez nem garantálja, hogy a robot minden fél másodpercben felkeresi a webhelyét, de felgyorsítja a webhely feltérképezését.
Felhasználói ügynök: Yandex
Feltérési késleltetés: 2 # az időtúllépést 2 másodpercen belül beállítja
Felhasználói ügynök: *
Disallow: / keresés
Feltérési késleltetés: 4,5 # az időtúllépést 4,5 másodpercen belül állítja be
Az irányelv célja, hogy megszüntesse a Yandex veszettség terhét, amely nyilvánvalóan nincsenek határai.
Tudom, hogy néhányan Yandex hajóját a menny mannájaként várják, de azt írom, hogyan kell megállítani, tartani. Igen, vannak ilyen problémák. A milliomosokat is megkínozzák, és nem tudják, hová helyezzék a pénzt =).