Keresőoptimalizálás és weboldal promóció - blog archive gyilkos robotok felett
Killing botok keresztül .htaccess (+ kiegészítés)
A katalógusban a tűrés csak egy ip, a másik a fürdőben.
Order Deny, Allow
Deny minden
Hagyjuk származó 84.216.203.46
RewriteEngine On
RewriteCond%! ^ / 403.php $
RewriteCond%. * Slurp. * [OR]
RewriteCond%. * Twiceler. * [OR]
RewriteCond%. * WebAlta. * [OR]
RewriteCond%. * Ia_archiver. * [OR]
RewriteCond%. * MSNBot. * [OR]
RewriteCond%. * Teleport \ SPRO. * [OR]
RewriteCond%. * WebCopier. * [OR]
RewriteRule. * /403.php [F]
Keresi a naplók gyakran akkor botlás után a bot Yahoo, az előnyeit ennek a kereső, vagy egy orosz nyelvű forrás tulajdonosok, az optimalizáló boldogság, akkor lőni linkeket, valamint legalább a forgalom hozott legalább néhány sort, de 0,4-0,6% -át áramlását látogatók - ez nem dolog, kiderül, hogy a hajó csak eszik kárba források. Úgy döntött, hogy küldjön egy fürdő Yahoo és más MSN.
Reméltem, hogy ezek a keresők helyes és nem hagyja figyelmen kívül ezeket a szabályokat őket robots.txt:
User-agent: Slurp
Disallow: /
User-agent: MSNBot
Disallow: /
De kiderült, hogy a Yahoo nem megnyugodtam, és még továbbra is kutat az oldalt az oldal, amelyen állítólag nem lehet. Volt, hogy jöjjön át kardinálisan A problémát apache lehetőségeket nevezetesen .htaccess. Most azt fogja tiltani a gazember User Agent, ez egy mágikus szabály:
Mint látható, a bővítmények listájában, akkor távolítsa el néhány, a robotok, ha szükség van rájuk. Az ötlet az, hogy segítsen, kivéve, ha a szabályok vannak írva rendesen, hogy jól érezze magát hozzá egy szabályt, hogy tiltsák felhasználók FireFox:
Dolgozott, a Firefox még nem kezdődött el az Opera és az IE minden rendben lehet böngészni az oldalon. Ha nem működik, én iratkozni.