Nyílt hozzáférés csak a keresők
Miért nyitja és zárja a keresők az emberek
Azt kell mondanom, hogy ez ellentétes a politika keresőmotorok. A fő szabály egy jó hely szerint a keresők, ez a követelmény, hogy bemutassák a helyszínen „ahogy van”. Annak érdekében, hogy a tartalom ugyanaz volt mindkét bot és a felhasználók.
Ezt a megközelítést alkalmazva vezethet helyszínen tilalmat
Miért nyitott a telek indexelő robotok, de közel a látogatók.
Az ok egy. Készítsünk tartalmat kell esnie az index (parallelnopishu a szolgáltatás, amely elküldi Yandex bot a helyszínen azonnali / fenyegető / indexelése ezek az oldalak 10 perc), és a megfelelő időben, hogy nyissa meg a látogatók.
Hogyan lehet ellenőrizni a rendelkezésre álló hely Yandex bot
Poyanenie. Az 1-es szám a válasz az ellenőrző szerver Yandex. Alatt 2 egy csekket a rendelkezésre állás az indexelés.
Talált? Akkor az oldal által indexelt Yandex és a Google nem lesz keresve, illetve nem esik. Oldja meg a problémát!
Vissza a helyén záró téma a felhasználók és annak ellenére, hogy a keresőmotorok index, és folyamatban.
Hogyan kell végrehajtani
Ez valósul meg, ez elég egyszerű és hatékony. nem veti meg a felhasználói szinten - sok gond, és az értelme nem világos-e vagy sem. Menj azonnal a hozzáférés szintjét az erőforráshoz.
1. Nyissa fel a csak önmagára és a keresőrobotok.
2. Zárja be az összes kapcsolat.
műszaki megvalósítás
Szükségünk van egy .htaccess fájlt gyökerében található az oldalon.
Átirányítás minden látogató egy másik oldalra, kivéve egy IP (hasznos lehet webfejlesztés)
Az alábbi kód segítségével keresőrobotok (ebben az esetben, googlebot) az oldal megtekintéséhez, és nem úgy, hogy én, az én a VI léphetett a helyszínen jelszó nélkül, és a vásárlók és a látogatók - egy jelszót. Szintén ezt a kódot, hogy engedélyezze a XHTML és CSS érvényesített! (W3.org)
Authname "webhely_neve Administration"
AuthUserFile /home/sitename.com/.htpasswd
AuthType alap
Require valid-user
Rendelési tagadja, hogy
Deny minden
Hagyjuk 24 \\. 205 \\. 23 \\. 222
Hagyjuk származó w3.org htmlhelp.com
Hagyjuk származó googlebot.com
megfelelnek minden
Azt hiszem, hogy van értelme, hogy az első lehetőség, a engedélyt botok, hogy a második.
A tanúsítvány a Google írásos:
Ellenőrizze, hogy a robot hozzáférését a szerver valójában Googlebot (vagy a Google drugimagentom felhasználó), akkor a fordított DNS-lekérdezés. Ellenőrizze, hogy a neve utal a domain googlebot.com, a közvetlen DNS-vizsgálatot erre neve Googlebot által. Ez hasznos a teendő, ha úgy gondolja, hogy a Googlebot a webhely feltérképezésében, míg spam vagy egyéb rosszindulatú.
Egyes robotok álcázzák magukat Yandex robotok megadásával a megfelelő felhasználói ügynök. Meg tudja nézni, hogy a robot az egyik, akinek elmondása szerint az azonosító alapján reverse DNS lookup (fordított DNS-keresés).
Ehhez kövesse az alábbi lépéseket:
Meghatározása után a gép nevét, akkor ellenőrizze, hogy tartozik Yandex. A nevek minden robotot Yandex után „yandex.ru”, „yandex.net” vagy „yandex.com”. Ha a gép nevét egy másik vége, ami azt jelenti, hogy a robot nem tartozik Yandex.
Tulajdonképpen talált aypishniki előír, és ez rendben van.