Ezért szükség van rá, és hogyan kell csinálni, workwebsite - létrehozása és támogatása a helyszínek, a keresetek
Helló kedves olvasók. Ma szeretnék, hogy meséljek a robots.txt fájlt. Ez az egyik legfontosabb szakaszában a belső honlap optimalizálás. Ha még mindig nem tudom, miért kell egyáltalán, vagy hogyan kell beállítani, hogy, akkor feltétlenül el kell olvasni ezt a bejegyzést a végéig.
Megpróbálom a lehető legnagyobb közel meséljek minden árnyalatok létrehozása ebben a fájlban. Nem akarom, hogy öntsünk egy csomó vizet, így térjünk a tárgyra.
Site indexelés. Az egyik csúcspontja a keresési helyszíni promóció. Nagyon gyakran az oldalon van egy csomó felesleges információkat a kereső rendszer. Általában ez a honlapok segítségével létrehozott CMS.
Zárás nem a megfelelő információ csökkenti a terhelést a szerveren, valamint segít megszabadulni a lehetséges átfedések vannak tüntetve. Mi ez? Az a tény, hogy abszolút minden a keresők nem szeretik ismétlődő adatokat.
robots.txt fájl szintaxisa
Természetesen erre a fájlra megvannak a saját szabályai nyelvtani és helyesírási hibát irányelveket. Egyes keresők, továbbá az általános szabályok saját. Normál írás iránymutatások a következők:
Ha a fájl üres, akkor a robot a teljes webhelyét teljesen. Ha a kereső robot hibát talál a fájlt, majd ez is indexelni. Tehát megtörni a szabályok bármikor nem lehet.
Minden fájl legyen legalább egy bejegyzést «User-agent». Ez a felhívás a kereső pókok. Ha ezek után rekord áll *, akkor a csapat lesz az összes csúszómászó. Ha meg van írva a neve, a hívás, hogy egy adott keresőmotor pókok. Itt van egy lista néhány:
Yahoo! - Slurp (vagy Yahoo! Slurp)
By the way, én majdnem elfelejtettem írni az egyik legfontosabb szabály az, hogy minden bejegyzés «User-agent», legyen legalább egy irányelv «tiltása».