Hogyan írjunk egy fájlt a helyszínen
Szia kedves blog olvasók PomKomp.ru kijavítani robots.txt fájl kulcsa a sikeres promóciós és gyors indexelést a keresőmotorok oldalon. Arra fejlesztették ki sokáig, és még mindig használatban van.
A fő cél a robots.txt:
1. megtagadja vagy lehetővé teszi, hogy az indexelt könyvtárak, oldalak, fájlok és csoportok.
2. Adja meg a fájlt a site map (sitemap.xml).
3. Jelölje ki a fő tükör (ha van ilyen).
Mielőtt elkezdené a leírás valamennyi intézkedés azt tanácsolom, hogy figyeljen az oldalamon fájlt. Elég hozzá az URL /robots.txt
Robotok szükséges fájlt az összes oldalak, nem számít, kicsi vagy nagy, online bolt, vagy csak odnostanichnik. Miért keresők robotok fájlt? Az a tény, hogy a keresőmotor indexeli az összes tárolt dokumentumokat a domain, mely képek, stíluslapok, scriptek, és így tovább. Ez nehezíti az indexelő robot az oldalon, és növeli az időt, hogy ő tölti be a projektben. Elmondani a robot, amely lehet indexelni, és mi nem, egy robots.txt fájlt.
Mint látható, a robotok a kiterjesztése .txt, és akkor létrehoz egyet a szokásos notebook otthon a PC-re, majd öntsük a tárhely. Ne feledje, hogy a cím kell csak kisbetűket.
Helyes robots.txt tartalmaz irányelveket és azok tulajdonságait (paraméterek). Mindegyikük úgy véljük, ahogy írja a fájlt. A legelső iránymutatás, hogy áll az elején User-agent. Ez azt mutatja, egy robot írt további lehetőségeket.
Tulajdonságok irányelvek által előírt kettőspont és a teret. A fenti példában, akkor meghatározott User-agent irányelv beállítása „*”, ami azt mondja, hogy az előírt további tulajdonságai minden keresőrobotok felveszi ugyanaz. Ha azt szeretnénk, hogy a honlap index egy adott robot, a kettőspont után regisztrálni kell a nevét.
Meg kell jegyezni, hogy a paramétereket a User-agent irányelv alapján csak egy lánctalpas, majd írja be a rekordot
Ez lesz rossz.
Hagyjuk / tiltása.
A nevek ezen iránymutatások egyértelmű, hogy lehetővé teszi a bot index fájl, oldal, katalógus és csoportok, valamint kerüléséhez tilos. Alapértelmezésben az összes mappa megnyitására indexelés, ezért önmagában lehetővé teszi a az irányelv értelmében nem tehető meg kell együtt használni a tiltó tiltása irányelvet.
Példa az irányelvek megengednek / Disallow:
Itt már betiltották a nagy keresőrobotja Yandex index oldalak, amelyek a könyvtárban a blog, és lehetővé tette, hogy index az oldalak a / blog / oldal. Mint látható, ez a fájl egy szerkezet, amely az első tiltott az egész könyvtárat, majd egy részét. Ezeket a file-robotok észlelt a jobb, így a helyszínen adja át a gyorsabb indexelés.
Ott is rossz, hogy írjon az irányelv révén egy üres karakterlánc. Példa helytelen bejegyzéseket:
Ebben az esetben, az oldal / blog / oldal lesz indexelve.
Tiltása irányelv is lehetővé teszi a használatát a karakterek, * és $.
Azt jelzi, hogy ahelyett, hogy bármilyen érték lehet. Így a felvétel
Szükségleteinek kielégítése „tiltása / 1.OLD /; Tiltása / Page2 /; Tiltása / 1.OLD / zakaz /; „és így tovább, és akkor az összes származékai / oldal könyvtárak nem lesznek indexelve.
$ Jelzi a pontos tilalmát ezt a paramétert. Így a rekord
Letiltásához fájlindexelés regisztrálni kell a teljes elérési útvonalát. Tilalmak file.php index fájlt a könyvtár / oldal. Ehhez levelet
"Nem megengedett: file * .php"
helyesírás
"Nem megengedett: * .php"
Így nem teszik lehetővé, hogy az összes index kiterjesztésű fájlok .php.