létrehozni online
Mentse el az adatokat, hogy a fájlt „robots.txt”, és másolja a mappát konrevuyu oldalon.
Mi a célja eszköz „Generátor robots.txt”
cy-pr.com szolgáltatást nyújt Önnek egy eszköz „robots.txt generátor”, hogy lehet online létrehozni robots.txt fájl néhány másodpercig, valamint a tilalom indexelés oldalakról kereső.
Mi a robots.txt
Robots.txt - egy fájlt, ami gyökerében található az oldalon, és amely utasításokat tartalmaz a keresőrobotok. Azzal, hogy minden erőforrását, a robotok kezdje el ismerősének a robots.txt fájl - egyfajta „használati utasítást”. Megjelent pont a fájlban a robotnak, hogy befolyásolja a forrás. Például, lehet, hogy foglalt tilalom indexálás bizonyos oldalak vagy tanácsot betartását közötti időintervallumot megőrzése dokumentumokat egy webszerver.
Webmaster állíthatja be a tilalmat az indexelés robotok keresők Yandex, Google, Mail.ru, Rambler, Bing vagy a Yahoo. és állítsa a várakozási idő közötti átmenetek bejáró a lapokat az erőforrás és megtiltja az indexelés kiválasztott oldalakat. Ezen kívül egy külön sorban, akkor adja meg a kereső pókok az utat a site map (sitemap.xml).
Miután minden mezőt töltsön eszköz és kattintson az „Új” gombra, a rendszer automatikusan létrehoz egy fájlt a kereső robotok, hogy akkor kell helyezni a gyökér zónában a webhelyen.
Kérjük, vegye figyelembe, hogy a fájl nem használható robots.txt elrejteni oldalakat a keresési eredmények, mert hivatkozhat más források és a kereső pókok egyébként azt fogja indexelni. Felhívjuk figyelmét, hogy annak érdekében, hogy rögzítse az oldalon a SERPs egy speciális kulcsszó „noindex” beállítani, vagy a jelszót.
Azt is meg kell jegyezni, hogy a „Generátor robots.txt” fájlt hoz létre kizárólag ajánló jellegű. Természetesen a hajók „hallgatni”, hogy az utasításokat marad számukra a webmesterek a robots.txt fájlban, de néha figyelmen kívül hagyni őket. Miért történik ez? Mivel minden kereső robot saját beállításait, amely szerint értelmezi információt a robots.txt fájlt.