A Googlebot nem fér hozzá a css és js fájlokhoz a webhelyen - a w1c az első webes tanácsadó
Így a Google kifejezetten kijelenti:
Annak érdekében, hogy ne veszítse el a kibocsátási pozíciót, szüksége van:
1. Nyissa meg a Robot.txt hozzáférést az összes CSS és JS fájlhoz, és ellenőrizze a robots.txt fájlt
3. Megakadályozza az oldal beolvasását metatagekkel vagy az X-robots-tag HTTP fejlécével.
A robots metatag lehetővé teszi, hogy az indexelés és a megjelenítés beállításait külön-külön határozza meg az egyes oldalak keresési eredményei között. Hozzá kell adni a szakaszhoz. például:
A fenti példa metatagja megtiltja az összes keresőmotornak, hogy megjelenítse ezt az oldalt a keresési eredmények között. A név attribútumhoz (robots) megadott érték azt jelzi, hogy az irányelv minden robotra érvényes. Ha korlátozni szeretné a hozzáférést csak egyhez, adja meg a robotok helyett egy másik értéket a név attribútumnak, nevezetesen a kívánt robot nevének. Az egyes keresési robotokat felhasználói ügynököknek is nevezik (a bejáró a felhasználói ügyfelet használja az oldal kérésére). Fő keresőmotorunk a Googlebot. Annak megakadályozására, hogy egy oldalt csak általa szkennelje, cserélje ki a címkét az alábbiak szerint:
Most a címke megmondja a Googlebot-ot (de nem más keresőmotorokat), hogy ez az oldal ne jelenjen meg a keresési eredmények között. A név és a tartalom attribútumok esetleg érzékenyek.
A keresőmotorok többféle robotot használhatnak különböző erőforrásokhoz vagy célokhoz. A Google robotjainak teljes listája itt érhető el. Ha például egy oldalt szeretne megjeleníteni a Google Webes Keresési eredményekben, de nem a Google Hírekben, használja a következő metataget:
Ha több keresési robotra vonatkozó irányelveket kell megadnia, több robotos metataget is használhat:
Ha vannak ellentétes irányelvek, a Google robotjai a legszigorúbbakat fogják végrehajtani.