Hogyan lehet megakadályozni az oldalak indexelését?
Kap egy ingyenes ellenőrzést
Azt hiszem, érdemes nem részleteket megírni és leírni, hogy miért kell megtiltania a keresőmotorok számára, hogy indexeljék az oldal navigációs modul által létrehozott oldalakat. Csak röviden fogom mondani: ez azért szükséges, hogy ne készítsünk párhuzamos tartalmat, amely sok CMS-ben keletkezik, amikor a rekordokat oldalakon csoportosítja.
De valójában ez egy nagyon fontos pont a honlap promóciójában. Tekintsük a példát.
Tehát a kérdés az, hogy helyesen írni az utasításokat
ha három oldalszekvenciája van, ahol az "? oldal" paraméter szerepel az URL-ben.
- A blogban: //www.site.ru/blog/?page=2
- A klub blogjaiban: //www.site.ru/club/blog/?page=2
- Válaszul a termékekre: //www.site.ru/club/review/?page=2
Az első és a második szekvenciát le kell zárni a keresőmotorokból, a harmadik pedig lehetetlen - az eredeti szöveget tartalmazza.
Ha írunk Disallow: / *? akkor mindhárom szekvencia nem kerül indexelésre. Ezért hozzáadja az irányelvhez a szót
/ blog. a szabály nem vonatkozik a harmadik láncra.
De nem írhatunk egyet egyetemes szabályt minden esetre.
Be kell zárnunk a robotok hozzáférését a blog oldalaihoz, amelyek megismétlik a fő tartalmat.
Ezek és más kérdések az ügyfél webhelyének műszaki ellenőrzése után merülnek fel. Elvben a fórumon megvitatják a válaszokat néhány közülük. Mindazonáltal, nem szabványos helyzetek fordulhatnak elő. Éppen ezért úgy döntöttem, megosztom tapasztalataimat ebben az irányban.