Lock keresőrobotok ahrefs bot és bot semrush, vagy hogyan lehet csökkenteni a terhelést a szerveren, lásd
Lock keresőrobotok Ahrefs Bot és Semrush Bot vagy hogyan lehet csökkenteni a terhelést a szerver
Kedvenc host. az én válogatott korlátai vannak, a terhelés a szerveren, és egy nap kaptam egy levelet a gazdaszervezet, például csökkenti a terhelést a szerveren, elemzik naplók, esetleg néhány szkript nem működnek megfelelően. Furcsa, gondoltam, nem változott, mint bármi korábban tárhelyszolgáltatóval nem panaszkodnak a megnövekedett terhelést. Gondolat megint olyan rosszindulatú kódot húz processzor ellenőrzött ai-bolitom. jó érzés, nem talált semmi gyanúsat. Bemásztam a naplók által javasolt, a tárhelyszolgáltatójával. És azt állapította meg, hogy a rengeteg kérelmet a különböző kereső robotok, beleértve a nyilvánosság a falu ismeretlenes Ahrefs Bot és Semrush Bot, a kérelmek száma elérte a 40% -át a kérelmek száma. Igen, még gagyi hackerek korábban törölt, rosszindulatú fájlokat, és még olyan időközönként, mintha félt valami hiányzik)))
Olvastam az ajánlásokat, mit kell tennie, és ez az, amit ástak ki:
1. A robots.txt fájl meg akarja akadályozni a keresőrobotok számára a webhely feltérképezését:
Mivel nem tudom, a napló tartalmazza a nevét, a keresőrobotokhoz SemrushBot / 1.1
bl és AhrefsBot / 5.1, azt hiszem, nem lesz felesleges regisztrálni ezeket a neveket botok. Természetesen ez egy sajnálatos, hogy ha egy bot blokkolás következik be egy olyan egyedi típusú bot neve AhrefsBot / 5.1, valószínűleg megváltoztatja a szám 5,1 bot újra kell regisztrálni a robots.txt
2. blokkolása botok a htaccess: