A keresőmotor pók (robot) típusok és funkciók
Keresőrobotok (más nevek - a robot, pók, robot) - a kereső programok, amelyek beolvasni webes erőforrások adatszolgáltatási róluk az adatbázisban.
Mi célból létre keresőrobotok?
1) megnyitja a főoldalon;
2) Adja meg a „Legtöbbet letöltött művek”;
3) értékeli az új terméket a listából;
5) elolvassa a gyűjtő, és ha ez érdekes, letölt egy fájlt.
Ezek az intézkedések rabolni Valéria 10 percig. Azonban ha tölteni keres 10 perc egy nap, egy hónap már 05:00. Ehelyett a feladat is vonzza program, amely nyomon követi a tendenciákat ütemtervet. Hatásmechanizmus lesz egy egyszerű webes pók, kiélezte a teljesítmény bizonyos funkciókat. A keresőrobotok nem fogja túlélni nélkül kereső, legyen az a Google vezetők és a „Yandex” vagy vállalkozó induló. Botok navigálni az oldalon, keres nyersanyagok kereső. Ebben az esetben sokkal hatékonyabban, mint a dolgozó pók, annál sürgetőbb kérdés eredményeit (1.).
Ábra. 1. reakcióvázlat A lánctalpas
Ábra. 2. különbségek ellenőrzési lánctalpas (rendszer)
Ábra. 3. Példa egy egyszerű fájl robots.txt
Attól függően, hogy a kereső funkciót, amit az alábbi lista, lehet végrehajtani egy vagy több robot.
1. szkennelése az oldal tartalma. Lánctalpas funkciója az elsőrendű - kimutatására újonnan létrehozott oldalak és gyűjtő elhelyezése szöveges információ.
2. olvasása a listákon. Ha a kereső, hogy tartalmazza a keresési képfájlok erre a célra egy külön web pók lehet beírni.
Típusú keresési robotok
A keresőmotorok néhány pókok, amelyek mindegyike támogatja a végrehajtását előre programozott funkció (ábra. 2).
Pók „Yandex”
Google pókok
A barátságos pókok -, hogyan kell tanítani a robotok, hogyan kell viselkedni
A robots.txt előírt:
User-Agent: Twitterbot Allow / images
Megfejteni ezeket az adatokat:
Udvarias robot mindig képviseli, és a fejlécben megadott adatokat a kérelem, amely lehetővé teszi a webmester a kapcsolatot a tulajdonossal. Milyen korlátozások vonatkoznak? Erőforrás tulajdonosok érdekli fűződő felhasználók valós, és nem szeretnénk programozni épül azok tartalmát üzlet. Ezekre a célokra a helyszínek gyakran jönnek létre a szolgáltatási böngésző HTTP-kéréseket, és csak azok számára, - a program kéri.