Hogyan rabolni oldalak

Néha el szeretné helyezni az információkat a honlapon, akkor magad lehetetlen. Például az időjárás vagy a legújabb hírek. Sajnos, függetlenül megjósolni az időjárás nem mindenki (különösen, ha ez többé-kevésbé jobbra), így van egy kiút: hogy az információk megbízható forrásból. Természetesen senki jogát arra, hogy nem minden nap előrejelzés másolni megbízható webhely, és tegye magát, igaz eredeti kódlapot. Sokan próbálják automatizálja ezt a folyamatot, és írjon a program, amely a közismert lopók. Mit kell emlékezni, amikor a fejlődő markológép?

Mit kell tenned a kezdéshez?

Futó grabber: a frekvencia és módszereket.

Így megtudtuk, a reguláris kifejezések, sőt írta a prilozhenitse. De markológép értelmetlen lenne, ha nem fut rendszeresen. Milyen gyakran - ez függ a célját és lehetőségeit. Például, ha rabolni az időjárás előrejelzés, akkor elegendő, ha a markológép-szor egy nap. Ha ez a hír, hogy redkoobnovlyayuschegosya oldalon, lehet, hogy ahhoz, hogy fut a markológép minden pár napig vagy hétig.

Innen a következő kérdést: hogyan kell futtatni markológép? Először is meg kell emlékezni, hogy azonnal a markológép futtatni minden alkalommal az oldal betöltésekor - rossz a letöltési sebesség a helyszín és a szerver. Ezen kívül, ha nem egészen őszinte kölcsön tartalom, akkor könnyebb lesz kiszámítani. Ezért még mindig két módon kezdeményezhető: a kezek és Chron. Az első módszer alkalmas lehet, ha rabolni redkoobnovlyaemy oldalon. A második módszer alkalmas a rendszeres gyertyán hely és a legtöbb automatizált.

Mit vigyen az oldalt, ha Grabe?

Ez attól függ, az Ön igényeinek. Ha meg van elégedve a jelölést, hogy használják a helyszínen, ahonnan rabolni, majd vegye az adatokat sorban - kisebb problémát. Ha szüksége van a fájlok és linkek, szűrők és cserélje ki azokat. Ha van elég szöveg - fogadja el a szűrési hatásának képek, linkek és más elemek, amelyek károsíthatják a hírnevét :)

Do kép rabolni?

Ha úgy dönt, hogy rabolni mindent, beleértve a képeket, meg kell előre, hogy részt vegyen a hely, ahol a képek tárolása és természetesen eldöntheti, hogy vajon minden kép külön fájl létrehozása, vagy minden új kép felülírja az egyik, hogy már van .

Ezen kívül szükség van, hogy vegye figyelembe a sajátosságait gyertyán objektumot. Ha az időjárás egy képet a felhők és a csapadék, akkor lehet értelme, hogy ezek a képek otthon és nem rabolni őket ismét. Ha már van egy felhő, miért van rá szükség, hogy töltse le újra?

Hogyan kell tárolni a szakadt adatokat?

Ez magánügy. Akkor lök azokat egy adatbázisban, akkor tárolható formában xml. Azt javaslom, hogy adatokat a kész html, és tartsa ezt kész darab valahol a közelben. Amikor az oldal jelenik meg, akkor nem kell, hogy a kiválasztás az adatbázisból, vagy XML feldolgozása. Csak akkor kell, hogy egy fájlt, és ragaszkodni, hogy a megfelelő helyre. Gyorsan és dühösen.

Annak megállapítása, hogy az oldal frissítését?

Senki nem akar felesleges teher adatbázis. Amikor gyertyán feededben fontos, hogy elkerüljék a párhuzamos információt. Tehát, hogy ne eltömítheti az adatbázisban, meg kell határoznia, hogy mi már megszerezte az információt, vagy sem. Azt javaslom, hogy használja a md5 () függvény a PHP vagy Perl kriptában. Ezek a funkciók visszaút egyedi hash kód a húr paramétert. Meg kell kiszámítani a md5 csak kapott rekord és md5-kód elérhető nyilvántartást. Ha megegyeznek - rekord már létezik. Ha nem - itt az ideje, hogy rock :)

Itt van az én gondolataimat gyertyán. Talán hamarosan írok majd egy cikket, amely megmutatja, hogyan lehet valamit kirabolták. Például a kiadását Yandex, RSS, vagy azonos időjárás. Mit csodálkozol?

Tudod, hogy Graber helyén a komplexitás tőlem. Az ára függ az Ön igényeinek. Vagy akkor játszani a pre-csoda-grabber. Ez egy sokoldalú markológép képeket és linkeket webes felületen.