Mass proxy ellenőrzése működés - nem elérhető web mester és programozó
Helló
Sokan azok közül, akik azt írta elemzőt, szemben egy nagyon kellemetlen helyzet, amikor egy webhely blokkolja a gyakori kéréseket az azonos IP. Ha teszünk egy késés segítségével alvó (), a folyamat megy nagyon lassan, nem voltunk nagyon elégedettek.
Költési hogy megoldást találjanak az ideje, mindenki megérti, hogy ahhoz, hogy a szerver mely kérelmeket küldik, hogy ne akadályozzák őket - akkor kell használni proxy szervereket.
Nos, nos, nos, a megoldást nem találnak! Programozó, elégedett magával, megy keresni listák proxy szervereket. Ha a probléma az, hogy el kell végeznie kicsi, akkor sikeresen találja több IP proxy, a bejegyzések kézzel egy fájlt, és sikeresen használja.
De ha lekérdezéseket kell sokat, egy tucat proxy nem lesz elég. Megrémült felfedezzük a hír, hogy nincsenek nagy proxy listákat, 100% -ig működött volna, és ingyenesen biztosított.
Szabad legközelebbi gyakran leáll egy nap után a munka. És akkor is, ha ma is másolni magát pár száz proxy, másnap fele nem lesz elérhető.
Néztem egy ilyen helyzetben egy nap. Nem tudom, hogy mit kell tennie. Persze, hogy lehet vásárolni a fizetett proxy listákat, de nem jöhet szóba, mivel vannak minden proxy lesz 100% dolgozik.
Szóval arra a következtetésre jutott, hogy meg kell valahogy ellenőrizni proxy szerverek teljesítményét, mielőtt használja őket. Ezért úgy döntöttem, hogy írjon egy teszt script, és a jelen a figyelmet:
Mint látható, a proxy osztályt már megrakott freeproxylists.com oldalon, és akkor nem kell keresni valahol egy proxy, majd add meg a tesztelés. Minden megtörtént az általam
Most Nézzük néhány módszer ebben az osztályban. Először is, a módszer a hitelesítési (checkProxy ()):
Ahhoz, hogy végre lekérdezések segítségével göndör, vagy inkább a könyvtár RollingCurl (letölteni tudsz GitHub), amely arra épül szabványos göndör. Munka ez a könyvtár nagyon kényelmes, mert akkor használja az úgynevezett multi-threading, azaz több kérelem függetlenül hajtható végre. Ezáltal vagyunk egy bizonyos ideig képesek leszünk, hogy ellenőrizze a nagyobb számú proxy szervereket.
Mielőtt használni ezt az osztályt be kell állítania egy konstans domént, amely tartalmazza a domain nevet, mint ez:
Kiváló, állandó készlet. Most arra van szükség, hogy valahol kér egy külön proxy, ahol választ kap. Hozzunk létre erre „responseproxy.php” fájlt a gyökere a helyén, amely egyszerűen tegye a „siker”. Több benne, nem kell semmit.
Kell, hogy az I. osztályú, hogy egy kérelmet a fájl és a hozzá tartozó tartalmak.
A checkProxy eljárás visszahívási funkció mi határozza meg a módszer Proxy :: callbackCheck, amely ellenőrzi, hogy a „siker” a válasz ott van. Ha van, akkor emlékezzen erre proxy, mint egy munkás.
Ennek eredményeként, a kérelmet kell tenni, hogy a fájl „responseproxy.php” egy konkrét proxy, ha proxy munka, mi lesz a fájl tartalmát „responseproxy.php”.
Ez az osztály olyan funkciója is van a cache-bizonyított proxy egy napra. A módszernél a loadFromCache megy ellenőrizni, hogy van egy proxy a mentett eddig a tmp mappába.
Mentése és az olvasás a cache végezzük Tmp osztály, amely az alábbi:
Tény, hogy nem tudja használni ezt az osztályt, és kissé változik a proxy osztály használatra Redis vagy Memcashed.
Ahhoz, hogy használni ezt az osztályt, meg kell adnia a beállított TMP állandó, meghatározva azt az utat a gyökér a mappát, ahol tárolja a fájlokat menti proxy.