Magyarázza a lényege MapReduce - az ujjak

Már egy hete már lassan rágja NoSQL / NewSQL. de a kérdés nem csökken (mint vártam), de csak nő.

Vágni a minap az alapokat a memcached parancsokat. Most akarom próbálni a lehető legegyszerűbben számomra, hogy válaszoljon a gyakori és fontos kérdés - mi MapReduce.

Mi MapReduce?

Ez egy tipikus megközelítés algoritmus, vagy mintát Nos, itt valaki hívja, a párhuzamos feldolgozás nagy mennyiségű nyers adatok, például - az eredmények bejárók vagy web lekérdezés naplók.

Általában, statisztikák szerint, akár 80% -át a feladatok ingyenes és rendkívül jövedelmező MAPP a MapReduce, és MapReduce meghajtó most NoSQL.

Vannak különböző végrehajtását MapReduce. A jól ismert és szabadalmaztatott végrehajtását az algoritmus és a megközelítés - a Google. Vagy példaként MySpace Qizmt - MySpace Open Source MapReduce keret. is használják Hadoop. MongoDB és sok különböző példákat. További részletek megtalálhatók a cikk (PDF): MapReduce: Egyszerűsített Adatfeldolgozó a nagy klaszterek.

az alapkőzet

Tehát, egy tipikus végrehajtásának algoritmus bemenete egy 3 érv: az eredeti gyűjteményt, térkép-funkció Csökkenti-funkció - és visszatér egy új adatgyűjtési feldolgozás után.

Az algoritmus több lépésből áll. A térkép-elvégzett a funkciót, hogy minden egyes eleme az eredeti gyűjteményt, mint az első lépést. Térkép visszatér nulla, vagy hozzon létre esetekben kulcs / érték tárgyakat.

Ez azt jelenti, hogy az adó a térkép-funkció átalakítására elemeit az eredeti gyűjtemény nulla vagy több példányát Kulcs / érték tárgyakat. Ezt mutatja az alábbi képet:

A következő lépés az algoritmus rendezi az összes párt kulcs / érték, és hozzon létre új objektumot esetekben, amikor az összes érték (érték) szerint lesznek csoportosítva gombot.

Az utolsó lépés végrehajtódik Reduce funkció - minden fürtözött például kulcs / érték objektum

Összefoglalva, csökkentése függvény egy új példányt az objektum, amely szerepelni fog az eredmény gyűjtemény.

példa implementation-

Példaként megvalósítása nagyon egyszerű és egyértelmű végrehajtása ennek az algoritmusnak a C #. Én például megszámolja magánhangzók egy sorban sorhalmaz.

Ez a példa létrehoz egy általános funkciója MapReduce. - a tömeges e algoritmus - amely csupán egy speciális funkcióval és mapreduce. rasparallelivaya azok végrehajtását. Valójában maguk térkép funkció és csökkentése. amelynek végrehajtása már konkrét feladatra, hogy megpróbáljuk megoldani (minden esetben), mint ebben az esetben -, hogy „számolja meg a magánhangzók egy sor sor.”

Páratlan akkor tupenkie. Dolgozom, mint egy tesztelő, végül rájöttem, hogy ez a térkép / csökkentése, és ő fut körbe.

És az, aki panaszkodik az idegen szavak, csak egy kis munka egy cég az angol nyelvű dokumentációt, és azt írta a kód egy kicsit. Végrehajtás, Ellenőrzés, bogarak, funkciók, Deskripshion, Investigirovat, rally, meghajtó, Handley, MAPP, égetve, stb Mindezek a szavak csak, hogy az élet könnyebb, de ha nem tudják, hogy az értéket, akkor ez a probléma, hogy hogyan lehet dolgozni, és nem nyafog!

Devils nem orosz, bot hajszárító szűkítheti a cég és a cikkeket tesz közzé egy normális, Orosz. Egyszerűsítése élet nagyon okos egyáltalán, akkor egyszerűen hum)

Kevésbé egyértelmű, hogyan működik, de nem árt, ha többet mond ez a megközelítés olyan jó, és milyen előnyöket (szemben az alternatívák) is jár.

„Azért jöttem, hogy Önt a jövőben azzal a kéréssel, hogy hagyja abba a tevékenységét”

10 parancsok Netsh, amelynek meg kell tudni minden admin

• vad »Nem értem, hogy miért mindez megtörtént a parancssorból, ha kész a gui mindent két kattintás, és minden tisztán látható. De köszönöm a cikk szükség lehet a behajtásra.

Sunset Runet kézzel

• Kharna „Minden tiszta, érdekes. Egy kérdés, hogy mi a fasz „bolsevik” van? Már betiltották a Google, és nem érti a különbséget a bolsevikok és a szovjet rendszer és az aktuális oligarchák van.

Magyarázza a lényege a MapReduce „az ujjak”

• Kostia »többé-kevésbé világos, hogyan működik, de nem árt, ha többet mond ez a megközelítés olyan jó, és milyen előnyöket (szemben az alternatívák) is jár.

Runet ítélve. 2. rész

• Anton S. „Természetesen, elnézést a megszállottság, de azt hittem, hogy válaszoljon a kérdésekre.