Esper szolgálatában korrelációs

osztály SIEM termékek különböznek a hagyományos Log-szerverek legalább létezik egy korreláció motor, amely képes átalakítani egy hatalmas áramlását események figyelmeztetéskészletre. Ebben a cikkben megnézzük néhány Esper könyvtár képességek befogadására korreláció motor, nem rosszabb, mint a képességek Siem korrelációs alrendszer ipari megoldások, és néhány még felülmúlja azokat.

Esper, működési elve

Web GUI Esper Enterprise Edition

Hogy végezze el a korreláció az alkalmazásban meg kell leírni az események típusát, a mezők és a feldolgozási szabályok, minden Esper többi munkát veszi át. Esemény feldolgozási szabályok (kivonatok) leírt nyelvet használva EPL (Event Processing Language), amely nagyon hasonlít az SQL, de a tényleges munka Esper logika alapvetően eltér az adatbázisban. Tárolása helyett események és rendszeresen kéréseket, a Esper üzletek szabályok (kérelmek), és átadja őket az események láncolatába, mintha egy szitán (vagy rostasor). Amint a feltételeket, a szabályok végzik, a könyvtár azonnal adja alkalmazásának eredményeként.

Szabályok vannak leírva két fő módszer:

• Amennyiben minták - minták események, amelyek lehetővé teszik, hogy észleli a jelenlétét vagy hiányát szekvenciák vagy ezek az események egy patak, vagy egy sor szálak;
• esemény folyam lekérdezések - lekérdezések, amelyen keresztül átmegy a patak az események, így csak a szükséges különleges szabályokat.

Mint már említettük, Esper működik folyamatos események különböző típusú, mint a tűzfal, anti-vírus, a tartományvezérlő. Esper lehetővé teszi, hogy kapcsolja be a hullámok és fejlesztések őket, amint akar: összeolvad, csoport, szűrő, szűri, sort, hajsza a különböző típusú ablakok (idő, statisztika) - általában, hogy tegyen meg mindent, hogy megtalálja az ellenség, azonosítani egy anomália, vagy megütötte a főnyereményt a tőzsdén. Igen, igen, Esper is használják kereskedés!

A korrelációs szabályok

Az egyik módja, hogy leírja az esemény típusát

Ja, és nincs hiba: Esper, ellentétben az SQL, lehetővé teszi a használatát, ahol záradékot a lekérdezések, amelyek összesített funkciókat. Annak ellenére, hogy a szabály fog működni optimálisan kérném a szűrő menet:

áramlási szűrő kiszűri eseményeket, mielőtt azokat az ablakon, míg a szűrő alkalmazzák az összes az eseményeket, amelyek az ablakban, majd tekinteni összesítő függvények, amelyeknek az értéke szűrik ki, amely a design. A kisebb események az ablakot, a kevesebb erőforrás elfogyasztjuk.

Ha a hálózat behatolt a malware, amely aktívan vizsgálja a hálózati szabályok a fent létrehozott generál sok esemény, töltse ki a mail szerver az értesítések, így hozzá struktúra hagyja kimenet csak az első esetben egy órán belül minden forrás, amelyre load kérés :

Gyakran előfordul, hogy nem csak a jelenléte bizonyos eseményeket, de ezek hiányában egy ideig figyelmet igényel, mivel ez jelezheti tönkremehet a felszerelés, a konfigurációs hibák, vagy támadás. Annak elkerülése érdekében, amikor proschelkal tűzfal naplók megszűnik jönni, akkor hozzon létre egy másik szabály a sablon használatával:

Miután minden esetben a tűzfal Esper áramlás fut öt perces időzítő. Ha nem jön egy másik esemény, az alkalmazás értesítést kap erről, ez idő alatt.

Az időgép

1. Esper küld egy speciális üzenet típusát CurrentTimeEvent, amibe az idő értékét a log nyírási belső időzítő. Ezután küldje el a rekordot magát a magazin, ami fut egy lekérdezést, amely a szokásos időablak nyeremény: (időszakban).
2. Esper üzeneteket küldjenek a naplóból tartalmazó mező idején bejelentkezés unixtime méret (érték kell, hogy legyen a hosszú típus). Továbbá, ezek az üzenetek végigmenni a kéréssel, hogy az időablak győzelem: ext_timed (vremya_iz_loga időszak), amely a külső időt munkájukat.

Nyisd ki az ablakot tárva

A jobb példa, hogy már tárgyalt, használjon idôintervallum időt. Ettől eltekintve ablakban Esper támogat számos más érdekes ablakok. Íme néhány közülük:

• win: hossza - felhalmozódnak egy előre meghatározott események száma;
• nyer: time_batch - gyűjt események során előre meghatározott időközönként, majd elküldi őket kell feldolgozni;
• nyer: time_accum - tolóablak, amely felhalmozódik eseményeket, amíg egy előre meghatározott ideig nem kapott semmilyen esemény;
• nyer: keepall - tárolja az összes eseményt, hogy esik ki az ablakon;
• std: egyedülálló - egészíti ki az ablakon csak az utolsó esemény az egyedi mező értéke / mezők vagy funkciók ezen értékek, vagyis, ha beállítjuk a paramétereket az ablak, hogy ellenőrizze az egyedi jel src_ip területén, az eredmény tartalmazza a legújabb fejlesztéseket a doboz minden src_ip;
• std: groupwin - csoportok az események a területeken vagy funkció értékek ezeken a területeken;
• stat: uni - kiszámítja a különböző statisztikák az eseményeket tartalmazott az ablakon: a teljes összeg, átlag, szórás, variancia;
• stat: Correl - kiszámítja a korrelációs együttható a két paraméter között az áramot;
• ext: time_order - rendezvényeket időben, akkor is, ha a régit később jött, mint az új.

Az ablakokat lehet egymással kombinálhatók, és az esemény fog folyni az egyik ablakból a másikba. Például, ha a tűzfal továbbítja információt a bájtok számát számolja összes továbbított aktív, az átlagos mennyisége az ülés egy órán és megjeleníti az első 10 is használja a következő ablak-lánc:

Egy másik érdekes koncepció, amely támogatja a Esper, - elemzi ablak (Nevezett Windows). Nevezett ablakok globális és fel lehet használni egyszerre több szabályt. Például felvenni a hurok tartományvezérlő, ahonnan megkapjuk az esemény a felhasználói hitelesítés és bejelentkezés mezők src_ip. Azt akarjuk, hogy gyorsan kiszámítja bejelentkezés kártevő olvas a hálózathoz és nem töltenek időt keresi az adatokat a naplókat a vezérlő. Mivel a hálózat DHCP-t használ, szeretnénk látni együtt bejelentkezés - src_ip tartalmazott egyetlen releváns adatokat. Bunch bejelentkezés - src_ip hasznos lehet a szabályokat, különböző patakok események (tűzfal, IDS, proxy szerver), így hozunk létre egy elnevezett ablak, mely megtartja a csokor időkorlátozás nélkül:

Most már készen áll, hogy átvizsgálja minden esetben a korábban létrehozott szál köti scanning_hosts kapcsolódó felhasználói bejelentkezés:

Csatlakozás külső forrásokból

Esper nem korlátozódik támogatja a szabványos adatbázis, és lehetővé teszi, hogy teljesen olyan forrásokból. Ehhez meg kell végre egy osztály egy statikus módszer, amely visszaadja a Java-osztály, vagy egy java.util.Map objektum tömb Object []. Ez a rugalmasság, akkor húzza adatok bárhonnan: a széles Redis, fájlok, webes erőforrások - egyszóval, hogy bármilyen forrásból, hogy tud dolgozni a Java. Ez osztály nézhet, dolgozó Redis:

A lekérdezés, hogy lehet használni, hogy azonosítsa a csoportját részesíti a Tor hálózat, a következő alakú:

Ez így van, egy kis erőfeszítés, akkor integrálni Esper különböző tömbök információt, és ez csak egy a néhány példa a terjeszkedés Esper funkcionalitás egyedi modulok.

következtetés

Esemény kezelés sarokköve a különböző területeken: kereskedelem, csalás, behatolásjelző és anomália nyomon. Ezek a területek mind egyesíti szükség bonyolult esemény feldolgozás minimális késleltetéssel. Egy kiváló megoldás ez a feladat a Esper könyvtár, köszönhetően a hatalmas lehetőségeket, egyszerű forma leírására vonatkozó szabályok és nagyon jó skálázhatóság. Gyakorolni írásban EPL-expresszió és látni a munkájuk eredményeként, akkor a webes alkalmazás. Ha kíváncsi, hogyan kell használni Esper kérelmében, figyelni, hogy a példák mappára az archívum a könyvtár, vagy várja meg a következő kérdés, ahol haladunk az elmélettől a gyakorlatig, és hozzon létre a megakorrelyator blackjack és egyéb zsemlét. Mint mondják, stay tuned!

Itt található az ezt a cikket egy ismerősének:

Kapcsolódó cikkek

• Az alapképzés tiszt tűzoltóság