Markov-lánc - studopediya
Markov-folyamatok diszkrét állapotok és diszkrét idejű Markov-lánc nevezik. Egy ilyen folyamat a pillanatok t1. t2. ... ahol S rendszer módosíthatja az állapotát, tartják egymást követő lépéseinek, és érvként, amikor a folyamat úgy tűnik nincs itt az ideje t. és lépésszám 1, 2. k. Véletlen eljárás ebben az esetben az jellemzi, hogy szekvenciája Államok S (0). S (1). S (2). S (k). ahol S (0) - A kezdeti állapotban a rendszer (az első lépés előtt); S (1) - a feltétele a rendszer az első lépés után; S (k) - állapota a rendszer után a k-adik lépésben.
Esemény S (k) = Si>, amely az a tény, hogy miután a k-adik lépésben rendszer állapotban Si (i = 1, 2) egy véletlen esemény. A szekvencia S (0) állapotban. S (1). S (k). Meg lehet tekinteni, mint egy sorozat véletlenszerű események. Egy véletlen események sorozata nevezzük Markov-lánc. ha minden lépést a valószínűsége átmenet bármely állam bármely Si Sj nem függ, hogy mikor és hogy a rendszer hogyan jött Si állapotban. A kezdeti állapotban S (0) lehet előre pontosan meghatározni vagy véletlenszerű.
A valószínűségeket Markov lánc nevezzük valószínűsége pi (k), hogy miután a k-adik lépésben (és, mielőtt a (k + 1) -edik), az S rendszer lesz állapotban Si (i = 1, 2 N). Nyilvánvaló, lyuboyu k.
A kezdeti eloszlása a Markov-lánc az úgynevezett valószínűségi eloszlása az állam valószínűségek elején a folyamat:
Abban az esetben, amikor a kezdeti állapot S pontosan ismert S (0) = Si. A kezdeti valószínűsége pi (0) = 1 és az összes többi nulla.
Átmeneti valószínűség (átmeneti valószínűség) a k-adik lépésben az állami Si, hogy az állam Sj nevezzük a feltételes valószínűsége, hogy az S rendszer után a k-adik lépés lesz az állam Sj, feltéve, hogy közvetlenül megelőzően (miután k - 1 lépés) volt Si állapotban.
Mivel a rendszer él az egyik N Államok, minden egyes alkalommal t beállításához szükséges N 2 átmeneti valószínűségek Pij. amelyeket célszerűen formájában mutatják be a következő mátrix:
ahol Rij - a valószínűsége átmenet egy lépésben az állam Si, hogy az állam Sj;
Rii - a valószínűsége egy késleltetési rendszer Si állapotban.
Ilyen mátrix nevezzük egy átmenetifém, vagy átmeneti valószínűség mátrixban.
Ha az átmeneti valószínűségek nem függnek a lépés számát (idő), és csak attól függ a sorrendben egy állam, amelyhez átmenetet hajtjuk végre, a megfelelő Markov-lánc homogénnek nevezzük.
A átmeneti valószínűségek a Markov-lánc Rij homogén formában egy négyzetes mátrix n méretű m. Megjegyzés néhány jellemzőjét.
1. Minden sor jellemzi a kiválasztott rendszer állapotát és annak elemei a valószínűségek minden lehetséges átmenetek egy lépéssel kiválasztva: (i -edik a) állapotban, beleértve egy átmenet.
2. Az oszlopok mutatják a valószínűségek minden lehetséges átmenetek egyetlen lépésben egy meghatározott (j e) állapotban (más szóval, a vonal utal, hogy a valószínűsége átmenet az állam, az oszlopot - a állapotban).
3. Az összeg a valószínűségek minden sorban megegyezik az egység, mint az átmenetek alkossanak csoportot összeférhetetlen események:
4. A fő diagonális mátrix átmeneti valószínűségek Rii valószínűsége, hogy a rendszer származik az állami Si. és az is marad benne.
Ha homogén Markov-lánc meghatározott kezdeti valószínűségi eloszlása és az átmeneti valószínűségi mátrix. A rendszer állapota valószínűségek Pi (k) (i, j = 1, 2, ..., n) által meghatározott rekurzív képlettel:
1. példa Nézzük a rendszer működését - az autó. Hagyja, hogy a jármű (rendszer) egy műszak (nap) lehet egyike két állapot: egy használható (S1) és a hibás (S2). Gróf rendszer állapotát ábrán látható. 3.2.
Ábra. A gépjármű állapota 3.2.Graf
Ennek eredményeként a tömeges megfigyelések munka jármű összetétele a következő átmeneti mátrix valószínűségeket:
ahol P11 = 0,8 - annak a valószínűsége, hogy az autó jó állapotban;
P12 = 0,2 - valószínűsége átmenet a jármű állapotának „OK”, hogy az állam „hibás”;
P21 = 0,9 - valószínűsége átmenet a jármű állapotát „hibás” a status „OK”;
P22 = 0,1 - annak valószínűsége, hogy a jármű továbbra is a „hibás” állapot.
A vektor kezdeti valószínűségek a jármű képes feltenni. azaz P1 (0) = 0, és P2 (0) = 1.
Ez szükséges, hogy meghatározzák a valószínűsége, hogy a jármű államok három nap alatt.
Használata az átmeneti mátrix valószínűségek és a képlet (3.1), definiáljuk a valószínűsége Pi államok (k) az első lépés után (az első nap után):
A valószínűségeket az Államok után a második lépés (a második nap után) a következők:
állapotban valószínűségek a harmadik lépés után (miután a harmadik napon) egyenlő
Így, miután a harmadik napon az autó jó állapotban valószínűséggel 0,819 a „hibás” állapot valószínűséggel 0,181.
2. példa: Az a számítógép működése lehet tekinteni S. fizikai rendszer, hogy a leolvasó egyikében lehet a következő állapotok: S1 - a számítógép teljes egészében üzemeltethető; S2 - a számítógép hiba a memóriában, ahol meg tud felelni a kihívásoknak; S3 - a számítógép olyan jelentős probléma, és megoldani a korlátozott probléma osztályt; S4 - a számítógép teljesen elromlott.
A kezdeti időpillanatban a számítógép teljesen működőképes (állami S1). Számítógépes ellenőrizzük, fix időpontokban t1. t2. t3. A folyamat előforduló rendszerben S. lehet tekinteni, mint egy homogén Markov lánc három lépést (az első, második, harmadik számítógép ellenőrzi). átmeneti valószínűség mátrix formájában
Határozzuk meg a valószínűsége, hogy egy számítógép állam után három ellenőrzéseket.
Határozat. állapotban gráfnak van az ábrán bemutatott formában. 3.3. Egymás ellen nyíl körülvevő megfelelő átmeneti valószínűség. Kezdeti állapot valószínűségek P1 (0) = 1, P2 (0) = P3 (0) = P4 (0) = 0.
Ábra. 3.3. Gróf számítógép államok
A képlet szerint (3.1), figyelembe véve az összeg a valószínűségek csak azokat az államokat, ahonnan közvetlen átmenet lehetséges ebben az állapotban, azt találjuk:
Így a valószínűsége, számítógép Államok után három vizsgálatokat a következő: P1 (3) = 0,027; P2 (3) = 0,076; P3 (3) = 0,217; P4 (3) = 0,680.
1. feladat. Bizonyos célok égetés négy lövés a T1 időpontban. t2. t3. t4.
A lehetséges állapotok a rendszer: S1 - a kapu sértetlen; S2 - célkitűzés kissé sérült; S3 - a kapu kapott jelentős károkat; S4 - célozni teljesen lenyűgözött. A kezdeti időben a cél állapotban S1. Határozza meg a valószínűsége célállamok után négy lövések, amikor az átmenet valószínűsége mátrix formájában: