Entrópia intézkedés a bizonytalanság mértékét az állam egy fizikai rendszer

Bármely üzenet, amivel foglalkozunk az információs elmélet, a gyűjtemény információt egy fizikai rendszer. Például, a bemeneti a automatizált üzemcsarnok gondozó üzenet továbbítható normális vagy emelkedett százalékos hibák, a kémiai összetétele a nyersanyag vagy a hőmérséklet a kemencében. A bemeneti eszközök légvédelmi rendszer átvihetők egy üzenetet, hogy a levegőben van két célokat repül egy bizonyos magasságban, egy bizonyos sebesség. Az azonos bemeneti lehet küldeni egy üzenetet, amely szerint egy bizonyos repülőtéren jelenleg egy bizonyos számú harcosok éber, vagy azt, hogy a repülőteret cselekvőképtelen megvilágítatlan ellenség, vagy hogy az első cél dől, és a második folytatja a repülést a módosított természetesen. Bármelyik jelentés ismerteti az állam bármilyen fizikai rendszer.

Nyilvánvaló, hogy ha az állam egy fizikai rendszer már előzetesen ismert, nem lenne értelme, hogy adja át az üzenetet. Üzenet értelmet csak akkor, ha az állam a rendszer előre nem ismert, véletlenül.

Ezért, mint egy tárgy, amelyen az adatokat átvisszük, bemutatunk néhány fizikai rendszer. amely lehet véletlenszerűen egy adott állam, azaz a. e. a rendszer, amely minden bizonnyal rejlő bizonyos fokú bizonytalanságot. Nyilvánvaló, hogy a kapott információkat a rendszer lesz, általánosságban elmondható, hogy minél több értékes és informatív, annál nagyobb a bizonytalanság a rendszerben, így ez az információ ( „a priori”). Egy természetes felmerül a kérdés: mit jelent a „több” vagy „kevesebb”, mint a bizonytalanság, és akkor mérni?

Ahhoz, hogy erre a kérdésre válaszolni, összehasonlítjuk a két rendszer, amelyek mindegyike jellemzi némi bizonytalanság.

Mivel az első rendszer, hogy egy érme, amely ennek eredményeként lehet önteni egy két állapot: 1) csökkent a kabátját, és 2) volt a szám. Mivel a második - a hal, amely hat lehetséges állapotok: 1, 2, 3, 4, 5 és 6 A kérdés az, hogy milyen bizonytalan rendszert? Nyilvánvaló, hogy a második, mert több lehetséges állapot, amelyek mindegyike lehet azonos valószínűséggel.

Úgy tűnhet, hogy a bizonytalanságot száma határozza meg a lehetséges állapotok a rendszer. Általában azonban ez nem így van. Vegyünk például egy technikai eszköz, amely két állapotban: 1) megfelelően, és 2) nem volt hajlandó. Tegyük fel, hogy az információ megszerzése (a priori) valószínűsége helyes működését a készülék 0,99 és a hiba valószínűsége 0,01. Egy ilyen rendszer csak igen kis mértékű bizonytalanság: az egyik szinte biztosan megjósolni, hogy a készülék megfelelően fog működni. Ha dobott egy érmét is van két lehetséges állapot, de a bizonytalanság sokkal nagyobb. Láthatjuk, hogy a bizonytalanság a fizikai rendszer határozza meg nem csak a számát a lehetséges állapotok, hanem a valószínűsége az állam.

Térjünk át az általános esetben. Képzeljünk el egy rendszert. hogy lehet hogy egy véges halmaza valószínűséggel. ahol

- annak valószínűsége, hogy a rendszer, hogy az állami (Jele az esemény: a rendszer az állam). Nyilvánvalóan.

Írunk az adatokat egy táblázatban, ahol a felső sorban a lehetséges állapotok a rendszer, és az alsó - a megfelelő valószínűségek:

t. e. a entrópia a rendszer egyformán lehetséges állapotok egyenlő a logaritmusával állapotok száma.

Például egy rendszer nyolc államban.

Megmutatjuk, hogy abban az esetben, ha a rendszer állapota pontosan ismert előre, annak entrópia nulla. Sőt, ebben az esetben az összes valószínűségek a Formula (18.2.2) nulla, kivéve egy - pl. amely egyenlő egy. Term eltűnik óta. A többi tag is eltűnik, mint

Megmutatjuk, hogy az entrópia a rendszer véges halmaza éri el a maximumot, ha minden állam egyformán valószínű. Ehhez figyelembe vesszük az entrópia a rendszer (18.2.2) függvényében a valószínűség és naydemuslovny szélsőérték ezt a funkciót, feltéve, hogy:

Az eljárás Lagrange szorzók törekszünk a szélsőérték funkciók:

Differenciálás (18.2.5) és egyenlővé származékok nullára, megkapjuk az egyenletrendszert:

ami azt mutatja, hogy a szélsőérték (maximális ebben az esetben) születik értékek egyenlő egymással. Tól (18.2.4) azt mutatja, hogy ebben a

és a maximum entrópia a rendszer egyenlő:

t. e. A legnagyobb érték az entrópia a rendszer egy véges sok állapot megegyezik a logaritmusát az állapotok száma és érhető el, ha minden állam egyformán valószínű.

entrópia kiszámítása a képlet (18.2.2) lehet némileg egyszerűsödött, ha bevezetünk egy speciális funkció:

ahol a logaritmusát vesszük a 2 alaprészhez.

Formula (18.2.2) válik:

A funkció táblázatba; a függelékben (táblázat. 7) mutatjuk annak értékét 0-ról 1 0,01.

1. példa Annak meghatározására, az entrópia egy fizikai rendszer, amely két légijármű (vadászbombázó és) részt vesz a légi harcban. Ennek eredményeként a csata rendszer lehet egy négy lehetséges állapot:

1) a két repülőgép nem kopogtatott;

2) hit harcos, bombázó az nem ér;

3) nem hit harcos bombázó hit;

4) mindkét légijármű lelőtték.

A valószínűségeket Ezen állapotok, illetőleg 0,2; 0,3; 0,4 és 0,1.

Határozat. Írja feltételeket a táblázat formájában:

3. példa Annak meghatározására, a lehető legnagyobb entrópia egy rendszer, amely három elemet, amelyek mindegyike lehet négy lehetséges állapot.

Határozat. A teljes számú lehetséges állapot a rendszer az ellátás. A maximális lehetséges entropiyasistemy egyenlő (dv. Db.).

4. példa Annak meghatározására, a lehetséges maximális entrópia üzenetek álló öt betű, az összes betű az ábécé egyenlő 32.

Határozat. A számos lehetséges állapotok a rendszer. A lehetséges maximális entrópia egyenlő (dv. Egység).

Formula (18.2.2) (vagy azzal egyenértékű, hogy ez (18.2.10)) használják közvetlen kiszámítása entrópia. Azonban, ha a változások gyakran sokkal kényelmesebb egy másik formája az entrópia felvétel, nevezetesen a képviselet formájában matematikai elvárás:

ahol - a logaritmusát a valószínűsége bármely (random) a rendszer állapota vizsgált kaksluchaynaya értéket.

Amikor a rendszer megkapja az állam. véletlen változó értékét veszi fel:

Átlagos (elvárás) egy véletlenszerű változó - és van, amint az jól látható, a rendszer entrópia. Ahhoz, hogy értékek (02/18/12) átlagoljuk a „súlyok” egyenlő sootvetstvuyuschimveroyatnostyam.

Képletek hasonló (02/18/11), ahol az entrópia képviseli, mint a matematikai elvárások, lehetővé teszi, hogy egyszerűsítse a transzformációs társított entrópia, csökkentve azokat a használata jól ismert tétel mintegy matematikai elvárásoknak.