Entrópia - intézkedés a bizonytalanság állapotában egy fizikai rendszer
Bármilyen üzenet gyűjteménye információt egy fizikai rendszer. Például a bemeneti eszközök légvédelmi rendszer átvihetők az üzenetet, hogy egy bizonyos repülőtéren jelenleg egy bizonyos számú harcosok éber, vagy azt, hogy a repülőteret ki hatását az ellenséges tüzet, stb Bármelyik alábbi üzenetek állapotának leírására egy fizikai rendszer. De egy bizonyos előre meghatározott állapot egy fizikai rendszer nincs értelme elküldeni az üzenetet - akkor van értelme, csak akkor, ha az állam a rendszer véletlenül. Mivel a tárgy, amiről adatokat továbbítanak tekinthető bizonyos fizikai rendszer X, amely lehet véletlenszerűen bármilyen állapotban - egy olyan rendszer, amely bizonyos fokú bizonytalanságot. A kapott információkat a rendszer így értelmes, annál nagyobb a bizonytalanság a rendszert alkalmaz, hogy ezt az információt (a priori). Hogyan mérjük a bizonytalanság? A bizonytalanság mértéke a fizikai rendszer határozza meg nem csak a számát a lehetséges állapotok, hanem a valószínűsége az állam. Most tekintsünk néhány rendszer X. feltételezi egy véges halmaza valószínűséggel. hol. a valószínűsége, hogy X egy olyan rendszer az xi (jelzi egy esemény: a rendszer az állam). Az is világos, hogy a.
Az entrópia definíciója intézkedés bizonytalanság állapotában egy fizikai rendszer. Ennek eredményeként a megszerzése információs rendszer bizonytalanságot csökkenteni lehet. Minél nagyobb a beérkezett információ mennyisége, amit már több tartalom, annál több információt a rendszer, annál kevésbé bizonytalan van annak állapotát. Ezért az információk mennyisége mérhető csökkenése entrópia a rendszer, hogy tisztázza a helyzetét, amelyek célja információkat.
X. Képzeljünk el egy rendszert, amely felett felügyeletet készül. Nézzük értékeli az információkat kapunk abból a tényből, hogy az állami X rendszer lesz teljesen ismert. Mielőtt információ fogadására (a priori) rendszer entrópia H (X); miután megkapta az információt, a rendszer állapota teljesen definiált, azaz entrópia válik nullával egyenlő. Jelölje Ix információk eredményeként kapott meghatározza a rendszer állapotát X. Ez egy entrópiacsökkenés vagy
azaz az információk mennyisége megszerzett teljes tisztázása állam egy fizikai rendszer, ez egyenlő az entrópia a rendszer.
Ábrázoljuk (1.1) formájában:
Egyenlet (1.2) azt jelenti, hogy Ix adatokat átlagoljuk az összes államok rendszerének logaritmusa valószínűségi állapot ellentétes előjelű. Sőt, az egyes érték Ix (logaritmusát a valószínűsége, hogy a i-edik állapot) a „-” jel meg kell szorozni a valószínűsége, hogy ez az állami, és az összes ilyen művek adunk. Minden egyes ciklus - kell tekinteni, mint a személyes információk az egyes üzeneteket, abból az a tény, hogy az X-rendszer olyan állapotban van, xi. Jelöljük ezt az információt:
Ezután Ix információ kerül bemutatásra, mint az átlag (vagy teljes) nyert információk minden lehetséges egyedi üzenetek alapján valószínűségek. Átírni (1.2) formájában matematikai elvárás:
Ha X - bármely (random) állapotban X rendszert.
Mivel az összes pi nem nagyobb, mint egy, a személyes adatokat. és teljes értéke nem lehet negatív. Ha az összes lehetséges állapotát a rendszer különböző valószínűségeket információkat a különböző nem ugyanaz: a legtöbb információt a jelentések szerint azok az események, amelyek a priori volt a legkevésbé valószínű.
Példa. A sakktábla egy cella értékét önkényesen figura. Elvileg valamennyi rendelkezése darab a fórumon egyformán valószínű. Meg kell határozni az információ az üzenetet, amely egy cella egy alak.
Határozat. Entrópiája X rendszer n államok egyenlő a equiprobable; Ebben az esetben: (dv.ed.), azaz Üzenet tartalmaz 6 egység bináris adatokat. mert Minden állam a rendszer egyformán valószínű, hogy ugyanaz az információ olyan sajátos üzenet típusok: ez a szám az e2 téren.
Példa. Feltételek mellett az előző példa, hogy meghatározza a személyes információk az üzeneteket, hogy ez a szám az egyik sarokban táblák sejteket.
Határozat. Priori valószínűsége az állam, amely állítólag az. Privát adatok (dv.ed.).
A termodinamika, az entrópia jelöljük S .. ahol Q - hő, T - a hőmérséklet.
. ahol E - a rendszer energiája, F - szabad energia rendszer.
Let - véges valószínűségi eloszlás, azaz a egy sor nem negatív egész megfelelhet.
Entrópia ezen eloszlás a mennyiséget. (1.5)
hol. Nyilvánvaló, hogy. ahol H = 0, ha, és csak akkor, ha minden valószínűség. egy kivételével, értéke 0.
Funkciót. . konvex, felfelé irányuló és a. Következésképpen ,.
Ellenkező esetben az entrópia eléri a maximális értékét, ha. „A bizonytalanság mértéke„a teljesítmény egy esemény eltér a különböző disztribúciók. (Ha. Nincs bizonytalanság, és ennek eredményeként tapasztalni fogja az eseményt A1. Ha. Az eloszlás maximális bizonytalanság).