Entrópia mértéke bizonytalan a választás

Az a tény, hogy az információ mindig csökkenésével jár a sokszínűség és a bizonytalanság. Létrehoz egy kvantitatív bizonytalanság az információs és annak tulajdonságait.

A diszkrét információ forrás lehet minden egyes alkalommal véletlenszerűen vesz egy véges számú lehetséges állapot. Különböző állami ui «által realizált választott forrást.” Együttes U állapot jellemzi az összeg a valószínűsége előfordulásuk:

Bemutatjuk az intézkedés kiválasztása állami forrás a bizonytalanság. Meg lehet tekinteni, mint egy intézkedés az információk mennyisége. Egy ilyen intézkedés történik, mint a számos forrás államok (ha a equiprobability). Aztán találkozik a feltétele monoton növekedést nőtt a számos lehetséges forrás államok.

Azonban ez az intézkedés nem felel meg a követelményeknek Additivitás:

Ha két független gépi egyformán az állapotok száma N és M tekinthető az egyik forrásból egyidejűleg valósítja pár Államok ni mj. Az egyesített bizonytalanság forrása legyen összegével egyenlő az eredeti bizonytalanság forrásai:

Egyenlet (2.2) teljesül, ha az intézkedés a bizonytalanság forrás equiprobable államok megteszik a logaritmusa államok száma:

Ezután, n = 1 és H (U) = 0 teljesül igénypont additivitás (R. Hartley). Az alap a logaritmus nem kritikus, és csak azt határozza meg a skála vagy az egység a bizonytalanság. Műszaki megfontolások azt sugallják, a választás a logaritmus alapja - 2. Ez a készülék az úgynevezett egy kicsit bizonytalan (az angol binary digit.). Néha egy dit (decimális).

Példa: Annak megállapításához, a minimális számú mérés azonosítására egy hamis érmét 27: H (U) = log3 27. Egy súlyú három lehetséges eredmény, azt jelenti, hogy az a bizonytalanság: H (U ¢) = log3 logaritmusa bázist 3 és egyenlőnek kell lennie 3. Ezért H (U) = 3log3 3 = H (U ¢), azaz. 3 igényel súlyú.

A javasolt intézkedés sikeres, de nem alkalmazzák széles körben, mert használja túl durva modell információforrás (equiprobable).

Shannon javasolt széles körben elterjedt mutatója:

ahol a C - tetszőleges pozitív szám.

Egy ilyen intézkedés az úgynevezett entrópiája diszkrét információforrás vagy entrópia végleges együttest. Ez az egyetlen működőképes (jóváhagyási Shannon, szigorúan bizonyítani Khinchin L.), amely megfelel minden követelménynek az intézkedés a bizonytalanság (mint információ).

A bináris mérési rendszer elfogadása C = 1, megkapjuk

A formai szerkezet (2.4) van az entrópia egy fizikai rendszer (Boltzmann). Szerint a termodinamika második törvénye, az entrópia a zárt térben definiáljuk

ahol Megapixel - molekulák száma egy adott térben; km - molekulák száma amelyeknek sebessége v v + dv.

Mivel mi / Megapixel a valószínűsége, hogy egy molekula sebessége között v és v + dv. majd (2.6) átírható: H = -.

Egybeesés van egy mély fizikai értelemben, hiszen mindkét esetben az értéke H jellemzi a diverzitás mértékét rendszer államokban.

Mérjük Shannon Hartley egy természetes kiterjesztése az esetben, ha az együttest nonequiprobability államokban. Ez lehetővé teszi, hogy vegye figyelembe a statisztikai tulajdonságait az információforrás.

Néhány tulajdonságai entrópia:

1. Az entrópia az igazi, és nem negatív értéket, mivel bármely pi (1 £ i £ N) ez változó tartományban 0-1, log pi negatív, és ezért, -pi log pi pozitív.

2. Az entrópia - korlátozott mennyiségben. A kifejezések -pi jelentkezzen pi tartományban 0

3. entrópia eltűnik, ha a valószínűsége egy az államok egyenlő 1.

4. Az entrópia maximális amikor minden állam egyformán valószínű forrása, amely bebizonyította módszerével Lagrange szorzók.

5. Az entrópia az forrás két állam u U1 és U2 változik 0-1, elérve a maximális egyenlőségét azok valószínűségek:

6. Az entrópia több különböző statisztikailag független információforrás az összege az entrópia az eredeti forrás.

7. Az entrópia jelzi az átlagos bizonytalanságot választanunk a együttese állam és semmi más (hatásainak értékelése során a hatóanyagok a bizonytalanság, lényegtelen, hogy vissza a betegek 90% és 10% -a a kocka, vagy fordítva).

Entrópia jellemzésére nem csak a digitális, hanem egy folyamatos információforrást. Entrópia egy ilyen forrás nevezzük eltérés entrópia:

Ez az érték Du ® 0 végtelenhez tart (nincs kétértelműség végtelen számú lehetséges állapot (érték) végtelenül nagy).

Az első kifejezés a jobb oldalán (2,7) van egy véges érték, ami attól függ, csak eloszlása ​​U. jogi és nem függ a Du kvantálási lépésben. Ez pontosan ugyanolyan szerkezetű, mint a diszkrét forrás entrópiája.

A második kifejezés csak attól függ, Du kvantálási lépés. Ő felelős az a tény, hogy a H (U) végtelenné válik.

A kifejezés értelmezésén (2,7), kétféle megközelítés létezik.

Az első az, hogy az intézkedés a bizonytalanság folyamatos forrását megkapta az első tag. Ez az érték az úgynevezett differenciális entrópiája folyamatos forrását. Ez úgy értelmezhető, mint az átlagos bizonytalanság valószínűségi változó U válassza véletlenszerű elosztás jog, mint az átlagos bizonytalanság kiválasztásában véletlen változó U ¢, a változó tartományban 1. és amelynek egyenletes eloszlását.

Feltételes entrópia folytonos forrása lehet kifejezni

A második megközelítés számszerűsíteni tulajdonságainak folyamatos információforrást figyelembe kell venni a gyakorlati lehetetlenségét biztosítása végtelen pontossággal megkülönbözteti folyamatos mennyiségi értékek U. Ezért minden U végtelen számú értéket egy meghatározott mérési pontosságot kell tekinteni, mint egy érték.

Az átlagos bizonytalanság forrása ki egy bizonyos érték ebben az esetben azt kell kivonni az átlagos bizonytalanság ugyanabból a forrásból kapott, feltéve, hogy tudjuk, hogy az eredmények meghatározása bizonyos pontossággal e. Ezután az információt tulajdonságainak állandó forrását kell mérni a különbség abszolút (2.7) és a hagyományos (2.8) entropies. Ez a különbség az intézkedés a bizonytalanság megszűnik, amely az úgynevezett mennyiségű információt.

mennyiségű információ
az intézkedés a bizonytalanság eltávolított

Az információcsere által diktált a vágy, hogy megszüntesse a bizonytalanságot kapcsolatos állapotok sorozatára végrehajtott forrás. Az információ továbbítása által kezdeményezett forrása vagy kérésre. Az ábrán látható információ mindig a jelek formájában. Kimeneti jelét az elsődleges forrása a bemeneti átalakító egy kommunikációs csatorna, a továbbiakban üzeneteket. Ellentétben jelek kialakított online kommunikáció bemenet.

Az egyes elsődleges jelek üzenet forrás kimeneti elemek nevezett üzeneteket. Minden elem megfelel egy adott üzenet állam információforrás. Ha a forrás információ végrehajtási állapotok egy halmaza párhuzamosan (a papírlapot szöveg), az átalakító biztosítja számukra következetes üzenetet kijelző elemek (kiejtés hangok emberben).

Az alapgondolat az elmélet információ - az információ mennyisége - tartják itt kapcsolatban, hogy bizonyos statisztikailag független elemei az üzenetet. Diszkrét forrás üzenet információs ugyanakkor teljesen jellemzi ensemble

A folyamatos információforrás jellemzi egydimenziós valószínűség-sűrűség P (z) a valószínűségi változó z.