Formula Hartley 2
Formula Hartley. kolichetvo információ
Megpróbálja kvantitatív mérésére információk alapján ismételten. Az első, határozott javaslatokat közös mérési módjait az információk mennyisége készítette Fisher (1921) a folyamat a problémák megoldásához matematikai statisztika. Az adatok tárolása a problémákat, átadása a kommunikációs csatornákat és számának meghatározása feladatokat az információs R. Hartley (1928) és a Nyquist X. (1924). R. Hartley megalapozta az elmélet az információ, amely meghatározza az intézkedés az információ mennyiségét az egyes feladatokat. A legmeggyőzőbb ilyen kérdés terveztünk és állítottunk az amerikai mérnök Claude Shannon 1948 Ettől kezdve kezdett a gyors fejlődése az információs elmélet általában és mélyreható tanulmányt a mérés a mennyiség, különösen.
Annak érdekében, hogy alkalmazni matematikai eszközökkel, hogy tanulmányozza a szükséges információkat, hogy elvonja a értelmét, tartalmát információkat. Ez a megközelítés már említett bennünket közös kutatók tiszta matematika működik mennyiségi viszonyok, anélkül, hogy a fizikai természetét a tárgyak, amelyek a költségek aránya. Például, ha az összeget a két szám 5 és 10, akkor ugyanúgy érvényes az összes objektum által meghatározott ezeket a számokat. Ezért, ha a szó az üzenetek kasztrált, a kiindulási pont az információk értékelése az esemény csak egy csomó különböző események egymástól, és ennek megfelelően az üzeneteiket.
Tegyük fel, hogy mi érdekli a következő információkat az állapota néhány tárgy: ahol a négy lehetséges állapot (szilárd, folyékony, légnemű, plazma) olyan anyag? amely a négy tanfolyamok a főiskolai hallgató tanulásra?
Mindezekben az esetekben van bizonytalanság mi érdekli az esemény, amelyet az jellemez, a jelenléte a kiválasztás egyik négy lehetőség. Ha a választ a kérdésekre, eltekintve a jelentésüket, mind a válasz viszi az azonos mennyiségű információt. mindegyiket az egyik a négy lehetséges állapota a tárgy, és ezért tart a bizonytalanság üzenetét.
Bizonytalanság elválaszthatatlan a koncepció valószínűsége. Csökkentése bizonytalanság ez mindig társított kiválasztási (kiválasztás) az egy vagy több elem (alternatívák) sokaságától származó őket. Az ilyen kölcsönös visszafordíthatóságára fogalmak a valószínűség és a bizonytalanság volt az alapja a fogalmának használata a valószínűség a mérési bizonytalanság mértékét az információ-elmélet. Feltételezve, hogy minden a négy válaszokat a kérdésekre, egyformán valószínű, akkor annak valószínűsége, minden kérdésben 1/4. Egyformán valószínű válaszok ebben a példában okoz egyenlő és a bizonytalanság, a kibocsátás válasz mindkét kérdésre, ezért minden egyes választ hordozza ugyanazt az információt.
Most megpróbáljuk összehasonlítani a két kérdésre, hogy a négy tanfolyamok a főiskolai hallgató tanulásra? Hogyan dobni egy pénzfeldobást itt: up „címer”, vagy a „szám”? Az első esetben négy egyformán válaszoljon, a második - kettő. Következésképpen a valószínűsége, hogy a válasz a második esetben, mint az első (1/2> 1/4), míg a bizonytalanság kivehető választ több, mint az első esetben. Bármely lehetséges válasz az első kérdésre úgy nagyobb a bizonytalanság, mint bármely válasz a második kérdésre. Tehát a válasz az első kérdésre több információt hordoz! Ezért annál kisebb a valószínűsége az esemény, annál nagyobb a bizonytalanság eltávolítja üzenetet a megjelenését, és így a több információt hordoz.
Tegyük fel, hogy egy esemény m egyformán valószínű kimenetelét. Egy ilyen esemény lehet, például, az előfordulása olyan karakter az ábécé, mint szimbólumokat tartalmazó m. Hogyan mérjük az információk mennyisége átvihető révén az ábécé? Ezt meg lehet tenni, hogy meghatározzuk az N számú lehetséges üzeneteket lehet küldeni ezzel ábécé. Ha az üzenet van kialakítva egy karaktert, majd a n = m. Ha két, akkor N = m · m = m 2. Ha az üzenet tartalmaz n szimbólumok (N - üzenet hossza), majd N = mn. Úgy tűnik, hogy a szükséges információk mennyisége talált intézkedését. Meg lehet érteni, mint olyan intézkedés, bizonytalanság az eredmény a tapasztalat, ha a tapasztalat magában foglalja a véletlenszerű kiválasztás által kiadott közlemény számos. Azonban ez az intézkedés nem túl kényelmes. Jelenlétében az ábécé amely egy szimbólum, azaz ahol m = 1, akkor kaphat csak a szimbólumot. Következésképpen a bizonytalanság ebben az esetben nem létezik, és a megjelenése ez a szimbólum nem hordoz információt. Eközben, N értéke, ha m = 1 nem nulla. Két független forrásból (vagy ábécé) N 1 és N 2 a számos lehetséges üzenetek teljes számának lehetséges üzeneteket N = N 1 N 2, míg a logikus lenne feltételezni, hogy az összeget a kapott információ két független forrásból, nem lehet a termék és a meghatározott összegeket.
A kiút találtak R. Hartley, aki felajánlotta információ I. tulajdonítható egyetlen üzenet, meg a logaritmus az összes N lehetséges üzenetek:
Ha az összes több lehetséges üzeneteket áll egy (n = m = 1), akkor az I (n) = log 1 = 0, ami megfelel a vonatkozó információk hiányában ebben az esetben. Jelenlétében független információforrások, hogy az N 1 és N 2 a számos lehetséges üzenetek
I (n) = log N = log N 1 N 2 = log N 1 + log N 2,
azaz kapcsolatos információk egy üzenet összegével egyenlő mennyiségű információ, amely beszerezhető a két független forrásból, szétszedni. A képlet által javasolt Hartley, megfelel az előírt specifikáció. Ezért lehet, hogy mérjük a mennyiségű információt.
Ha a előfordulásának lehetősége bármely karakter az ábécé egyformán valószínű (és még mindig feltételezik, hogy ez a helyzet), akkor a valószínűsége p = 1 / m. Feltételezve, hogy n = m,
azaz az információk mennyisége minden equiprobable jel mínusz logaritmusa a valószínűsége egy külön jelet.
Ez a képlet segítségével azonosíthatjuk bizonyos esetekben az információt. Azonban gyakorlati okokból szükséges, hogy arra kérje egységet. Erre azt feltételezzük, hogy az információ -, hogy megszüntesse a bizonytalanságot. Ezután a legegyszerűbb esetben a bizonytalanság tartományban lesz a kettő között equiprobable üzenetküldő kölcsönösen kizárják egymást, például két minőségi jellemzőkkel rendelkeznek: a pozitív és negatív impulzusok, a pulzus és a szünet, stb A továbbított információ mennyiségét a legegyszerűbb esetben a legkényelmesebb, hogy a egységnyi mennyiségű információt. Ez annyira információk nyerhetők képlet alkalmazásával (2), és megteszi a alapú logaritmusa 2. Azután,
I = - log 2 p = - log2 1/2 = log2 2 = 1.
A kapott egység az információk mennyisége, ami a választás a két egyformán valószínű események, úgynevezett bináris egy vagy kicsit. A név, amely két darab eredeti és az utolsó betű az angol kifejezés bináris digi t. ami azt jelenti, bináris egyet. Bits nem csak az egység az információk mennyisége, és a mértékegység bizonytalanság. Ebben az esetben arra utal, hogy a bizonytalanság, ami benne van egy kísérlet, amelynek két egyformán valószínű kimenetelét.
Az információ mennyisége kapott üzenet érinti a meglepetés faktor azt a címzett, ami függ a valószínűsége, hogy egy adott üzenet. Minél kisebb a valószínűsége, annál váratlan üzenetet, és így informatívabb. Üzenet a valószínűsége, amely magas, és ennek megfelelően, az alacsony fokú meglepetés, kevés információt.
R. Hartley rájött, hogy az üzenetek különböző valószínűségeket, ezért meglepő, hogy a címzett a megjelenésük változik. Meghatározása azonban az információk mennyisége megpróbálta teljesen megszünteti a tényező „meglepetés”. Ezért Hartley képlet határozza meg a mennyiségű információt a jelentés csak arra az esetre, ha a karakterek megjelenését azonos valószínűséggel, és ezek statisztikailag független. A gyakorlatban ezek a feltételek ritkák. Annak megállapítására, az információk mennyisége szükséges, hogy ne csak a különböző üzeneteket lehet beszerezni a forrás, hanem a valószínűsége annak átvételét.