Entrópia és redundancia az üzenet forrását
Tekintsük az információ forrását, amely a szekvencia független diszkrét xi üzeneteket. Minden egyes üzenet véletlenszerűen kerül kiválasztásra az ábécé a forrás X = x1 ... xn (n - forrás ábécé méretét). Ez információforrás nevezzük forrás memória nélkül diszkrét véges ábécé, és üzeneteket általuk termelt nevezzük egyszerű. A jövőben, hogy egyszerűsítse a számítások, hogy együtt fog működni az ilyen forrásokból.
A tartalmazott információk mennyiségének egy általános forrása az üzenetet (lásd ekv. 7.) is volt, hogy nem jellemző, mint néhány alapvető üzenetet hordozhat egy csomó információt, de ugyanakkor továbbítja ritkán, míg más üzenetek hordozhat kevés információ, de egy részét átvinni . Ezért a forrás lehet jellemezni az átlagos összeg a vonatkozó információkat egy elemi üzenet - forrás entrópia [1, 6, 7]:
ahol X - Alphabet információforrás üzenetek n - forrás ábécé méretét.
Az entrópia számos tulajdonságok:
1. Először, H (X) ≥ 0. Pozitivitás H (X) látható (8), mint a valószínűsége a pozitív és hazugság nulla és egy közötti, a logaritmus a számok a negatív és a nulla értékű csak lehetséges egy ilyen esetben, amikor előfordulásának valószínűségét az egyik üzenet eredetét illetően egyenlő az egység és a többi nulla.
2. Másodszor, egy adott mennyiségű a forrás ábécé, és n jelentése megegyezik a legnagyobb entrópia H (X) = log2n. amikor a valószínűségét a forrás üzenetek egyenlő legyen, azaz, Hozzászólások egyaránt.
3. Harmadszor, az entrópia additív:
ahol H (X) - entrópia első információs forrás; N (Y) - a második információforrás entrópia.
2. példa képviselje az üzenetet forrás formájában kosarak, amelyek golyó három szín: piros, zöld és kék. Ezek a golyók (üzenetek) méretének meghatározására a forrás ábécé.
Kiszámítjuk az entrópia a forrása az üzeneteket, ha:
1) piros golyó - 7 db. zöld golyó - 5 db. kék golyó - 2 db.
2) piros, zöld és kék golyó - 2 db.
Megoldás: A kosár golyók három szín, tehát a forrás ábécé mérete n = 3.
Kiszámítjuk az entrópia a forrás:
Amint a fentiekből, entrópia meghatározza az átlagos számának bináris számjegy kódolásához szükséges az eredeti forrása az információs szimbólumok. Ez akkor maximális, ha a karakterek által generált forrás azonos valószínűséggel. Ha a karakterek jelennek meg gyakrabban, mint mások, az entrópia csökken. Minél kisebb a forrás entrópiája eltér a maximum, az intelligensebb fut, annál több információt viseli szimbólumok.
Összehasonlításképpen informatív források vezetünk nevezett paraméterrel redundanciát és egyenlő [1, 6, 7]:
ahol Hmax (X) - a maximális entrópia forrás.
Forrás redundancia amelyben R = 0, az úgynevezett optimális. Minden igazi forrásokból redundancia R ≠ 0.
Tegyük fel, hogy megkaptuk az azonos mennyiségű információt I0 a tényleges és optimális forrásokból. Ezután a száma k szimbólumok. költött átadása az információ mennyiségét az igazi forrása, nagyobb, mint a szám kmín töltött a legjobb forrása a karaktereket. Ismerve a k szám szimbólumok és kmín redundancia is számítható:
A redundancia növeli az adatátviteli idő, ezért nem kívánatos. Azonban, ha az üzenetek átvitele, az interferencia a kommunikációs csatorna, redundanciát alkalmaz, hogy növelje a zaj immunitását a továbbított üzenetek (hibavezérlő kódolás).
3. példa Let forrás továbbítja az orosz szöveget. Ha nem tesznek különbséget az „e” betű és az „e”, valamint a lágy és a kemény jelek, az orosz betűvel 31; adjunk hozzá egy szóközt a szavak és kap 32 karakter.
Megmutatjuk, hogy az ötjegyű bináris kód (Bode) kód nem optimális átviteléhez orosz szöveget.
Megoldás: A kód, hogy képviselje minden betű töltött öt elemi szimbólumok. Maximum entrópia forrás, továbbítására használjuk ötjegyű kód ábécé orosz Bode Hmax egyenlő (X) = log 2 5 = 32 (bit). Ebben az esetben úgy gondoljuk, hogy minden betű az orosz ábécé ugyanolyan valószínűséggel statisztikailag független.
Mivel a különböző valószínűséggel előfordulási betűket a szövegben entrópiája:
Tekintettel az összefüggés a kettő között, és a három egymást követő betűk entrópiája:
4. Figyelembe véve a korreláció a nyolc szimbólumok vagy több entrópiája:
Ezután minden változatlan marad.
Kiszámoljuk az elbocsátás által biztosított információforrás a kódolási karakterek öt bites bináris kód Bode:
Így azt mondhatjuk, hogy minden 6 tízből levelek felesleges és nem lehet egyszerűen át, azaz redundancia az orosz szöveg 60%.
Ugyanaz, és nagyobb a redundancia és más információforrások - beszéd, zene, TV-kép, stb
Ismerve a entrópia H (X) és az idő. amely úgy átlagosan minden elemi üzenetet, akkor lehet számítani, az egyik legfontosabb jellemzője a forrás - a teljesítmény (az átlagos mennyiségű információ időegység alatt) [1, 6, 7]: