Egyenetlen hatékony kódok - studopediya
Egyenetlen blokk kódok szinte kizárólag kódoló források megszüntetésére vagy csökkentésére a redundanciát okoz az a tény, hogy az üzenetek nem egyformán valószínű. Az ötlet egy ilyen kódolás, hogy egy jóval valószínűbb rövid üzenetek kódolt blokkokat, és kevésbé valószínű - hosszú, melynek eredményeképpen az átlagos hosszúságú blokk csökken.
Ha az építkezés szabálytalan kód szükséges biztosítani az egyediségét dekódolást. Hadd illusztráljam ezt egy egyszerű példát. Tegyük fel, a forrás ábécé tartalmaz hat üzeneteket jelöli az A, B, C, D, E, függetlenül továbbítódik a valószínűségek P (A) = 0,4; P (B) = 0,3; P (B) = 0,1; P (D) = 0,08; P (D) = 0,07; F (E) = 0,05. Ezek összege valószínűségek természetesen egyenlő 1 Megjegyzendő, hogy az entrópia a forrás
ahol i = l. 6 Stock nincs üzenet a forrás ábécé.
Kódolni ezeket az üzeneteket egységes bináris kód, meg kell tölteni minden üzenet három karakter. Összhangban a tétel forrás kódolási ezeket az üzeneteket lehet kódolva bináris karakterek, hogy átlagban minden üzenet fordítsuk ncp = 2,16 + e bináris szimbólumok, ahol e - bármilyen kicsiny pozitív szám. Próbáljunk csinálni gondolkodás nélkül egyértelmű dekódolás, egyszerűen hozzárendelése a legvalószínűbb szimbólumok a legtöbb rövid blokkok, például:
Így az üzenetek az A és B, a teljes valószínűség 0,7, egyetlen karakter, vagy küldjön más üzeneteket a teljes valószínűség 0,3 kétjegyűre, így az átlagos karakterek számát üzenet
Kiderült, hogy az üzenetek kódolt sokkal gazdaságosabb, mint amely lehetővé teszi kódolási tétel. De ez a tény magyarázza, hogy a kiválasztott kód nem alkalmas az üzenetek továbbítására, mivel nem ad egyértelmű dekódolást. Sőt, még akkor is elfogadott karakterek sorozata:
Ez lehet megfelelően (1,37) dekódolni, így:
A B A B A B A A A B, és így tovább. E.,
és még sokféle módon.
Természetesen lehetőség van a kód (1.37), hogy biztosítsa az egyediségét dekódolás, ha minden levél után továbbítja a jelet ( „vessző”) választja el a hozzászólásokat. De akkor nem lesz bináris, és háromkomponensű. Morse tette ezt, hogy létrehozza a saját kódját, ahol amellett, hogy a pontok és vonalak használják egy harmadik karakter • «rés».
Azonban lehet építeni, és egyértelműen dekódolható „nincs értelme” bináris. Elég (bár nem feltétlenül szükséges) építeni a kódot úgy, hogy eleget tesz az úgynevezett „előtag tulajdonság.” Ez azon a tényen alapul, hogy senki sem használta a kódszó nem esik egybe az elején ( „prefix”) egy másik kódszó. Ez a tulajdonság nem teljesül a kódot (1,37), mivel például, egy szó megfelelő üzenet A, a kezdete egy szó, egy üzenetet B és t. D.
Számos algoritmust építésére nem egyenletes kód prefix tulajdonság. Köztük van a legjobb, hogy van. E. engedélyezése a legjobb megközelítés, hogy a határ által meghatározott entrópia az algoritmus Hafmena. Úgy véljük, itt egy egyszerű algoritmus fenotípus a legtöbb esetben vezet ugyanazt az eredményt.
Pheno algoritmus a következő. forrás ábécé rögzített üzenetek a következő sorrendben: nem növekvő valószínűségeket két részre úgy, hogy a kumulatív valószínűsége állások minden ilyen részek szinte azonos volt lehetséges. Számolt első része tulajdonítható, az első karakter 0, és jelenti a második rész - 1. Ezután minden ilyen darab (ha egynél több üzenet) két részre van osztva, a equiprobable lehetséges, és ennek egy része a második karaktert az első közülük készítették 0 és a második - 1. Ez a folyamat addig ismétlődik, amíg az egyes részek nem marad egy üzenet.
Például (1,37) az első elválasztási lépés első részében lenne egyetlen üzenetet egy valószínűsége 0,4 A, míg a második rész - más üzenetek egy teljes valószínűségi 0,6. Ha szerepel az első része a két üzenetet (A és B), az eltérés a azonos a valószínűsége még nagyobb lenne. Mi hozzá a posta és a 0 és a többi üzenetben, az első karakter -1.
A második szakaszban a rész az üzenet B, C, D, E, E két egyformán valószínű részt, benne van az első része az üzenet B, és a második rész - a B, C, D, E. Van kumulatív valószínűségek a két része az azonos - 0, 3. Adjon WNV B a második karakter 0, és a fennmaradó üzenetek - 1. A harmadik szakaszban üzenetek C és D alkotnak egy részét, és üzenetét a D és E - a második stb Ennek eredményeként érkezünk ilyen kód ..:
B D -10 -1110 (1,40)
Ez a kód, mint látható, a struktúrájában van az előtag tulajdonság. Ezért, például karakterek sorozata (1,39) egyedülálló módon dekódolható, nevezetesen:
Az átlagos karakterek számát üzenet, figyelembe véve azok valószínűsége egyenlő 2,2 m. E. Felülmúlják entrópia (1,36) kevesebb, mint 2%. Még közelebb lenne megközelíteni az entrópia, ha kódot fordítunk, hogy hasonlítsuk össze a kód szavak nem egyszerű üzeneteket, és egy sorozat több üzenet.
Ez megint csak hangsúlyozni kell, hogy a hatékony, nem egységes kódok csökkentheti csak a forrás redundancia, ami miatt egyenlőtlen valószínűségeket üzeneteket. A legtöbb esetben a fő szerepet játszik a redundancia más eredetű, társított közötti kapcsolat elemei az üzenetet.