Az entrópia az intézkedés a bizonytalanság
Entrópia és információ
A gyakorlás fontos, hogy képes legyen számszerűen megbecsülni a bizonytalanság az ettől eltérő alakú kísérletek, hogy képes legyen összehasonlítani őket.
Kezdjük a tapasztalatok áttekintése K egyformán valószínű kimenetelét. A mértéke a határozatlansági-delonnosti minden ilyen kísérlet száma határozza meg K. Ha K = 1 eredmény tapasztalat nem kíván létrehozni NE-random. Nagy értékeire K Előrejelzése eredményéről élmény lesz nehéz.
Ezért a kívánt jellemző számérték fokú bizonytalanságot kell irigylem K. TE lehet egy f (k); f (1) = 0; amikor az érv növeli a funkciót meg kell növelni. Egy teljesebb meghatározása az f (k) kell pred-, hogy felfedje neki a további követelményeknek.
Tekintsük kihívást tapasztalat. álló egyidejű végrehajtására tesztek és. Bizonytalanság végre egy komplex élményt bizonytalanságot tapasztalat. mert bizonytalansága ki kell egészíteni a bizonytalanságot tapasztalat. Ezért természetes, de úgy vélte, hogy a bizonytalanság mértéke az összege a tapasztalat a bizonytalanság, és jellemezze.
Tegyük fel, hogy k ∋ l egyformán valószínű eredményekre, k; l. Ugyan a következő feltétel-Vija Kotormo meg kell felelniük az f (kl) = f (k) + F (l). Az utóbbi feltétel-Vie sugallja azt az elképzelést, hogy az intézkedés a bizonytalanság a tapasztalat, amelynek K-azonos eredményeket noveroyatnyh száma log k. log (kl) = log k + log l. Ezt a meghatározást a bizonytalanság intézkedések összhangban kezdeti feltételeket, hogy f (1) = log 1 = 0; f (k) - növekvő függvénye. Belátható, hogy a logaritmikus függvény egyetlen Xia megfelelnek ezeknek a feltételeknek.
Megjegyzés: Meg kell jegyezni, hogy a választás alapja a logaritmus nem játszik nagy szerepet, poskol-ku miatt a jól ismert képlet átmenet írhat logb a = logc a / logc b ⇒ logb k = logb egy ∋ loga k csökken szorzás állandó, azaz egyenértékű egy egyszerű változás a mértékegység a mértéke neopredelonnosti.Obychno fokú bizonytalanság-Ness megteszi a alapú logaritmusa 2: log2k = mindkét huminsav. Továbbá rögzítéséről a bázis 2 nem-oldott. Ie mérésére szolgáló egység a bizonytalanság veszi tapasztalat bizonytalanság, amely 2 equiprobable eredmény: log2 2 = 1 bit. A következőkben fogjuk előnyben-vatsya bináris egység.
Táblázat valószínűsége tapasztalat, amelynek K egyformán valószínű eredmények:
Ha tapasztalata van K páronként összeegyeztethetetlen eredmények, a H () = 0 egyenlő, sok, hogy egy eredmény - jelentős esemény, és a többiek - lehetetlen, p (A1) +. + P (Ak) = 1. Ez jól egybeesik az értéket
H () -csak tapasztalat ebben az esetben nem tartalmaz egyértelmű.
2. Az összes tapasztalatok c K kimenetele legbizonytalanabb a tapasztalat tapasztalat K-noveroyatnymi egyenlő eredményeket. Meg lehet mutatni, hogy az egyenlőtlenség
A egyenlőség érhető el egyenlő valószínűségek P (Ai); i = [1; k]
Példa: Két urnák egy 20 th labdákat kazhdaya.Pervaya- 10belyh, 5chornyh, 5kras-CIÓ. Második - 8 fehér, 8 fekete, 4 piros.
Minden egyes doboz 1 eltávolítjuk a labdát. Az eredmény a két vizsgálatot kell tekinteni, inkább bizonytalan?
Megoldás: Legyen a tapasztalatokat A1iA2.A1