Becslése eloszlás paramétereinek eredményei alapján megfigyeléseket egy véletlen változó

Becslése eloszlás paramétereinek eredményei alapján megfigyeléseket egy véletlen változó

Sok esetben a törvény eloszlása ​​a megfigyelt véletlen változó ismert, hogy egy paraméter (vagy paraméter vektor). Azaz, a sűrűség eloszlását a megfigyelt véletlen változó függ egy ismeretlen paraméter, ami szükséges meghatározni (becslés) a minta. Ezt a problémát a matematikai statisztika nevezik megbecslése problémát a paramétereket a forgalmazás.

Nyilvánvaló, hogy a becsült paraméter eredményeitől függ megfigyelések :.

Tetszőleges funkció az eredmények nazyvaetsyastatistikoy észrevételeket.

A minőség értékelése jellemzi a következő alapvető tulajdonságait.

Összhang. Selejtező hívják következetes becslését a paramétert, ha konvergál növekvő közelsége, a minta térfogata (). Ez azt jelenti, hogy bárki számára.

Torzítatlanság. Az értékelés az úgynevezett torzítatlan becslése a paraméter, ha elvárás megegyezik a becsült paraméter, azaz a . Mert paraméterbecslési is nyújt némi tárgyilagos becsléseket. Az intézkedés pontosság tartják torzítatlan becslését szórásának.

Hatékonyságát. Torzítatlan becslése olyan paraméter, amely a variancia eléri a legkisebb értéket nevezzük eredményes értékelése.

Aszimptotikusan torzítatlan becslés az úgynevezett hatékony, ha a legkisebb szórást a korlát elérésekor növekvő minta nagyságát.

Tekintsük a paraméter becslési probléma abból a szempontból statisztikai döntés elmélet.

Jelöljük - becslés az ismeretlen paraméter. Nyilvánvalóan is tartozik. Becsült eltér a valódi paraméter értékét. Bemutatjuk az intézkedés a különbség a becsült és a valós érték egy paraméter: - értékek a valós tengelyen. A minimális ez a funkció lesz, vagyis amikor az ítélet egybeesik a valós paraméter értékét. Így. A statisztikai döntés elmélet, ez a funkció az úgynevezett veszteség funkció vagy költség függvény, vagy a kockázat függvényében. Minél nagyobb a valódi érték eltér az értékelő, annál nagyobb a különbség a kettő között, és ezért meg kell nagyobb veszteségeket.

Egyértelmű, hogy a kívánatos válassza ezt az értékelést az eredmények értékelése a megfigyelések, melyek lenne a különbség a valódi paraméter értéke a minimum. Azaz, az értékelést meg minimalizálják a költség függvényt.

De a megfigyelések a végrehajtás egy vektor véletlen változó, ezért értékelést is valószínűségi változó. Továbbá becsült paraméter önmagában is lehet kezelni, mint egy véletlenszerű változó.

Így elvesztése a funkció függ a véletlen változók maga is véletlen változó.

Egy matematikai szempontból téves megállapítása szélsőséges érték egy véletlen változó, úgyhogy a feladat megtalálni a kötött, amely minimalizálja a költség függvény nem lehetséges.

Tudod, hogy a feladatot kapok az értékelés, amely egy nagy tesztsorozatot adna a legalacsonyabb veszteség átlagosan, azaz átlagosan legkevésbé különbözik a valódi paraméter értékét.

Ez a megközelítés vezet probléma minimalizálása a várható veszteség függvény (vagy kockázat funkció).

A becslés kapott ennek a kritériumnak nevezzük becsült átlagos kockázati minimalizálható.

szükség van, hogy ilyen értékelést tudni, hogy a törvény eloszlása ​​mintavétel véletlen változók akár a becsült paraméter, és a törvény eloszlása ​​a becsült paraméter.

Az átlagos kockázati, mint a várakozás egy funkciót, a kockázat a következő:

Itt - a közös valószínűségi sűrűsége mintavétel véletlen változók és a becsült paraméter.

Mivel - a szokásos függvény, melynek értékei a számegyenesen, akkor meg a feladat megtalálni a kötött, amely minimalizálja ezt a funkciót:

Itt feltételezzük, hogy a közös sűrűségfüggvény felírható szempontjából a feltételes és feltétlen sűrűségű kétféleképpen.

Megjegyzendő, hogy a probléma hogy minimalizáljuk az átlagos kockázat csökkenthető a probléma minimalizálása feltételes kockázat:

Írunk az integrandus (9) az alábbiak szerint:

Mivel - negatív függvénye, a minimális átlagos kockázat érhető el abban az esetben, minden egyes értékére a belső integrál minimalizálható. Így a becslés talált megoldása az alábbi extremális problémát:

Értékelés kapott az úgynevezett Bayes-becslés.

Úgy véljük, a becslési probléma egy bizonyos veszteség funkció (kockázat).

Másodfokú veszteségfüggvény

Abban az esetben egyetlen paraméter becslés.

Az optimális becslés egy megoldás a következő extremális problémát:

Az első tag független és nincs hatással a döntést, és az utolsó integrál egyenlő eggyel.

Könnyen belátható, hogy a minimalizált függvény polinom másodfokú, amely legalább egy, és elérte azt a pontot:

Ez integrál a feltételes várható a becsült paraméter.

Így a legjobb becsült paraméter kritériuma szerint minimális átlagos kockázatot a kvadratikus függvény a feltételes várható a becsült paraméter.

Let - szelektív véletlen vektort, amelynek elemei független azonos eloszlású szerint Gauss törvény :.

Méretek értékelendő az a várakozás, hogy viszont egy valószínűségi változó szerint szét kell Gauss törvény:

Keresse meg a legjobb becslés paraméter kritériuma szerint minimális átlagos kockázatot a kvadratikus függvény.

Mivel az optimális becslés ebben az esetben a feltételes várható egy véletlenszerű változó, azzal a megkötéssel, hogy a szelektív vektor, megtalálják a feltételes sűrűsége véletlen változó eloszlását.

Behelyettesítve sűrűség eloszlását a probléma feltételek, megkapjuk:

megjegyezzük, hogy a számítás az integrál.

Ezért, ha a kitevő vezetnek a teljes tér és kihasználják ezeket a tulajdonságokat, az eredmény az integráció kapjuk:

Feltételes sűrűségfüggvény formájában:

Mint látható, a sűrűség eloszlását Gauss véletlen változó átlag és szórás.

Így az optimális becslés a paraméter a következő formában:

Megjegyezzük, hogy az értékelés az összege a minta tömegének átlaga és a priori matematikai elvárás a becsült paraméter. A súlyok összegét jelenti a minta azt jelenti, és a priori elvárás egyenlő egy ().

Ha az a priori becslés varianciája kicsi, akkor a becslés főként bárhol a priori elvárás. Az ebben az esetben nem informatív. Fordítva, amikor egy nagy diszperziót priori becslést döntően a megfigyelt adatok (köré a minta átlag).

Egyszerű veszteségfüggvény

Legyen a becslése egy paraméter veszteség függvény formájában (ábra. 18). Ez a veszteség az úgynevezett egyszerű funkciót.

Akkor a legjobb becslés alapján kell meghatározni a megoldás a következő extremális problémát:

Vegye figyelembe, hogy a kis értékei az integrál értékek írott formában (ábra. 19):

Ezért az optimális becsült paraméter határozza mint a megoldást a következő problémára extrém:

Megjegyezzük, hogy a funkció az úgynevezett posteriori eloszlási sűrűsége paraméterbecslést azonban által meghatározott expressziós (10) egy kritérium becslésére maximum a posteriori valószínűségi sűrűség.

Úgy vélik, hogy ezért megbecsülni maximum a posteriori valószínűség-sűrűség is írható:

Itt - ez az úgynevezett likelihood függvény. és - a priori valószínűség sűrűség becsült paraméter.

Meg kell jegyezni, hogy az értékelés a maximum a posteriori valószínűség sűrűség megtalálható keresi a maximális bármely monoton növekvő függvénye a posteriori valószínűség-sűrűség. Nagyon gyakran függvényében természetes logaritmusának:

Tekintsük a korábbi példában egy keresési paraméterbecsléseit a forgalmazás. Mint egy optimalizálási feltétel vesszük a kritérium maximum a posteriori valószínűség-sűrűség.

Utólagos sűrűség ebben az esetben már talált. Ez egy Gauss elvárás. Maximum ilyen sűrűsége annak matematikai elvárás. Következésképpen a legjobb becslés az kritérium maximum a posteriori valószínűség-sűrűség és a közepes kockázati kritériumok legalább másodfokú veszteség funkció ebben az esetben egybeesik.

Tehát azokban az esetekben, ahol a várakozás az a pont, maximum a posteriori valószínűségi sűrűsége átlagos kockázati értékelési kritériumok alapján a kvadratikus elvesztése funkció és a maximum a posteriori valószínűségi sűrűség. Egyébként kiderül különböző algoritmusok becsléseket.

Megjegyezzük, hogy a választás a veszteség funkció nem egy matematikai probléma, feladat statisztikája, amely egy matematikai modellt a jelenség, kapcsolódó feldolgozás a megfigyelt adatokat.

Maximum likelihood becslés

Figyelembe véve a kritérium maximum a posteriori valószínűség-sűrűség (11), vegye figyelembe, hogy ha a környéken a legnagyobb sűrűségű paraméter becsült eleve sűrűsége gyakorlatilag állandó (független) a legjobb becslés nyerhető:

A legjobb becslés a keresési kifejezés önálló jelentőséggel matematikai statisztika és az úgynevezett maximális valószínűség kritériumot.

Ez a kritérium akkor használható, ha lehetetlen, hogy fontolja meg a becsült paraméter egy véletlen érték, amelyre szükség van a kritérium közepes mértékben és maximum a posteriori valószínűség-sűrűség.

Általában írunk a valószínűsége funkció nem feltételes sűrűség, amely érvényes, ha a becsült paraméter egy valószínűségi változó, és paraméteres formában.

Egyszerűsítése érdekében a számításokat beszerzése jár maximum likelihood becslés lehet bármilyen monoton növekvő függvénye a valószínűségét funkciót. Gyakran használják a természetes logaritmus.

Amikor végez néhány meglehetősen általános, a legnagyobb valószínűség becslés feltételek következetes. aszimptotikusan hatékony és aszimptotikusan normális eloszlású. Ez azt jelenti, hogy

Ha van egy hatékony paraméterbecslést, a maximum likelihood módszert ad pontosan ezt az értékelést.

Példaként találjuk a legnagyobb valószínűség becslés a várható szelektív Gauss vektor, amely beszéltünk az előző részekben.

Kapcsolódó dokumentumok:

Az alapvető oktatási program