Legkisebb négyzetek módszerével
Legkisebb négyzetek módszerével # 151; módszert kell találni az optimális paramétereket a lineáris regresszió. oly módon, hogy az összeg a négyzetes hiba (a regressziós maradékok) minimális. A módszer lényege, hogy minimálisra csökkentsék az euklideszi távolságot - \ mathbf \ | „/> két vektor - vektor rekonstruált értékeket a függő változó, és a vektor a tényleges értékek a függő változó.
Nyilatkozat a problémát
A feladat a legkisebb négyzetek módszer abban áll, vektor kiválasztása „/>, hogy minimalizálja a hibát - \ mathbf \ | ^ 2” />. Ez a hiba a távolság a vektor „/> a vektor” />. Vektor „/> rejlik prostanstvo mátrix oszlopait, mint” /> egy lineáris kombinációja az oszlopok e mátrix együtthatók. Megtalálása megoldások „/> a legkisebb négyzetek módszerével egyenértékű a problémát találni egy pont = A \ mathbf” />, amely a legközelebb fekszik „/> és tárolt, így a tér mátrix oszlopait. Tehát a vektor” /> legyen vetítési " /> a tér az oszlop és a reziduális - \ mathbf „/> kell lennie merőleges erre a helyre. Ortogonalitása hogy minden vektor a térben az oszlop egy lineáris kombinációja oszlopok egyes együtthatók, tehát a vektor „/> Minden a térben.” />, Ezek a vektorok merőleges legyen az eltérés> - \ mathbf „/>:Mivel ez az egyenlet kell tartani minden olyan vektor „/>, a
A döntés a legkisebb négyzetek módszerével inkonzisztens rendszer = \ mathbf „/>, amely egyenletek ismeretlenek egy egyenlet
amely az úgynevezett normális egyenlet. Ha a mátrix oszlopait lineárisan függetlenek, akkor a mátrix reverzibilis és az egyetlen megoldás
A vetítés a vektor „/> a térben formájában oszlopok
A mátrix A ^ T „/> nevezett mátrix kialakítás vektor” />, hogy a teret mátrix oszlopokat. Ez a mátrix két fő tulajdonságai: ez idempotens, és szimmetrikus. Ennek a fordítottja is igaz: egy olyan mátrix, ez a két tulajdonság egy mátrix kialakítása annak teret oszlopok.
Példa építése lineáris regresszió
Kitűzött mintavételi # 151; táblázat
Mivel regressziós modell # 151; másodfokú polinom
A hozzárendelt modell lineáris. Ahhoz, hogy megtalálja az optimális paraméter értékét vektor = \ Langle alagútrendszert \ rangle ^ T „/> végre az alábbi helyettesítéseket:
Ezután a szabad változó mátrixa permutációk a értékek lesznek formájában
Állítsa minőségi kritériumok modell: a hiba függvény
Itt a vektor = \ Langle alagútrendszert „/>. Köteles találni olyan paraméterek” />, ami szállít minimum ennek a funkcionális,
Ez szükséges, hogy megtalálják ezeket a paramétereket „/>, amely szállít egy minimális # 151; normál maradványok - \ mathbf „/>.
Ahhoz, hogy megtalálja a minimális reziduális funkció igényli egyenlővé származékok nullára. Származékok funkció „/> make up
Ez a kifejezés egybeesik a normál egyenlet. A megoldás erre a problémára kell felelniük a lineáris egyenletrendszer
Kézhezvételét követően a mérleg megadhatók a funkció található.
Amikor felveszi a kapcsolatot a mátrix „/> azt feltételezzük, hogy a mátrix nem szinguláris és rosszul kondicionált. További információ arról, hogyan működnek rosszul kondicionált mátrixok, lásd. Cikk Singular bomlás.