Az osztályozó pontosságának értékelése
Ha ezt a feljegyzést olvasod, akkor valószínűleg már találkoztál mind a pontossággal, mind az osztályozók teljességével (visszahívásával). De nem emlékszel a TP, TN, FP, FN formulákra. Én is nem értettem őket, és sok embert láttam, a vályúk mindig azt gondolják, hogy mi van a számlálóban, és mi van a nevezőben. De amikor egy másik szögből nézegettem a problémát, minden felemelkedett a fejemről a lábamra.
Kezdet kezdem. Feladata annak meghatározása, hogy melyik osztályozó jobb. Ehhez a klasszifikáció minőségére vonatkozó számszerű jellemzőre van szükségünk.
Ez általában a bináris osztályozás (pl. Spam / nem-spam) példáján keresztül történik. Azt javaslom, hogy szélesebb körben vizsgálja meg a problémát. Ez úgy tűnik számomra, hogy jobban megértse az ügy lényegét.
Nézzük a csapadék besorolását. Legyen 10 napos megfigyelés. És az előrejelzést, amelyet osztályozónk generált.
A párok száma [tényleges csapadék] - [előre jelzett jigging], a táblázatban látható - a pontatlanságok mátrixa (zavaró mátrix).
Az osztályozó minõségének legegyszerûbb mértéke a pontosság
Ez egyenlő a helyes megoldások számával és a figyelembe vett elemek számával. Mátrixaink szerint: ez az átlós sejtek összegének az összes sejt összegéhez viszonyított aránya. Mindkét osztályozó mutat
Azonnal ilyen értékelés hiányzik. Szerinte az osztályozók ugyanazok. Azonban nézd meg, hogyan jelzik a havat. Látható, hogy az első sokkal jobb. Csak egy kicsit hazudott tiszta idővel, de előre jelezte a havat. A második osztályozó soha nem találta ki a havat. És ő előrejelzése szerint "világos" csak valamivel jobb.
Nem tudunk különbséget tenni e két osztályozó között a pontossági metrika segítségével.
A probléma megoldásához írja be a másik két mutatót.
Az osztályozó pontossága és teljessége (visszahívása)
A pontosság az átlós elem aránya és a megfelelő sor összes elemének összege. Vagyis ez az osztály jóslatainak mely része volt helyes.
Ebben az értelemben ez az osztályozó "pontossága". Milyen gyakran lép be, amikor ebben az osztályban dolgozik.
A teljesség (visszahívás) ugyanaz, de csak egy oszlopban. Ez azt jelenti, hogy az adott osztály tényleges eseményeinek hány százalékát helyesen előre jelezték.
Ebben az értelemben ez az osztályozó "reakciókészsége". Mennyit "érzi" a tény.
Az osztályozóink számára az alábbi számokat kapjuk:
Itt már láthatja, hogy A jobb mint V. De egy számra van szükségünk értékelésre.
És ez a szám gyakran válik
Szükségünk van egy bizonyos funkcióra a két számunkra, ami növekedni fog bármelyik érv növekedésével. A legegyszerűbb jelölt egy F-intézkedés:
Az A osztályozó esetében 0,72 és B - 0,59 lesz.
Most nyilvánvaló, hogy A nyer.
Az F-mérések mellett vannak olyan funkciók is, amelyek a precíziót vagy teljességet előnyben részesítik. De ez egy újabb történet.