Az alapkamat tévedése és hatása az adattudományra

Újra kiadta Platón

Követő: 0

Az alapkamat tévedése és hatása az adattudományra

A kép szerzője

Amikor adatokkal és különböző változókkal dolgozik, egyszerű az egyik változóhoz vagy értékhez rendelni, hogy nagyobb legyen, mint a másik. Feltételezhetjük, hogy egy adott változó vagy adatpont nagyobb hatással volt a kimenetre, de mennyire vagyunk biztosak abban, hogy a többi változó ugyanolyan hatással van?

A statisztikákban az alapkamat olyan osztályok valószínűségeként fogható fel, amelyek feltétel nélküliek a „jellemző bizonyítékokra”. Az alapkamat előzetes valószínűségi feltételezéseként tekinthető.

Az alapkamat fontos eszköze a kutatásnak. Például, ha egy gyógyszergyártó cég vagyunk, és egy új védőoltás kifejlesztésén és kiszállításán vagyunk, akkor szeretnénk megvizsgálni a kezelés sikerét. Ha van 4000 emberünk, aki hajlandó bevenni ezt az oltást, és az alapárunk 1/25.

Ez azt jelenti, hogy 160 emberből csak 4000 ember gyógyul meg sikeresen a kezeléssel. A gyógyszeriparban ez nagyon alacsony sikerarány. Így lehet az alapkamatokat felhasználni a kutatás és a pontosság javítására, valamint a termék jó teljesítményének biztosítására.

Ha felosztjuk a szavakat, akkor jobban megértjük. A tévedés téves meggyőződést vagy hibás érvelést jelent. Ha most ezt kombináljuk az alapkamat fenti definíciójával.

Az alapkamat tévedése, más néven alapkamat torzítás és alapkamat elhanyagolása, annak a valószínűsége, hogy egy adott helyzetet megítél, miközben nem veszi figyelembe az összes releváns adatot.

Az alapkamat tévedése információkat tartalmaz az alapkamatról, valamint egyéb releváns információkat. Ennek különböző okai lehetnek, például az adatok nem alapos vizsgálata és elemzése, vagy az adatok egy bizonyos részének előnyben részesítésének tudatlansága.

Az alapkamat tévedése azt a tendenciát írja le, hogy valaki figyelmen kívül hagyja a meglévő alapkamat-információkat, szorgalmazza és támogatja az új információt. Ez ellentétes a bizonyítékokon alapuló érvelés alapvető szabályaival.

Általában hallani fog erről, ami a pénzügyi szektorban történik. Például a befektetők irracionális információkra alapozzák vásárlási vagy megosztási taktikájukat, ami a piac fluktuációjához vezet – annak ellenére, hogy tudomásuk szerint az alapkamatról van szó.

Így most már jobban megértjük az alapkamat és az alapkamat tévedését. Mi a jelentősége és hatása az adattudományban?

Beszéltünk az „osztályok valószínűségeiről” és „az összes releváns adat figyelembevételéről”. Ha Ön adattudós vagy gépi tanulási mérnök, vagy ha beteszi a lábát, akkor tudni fogja, milyen fontosak a valószínűségek és a releváns adatok a pontos kimenetek előállításához, a gépi tanulási modell tanulási folyamatához és a nagy teljesítményű modellek előállításához.

Az adatok elemzéséhez és előrejelzéseihez, vagy ahhoz, hogy a gépi tanulási modell pontos kimeneteket produkáljon – minden adatot figyelembe kell vennie. Amikor először látja az adatait, egyes részeit relevánsnak, más részeket pedig irrelevánsnak tekintheti. Ez azonban az Ön ítélete, és még nem tényszerű, amíg a megfelelő elemzés meg nem történt.

Ahogy fentebb említettük, a kezdeti alapkamat segít a pontosság biztosításában és a nagy teljesítményű modellek előállításában. Tehát hogyan tehetjük ezt meg az adattudományban?

Zavart mátrix

A zavaros mátrix egy olyan teljesítménymérés, amely összefoglalja az osztályozási probléma előrejelzési eredményeit. A zavaros mátrixok mindegyike az eredményen alapul: igaz, hamis, pozitív és negatív.

A zavaros mátrix modellünk előrejelzéseit reprezentálja a tesztelési fázis során. Az álnegatív és a hamis pozitív érték a zavaros mátrixban az alapkamat tévedésének példája.

Valódi pozitív (TP) – a modelled pozitívat jósolt, és az pozitív
Valódi negatív (TN) – a modellje negatívat jósolt, és az negatív
Hamis pozitív (FP) – a modelled pozitívat jósolt, és az negatív
Hamis negatív (FN) – a modelled negatívat jósolt, és az pozitív

A zavaros mátrix 5 különböző mérőszámot tud kiszámítani, hogy segítsen mérni a modellünk érvényességét:

Rossz besorolás = FP + FN / TP + TN + FP + FN
Pontosság = TP / TP + FP
Pontosság = TP + TN / TP + TN + FP + FN
Specificitás = TN / TN + FP
Érzékenység, más néven visszahívás = TP / TP + FN

A zavaros mátrix jobb megértéséhez jobb, ha egy vizualizációt nézünk:

A kép szerzője

A cikk elolvasása során valószínűleg számos oka lehet az alapkamat tévedésének, például az összes releváns adat figyelmen kívül hagyása, az emberi hiba vagy a pontosság hiánya.

Bár ezek mind igazak, és növelik az alapkamat tévedésének okát. Ezek mind az alapkamat-információ figyelmen kívül hagyásának legnagyobb problémájához kapcsolódnak. Az alapkamat-információkat gyakran figyelmen kívül hagyják, mivel irrelevánsnak tartják, azonban az alapkamat-információ sok időt és pénzt takaríthat meg az embereknek. A rendelkezésre álló alapkamat-információk segítségével pontosabban határozhatja meg, hogy egy adott esemény bekövetkezik-e.

Az alapkamat-információ használatával elkerülheti az alapkamat tévedését.

Az olyan tévedések, mint például a vélemények, automatikus folyamatok stb. tudata lehetővé teszi az alapkamat tévedéseinek leküzdését és a lehetséges hibák csökkentését. Amikor egy bizonyos esemény bekövetkezésének valószínűségét méri, a Bayes-módszerek segíthetnek csökkenteni az alapkamat tévedését.

Az alapkamat fontos az adattudományban, mivel alapvető ismereteket ad arról, hogyan értékelje tanulmányát vagy projektjét, és hogyan finomítsa modelljét – általánosságban növelve a pontosságot és a teljesítményt.

Ha meg szeretne nézni egy videót az alapkamat tévedéseiről az orvosi területen, nézze meg ezt a videót: Orvosi vizsgálati paradoxon

Nisha Arya adattudós, szabadúszó műszaki író és közösségi menedzser a KDnuggets-nél. Különösen érdekli az adattudományi karriertanácsadás vagy oktatóanyagok, valamint elméleti alapú ismeretek nyújtása a Data Science területén. Azt is szeretné feltárni, hogy a mesterséges intelligencia milyen különböző módokon járulhat hozzá az emberi élet hosszú élettartamához. Szívesen tanuló, aki igyekszik bővíteni műszaki ismereteit és íráskészségét, miközben segít másoknak.