Kas kolledži ennustavad mudelid suudavad pandeemia üle elada?

Kuigi paljud soovivad 2020. aastat unustada, hoiavad andmeteadlased seda aastat silmas pidades, kui teeme kindlaks, kas pandeemia mõju muudab 2020. aasta andmed ebanormaalseks või viitab püsivamatele muutustele kõrgemas väljaandes. Kuna töötame välja uusi ennustusmudeleid ja värskendame olemasolevaid eelmisel aastal kogutud andmetega, peame analüüsima selle mõju ja otsustama, kui tugevalt neid andmeid kaaluda, kui püüame järgmise ennustada.

Peale dramaatiline muutus eelmisel aastal kandideerinud ja sisseastunud õpilaste arvus, on isegi taotlusmaterjalidest tuttavad andmed muutunud vähem kättesaadavaks, mistõttu on kolledžitel raskem prognoosida, kuidas kandideerijad ja tagasipöörduvad üliõpilased tõenäoliselt käituvad. Kuna õpilastel oli pandeemia ajal SAT-i või ACT-i võtmise raskusi, paljud asutused on läbinud vabatahtliku testimise. Vähemad eksamiandmed ning avalduste ja registreerumiste arvu, tüübi ja ajastuse suur erinevus on muutnud tuttavad kõrgema tasemega operatsioonide aastatsüklid vähem etteaimatavaks.

Vastuvõtuametnikud ja registreerimisjuhid esitavad endale mitmeid küsimusi. Kas nad peaksid eeldama, et asjad taastuvad sel aastal "tavaliste" COVID-eelsete mustrite juurde või muudavad nende ootusi jäädavalt? Kas nad peaksid muutma vastuvõtu- või stipendiumikriteeriume? Kas nad peaksid pärast enneolematut aastat välja viskama ennustavad mudelid, mida nad varasemate andmete põhjal välja õpetasid? Ja kui nad säilitavad olemasolevad protsessid ja tööriistad, siis kuidas saavad nad teha koostööd andmeteadlastega, et need uuesti kasulikuks muuta?

Usun, et ennustavad mudelid pakuvad ülikoolidele endiselt palju väärtust. Esiteks võivad varasemate andmete põhjal koolitatud mudelid olla eriti kasulikud, et mõista, kuidas tegelikkus ootustest erines. Kuid viimane aasta on näidanud, kui oluline on, et mõistaksime täielikult, kuidas ja miks need tööriistad ennustavad, et "kes" kõige tõenäolisemalt registreerub või võib vajada lisateenuseid, et aidata neil edu saavutada. institutsioon.

Millised mudelid läksid valesti ja õiged

Hinnates mudeleid, mille ma ehitasin enne COVID-19, leidsin pandeemia katalüüsitud trendid ja korrelatsioonid, mille mudel oli varasemates andmetes tuvastanud. Põhimõtteliselt tegi see usaldusväärseid ennustusi, kuid ei näinud ette kiirust ja ulatust.

Üks näide on seos rahuldamata rahalise vajaduse ja üliõpilaste säilitamise vahel. Õpilased, kellel on vajadus, mida rahaline abi ei kata, kipuvad end uuesti õppima madalamate hindadega. Tundub, et see muster on pandeemia ajal jätkunud ja mudelid tuvastasid sageli õigesti, millistel õpilastel oli finantsprobleemide tõttu kõige suurem oht ​​järgmisel semestril registreeruda.

Kuid kriisi kontekstis võisid mudelid olla liiga optimistlikud ka teiste õpilaste naasmise tõenäosuse suhtes. Kuna rohkemate perede rahaline tulevik muutus ebakindlamaks, võis rahavajadus, mida laenude, stipendiumide ja toetustega ei rahuldatud, avaldada tavapärasest suuremat mõju üliõpilaste otsustele mitte uuesti registreeruda. See võib aidata selgitada, miks üldine kinnipidamismäär langes 2020. aastal järsemalt, kui paljudes asutustes eeldati.

Mudel, mis genereerib kinnipidamise tõenäosuse skoorid rohkem "musta kasti" (vähem seletatava) lähenemisviisiga ja ilma täiendava kontekstita selle kohta, millised muutujad see kõige rohkem kaalub, annab vähem väärtuslikke teadmisi, mis aitavad asutustel käsitleda nüüdseks võimendatud säilitamisriske. Seda tüüpi mudelitele tuginevatel asutustel on vähem arusaam sellest, kuidas pandeemia nende ennustuste tulemusi mõjutas. Seetõttu on raskem kindlaks teha, kas ja millistel asjaoludel nende kasutamist jätkata.

See, et ennustusmudel toimib hästi ja on seletatav, ei tähenda muidugi, et see ja süsteem, mida see esindab, on sügavast uurimisest vabastatud. Tõenäoliselt on hea, et peame oma mudelite toodangut põhjalikumalt vaatama ja otsustama, kelle jaoks mudelid meie uutes oludes hästi toimivad ja kelle jaoks mitte.

Kui jõukad pered suudavad pandeemiast paremini "välja sõita", võivad nende perede õpilased registreeruda pandeemiaeelsetele näitajatele lähemal. Modellid omakorda ennustavad oma registreerumist hästi. Kuid pered, kelle jaoks viirus kujutab endast suuremat tervise- või majandusriski, võivad pandeemia ajal teha oma laste kolledžisse saatmise osas teistsuguseid otsuseid, isegi kui nende praegune staatus ei ole muutunud "paberil" või mudelis kasutatavates andmekogumites. Rühmade tuvastamine, mille mudelite ennustused on rasketel aegadel vähem täpsed, toob esile mudelile tundmatud tegurid, millel on õpilastele reaalne mõju.

Algoritmi kallutamine

Veelgi olulisem on tuvastada need inimesed, keda mudelid eiravad või iseloomustavad valesti ajal, mil ühiskondlik ebavõrdsus on eriti nähtav ja kahjulik. Marginaliseeritud kogukonnad kannavad COVID-19 tervise- ja finantsmõjude raskust. Seal on ajaloolised sotsiaalsed eelarvamused "küpsesid" meie andmetesse ja modelleerimissüsteemid ning masinad, mis kiirendavad ja laiendavad olemasolevaid protsesse, säilitavad sageli need eelarvamused. Ennustavad mudelid ja inimandmete teadlased peaksid töötama koos tagamaks, et sotsiaalne kontekst ja muud olulised tegurid teavitaksid algoritmiväljundeid.

Näiteks eelmisel aastal asendas algoritm Ühendkuningriigi kolledži sisseastumiseksamid, ennustades, kuidas õpilastel eksamil läheb, kui nad selle sooritanud oleks. Algoritm andis väga vastuolulisi tulemusi.

Õpetajad hindasid, kuidas nende õpilased oleksid eksamitel sooritanud, ja seejärel kohandasid algoritmid neid inimeste ennustusi iga kooli õpilaste ajalooliste saavutuste põhjal. Nagu Axios teatatud, "Suurimad ohvrid olid ebasoodsas olukorras olevate koolide kõrgete hinnetega õpilased, kelle hindeid langetati tõenäolisemalt, samas kui rikkamate koolide õpilaste hindeid tõsteti tõenäolisemalt."

Artiklis jõuti järeldusele: "Halvasti kavandatud algoritmid võivad juurduda uue eelarvamuse vormis, millel võib olla mõju, mis ulatub ülikoolipraktikatest kaugemale." Briti valitsus on pärast ulatuslikku avalikku pahameelt, sealhulgas õpilaste, kes sooritasid proovieksamitel palju paremini, kui nende algoritmiliselt genereeritud tulemused ennustasid, algoritmist sellest ajast loobunud.

Üliõpilaste elu trajektoori mõjutavate ebaõiglaste stsenaariumide vältimiseks ei tohiks prognoosimudeleid kasutada mõjukate otsuste tegemiseks, ilma et valdkonnateadmistega inimesed iga tulemuse üle vaataksid ja neil oleks õigus neid vaidlustada või alistada. Need mudelid peavad olema võimalikult läbipaistvad ja seletatavad ning nende andmed ja meetodid peavad olema täielikult dokumenteeritud ja ülevaatamiseks kättesaadavad. Automaatsed ennustused võivad inimestest otsustajaid teavitada, kuid ei tohiks neid asendada. Lisaks tuleks ennustusi alati võrrelda tegelike tulemustega ja mudeleid tuleb jälgida, et teha kindlaks, millal on muutuvat tegelikkust arvestades vaja neid ümber õpetada.

Lõppkokkuvõttes, kuigi 2020. aasta paljastas karmid tõed meie olemasolevate süsteemide ja mudelite kohta, annab 2021. aasta asutustele võimaluse tuvastada vigu, käsitleda eelarvamusi ja lähtestada lähenemisviise. Järgmine mudelite iteratsioon on selle jaoks tugevam ning parem teave ja ülevaade on kasulikud kõigile.

Allikas: https://www.edsurge.com/news/2021-04-16-can-college-predictive-models-survive-the-pandemic