Voivatko kollegion ennakoivat mallit selviytyä pandemiasta?

Vaikka monet haluavat unohtaa innokkaasti vuotta 2020, datatutkijat pitävät vuoden mielessä, kun selvitämme, tekeekö pandemian vaikutus vuoden 2020 tietoihin poikkeavia vai viitteitä pysyvämmistä muutoksista korkeammalla tasolla. Kun kehitämme uusia ennustavia malleja ja päivitämme olemassa olevat mallit viime vuonna kerättyihin tietoihin, meidän on analysoitava sen vaikutukset ja päätettävä, kuinka punnitaan kyseiset tiedot, kun yritämme ennustaa seuraavaa.

Jälkeen dramaattinen muutos viime vuonna hakeneiden ja ilmoittautuneiden opiskelijoiden määrässäJopa hakemusmateriaalista tuttuja tietoja on tullut vähemmän saataville, minkä vuoksi korkeakoulujen on vaikeampaa ennakoida hakijoiden ja palaavien opiskelijoiden todennäköisesti käyttäytymistä. Opiskelijoiden vaikeuksista johtuen SAT: n tai ACT: n ottaminen pandemian aikana monet oppilaitokset ovat läpäisseet testin. Lyhyemmät tenttitiedot ja suuret vaihtelut hakemusten ja ilmoittautumisten lukumäärässä, tyypissä ja ajoituksessa ovat tehneet tuttujen korkeampien toimintojen vuotuiset jaksot vähemmän ennakoitavissa.

Pääsyvaatijat ja ilmoittautumispäälliköt esittävät itselleen useita kysymyksiä. Pitäisikö heidän odottaa, että asiat palaavat "normaaliin" pre-COVID-malliin tänä vuonna vai muuttavatko heidän odotuksensa pysyvästi? Pitäisikö heidän muuttaa pääsy- tai apurahaperusteita? Pitäisikö heidän heittää ennustamallit, jotka he ovat kouluttaneet aikaisempiin tietoihin ennennäkemättömän vuoden jälkeen? Ja jos he pitävät olemassa olevat prosessit ja työkalut, kuinka he voivat työskennellä datatieteilijöiden kanssa kalibroidakseen ne uudelleen, jotta ne pysyisivät hyödyllisinä?

Uskon, että ennakoivat mallit tarjoavat edelleen paljon arvoa yliopistoille. Ensinnäkin aikaisemmista tiedoista koulutetut mallit voivat olla erityisen hyödyllisiä ymmärtääkseen, miten todellisuus poikkesi odotuksista. Mutta viime vuosi on paljastanut, kuinka tärkeää on, että ymmärrämme täysin niiden työkalujen ennustusten "miten" ja "miksi", jotka todennäköisimmin ilmoittautuvat tai saattavat tarvita lisäpalveluita auttaakseen heitä menestymään instituutio.

Mitkä mallit ovat väärässä ja oikeassa

Arvioidessani malleja, jotka rakensin ennen COVID-19: tä, löysin pandemian katalysoimat trendit ja korrelaatiot, jotka malli oli tunnistanut aikaisemmissa tiedoissa. Pohjimmiltaan se teki hyviä ennusteita, mutta ei ennakoinut nopeutta ja mittakaavaa.

Yksi esimerkki on tyydyttämättömän taloudellisen tarpeen ja opiskelijoiden säilyttämisen välinen suhde. Opiskelijat, joilla on tarvetta, jota ei rahoiteta taloudellisella tuella, pyrkivät ilmoittautumaan uudelleen alhaisemmilla hinnoilla. Tämä malli näyttää jatkuvan pandemian aikana, ja mallit tunnistivat usein oikein, mitkä opiskelijat olivat eniten vaarassa olla ilmoittautumatta seuraavalle lukukaudelle taloudellisten ongelmien takia.

Kriisin yhteydessä mallit ovat kuitenkin voineet olla liian optimistisia muiden opiskelijoiden palaamisen todennäköisyyden suhteen. Kun useampien perheiden taloudelliset tulevaisuudet tulivat epävarmemmiksi, taloudellisilla tarpeilla, joita lainoilla, apurahoilla ja apurahoilla ei käsitelty, on voinut olla tavallista suurempi vaikutus opiskelijoiden päätöksiin olla ilmoittautumatta uudelleen. Tämä voisi auttaa selittämään, miksi yleinen säilyttämisaste laski voimakkaammin vuonna 2020 kuin monissa laitoksissa odotettiin malleja.

Malli, joka tuottaa säilyttämisen todennäköisyystulokset käyttämällä "mustan laatikon" (vähemmän selitettävää) lähestymistapaa ja ilman lisäkontekstia siitä, mitkä muuttujat se painaa eniten, tarjoaa vähemmän arvokkaita oivalluksia auttamaan laitoksia käsittelemään nyt lisääntyneitä säilyttämisriskejä. Tämän tyyppiseen malliin luottavat laitokset ymmärtävät vähemmän, miten pandemia vaikutti ennusteiden tulokseen. Tämän vuoksi on vaikeampi selvittää, jatketaanko niiden käyttöä ja missä olosuhteissa.

Se, että ennustava malli toimii hyvin ja on selitettävissä, ei tietenkään tarkoita, että se ja sen edustama järjestelmä on vapautettu perusteellisesta tutkimuksesta. Se on luultavasti hyvä asia, että meidän on tarkasteltava tarkemmin malliemme tuloksia ja määritettävä, kenen mallit toimivat ja eivät toimi hyvin uusissa olosuhteissamme.

Jos varakkaat perheet pystyvät paremmin "ajamaan pois" pandemian, näiden perheiden opiskelijat voivat ilmoittautua lähemmäksi pandemiaa edeltäviä määriä. Mallit puolestaan ​​ennustavat ilmoittautumistaan ​​hyvin. Mutta perheet, joille virus aiheuttaa suuremman terveys- tai taloudellisen riskin, saattavat tehdä erilaisia ​​päätöksiä lasten lähettämisestä yliopistoon pandemian aikana, vaikka heidän nykyinen asemansa ei olisi muuttunut paperilla tai mallin käyttämissä aineistoissa. Ryhmien tunnistaminen, joiden mallien ennusteet ovat vähemmän tarkkoja vaikeina aikoina, korostavat mallille tuntemattomia tekijöitä, joilla on todellista vaikutusta opiskelijoihin.

Haastava algoritminen ennakkoluulo

On vieläkin tärkeämpää tunnistaa ne ihmiset, jotka mallit jättävät huomiotta tai joita he kuvaavat väärin, kun yhteiskunnallinen eriarvoisuus on erityisen näkyvää ja haitallista. Syrjäytyneillä yhteisöillä on suurin vaikutus COVID-19: n terveys- ja taloudellisiin vaikutuksiin. On historialliset sosiaaliset ennakkoluulot "paistivat" tietoihimme ja mallintamisjärjestelmät ja koneet, jotka nopeuttavat ja laajentavat olemassa olevia prosesseja, ylläpitävät usein näitä ennakkoluuloja. Ennustavien mallien ja ihmisdatatutkijoiden tulisi työskennellä yhdessä varmistaakseen, että sosiaalinen konteksti ja muut olennaiset tekijät antavat tietoa algoritmisista tuotoksista.

Esimerkiksi viime vuonna algoritmi korvasi Ison-Britannian korkeakoulujen pääsykokeet ja oletettavasti ennusti kuinka opiskelijat pärjäisivät tentissä, jos he olisivat suorittaneet sen. Algoritmi tuotti erittäin kiistanalaisia ​​tuloksia.

Opettajat arvioivat, kuinka heidän oppilaat olisivat suoriutuneet kokeista, ja sitten algoritmit sääsivät näitä ihmisen ennusteita kunkin koulun opiskelijoiden historiallisen suorituskyvyn perusteella. Kuten Axios kertoi"Suurimmat uhrit olivat korkeampiarvoiset opiskelijat heikommassa asemassa olevista kouluista, joiden pisteet alenivat todennäköisemmin, kun taas rikkaampien koulujen opiskelijoiden pisteet nousivat todennäköisemmin."

Artikkelissa todettiin: "Huonosti suunnitellut algoritmit uhkaavat juurruttaa uuden puolueellisuuden muodon, jolla voi olla vaikutuksia, jotka ylittävät paljon yliopistoon sijoittamisen." Ison-Britannian hallitus on sittemmin hylännyt algoritmin massiivisen julkisen huuton jälkeen, mukaan lukien opiskelijat, jotka suorittivat pilkkikokeissa paljon paremmin kuin heidän algoritmisesti saadut tuloksensa ennustivat.

Jotta vältetään epäoikeudenmukaiset skenaariot, jotka vaikuttavat opiskelijoiden elämänkehitykseen, ennustavia malleja ei pidä käyttää vaikuttavien päätösten tekemiseen ilman, että ihmisillä, joilla on alan asiantuntemusta, tarkastellaan kaikkia tuloksia ja heillä on valta kyseenalaistaa tai ohittaa ne. Näiden mallien on oltava mahdollisimman avoimia ja selitettäviä, ja niiden tietojen ja menetelmien on oltava täysin dokumentoituja ja saatavilla tarkasteltavaksi. Automaattiset ennusteet voivat ilmoittaa päätöksentekijöille, mutta niiden ei pitäisi korvata niitä. Lisäksi ennusteita tulisi aina verrata todellisiin tuloksiin, ja malleja on seurattava sen määrittämiseksi, milloin niitä on koulutettava muuttuvan todellisuuden vuoksi.

Viime kädessä, vaikka vuosi 2020 paljastaa kovia totuuksia nykyisistä järjestelmistämme ja malleistamme, 2021 tarjoaa laitoksille mahdollisuuden tunnistaa puutteet, torjua ennakkoluuloja ja nollata lähestymistapoja. Seuraava mallien iterointi on sitä vahvempi, ja parempi tieto ja oivallukset hyödyttävät kaikkia.

Lähde: https://www.edsurge.com/news/2021-04-16-can-college-predictive-models-survive-the-pandemic