I modelli predittivi del college possono sopravvivere alla pandemia?

Sebbene molti siano ansiosi di dimenticare il 2020, i data scientist terranno l’anno in primo piano mentre determineremo se l’impatto della pandemia rende i dati del 2020 anomali o un’indicazione di un cambiamento più permanente nell’istruzione superiore. Man mano che sviluppiamo nuovi modelli predittivi e aggiorniamo quelli esistenti con i dati raccolti nell’ultimo anno, dovremo analizzarne gli effetti e decidere quanto pesare tali dati quando proviamo a prevedere ciò che verrà dopo.

Al di là di drammatico cambiamento nel numero di studenti che hanno presentato domanda e si sono iscritti lo scorso anno, anche i dati familiari relativi ai materiali di domanda sono diventati meno disponibili, rendendo più difficile per le università prevedere come si comporteranno i candidati e gli studenti che ritornano. A causa delle difficoltà che gli studenti hanno avuto nel sostenere il SAT o l'ACT durante la pandemia, molte istituzioni hanno optato per il test opzionale. I dati più scarsi sugli esami e l’elevata variazione nel numero, nel tipo e nei tempi delle domande e delle iscrizioni hanno reso meno prevedibili i consueti cicli annuali delle operazioni di istruzione superiore.

I responsabili delle ammissioni e i responsabili delle iscrizioni si pongono diverse domande. Dovrebbero aspettarsi che le cose ritornino ai modelli “normali” pre-COVID quest’anno o che modifichino permanentemente le loro aspettative? Dovrebbero cambiare i criteri di ammissione o di borsa di studio? Dovrebbero eliminare i modelli predittivi formati sui dati del passato dopo un anno senza precedenti? E se mantengono i processi e gli strumenti esistenti, come possono collaborare con i data scientist per ricalibrarli affinché rimangano utili?

Credo che i modelli predittivi offrano ancora molto valore alle università. Per prima cosa, i modelli addestrati su dati passati possono essere particolarmente utili per comprendere in che modo la realtà differiva dalle aspettative. Ma l’ultimo anno ha rivelato quanto sia importante comprendere appieno il “come” e il “perché” delle previsioni che questi strumenti fanno su “chi” ha maggiori probabilità di iscriversi o potrebbe aver bisogno di servizi aggiuntivi per aiutarli ad avere successo in un istituzione.

Quali modelli hanno sbagliato e giusto

Nel valutare i modelli che ho creato prima del COVID-19, ho scoperto che la pandemia catalizzava le tendenze e le correlazioni che il modello aveva identificato nei dati passati. In sostanza, ha fatto previsioni valide, ma non ha previsto velocità e scala.

Un esempio è il rapporto tra bisogni finanziari insoddisfatti e fidelizzazione degli studenti. Gli studenti che hanno necessità non coperte da aiuti finanziari tendono a iscriversi nuovamente a tariffe più basse. Questo modello sembra essere continuato durante la pandemia e i modelli spesso hanno identificato correttamente quali studenti erano maggiormente a rischio di non iscriversi al semestre successivo a causa di problemi finanziari.

Tuttavia, nel contesto della crisi, i modelli potrebbero anche essere stati eccessivamente ottimistici riguardo alla probabilità del ritorno di altri studenti. Poiché il futuro finanziario di sempre più famiglie è diventato meno certo, il bisogno finanziario che non è stato soddisfatto da prestiti, borse di studio e sovvenzioni potrebbe aver avuto un impatto maggiore del solito sulle decisioni degli studenti di non iscriversi nuovamente. Ciò potrebbe aiutare a spiegare perché i tassi di permanenza complessiva sono diminuiti in modo più marcato nel 2020 rispetto ai modelli previsti in molte istituzioni.

Un modello che genera punteggi di probabilità di fidelizzazione con un approccio più “scatola nera” (meno spiegabile) e senza contesto aggiuntivo su quali variabili pesano maggiormente, fornisce meno informazioni preziose per aiutare le istituzioni ad affrontare i rischi di fidelizzazione ora amplificati. Le istituzioni che si affidano a questo tipo di modello hanno meno comprensione di come la pandemia abbia influenzato l’esito delle loro previsioni. Ciò rende più difficile determinare se, e in quali circostanze, continuare a utilizzarli.

Solo perché un modello predittivo funziona bene ed è spiegabile non significa, ovviamente, che esso e il sistema che rappresenta siano esenti da un esame approfondito. Probabilmente è positivo esaminare più attentamente i risultati dei nostri modelli e determinare per chi i modelli funzionano e per chi non funzionano bene nelle nostre nuove circostanze.

Se le famiglie benestanti riuscissero a “superare” meglio la pandemia, gli studenti di quelle famiglie potrebbero iscriversi più vicino ai tassi pre-pandemia. A loro volta, i modelli prevedono bene la loro iscrizione. Ma le famiglie per le quali il virus presenta un rischio sanitario o economico maggiore potrebbero prendere decisioni diverse riguardo al mandare i propri figli all’università durante la pandemia, anche se il loro stato attuale non è cambiato “sulla carta” o nei set di dati utilizzati dal modello. Identificare i gruppi per i quali le previsioni dei modelli sono meno accurate nei momenti difficili evidenzia fattori sconosciuti al modello, che hanno un impatto nel mondo reale sugli studenti.

Sfidare i bias algoritmici

È ancora più vitale identificare quelle persone che i modelli trascurano o caratterizzano in modo errato in un momento in cui le disuguaglianze sociali sono particolarmente visibili e dannose. Le comunità emarginate sopportano il peso maggiore degli impatti sanitari e finanziari del COVID-19. Ci sono pregiudizi sociali storici “incorporati” nei nostri dati i sistemi di modellazione e le macchine che accelerano ed estendono i processi esistenti spesso perpetuano questi pregiudizi. I modelli predittivi e gli scienziati dei dati umani dovrebbero lavorare di concerto per garantire che il contesto sociale e altri fattori essenziali informino i risultati algoritmici.

Ad esempio, l’anno scorso, un algoritmo ha sostituito gli esami di ammissione all’università del Regno Unito, prevedendo presumibilmente come gli studenti avrebbero superato l’esame se lo avessero sostenuto. L’algoritmo ha prodotto risultati altamente controversi.

Gli insegnanti hanno stimato il rendimento dei loro studenti agli esami, quindi gli algoritmi hanno adattato quelle previsioni umane in base alle prestazioni storiche degli studenti di ciascuna scuola. COME Axios riferito, "Le vittime più grandi erano gli studenti con voti alti provenienti da scuole meno avvantaggiate, che avevano maggiori probabilità di vedere i loro punteggi declassati, mentre gli studenti delle scuole più ricche avevano maggiori probabilità di vedere i loro punteggi aumentati."

L’articolo concludeva: “Algoritmi mal progettati rischiano di radicare una nuova forma di pregiudizio che potrebbe avere impatti che vanno ben oltre il posizionamento universitario”. Da allora il governo britannico ha abbandonato l’algoritmo, dopo una massiccia protesta pubblica, anche da parte degli studenti che negli esami simulati hanno ottenuto risultati molto migliori di quanto previsto dai risultati generati dall’algoritmo.

Per evitare scenari ingiusti che incidono sulla traiettoria della vita degli studenti, i modelli predittivi non dovrebbero essere utilizzati per prendere decisioni ad alto impatto senza che persone con esperienza nel settore rivedano ogni risultato e abbiano il potere di contestarli o ignorarli. Questi modelli devono essere quanto più trasparenti e spiegabili possibile, e i loro dati e metodi devono essere completamente documentati e disponibili per la revisione. Le previsioni automatizzate possono informare i decisori umani, ma non dovrebbero sostituirle. Inoltre, le previsioni dovrebbero sempre essere confrontate con i risultati effettivi e i modelli devono essere monitorati per determinare quando è necessario riqualificarli, dati i cambiamenti della realtà.

In definitiva, mentre il 2020 ha messo in luce la dura verità sui nostri sistemi e modelli esistenti, il 2021 offre alle istituzioni un’opportunità per riconoscere i difetti, affrontare i pregiudizi e reimpostare gli approcci. La prossima iterazione dei modelli sarà più forte e migliori informazioni e approfondimenti andranno a vantaggio di tutti.

Fonte: https://www.edsurge.com/news/2021-04-16-can-college-predictive-models-survive-the-pandemic