Kolej Tahmin Modelleri Pandemiden Kurtulabilir mi?

Birçoğu 2020'yi unutmaya hevesli olsa da, pandeminin etkisinin 2020 verilerini anormal mi yoksa daha yüksek ed. Yeni tahmine dayalı modeller geliştirdikçe ve mevcut olanları geçen yıl toplanan verilerle güncelledikçe, etkilerini analiz etmemiz ve bir sonraki adımı tahmin etmeye çalışırken bu verileri ne kadar ağırlayacağımıza karar vermemiz gerekecek.

Ötesinde geçen yıl başvuran ve kayıt yaptıran öğrenci sayısındaki çarpıcı değişiklik, başvuru materyallerinden tanıdık veriler bile daha az erişilebilir hale geldi, bu da kolejlerin başvuranların ve geri dönen öğrencilerin nasıl davranacağını tahmin etmesini zorlaştırdı. Pandemi sırasında öğrencilerin SAT veya ACT sınavına girmelerinin zorluğu nedeniyle, birçok kurum test-isteğe bağlı hale geldi. Daha kıt sınav verileri ve başvuruların ve kayıtların sayısı, türü ve zamanlamasındaki yüksek çeşitlilik, yüksek eğitimli operasyonların tanıdık yıllık döngülerini daha az tahmin edilebilir hale getirdi.

Kabul görevlileri ve kayıt yöneticileri kendilerine birkaç soru soruyor. İşlerin bu yıl COVID öncesi “normal” kalıplara dönmesini mi beklemeliler yoksa beklentilerini kalıcı olarak değiştirmeli mi? Kabul veya burs kriterlerini değiştirmeliler mi? Eşi görülmemiş bir yıldan sonra geçmiş veriler üzerinde eğittikleri tahmine dayalı modelleri çöpe mi atmalılar? Ve eğer mevcut süreçleri ve araçları korurlarsa, yararlı kalmaları için onları yeniden kalibre etmek için veri bilimcilerle nasıl çalışabilirler?

Tahmine dayalı modellerin üniversitelere hala çok fazla değer sunduğuna inanıyorum. Birincisi, geçmiş veriler üzerinde eğitilmiş modeller, gerçekliğin beklentilerden ne kadar farklı olduğunu anlamada özellikle faydalı olabilir. Ancak geçen yıl, bu araçların "kimin" kaydolma olasılığının en yüksek olduğu veya başarılı olmalarına yardımcı olmak için ek hizmetlere ihtiyaç duyabileceği hakkında yaptığı tahminlerin "nasıl" ve "neden" olduğunu tam olarak anlamamızın ne kadar önemli olduğunu ortaya koydu. kurum.

Hangi Modellerde Yanlış ve Doğru Yapıldı?

COVID-19 öncesi oluşturduğum modelleri değerlendirirken, modelin geçmiş verilerde belirlediği pandemiyi katalize eden eğilimleri ve korelasyonları buldum. Esasen, sağlam tahminler yaptı, ancak oran ve ölçek öngörmedi.

Bir örnek, karşılanmayan finansal ihtiyaç ile öğrenci tutma arasındaki ilişkidir. Mali yardım kapsamında olmayan ihtiyaçları olan öğrenciler, daha düşük oranlarda yeniden kayıt olma eğilimindedir. Bu model, pandemi sırasında da devam etmiş gibi görünüyor ve modeller, finansal sorunlar nedeniyle bir sonraki dönemde hangi öğrencilerin kaydolmama riskinin en yüksek olduğunu genellikle doğru bir şekilde belirledi.

Yine de kriz bağlamında, modeller diğer öğrencilerin geri dönme olasılığı konusunda aşırı iyimser olmuş olabilir. Daha fazla ailenin finansal geleceği daha az kesinleştikçe, krediler, burslar ve hibeler tarafından karşılanmayan finansal ihtiyaç, öğrencilerin yeniden kaydolmama kararlarında normalden daha büyük bir etkiye sahip olabilir. Bu, 2020'de toplam elde tutma oranlarının neden birçok kurumda beklenen modellerden daha keskin bir şekilde düştüğünü açıklamaya yardımcı olabilir.

Daha "kara kutu" (daha az açıklanabilir) bir yaklaşımla ve hangi değişkenlerin daha ağır bastığı hakkında ek bağlam olmaksızın elde tutma olasılığı puanları üreten bir model, kurumların artık artan saklama risklerini ele almasına yardımcı olmak için daha az değerli içgörü sağlar. Bu tür bir modele dayanan kurumlar, pandeminin tahminlerinin çıktısını nasıl etkilediğine dair daha az bilgiye sahip. Bu, bunları kullanmaya devam edip etmeyeceğinizi ve hangi koşullar altında tutacağınızı belirlemeyi zorlaştırır.

Tahmine dayalı bir modelin iyi performans göstermesi ve açıklanabilir olması, elbette onun ve temsil ettiği sistemin derin incelemeden muaf olduğu anlamına gelmez. Modellerimizin çıktılarına daha yakından bakmamız ve yeni koşullarımızda kimin için iyi performans gösterip göstermediğini belirlememiz muhtemelen iyi bir şey.

Eğer varlıklı aileler pandemiyi daha iyi atlatabilirse, bu ailelerin öğrencileri pandemi öncesi oranlara daha yakın kayıt yaptırabilir. Buna karşılık, modeller kayıtlarını iyi tahmin ediyor. Ancak virüsün daha yüksek sağlık veya ekonomik risk oluşturduğu aileler, mevcut durumları “kağıt üzerinde” veya modelin kullandığı veri setlerinde değişmemiş olsa bile, pandemi sırasında çocuklarını üniversiteye gönderme konusunda farklı kararlar alabilir. Zor zamanlarda model tahminlerinin daha az doğru olduğu grupları belirlemek, öğrenciler üzerinde gerçek dünya etkisi olan, modelin bilmediği faktörleri vurgular.

Zorlu Algoritmik Önyargı

Toplumsal eşitsizliklerin özellikle görünür ve zararlı olduğu bir zamanda, modellerin gözden kaçırdığı veya yanlış nitelendirdiği kişileri belirlemek daha da hayatidir. COVID-19'un sağlık ve finansal etkilerinin yükünü marjinal topluluklar çekiyor. Var tarihsel sosyal önyargılar verilerimize “pişirildi” ve modelleme sistemleri ve mevcut süreçleri hızlandıran ve genişleten makineler genellikle bu önyargıları sürdürür. Tahmine dayalı modeller ve insan veri bilimcileri, sosyal bağlamın ve diğer temel faktörlerin algoritmik çıktıları bilgilendirmesini sağlamak için uyum içinde çalışmalıdır.

Örneğin, geçen yıl, İngiltere'deki üniversite giriş sınavlarının yerini alan bir algoritma, sözde öğrencilerin bir sınava girselerdi nasıl yapacaklarını tahmin ediyordu. Algoritma oldukça tartışmalı sonuçlar üretti.

Öğretmenler, öğrencilerinin sınavlarda nasıl performans göstereceklerini tahmin etti ve ardından algoritmalar bu insan tahminlerini her okuldan öğrencilerin tarihsel performanslarına dayalı olarak ayarladı. Gibi Axios bildirdi, "En büyük kurbanlar, daha az avantajlı okullardan yüksek not alan ve puanlarının düşürülmesi daha olasıyken, daha zengin okullardan öğrencilerin puanlarının yükseltilmesi daha olasıydı."

Makale şu sonuca varıyordu: "Kötü tasarlanmış algoritmalar, üniversiteye yerleştirmenin çok ötesine geçen etkilere sahip olabilecek yeni bir önyargı biçimi oluşturma riski taşıyor." İngiliz hükümeti o zamandan beri, sahte sınavlarda algoritmik olarak oluşturulan sonuçların öngördüğünden çok daha iyi performans gösteren öğrenciler de dahil olmak üzere, halkın yoğun tepkisinden sonra algoritmayı terk etti.

Öğrencilerin yaşamlarının gidişatını etkileyen adaletsiz senaryolardan kaçınmak için, etki alanı uzmanlığına sahip kişiler her sonucu gözden geçirmeden ve onlara meydan okuma veya geçersiz kılma gücüne sahip olmadan, tahmine dayalı modeller yüksek etkili kararlar vermek için kullanılmamalıdır. Bu modeller mümkün olduğunca şeffaf ve açıklanabilir olmalı, verileri ve yöntemleri tam olarak belgelenmeli ve gözden geçirilebilir olmalıdır. Otomatik tahminler, insan karar vericileri bilgilendirebilir, ancak bunların yerini almamalıdır. Ek olarak, tahminler her zaman gerçek sonuçlarla karşılaştırılmalı ve değişen gerçeklik göz önüne alındığında ne zaman yeniden eğitilmeleri gerektiğini belirlemek için modeller izlenmelidir.

Sonuç olarak, 2020 mevcut sistemlerimiz ve modellerimizle ilgili acı gerçekleri ortaya çıkarırken, 2021 kurumlara kusurları fark etme, önyargılarla mücadele etme ve yaklaşımları sıfırlama fırsatı sunuyor. Modellerin bir sonraki yinelemesi bunun için daha güçlü olacak ve daha iyi bilgi ve anlayışlar herkese fayda sağlayacak.

Kaynak: https://www.edsurge.com/news/2021-04-16-can-college-predictive-models-survive-the-pandemic