Bisakah Model Prediktif Perguruan Tinggi Bertahan dari Pandemi?

Meskipun banyak yang ingin melupakan tahun 2020, para ilmuwan data akan selalu mengingat tahun ini saat kita menentukan apakah dampak pandemi ini membuat data tahun 2020 menjadi anomali atau merupakan indikasi perubahan yang lebih permanen di pendidikan tinggi. Saat kami mengembangkan model prediktif baru dan memperbarui model yang sudah ada dengan data yang dikumpulkan pada tahun lalu, kami perlu menganalisis dampaknya dan memutuskan seberapa besar pertimbangan data tersebut ketika mencoba memprediksi apa yang akan terjadi selanjutnya.

Luar perubahan dramatis dalam jumlah siswa yang mendaftar dan mendaftar tahun lalu, bahkan data yang sudah diketahui dari materi lamaran menjadi semakin sedikit tersedia, sehingga menyulitkan perguruan tinggi untuk mengantisipasi perilaku pelamar dan mahasiswa yang kembali. Karena kesulitan yang dialami siswa dalam mengikuti SAT atau ACT selama pandemi, banyak institusi telah melakukan tes opsional. Data ujian yang lebih sedikit dan variasi yang tinggi dalam jumlah, jenis dan waktu pendaftaran dan pendaftaran telah membuat siklus tahunan operasi pendidikan tinggi menjadi kurang dapat diprediksi.

Petugas penerimaan dan manajer pendaftaran menanyakan beberapa pertanyaan pada diri mereka sendiri. Haruskah mereka mengharapkan keadaan kembali ke pola “normal” sebelum COVID pada tahun ini atau mengubah ekspektasi mereka secara permanen? Haruskah mereka mengubah kriteria penerimaan atau beasiswa? Haruskah mereka membuang model prediktif yang mereka latih berdasarkan data masa lalu setelah tahun yang belum pernah terjadi sebelumnya? Dan jika mereka tetap mempertahankan proses dan alat yang ada, bagaimana mereka dapat bekerja sama dengan ilmuwan data untuk mengkalibrasi ulang proses dan alat tersebut agar tetap berguna?

Saya yakin model prediktif masih memberikan banyak manfaat bagi universitas. Di satu sisi, model yang dilatih berdasarkan data masa lalu bisa sangat berguna dalam memahami bagaimana kenyataan berbeda dari ekspektasi. Namun tahun lalu telah menunjukkan betapa pentingnya bagi kita untuk sepenuhnya memahami “bagaimana” dan “mengapa” dari prediksi yang dibuat oleh alat-alat ini tentang “siapa” yang kemungkinan besar akan mendaftar atau mungkin memerlukan layanan tambahan untuk membantu mereka sukses dalam suatu bidang. lembaga.

Model Apa yang Salah dan Benar

Saat menilai model yang saya buat sebelum COVID-19, saya menemukan bahwa pandemi telah memicu tren dan korelasi yang telah diidentifikasi oleh model tersebut pada data sebelumnya. Pada dasarnya, hal ini membuat prediksi yang masuk akal, namun tidak mengantisipasi laju dan skala.

Salah satu contohnya adalah hubungan antara kebutuhan finansial yang tidak terpenuhi dan retensi siswa. Siswa yang mempunyai kebutuhan yang tidak tercakup oleh bantuan keuangan cenderung mendaftar ulang dengan tarif yang lebih rendah. Pola tersebut tampaknya terus berlanjut selama pandemi ini, dan model-model tersebut sering kali dapat mengidentifikasi dengan tepat siswa mana yang paling berisiko untuk tidak mendaftar pada semester berikutnya karena masalah keuangan.

Namun dalam konteks krisis ini, model yang ada mungkin terlalu optimis terhadap kemungkinan siswa lain kembali bersekolah. Karena semakin banyak keluarga yang masa depan keuangannya menjadi kurang pasti, kebutuhan keuangan yang tidak dipenuhi melalui pinjaman, beasiswa, dan hibah mungkin memiliki dampak yang lebih besar terhadap keputusan siswa untuk tidak mendaftar ulang. Hal ini dapat membantu menjelaskan mengapa tingkat retensi secara keseluruhan menurun lebih tajam pada tahun 2020 dibandingkan dengan model yang diperkirakan terjadi di banyak institusi.

Model yang menghasilkan skor kemungkinan retensi dengan pendekatan yang lebih bersifat “kotak hitam” (kurang dapat dijelaskan), dan tanpa konteks tambahan mengenai variabel mana yang paling dipertimbangkan, memberikan lebih sedikit wawasan berharga untuk membantu institusi mengatasi risiko retensi yang kini semakin besar. Institusi yang mengandalkan model seperti ini kurang memahami dampak pandemi terhadap hasil prediksi mereka. Hal ini membuat lebih sulit untuk menentukan apakah dan dalam keadaan apa, akan terus menggunakannya.

Hanya karena model prediktif berkinerja baik dan dapat dijelaskan bukan berarti model tersebut dan sistem yang diwakilinya dikecualikan dari pengujian mendalam. Mungkin ada baiknya kita melihat lebih dekat keluaran model kita dan menentukan model mana yang berkinerja baik dan tidak dalam kondisi baru.

Jika keluarga-keluarga kaya dapat “mengatasi” pandemi ini dengan lebih baik, siswa dari keluarga-keluarga tersebut mungkin dapat mendaftar mendekati angka pra-pandemi. Pada gilirannya, model memprediksi pendaftaran mereka dengan baik. Namun keluarga-keluarga yang memiliki risiko kesehatan dan ekonomi yang lebih tinggi akibat virus ini mungkin akan mengambil keputusan berbeda dalam menyekolahkan anak-anak mereka ke perguruan tinggi selama pandemi ini, meskipun status mereka saat ini tidak berubah “di atas kertas” atau dalam kumpulan data yang digunakan model tersebut. Mengidentifikasi kelompok yang prediksi modelnya kurang akurat di masa-masa sulit menyoroti faktor-faktor yang tidak diketahui oleh model, yang memiliki dampak nyata terhadap siswa.

Menantang Bias Algoritmik

Yang lebih penting lagi adalah mengidentifikasi orang-orang yang diabaikan atau disalahartikan oleh model pada saat kesenjangan sosial sangat terlihat dan merugikan. Komunitas marginal menanggung dampak terberat dari dampak kesehatan dan keuangan akibat COVID-19. Ada bias sosial historis “memasukkan” ke dalam data kita dan sistem pemodelan, serta mesin yang mempercepat dan memperluas proses yang ada sering kali melanggengkan bias tersebut. Model prediktif dan ilmuwan data manusia harus bekerja sama untuk memastikan bahwa konteks sosial, dan faktor penting lainnya, menginformasikan keluaran algoritmik.

Misalnya, tahun lalu, sebuah algoritme menggantikan ujian masuk perguruan tinggi di Inggris, yang diharapkan dapat memprediksi hasil ujian siswa jika mereka mengikuti ujian tersebut. Algoritme ini menghasilkan hasil yang sangat kontroversial.

Guru memperkirakan bagaimana kinerja siswanya dalam ujian, dan kemudian algoritme menyesuaikan prediksi manusia tersebut berdasarkan riwayat kinerja siswa dari masing-masing sekolah. Sebagai Axios melaporkan, “Korban terbesar adalah siswa yang mendapat nilai tinggi dari sekolah kurang mampu, yang kemungkinan besar nilainya akan diturunkan, sedangkan siswa dari sekolah yang lebih kaya kemungkinan besar akan mendapat kenaikan nilai.”

Artikel tersebut menyimpulkan: “Algoritme yang dirancang dengan buruk berisiko menimbulkan bentuk bias baru yang dapat berdampak lebih dari sekadar penempatan di universitas.” Sejak saat itu, pemerintah Inggris telah meninggalkan algoritma tersebut, setelah adanya protes keras dari masyarakat, termasuk dari para siswa yang memiliki nilai jauh lebih baik dalam ujian tiruan dibandingkan hasil yang mereka prediksi berdasarkan algoritma.

Untuk menghindari skenario tidak adil yang mempengaruhi lintasan kehidupan siswa, model prediktif tidak boleh digunakan untuk membuat keputusan berdampak besar tanpa orang-orang dengan keahlian domain meninjau setiap hasil dan memiliki kekuatan untuk menantang atau mengesampingkan keputusan tersebut. Model-model ini harus setransparan dan sedapat mungkin dapat dijelaskan, dan data serta metodenya harus didokumentasikan sepenuhnya dan tersedia untuk ditinjau. Prediksi otomatis dapat memberikan informasi kepada pengambil keputusan, namun tidak boleh menggantikan mereka. Selain itu, prediksi harus selalu dibandingkan dengan hasil aktual, dan model harus dipantau untuk menentukan kapan model tersebut perlu dilatih ulang, mengingat kenyataan yang berubah.

Pada akhirnya, meskipun tahun 2020 mengungkap kenyataan pahit tentang sistem dan model yang ada, tahun 2021 memberikan peluang bagi institusi untuk mengenali kelemahan, mengatasi bias, dan mengatur ulang pendekatan. Perulangan model berikutnya akan lebih kuat, dan informasi serta wawasan yang lebih baik akan bermanfaat bagi semua orang.

Sumber: https://www.edsurge.com/news/2021-04-16-can-college-predictive-models-survive-the-pandemic