โมเดลทำนายผลของวิทยาลัยสามารถรอดจากโรคระบาดได้หรือไม่?

แม้ว่าหลายคนอยากจะลืมปี 2020 แต่นักวิทยาศาสตร์ด้านข้อมูลจะยังคงเป็นปีแรกที่เราคำนึงถึง ในขณะที่เราพิจารณาว่าผลกระทบของโรคระบาดใหญ่ทำให้ข้อมูลในปี 2020 ผิดปกติหรือเป็นการบ่งชี้ถึงการเปลี่ยนแปลงอย่างถาวรในระดับอุดมศึกษา เมื่อเราพัฒนาโมเดลการคาดการณ์ใหม่และอัปเดตโมเดลที่มีอยู่ด้วยข้อมูลที่รวบรวมในปีที่แล้ว เราจะต้องวิเคราะห์ผลกระทบของมันและตัดสินใจว่าจะชั่งน้ำหนักข้อมูลนั้นมากเพียงใดเมื่อพยายามคาดการณ์ว่าจะเกิดอะไรขึ้นต่อไป

เกิน การเปลี่ยนแปลงอย่างมากของจำนวนนักศึกษาที่สมัครและลงทะเบียนปีที่แล้วแม้แต่ข้อมูลที่คุ้นเคยจากเอกสารประกอบการสมัครก็ยังมีน้อยลง ทำให้วิทยาลัยคาดการณ์ได้ยากขึ้นว่าผู้สมัครและนักศึกษาที่กลับมาเรียนมีแนวโน้มที่จะประพฤติตัวอย่างไร เนื่องจากความยากที่นักเรียนต้องสอบ SAT หรือ ACT ในช่วงการระบาดใหญ่ หลายสถาบันได้ไปทดสอบตัวเลือก. ข้อมูลการสอบที่ยากขึ้นและการเปลี่ยนแปลงจำนวน ประเภท และระยะเวลาของการสมัครและการลงทะเบียนสูง ทำให้รอบประจำปีที่คุ้นเคยของการดำเนินการ ed ที่สูงขึ้นคาดเดาน้อยลง

เจ้าหน้าที่ฝ่ายธุรการและผู้จัดการการลงทะเบียนกำลังถามตัวเองหลายคำถาม พวกเขาควรคาดหวังให้สิ่งต่างๆ กลับสู่รูปแบบ "ปกติ" ก่อนเกิดโควิด-XNUMX ในปีนี้หรือเปลี่ยนแปลงความคาดหวังของตนอย่างถาวรหรือไม่ พวกเขาควรเปลี่ยนเกณฑ์การรับเข้าเรียนหรือทุนการศึกษาหรือไม่? พวกเขาควรละทิ้งแบบจำลองการทำนายที่พวกเขาฝึกฝนเกี่ยวกับข้อมูลที่ผ่านมาหลังจากปีที่ไม่เคยมีมาก่อนหรือไม่? และหากพวกเขารักษากระบวนการและเครื่องมือที่มีอยู่ พวกเขาจะทำงานร่วมกับนักวิทยาศาสตร์ข้อมูลเพื่อปรับเทียบใหม่เพื่อให้ยังคงมีประโยชน์ได้อย่างไร

ฉันเชื่อว่าแบบจำลองการคาดการณ์ยังคงให้คุณค่ามากมายแก่มหาวิทยาลัย ประการหนึ่ง โมเดลที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลในอดีตจะมีประโยชน์อย่างยิ่งในการทำความเข้าใจว่าความเป็นจริงแตกต่างจากความคาดหวังอย่างไร แต่ปีที่แล้วได้เผยให้เห็นถึงความสำคัญเพียงใดที่เราเข้าใจอย่างถ่องแท้ว่า "อย่างไร" และ "ทำไม" ของการคาดคะเนที่เครื่องมือเหล่านี้ทำขึ้นเกี่ยวกับ "ใคร" ที่มีแนวโน้มจะลงทะเบียนมากที่สุดหรืออาจต้องการบริการเพิ่มเติมเพื่อช่วยให้พวกเขาประสบความสำเร็จใน สถาบัน.

โมเดลอะไรผิดพลาดและถูกต้อง

เมื่อประเมินแบบจำลองที่ฉันสร้างก่อนเกิดโควิด-19 ฉันพบว่าการระบาดใหญ่กระตุ้นแนวโน้มและความสัมพันธ์ที่แบบจำลองระบุไว้ในข้อมูลที่ผ่านมา โดยพื้นฐานแล้ว มันคาดการณ์เสียง แต่ไม่ได้คาดการณ์อัตราและขนาด

ตัวอย่างหนึ่งคือความสัมพันธ์ระหว่างความต้องการทางการเงินที่ไม่เป็นไปตามข้อกำหนดและการรักษานักศึกษาไว้ นักเรียนที่มีความต้องการซึ่งไม่ได้รับการคุ้มครองโดยความช่วยเหลือทางการเงินมักจะลงทะเบียนซ้ำในอัตราที่ต่ำกว่า รูปแบบนั้นดูเหมือนว่าจะดำเนินต่อไปในช่วงการแพร่ระบาด และแบบจำลองมักจะระบุได้อย่างถูกต้องว่านักเรียนคนใดมีความเสี่ยงมากที่สุดที่จะไม่ลงทะเบียนเรียนในภาคเรียนถัดไปอันเนื่องมาจากปัญหาทางการเงิน

แต่ในบริบทของวิกฤต ตัวแบบอาจมองโลกในแง่ดีเกินไปเกี่ยวกับความเป็นไปได้ที่นักเรียนคนอื่นๆ จะกลับมา เนื่องจากอนาคตทางการเงินของครอบครัวเริ่มมีความแน่นอนน้อยลง ความต้องการทางการเงินที่ไม่ได้รับการแก้ไขโดยการกู้ยืม ทุนการศึกษา และเงินช่วยเหลืออาจส่งผลกระทบมากกว่าปกติต่อการตัดสินใจของนักเรียนที่จะไม่ลงทะเบียนเรียนซ้ำ ซึ่งอาจช่วยอธิบายได้ว่าทำไมอัตราการรักษาโดยรวมจึงลดลงอย่างรวดเร็วในปี 2020 มากกว่าแบบจำลองที่สถาบันหลายแห่งคาดไว้

โมเดลที่สร้างคะแนนความเป็นไปได้ในการเก็บรักษาโดยใช้แนวทาง "กล่องดำ" มากกว่า (อธิบายได้น้อยกว่า) และไม่มีบริบทเพิ่มเติมว่าตัวแปรใดมีน้ำหนักมากที่สุด ให้ข้อมูลเชิงลึกที่มีคุณค่าน้อยลงเพื่อช่วยให้สถาบันจัดการกับความเสี่ยงในการเก็บรักษาที่ขยายวงกว้างขึ้นในขณะนี้ สถาบันที่ใช้แบบจำลองประเภทนี้มีความเข้าใจน้อยกว่าว่าการระบาดใหญ่ส่งผลต่อผลลัพธ์ของการคาดการณ์อย่างไร ทำให้ยากต่อการพิจารณาว่าจะใช้งานต่อไปหรือไม่และภายใต้สถานการณ์ใด

เพียงเพราะแบบจำลองการคาดการณ์ทำงานได้ดีและสามารถอธิบายได้ ไม่ได้หมายความว่าแบบจำลองและระบบที่แสดงนั้นได้รับการยกเว้นจากการตรวจสอบอย่างละเอียด อาจเป็นเรื่องดีที่เราต้องพิจารณาผลลัพธ์ของแบบจำลองของเราให้ละเอียดยิ่งขึ้น และพิจารณาว่ารุ่นใดเป็นรุ่นใดและทำงานได้ไม่ดีภายใต้สถานการณ์ใหม่ของเรา

หากครอบครัวที่ร่ำรวยสามารถ "หลบหนี" การระบาดใหญ่ได้ดีขึ้น นักเรียนจากครอบครัวเหล่านั้นอาจลงทะเบียนใกล้กับอัตราก่อนเกิดโรคระบาด ในทางกลับกัน โมเดลคาดการณ์การลงทะเบียนได้ดี แต่ครอบครัวที่ไวรัสแสดงสุขภาพหรือความเสี่ยงทางเศรษฐกิจที่สูงขึ้นอาจทำการตัดสินใจที่แตกต่างกันเกี่ยวกับการส่งลูกไปเรียนที่วิทยาลัยในช่วงการระบาดใหญ่ แม้ว่าสถานะปัจจุบันของพวกเขาจะไม่เปลี่ยนแปลง “บนกระดาษ” หรือในชุดข้อมูลที่แบบจำลองใช้ การระบุกลุ่มที่การคาดการณ์ของแบบจำลองมีความแม่นยำน้อยกว่าในยามยากจะเน้นถึงปัจจัยที่แบบจำลองไม่ทราบ ซึ่งมีผลกระทบต่อนักเรียนในโลกแห่งความเป็นจริง

อคติอัลกอริทึมที่ท้าทาย

การระบุบุคคลที่เป็นแบบอย่างมองข้ามหรือมีลักษณะผิดเพี้ยนในเวลาที่ความเหลื่อมล้ำทางสังคมปรากฏให้เห็นและเป็นอันตรายยิ่งมีความสำคัญยิ่งขึ้นไปอีก ชุมชนชายขอบได้รับผลกระทบจากสุขภาพและผลกระทบทางการเงินของ COVID-19 มี อคติทางสังคมในอดีต “หลอมรวม” ข้อมูลของเรา และระบบการสร้างแบบจำลอง และเครื่องจักรที่เร่งและขยายกระบวนการที่มีอยู่มักจะทำให้อคติเหล่านั้นคงอยู่ต่อไป แบบจำลองการคาดการณ์และนักวิทยาศาสตร์ด้านข้อมูลมนุษย์ควรทำงานร่วมกันเพื่อให้แน่ใจว่าบริบททางสังคมและปัจจัยสำคัญอื่นๆ แจ้งผลลัพธ์ของอัลกอริทึม

ตัวอย่างเช่น ปีที่แล้ว อัลกอริธึมเข้ามาแทนที่การสอบเข้าวิทยาลัยของสหราชอาณาจักร โดยคาดการณ์ว่านักเรียนจะทำข้อสอบอย่างไรหากพวกเขาทำข้อสอบ อัลกอริธึมสร้างผลลัพธ์ที่ขัดแย้งกันอย่างมาก

ครูประมาณการว่านักเรียนของพวกเขาจะทำข้อสอบอย่างไร จากนั้นอัลกอริธึมก็ปรับการทำนายของมนุษย์ตามผลงานในอดีตของนักเรียนจากแต่ละโรงเรียน เนื่องจาก Axios รายงาน“เหยื่อที่ใหญ่ที่สุดคือนักเรียนที่ได้คะแนนสูงจากโรงเรียนด้อยโอกาส ซึ่งมีแนวโน้มว่าคะแนนจะถูกลดระดับลง ในขณะที่นักเรียนจากโรงเรียนที่ร่ำรวยกว่ามีแนวโน้มที่จะได้คะแนนเพิ่มขึ้น”

บทความสรุปว่า: “อัลกอริธึมที่ออกแบบมาไม่ดีนั้นเสี่ยงต่ออคติรูปแบบใหม่ที่อาจส่งผลกระทบไปไกลกว่าตำแหน่งในมหาวิทยาลัย” รัฐบาลอังกฤษได้ละทิ้งอัลกอริธึม หลังจากการโห่ร้องของประชาชนจำนวนมาก รวมถึงจากนักเรียนที่ทำข้อสอบจำลองได้ดีกว่าผลลัพธ์ที่สร้างโดยอัลกอริธึม

เพื่อหลีกเลี่ยงสถานการณ์ที่ไม่เป็นธรรมที่ส่งผลต่อวิถีชีวิตของนักเรียน ไม่ควรใช้แบบจำลองการคาดการณ์ในการตัดสินใจที่มีผลกระทบสูงโดยที่ผู้เชี่ยวชาญในโดเมนไม่ตรวจสอบทุกผลลัพธ์และมีอำนาจที่จะท้าทายหรือแทนที่พวกเขา โมเดลเหล่านี้ต้องโปร่งใสและอธิบายได้ดีที่สุด ข้อมูลและวิธีการต้องได้รับการจัดทำเป็นเอกสารและพร้อมสำหรับการตรวจสอบ การคาดคะเนอัตโนมัติสามารถแจ้งให้ผู้มีอำนาจตัดสินใจของมนุษย์ทราบ แต่ไม่ควรแทนที่ นอกจากนี้ ควรเปรียบเทียบการคาดคะเนกับผลลัพธ์จริงเสมอ และต้องติดตามแบบจำลองเพื่อกำหนดว่าเมื่อใดที่จำเป็นต้องฝึกใหม่ เนื่องจากความเป็นจริงที่เปลี่ยนแปลงไป

ในท้ายที่สุด ในขณะที่ปี 2020 เปิดเผยความจริงที่ยากเกี่ยวกับระบบและแบบจำลองที่มีอยู่ของเรา แต่ปี 2021 กลับเปิดโอกาสให้สถาบันต่างๆ ตระหนักถึงข้อบกพร่อง จัดการกับอคติ และแนวทางการรีเซ็ต รุ่นต่อไปของแบบจำลองจะแข็งแกร่งขึ้น ข้อมูลและข้อมูลเชิงลึกที่ดีขึ้นจะเป็นประโยชน์ต่อทุกคน

ที่มา: https://www.edsurge.com/news/2021-04-16-can-college-predictive-models-survive-the-pandemic