هل تستطيع النماذج التنبؤية للكلية النجاة من الوباء؟

على الرغم من أن الكثيرين حريصون على نسيان عام 2020، إلا أن علماء البيانات سيضعون هذا العام في الاعتبار عندما نحدد ما إذا كان تأثير الوباء يجعل بيانات عام 2020 شاذة أو إشارة إلى تغيير أكثر استدامة في التعليم العالي. وبينما نعمل على تطوير نماذج تنبؤية جديدة وتحديث النماذج الحالية بالبيانات التي تم جمعها في العام الماضي، سنحتاج إلى تحليل تأثيراتها وتحديد مدى ثقل تلك البيانات عند محاولة التنبؤ بما سيأتي بعد ذلك.

Beyond تغيير جذري في عدد الطلاب الذين تقدموا والمسجلين في العام الماضي، حتى البيانات المألوفة من مواد التقديم أصبحت أقل توفرًا، مما يجعل من الصعب على الكليات توقع كيفية تصرف المتقدمين والطلاب العائدين. نظرًا للصعوبة التي واجهها الطلاب في أداء اختبار SAT أو ACT أثناء الوباء، لقد أصبحت العديد من المؤسسات اختبارًا اختياريًا. أدت ندرة بيانات الامتحانات والتباين الكبير في عدد ونوع وتوقيت طلبات التقديم والتسجيل إلى جعل الدورات السنوية المألوفة لعمليات التعليم العالي أقل قابلية للتنبؤ بها.

يسأل موظفو القبول ومديرو التسجيل أنفسهم عدة أسئلة. هل ينبغي عليهم أن يتوقعوا عودة الأمور إلى أنماط ما قبل فيروس كورونا "الطبيعية" هذا العام أو تغيير توقعاتهم بشكل دائم؟ هل يجب عليهم تغيير معايير القبول أو المنح الدراسية؟ هل يجب عليهم التخلص من النماذج التنبؤية التي دربوها على البيانات السابقة بعد عام غير مسبوق؟ وإذا احتفظوا بالعمليات والأدوات الحالية، فكيف يمكنهم العمل مع علماء البيانات لإعادة معايرتها لتظل مفيدة؟

أعتقد أن النماذج التنبؤية لا تزال تقدم قيمة كبيرة للجامعات. فمن ناحية، يمكن أن تكون النماذج المدربة على البيانات السابقة مفيدة بشكل خاص في فهم مدى اختلاف الواقع عن التوقعات. لكن العام الماضي كشف عن مدى أهمية أن نفهم تمامًا "كيف" و"سبب" التنبؤات التي تقدمها هذه الأدوات حول "من" من المرجح أن يسجل أو قد يحتاج إلى خدمات إضافية لمساعدتهم على النجاح في إحدى المدارس. مؤسسة.

ما هي النماذج التي أخطأت، وما هي الصحيحة

عند تقييم النماذج التي بنيتها قبل كوفيد-19، وجدت أن الوباء حفز الاتجاهات والارتباطات التي حددها النموذج في البيانات السابقة. في الأساس، قدمت تنبؤات سليمة، لكنها لم تتوقع المعدل والحجم.

أحد الأمثلة على ذلك هو العلاقة بين الاحتياجات المالية غير الملباة والاحتفاظ بالطلاب. يميل الطلاب الذين لديهم احتياجات لا تغطيها المساعدات المالية إلى إعادة التسجيل بمعدلات أقل. ويبدو أن هذا النمط قد استمر خلال الوباء، وكثيرًا ما حددت النماذج بشكل صحيح الطلاب الأكثر عرضة لخطر عدم التسجيل في الفصل الدراسي التالي بسبب مشكلات مالية.

ومع ذلك، في سياق الأزمة، ربما كانت النماذج أيضًا مفرطة في التفاؤل بشأن احتمال عودة الطلاب الآخرين. وبما أن المستقبل المالي لعدد أكبر من الأسر أصبح أقل يقينًا، فقد يكون للاحتياجات المالية التي لم تتم معالجتها عن طريق القروض والمنح الدراسية والمنح تأثير أكبر من المعتاد على قرارات الطلاب بعدم إعادة التسجيل. وقد يساعد ذلك في تفسير سبب انخفاض معدلات الاستبقاء الإجمالية بشكل أكثر حدة في عام 2020 مقارنة بالنماذج المتوقعة في العديد من المؤسسات.

إن النموذج الذي يولد درجات احتمالية الاحتفاظ بالمؤسسات باستخدام نهج يشبه "الصندوق الأسود" (أقل قابلية للتفسير)، ومن دون سياق إضافي حول المتغيرات التي يرجحها بشكل أكبر، يوفر رؤى أقل قيمة لمساعدة المؤسسات على معالجة مخاطر الاحتفاظ المتضخمة الآن. المؤسسات التي تعتمد على هذا النوع من النماذج لديها فهم أقل لكيفية تأثير الوباء على نتائج توقعاتها. وهذا يزيد من صعوبة تحديد ما إذا كان سيتم الاستمرار في استخدامها وتحت أي ظروف.

إن مجرد كون النموذج التنبؤي يؤدي أداءً جيدًا وقابلاً للتفسير لا يعني بالطبع أنه والنظام الذي يمثله معفيان من الفحص العميق. ربما يكون من الجيد أن نلقي نظرة فاحصة على مخرجات نماذجنا وتحديد النماذج التي تحقق أداءً جيدًا وتلك التي لا تحقق أداءً جيدًا في ظل ظروفنا الجديدة.

إذا تمكنت العائلات الثرية من "التغلب" على الوباء بشكل أفضل، فقد يلتحق الطلاب من تلك الأسر بمعدلات أقرب إلى معدلات ما قبل الوباء. وفي المقابل، تتنبأ النماذج بالتحاقهم بشكل جيد. لكن الأسر التي يشكل الفيروس خطرًا صحيًا أو اقتصاديًا أعلى عليها قد تتخذ قرارات مختلفة بشأن إرسال أطفالها إلى الكلية أثناء الوباء، حتى لو لم يتغير وضعهم الحالي "على الورق" أو في مجموعات البيانات التي يستخدمها النموذج. إن تحديد المجموعات التي تكون تنبؤات النماذج الخاصة بها أقل دقة في الأوقات الصعبة يسلط الضوء على عوامل غير معروفة للنموذج، والتي لها تأثير حقيقي على الطلاب.

تحدي التحيز الخوارزمي

ومن الأهمية بمكان تحديد هؤلاء الأشخاص الذين تتجاهلهم النماذج أو تخطئ في وصفهم في وقت حيث تكون حالات عدم المساواة المجتمعية واضحة وضارة بشكل خاص. تتحمل المجتمعات المهمشة وطأة الآثار الصحية والمالية لكوفيد-19. هناك التحيزات الاجتماعية التاريخية "مخبأة" في بياناتنا وأنظمة النمذجة، والآلات التي تعمل على تسريع وتوسيع العمليات القائمة غالبا ما تؤدي إلى إدامة هذه التحيزات. وينبغي للنماذج التنبؤية وعلماء البيانات البشرية أن يعملوا بشكل متضافر لضمان أن السياق الاجتماعي، والعوامل الأساسية الأخرى، تعمل على توجيه مخرجات الخوارزميات.

على سبيل المثال، في العام الماضي، حلت خوارزمية محل اختبارات القبول بالجامعات في المملكة المتحدة، والتي من المفترض أن تتنبأ بكيفية أداء الطلاب في الاختبار إذا قاموا به. أنتجت الخوارزمية نتائج مثيرة للجدل إلى حد كبير.

قام المعلمون بتقدير أداء طلابهم في الامتحانات، ثم قامت الخوارزميات بتعديل تلك التوقعات البشرية بناءً على الأداء التاريخي للطلاب من كل مدرسة. مثل ذكرت أكسيوس"كان أكبر الضحايا هم الطلاب الحاصلون على درجات عالية من المدارس الأقل حظًا، والذين كانوا أكثر عرضة لخفض درجاتهم، في حين كان الطلاب من المدارس الأكثر ثراءً أكثر عرضة لرفع درجاتهم."

وخلص المقال إلى أن "الخوارزميات سيئة التصميم تخاطر بترسيخ شكل جديد من التحيز الذي يمكن أن يكون له تأثيرات تتجاوز مجرد الالتحاق بالجامعة". ومنذ ذلك الحين، تخلت الحكومة البريطانية عن الخوارزمية، بعد احتجاجات عامة واسعة النطاق، بما في ذلك من قبل الطلاب الذين كان أداؤهم أفضل بكثير في الامتحانات الوهمية مقارنة بالنتائج المتوقعة.

لتجنب السيناريوهات غير العادلة التي تؤثر على مسار حياة الطلاب، لا ينبغي استخدام النماذج التنبؤية لاتخاذ قرارات عالية التأثير دون أن يقوم أشخاص ذوو خبرة في المجال بمراجعة كل نتيجة ويكون لديهم القدرة على تحديها أو تجاوزها. ويجب أن تكون هذه النماذج شفافة وقابلة للتفسير قدر الإمكان، ويجب أن تكون بياناتها وأساليبها موثقة بالكامل ومتاحة للمراجعة. يمكن للتنبؤات الآلية أن تفيد صناع القرار من البشر، ولكن لا ينبغي أن تحل محلها. بالإضافة إلى ذلك، يجب دائمًا مقارنة التوقعات بالنتائج الفعلية، ويجب مراقبة النماذج لتحديد متى تحتاج إلى إعادة تدريبها، في ضوء الواقع المتغير.

في نهاية المطاف، في حين كشف عام 2020 عن حقائق قاسية حول أنظمتنا ونماذجنا الحالية، فإن عام 2021 يقدم فرصة للمؤسسات للتعرف على العيوب ومعالجة التحيزات وإعادة ضبط الأساليب. سيكون التكرار التالي للنماذج أقوى بالنسبة له، وستستفيد الجميع من المعلومات والأفكار الأفضل.

المصدر: https://www.edsurge.com/news/2021-04-16-can-college-predictive-models-survive-the-pandemic