Data Drift vs. Concept Drift: อะไรคือความแตกต่าง?

Data Drift vs. Concept Drift: อะไรคือความแตกต่าง?

Time Stamp: 3 กุมภาพันธ์ 2023 3:25 น.
โหนดต้นทาง: 1936845

การเลื่อนโมเดลหมายถึงปรากฏการณ์ที่เกิดขึ้นเมื่อประสิทธิภาพของโมเดลแมชชีนเลิร์นนิงลดลงตามเวลา สิ่งนี้เกิดขึ้นได้จากหลายสาเหตุ รวมถึงการเปลี่ยนแปลงการกระจายข้อมูล การเปลี่ยนแปลงในเป้าหมายหรือวัตถุประสงค์ของแบบจำลอง หรือการเปลี่ยนแปลงสภาพแวดล้อมที่แบบจำลองทำงานอยู่ มีสองหลัก ประเภทของโมเดลดริฟท์ ที่สามารถเกิดขึ้นได้: การเลื่อนลอยของข้อมูลและการเลื่อนลอยของแนวคิด

การเลื่อนลอยของข้อมูลหมายถึงการกระจายการเปลี่ยนแปลงของข้อมูลที่ใช้แบบจำลอง การเลื่อนแนวคิดหมายถึงเป้าหมายหรือวัตถุประสงค์พื้นฐานที่เปลี่ยนแปลงไปสำหรับแบบจำลอง ทั้งการเลื่อนลอยของข้อมูลและการเลื่อนลอยของแนวคิดอาจทำให้ประสิทธิภาพของ a ลดลง เรียนรู้เครื่อง แบบ

การเลื่อนโมเดลอาจเป็นปัญหาสำคัญสำหรับระบบแมชชีนเลิร์นนิงที่ใช้งานในสภาพแวดล้อมจริง เนื่องจากอาจนำไปสู่การคาดการณ์หรือการตัดสินใจที่ไม่ถูกต้องหรือไม่น่าเชื่อถือ เพื่อจัดการกับการเบี่ยงเบนของโมเดล สิ่งสำคัญคือต้องติดตามประสิทธิภาพของโมเดลแมชชีนเลิร์นนิงเมื่อเวลาผ่านไป และดำเนินการเพื่อป้องกันหรือบรรเทามัน เช่น ฝึกโมเดลใหม่โดยใช้ข้อมูลใหม่หรือปรับพารามิเตอร์ของโมเดล ระบบตรวจสอบและปรับแต่งเหล่านี้จะต้องเป็นส่วนหนึ่งของก ระบบการปรับใช้ซอฟต์แวร์ สำหรับรุ่น ML

Concept Drift vs. Data Drift: อะไรคือความแตกต่าง?

ดริฟท์ข้อมูล

Data Drift หรือ Covariate Shift หมายถึงปรากฏการณ์ที่มีการกระจายของข้อมูลที่ป้อนเข้ามา ML รุ่น ได้รับการฝึกอบรมเกี่ยวกับความแตกต่างจากการกระจายของอินพุตข้อมูลที่โมเดลนำไปใช้ ซึ่งอาจส่งผลให้แบบจำลองมีความแม่นยำน้อยลงหรือมีประสิทธิภาพน้อยลงในการคาดการณ์หรือตัดสินใจ

การแสดงทางคณิตศาสตร์ของการเลื่อนข้อมูลสามารถแสดงได้ดังนี้:

พี(x|y) ≠ พี(x|y')

โดยที่ P(x|y) หมายถึงการแจกแจงความน่าจะเป็นของข้อมูลอินพุต (x) ที่กำหนดให้กับข้อมูลเอาต์พุต (y) และ P(x|y') คือการกระจายความน่าจะเป็นของข้อมูลอินพุตที่กำหนดให้ข้อมูลเอาต์พุตสำหรับข้อมูลใหม่ ที่ใช้โมเดล (y')

ตัวอย่างเช่น สมมติว่าแบบจำลอง ML ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลลูกค้าจากร้านค้าปลีกหนึ่งๆ และมีการใช้แบบจำลองเพื่อคาดการณ์ว่าลูกค้าจะทำการซื้อตามอายุ รายได้ และสถานที่ของตนหรือไม่ 

หากการกระจายของข้อมูลอินพุต (อายุ รายได้ และสถานที่) สำหรับข้อมูลใหม่ที่ป้อนไปยังโมเดลแตกต่างอย่างมากจากการกระจายของข้อมูลอินพุตในชุดข้อมูลการฝึกอบรม นี่อาจนำไปสู่การเบี่ยงเบนของข้อมูลและส่งผลให้โมเดลมีความแม่นยำน้อยลง

เอาชนะการล่องลอยของข้อมูล

วิธีหนึ่งที่จะเอาชนะการเลื่อนลอยของข้อมูลคือการใช้เทคนิคต่างๆ เช่น การถ่วงน้ำหนักหรือการสุ่มตัวอย่างเพื่อปรับความแตกต่างในการแจกแจงข้อมูล ตัวอย่างเช่น คุณอาจให้น้ำหนักตัวอย่างในชุดข้อมูลการฝึกเพื่อให้ตรงกับการกระจายข้อมูลอินพุตสำหรับข้อมูลใหม่ที่โมเดลจะนำไปใช้ 

หรือคุณสามารถสุ่มตัวอย่างจากข้อมูลใหม่และข้อมูลการฝึกเพื่อสร้างชุดข้อมูลที่สมดุลสำหรับการฝึกโมเดล อีกวิธีหนึ่งคือการใช้เทคนิคการปรับโดเมน ซึ่งมีจุดประสงค์เพื่อปรับโมเดลให้เข้ากับการกระจายข้อมูลใหม่โดยการเรียนรู้การแมประหว่างโดเมนต้นทาง (ข้อมูลการฝึกอบรม) และโดเมนเป้าหมาย (ข้อมูลใหม่) วิธีหนึ่งในการบรรลุเป้าหมายนี้คือการใช้ การสร้างข้อมูลสังเคราะห์ อัลกอริทึม

แนวคิดดริฟท์

การเลื่อนแนวคิดเกิดขึ้นเมื่อมีการเปลี่ยนแปลงในความสัมพันธ์เชิงฟังก์ชันระหว่างข้อมูลอินพุตและเอาต์พุตของโมเดล แบบจำลองยังคงทำงานเหมือนเดิมแม้บริบทจะเปลี่ยนไปโดยไม่ทราบถึงการเปลี่ยนแปลง ดังนั้นรูปแบบที่ได้เรียนรู้ระหว่างการฝึกจึงไม่ถูกต้องอีกต่อไป

การเลื่อนแนวคิดบางครั้งเรียกว่าการเลื่อนระดับหรือการเลื่อนความน่าจะเป็นหลัง นี่เป็นเพราะมันหมายถึงการเปลี่ยนแปลงของความน่าจะเป็นระหว่างสถานการณ์ต่างๆ:

จุดที่ 1 (Y|X) ≠ จุดที่ 2 (Y|X)

การเลื่อนลอยประเภทนี้เกิดจากกระบวนการหรือเหตุการณ์ภายนอก ตัวอย่างเช่น คุณอาจมีแบบจำลองที่คาดการณ์ค่าครองชีพตามที่ตั้งทางภูมิศาสตร์ โดยป้อนข้อมูลจากภูมิภาคต่างๆ อย่างไรก็ตาม ระดับการพัฒนาของแต่ละภูมิภาคสามารถเพิ่มหรือลดได้ ซึ่งเปลี่ยนแปลงค่าครองชีพในโลกแห่งความเป็นจริง ดังนั้น ตัวแบบจึงสูญเสียความสามารถในการคาดการณ์ที่แม่นยำ 

ความหมายดั้งเดิมของ "การเลื่อนแนวคิด" คือการเปลี่ยนแปลงวิธีที่เราเข้าใจฉลากเฉพาะ ตัวอย่างหนึ่งคือสิ่งที่เราระบุว่าเป็น "สแปม" ในอีเมล ครั้งหนึ่งรูปแบบต่างๆ เช่น อีเมลจำนวนมากและบ่อยครั้งเคยถูกพิจารณาว่าเป็นสัญญาณของสแปม แต่ปัจจุบันนี้ไม่ได้เป็นเช่นนั้นเสมอไป เครื่องมือตรวจจับสแปมที่ยังคงใช้แอตทริบิวต์ที่ล้าสมัยเหล่านี้จะมีประสิทธิภาพน้อยลงเมื่อระบุสแปม เนื่องจากมีแนวคิดที่เลื่อนลอยและต้องมีการฝึกอบรมใหม่

ต่อไปนี้คือตัวอย่างเพิ่มเติมของการดริฟต์แนวคิด:

  • ผลกระทบของการเปลี่ยนแปลงรหัสภาษีในรูปแบบที่คาดการณ์การปฏิบัติตามภาษี
  • ผลกระทบของการเปลี่ยนแปลงพฤติกรรมของลูกค้าต่อแบบจำลองที่คาดการณ์ยอดขายผลิตภัณฑ์
  • ผลกระทบของวิกฤตการเงินต่อการคาดการณ์กำไรของบริษัท

Concept Drift เทียบกับ Data Drift

ด้วยการล่องลอยของข้อมูล ขอบเขตการตัดสินใจจะไม่เปลี่ยนแปลง เฉพาะการแจกแจงความน่าจะเป็นของอินพุตเท่านั้นที่เปลี่ยนแปลง – P(x) ด้วยการเลื่อนลอยของแนวคิด ขอบเขตการตัดสินใจจะเปลี่ยนไป โดยทั้งการกระจายอินพุตและเอาต์พุตจะเปลี่ยนไป – P(x) และ P(y) 

ข้อแตกต่างที่สำคัญอีกประการหนึ่งคือ การเลื่อนไหลของข้อมูลส่วนใหญ่เป็นผลมาจากปัจจัยภายใน เช่น การรวบรวมข้อมูล การประมวลผล และการฝึกอบรม แนวคิดที่เลื่อนลอยมักเป็นผลมาจากปัจจัยภายนอก เช่น สถานการณ์ในโลกแห่งความเป็นจริง

กลยุทธ์ในการตรวจจับและเอาชนะข้อมูลและการเบี่ยงเบนของแนวคิด

มีกลยุทธ์หลายอย่างที่สามารถช่วยตรวจจับและเอาชนะการเลื่อนลอยของโมเดลในระบบแมชชีนเลิร์นนิง:

  • การตรวจสอบประสิทธิภาพ: การประเมินประสิทธิภาพของโมเดล ML เป็นประจำในชุดข้อมูล Holdout หรือในการผลิตสามารถช่วยระบุการลดลงของความแม่นยำหรือเมตริกอื่นๆ ที่อาจบ่งบอกถึงการเบี่ยงเบนของโมเดล
  • อัลกอริทึมการตรวจจับข้อมูลและแนวคิด: มีอัลกอริธึมที่ออกแบบมาโดยเฉพาะสำหรับการตรวจจับการเลื่อนลอยของข้อมูล เช่น การทดสอบ Page-Hinkley หรือการทดสอบ Kolmogorov-Smirnov รวมถึงอัลกอริทึมที่ตรวจจับการเลื่อนลอยของแนวคิด เช่น อัลกอริทึม ADWIN อัลกอริทึมเหล่านี้สามารถระบุการเปลี่ยนแปลงโดยอัตโนมัติในข้อมูลอินพุตหรืองานที่อาจบ่งบอกถึงการเบี่ยงเบนของโมเดล
  • เทคนิคการป้องกันการเบี่ยงเบนของข้อมูลและแนวคิด: เทคนิคเหล่านี้สามารถช่วยป้องกันไม่ให้เกิดการเบี่ยงเบนของข้อมูลหรือแนวคิดตั้งแต่แรก ตัวอย่างเช่น การใช้การเสริมข้อมูลหรือการสร้างข้อมูลสังเคราะห์สามารถช่วยให้แน่ใจว่าโมเดล ML มีการเปิดรับข้อมูลที่กว้างและเป็นตัวแทน ซึ่งจะทำให้มีความยืดหยุ่นมากขึ้นต่อการเปลี่ยนแปลงในการกระจายข้อมูล ในทำนองเดียวกัน การใช้การเรียนรู้แบบถ่ายโอนหรือการเรียนรู้แบบมัลติทาสก์สามารถช่วยให้แบบจำลองปรับให้เข้ากับงานหรือวัตถุประสงค์ที่เปลี่ยนแปลงได้
  • การฝึกอบรมใหม่และการปรับแต่ง: หากตรวจพบการเบี่ยงเบนของโมเดล การฝึกใหม่หรือการปรับแต่งโมเดลอย่างละเอียดโดยใช้ข้อมูลใหม่สามารถช่วยแก้ปัญหาดังกล่าวได้ ซึ่งสามารถทำได้เป็นระยะๆ หรือเพื่อตอบสนองต่อการเปลี่ยนแปลงที่สำคัญในข้อมูลหรืองาน

การตรวจสอบการเบี่ยงเบนของโมเดลอย่างสม่ำเสมอและดำเนินการเชิงรุกเพื่อป้องกันหรือบรรเทา ทำให้สามารถรักษาความแม่นยำและความน่าเชื่อถือของโมเดลแมชชีนเลิร์นนิงเมื่อเวลาผ่านไป

สรุป

โดยสรุป การเลื่อนข้อมูลและการเลื่อนโมเดลเป็นปรากฏการณ์สำคัญสองประการที่อาจส่งผลต่อประสิทธิภาพของโมเดลแมชชีนเลิร์นนิง (ML) 

การเลื่อนของข้อมูล หรือที่เรียกว่า covariate shift เกิดขึ้นเมื่อการกระจายของข้อมูลอินพุตที่โมเดล ML ได้รับการฝึกแตกต่างจากการกระจายของข้อมูลอินพุตที่โมเดลนั้นนำไปใช้ การเลื่อนโมเดล หรือที่เรียกว่าการเลื่อนลอยของแนวคิด เกิดขึ้นเมื่อคุณสมบัติทางสถิติของข้อมูลที่โมเดล ML ได้รับการฝึกอบรมเกี่ยวกับการเปลี่ยนแปลงเมื่อเวลาผ่านไป 

ทั้งการเลื่อนข้อมูลและการเลื่อนโมเดลอาจทำให้โมเดลมีความแม่นยำน้อยลงหรือมีประสิทธิภาพน้อยลงในการคาดการณ์หรือตัดสินใจ และสิ่งสำคัญคือต้องทำความเข้าใจและจัดการกับปรากฏการณ์เหล่านี้เพื่อรักษาประสิทธิภาพของโมเดล ML เมื่อเวลาผ่านไป 

มีเทคนิคต่างๆ ที่สามารถใช้เพื่อเอาชนะการเลื่อนลอยของข้อมูลและการเลื่อนลอยของโมเดล รวมถึงการฝึกอบรมโมเดลใหม่เกี่ยวกับข้อมูลที่อัปเดต โดยใช้การเรียนรู้ออนไลน์หรือการเรียนรู้แบบปรับตัว และการติดตามประสิทธิภาพของโมเดลเมื่อเวลาผ่านไป

ประทับเวลา:

เพิ่มเติมจาก ข้อมูล