Veri Kayması ve Konsept Kayması: Fark Nedir?

Model kayması, bir makine öğrenimi modelinin performansı zamanla düştüğünde meydana gelen olguyu ifade eder. Bu, veri dağıtım değişiklikleri, modelin amaç veya hedeflerindeki değişiklikler veya modelin çalıştığı ortamdaki değişiklikler dahil olmak üzere çeşitli nedenlerle olur. iki ana var model kayması türleri meydana gelebilecek: veri kayması ve kavram kayması.

Veri kayması, modelin uygulandığı verilerin değişen dağılımını ifade eder. Konsept sapması, model için değişen bir temel amacı veya hedefi ifade eder. Hem veri kayması hem de kavram kayması, bir sistemin performansında düşüşe yol açabilir. makine öğrenme modeli.

Model kayması, yanlış veya güvenilmez tahminlere veya kararlara yol açabileceğinden, gerçek dünya ortamlarında dağıtılan makine öğrenimi sistemleri için önemli bir sorun olabilir. Model sapmasını ele almak için, makine öğrenimi modellerinin zaman içindeki performansını sürekli olarak izlemek ve modeli yeni veriler üzerinde yeniden eğitmek veya modelin parametrelerini ayarlamak gibi, bunu önlemek veya hafifletmek için adımlar atmak önemlidir. Bu izleme ve ayarlama sistemleri, bir sistemin ayrılmaz bir parçası olmalıdır. yazılım dağıtım sistemi ML modelleri için.

Konsept Sapması ve Veri Kayması: Fark Nedir?

Veri Kayması

Veri kayması veya ortak değişken kayması, veri girdilerinin dağılımının bir makine öğrenimi modeli modelin uygulandığı veri girişlerinin dağılımından farklılıklar konusunda eğitilmiştir. Bu, modelin tahminlerde veya kararlarda daha az doğru veya etkili olmasına neden olabilir.

Veri kaymasının matematiksel bir gösterimi şu şekilde ifade edilebilir:

P(x|y) ≠ P(x|y')

P(x|y), verilen çıktı verileri (y) için girdi verilerinin olasılık dağılımını (x) ifade eder ve P(x|y'), yeni veriler için çıktı verileri verildiğinde girdi verilerinin olasılık dağılımını ifade eder. hangi modelin uygulandığı (y').

Örneğin, bir ML modelinin belirli bir perakende mağazasından alınan müşteri verileri veri kümesi üzerinde eğitildiğini ve modelin bir müşterinin yaşına, gelirine ve konumuna göre bir satın alma yapıp yapmayacağını tahmin etmek için kullanıldığını varsayalım. 

Modele beslenen yeni veriler için girdi verilerinin dağılımı (yaş, gelir ve konum), eğitim veri kümesindeki girdi verilerinin dağılımından önemli ölçüde farklıysa, bu, verilerin kaymasına ve modelin daha az doğru olmasına neden olabilir.

Veri Sürüklenmesinin Üstesinden Gelmek

Veri kaymasının üstesinden gelmenin bir yolu, veri dağılımlarındaki farklılıkları ayarlamak için ağırlıklandırma veya örnekleme gibi teknikleri kullanmaktır. Örneğin, eğitim veri kümesindeki örnekleri, modelin uygulanacağı yeni veriler için girdi verisi dağılımıyla daha yakından eşleştirmek üzere ağırlıklandırabilirsiniz. 

Alternatif olarak, modeli eğitmek için dengeli bir veri kümesi oluşturmak üzere yeni verilerden ve eğitim verilerinden örnekleme yapabilirsiniz. Başka bir yaklaşım, kaynak alan (eğitim verileri) ile hedef alan (yeni veriler) arasında bir eşleme öğrenerek modeli yeni veri dağılımına uyarlamayı amaçlayan alan uyarlama tekniklerini kullanmaktır. Bunu başarmanın bir yolu kullanmaktır sentetik veri üretimi algoritmaları.

Konsept Drift

Kavram kayması, bir modelin girdi ve çıktı verileri arasındaki işlevsel ilişkide bir değişiklik olduğunda meydana gelir. Model, değişen bağlama rağmen, değişikliklerden habersiz aynı şekilde çalışmaya devam eder. Bu nedenle, eğitim sırasında öğrendiği kalıplar artık doğru değildir.

Kavram kayması bazen sınıf kayması veya sonsal olasılık kayması olarak da adlandırılır. Bunun nedeni, farklı durumlar arasındaki olasılıklardaki değişiklikleri ifade etmesidir:

Nokta1 (Y|X) ≠ Nokta2 (Y|X)

Bu tür sürüklenme, dış süreçler veya olaylardan kaynaklanır. Örneğin, girdi olarak farklı bölgeleri kullanarak, coğrafi konuma dayalı yaşam maliyetini tahmin eden bir modeliniz olabilir. Ancak, her bölgenin gelişmişlik düzeyi gerçek dünyada yaşamanın maliyetini değiştirerek artabilir veya azalabilir. Böylece, model doğru tahmin yapma yeteneğini kaybeder. 

"Kavram kayması"nın orijinal anlamı, belirli etiketleri anlama biçimimizdeki bir değişikliktir. Bir örnek, e-postalarda "istenmeyen posta" olarak etiketlediğimiz şeydir. Sık, toplu e-postalar gibi kalıplar bir zamanlar spam belirtileri olarak görülüyordu, ancak bugün durum her zaman böyle değil. Hala bu eski öznitelikleri kullanan istenmeyen e-posta algılayıcıları, kavram sapmaları olduğundan ve yeniden eğitim gerektirdiklerinden, istenmeyen postaları tespit etmede daha az etkili olacaktır.

İşte daha fazla kavram kayması örneği:

• Vergi kanunundaki değişikliklerin vergi uyumunu öngören bir model üzerindeki etkisi
• Gelişen müşteri davranışının ürün satışlarını tahmin eden bir model üzerindeki etkisi
• Finansal krizin bir şirketin kârına ilişkin tahminler üzerindeki etkisi

Kavram Sapması ve Veri Kayması

Veri kayması ile karar sınırı değişmez; sadece girdilerin olasılık dağılımı değişir – P(x). Kavram sapması ile karar sınırı değişir, hem girdi hem de çıktı dağılımı değişir - P(x) ve P(y). 

Diğer bir önemli fark, veri kaymasının esas olarak veri toplama, işleme ve eğitim gibi dahili faktörlerin sonucu olmasıdır. Konsept kayması tipik olarak gerçek dünyadaki durum gibi dış etkenlerden kaynaklanır.

Verileri ve Konsept Kaymalarını Tespit Etme ve Üstesinden Gelme Stratejileri

Bir makine öğrenimi sisteminde model sapmasının saptanmasına ve üstesinden gelinmesine yardımcı olabilecek çeşitli stratejiler vardır:

• Performans izleme: Tutma veri kümesinde veya üretimde makine öğrenimi modelinin performansını düzenli olarak değerlendirmek, model kaymasını gösterebilecek doğruluk veya diğer ölçümlerdeki herhangi bir düşüşü belirlemeye yardımcı olabilir.
• Veri ve kavram kayması algılama algoritmaları: Page-Hinkley testi veya Kolmogorov-Smirnov testi gibi veri kaymasını tespit etmek için özel olarak tasarlanmış algoritmaların yanı sıra ADWIN algoritması gibi kavram kaymasını tespit eden algoritmalar vardır. Bu algoritmalar, girdi verilerindeki veya görevdeki model kaymasını gösterebilecek değişiklikleri otomatik olarak tanımlayabilir.
• Veri ve kavram kaymasını önleme teknikleri: Bu teknikler, veri veya kavram kaymasının daha baştan oluşmasını önlemeye yardımcı olabilir. Örneğin, veri artırmayı veya sentetik veri oluşturmayı kullanmak, bir makine öğrenimi modelinin geniş, temsili bir veri aralığına maruz kalmasını sağlamaya yardımcı olabilir ve bu da onu veri dağılımındaki değişimlere karşı daha dirençli hale getirebilir. Benzer şekilde, transfer öğrenmeyi veya çoklu görev öğrenmeyi kullanmak, modelin değişen bir göreve veya hedefe uyum sağlamasına yardımcı olabilir.
• Yeniden eğitim ve ince ayar: Model kayması tespit edilirse, modelin yeni veriler üzerinde yeniden eğitilmesi veya ince ayarının yapılması bunun üstesinden gelmeye yardımcı olabilir. Bu, periyodik olarak veya verilerdeki veya görevdeki önemli değişikliklere yanıt olarak yapılabilir.

Model sapmasını düzenli olarak izleyerek ve bunu önlemek veya hafifletmek için proaktif adımlar atarak, makine öğrenimi modellerinin zaman içinde doğruluğunu ve güvenilirliğini korumak mümkündür.

Sonuç

Sonuç olarak, veri kayması ve model kayması, makine öğrenimi (ML) modellerinin performansını etkileyebilecek iki önemli olgudur. 

Ortak değişken kayması olarak da bilinen veri kayması, bir makine öğrenimi modelinin üzerinde eğitildiği girdi verilerinin dağılımı, modelin uygulandığı girdi verilerinin dağılımından farklı olduğunda ortaya çıkar. Kavram kayması olarak da bilinen model kayması, bir makine öğrenimi modelinin eğitildiği verilerin istatistiksel özellikleri zaman içinde değiştiğinde ortaya çıkar. 

Hem veri kayması hem de model kayması, modelin tahminlerde veya kararlar vermede daha az doğru veya etkili olmasına yol açabilir ve bir makine öğrenimi modelinin performansını zaman içinde sürdürmek için bu olguları anlamak ve ele almak önemlidir. 

Güncellenmiş veriler üzerinde modeli yeniden eğitmek, çevrimiçi öğrenmeyi veya uyarlamalı öğrenmeyi kullanmak ve modelin zaman içindeki performansını izlemek dahil olmak üzere, veri sürüklenmesinin ve model kaymasının üstesinden gelmek için kullanılabilecek çeşitli teknikler vardır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
• Kaynak: https://www.dataversity.net/data-drift-vs-concept-drift-what-is-the-difference/