The Base Rate Fallacy And Its Impact On Data Science

প্লেটো দ্বারা প্রকাশিত

অনুসরণকারী: 0

বেস রেট ফ্যালাসি এবং ডেটা সায়েন্সের উপর এর প্রভাব

লেখকের ছবি

ডেটা এবং বিভিন্ন ভেরিয়েবলের সাথে কাজ করার সময়, একটি ভেরিয়েবল বা মান অন্যটির থেকে বড় হওয়ার জন্য নির্ধারণ করা সহজ। আমরা অনুমান করতে পারি যে একটি নির্দিষ্ট ভেরিয়েবল বা ডেটা পয়েন্ট আউটপুটে বেশি প্রভাব ফেলেছিল, তবে আমরা কতটা নিশ্চিত যে অন্যান্য ভেরিয়েবলগুলির সমান প্রভাব রয়েছে?

In statistics, the base rate can be seen as probabilities of classes that are unconditional on "featural evidence". You can see the base rate as your prior probability assumption.

বেস রেট গবেষণায় গুরুত্বপূর্ণ হাতিয়ার। উদাহরণস্বরূপ, যদি আমরা একটি ফার্মাসিউটিক্যাল কোম্পানি হয়ে থাকি এবং একটি নতুন টিকা তৈরি এবং প্রেরণের প্রক্রিয়ার মধ্যে থাকি, তাহলে আমরা চিকিত্সার সাফল্যের দিকে নজর দিতে চাই৷ যদি আমাদের 4000 জন থাকে যারা এই টিকা নিতে ইচ্ছুক, এবং আমাদের বেস রেট 1/25।

এর মানে হল 160 জনের মধ্যে মাত্র 4000 জন সফলভাবে চিকিৎসার মাধ্যমে সুস্থ হবেন। ফার্মাসিউটিক্যাল জগতে, এটা খুবই কম সাফল্যের হার। এইভাবে বেস রেটগুলি গবেষণা, এবং নির্ভুলতা উন্নত করতে এবং পণ্যটি ভাল কার্য সম্পাদন করবে তা নিশ্চিত করতে ব্যবহার করা যেতে পারে।

আমরা যদি শব্দগুলিকে বিভক্ত করি তবে এটি আমাদের আরও ভাল বোঝার সুযোগ দেবে। ফ্যালাসি মানে ভুল বিশ্বাস বা ভুল যুক্তি। আমরা এখন উপরের বেস রেট আমাদের সংজ্ঞা সঙ্গে যে একত্রিত.

বেস রেট ফ্যালাসি, বেস রেট বায়াস এবং বেস রেট অবহেলা নামেও পরিচিত, সমস্ত প্রাসঙ্গিক ডেটা বিবেচনা না করে একটি নির্দিষ্ট পরিস্থিতি বিচার করার সম্ভাবনা।

বেস রেট ফ্যালাসিতে বেস রেট সম্পর্কে তথ্যের পাশাপাশি অন্যান্য প্রাসঙ্গিক তথ্য রয়েছে। এটি বিভিন্ন কারণে হতে পারে যেমন পুঙ্খানুপুঙ্খভাবে ডেটা সঠিকভাবে পরীক্ষা এবং বিশ্লেষণ না করা, বা ডেটার একটি নির্দিষ্ট অংশের পক্ষে অজ্ঞতা।

বেস রেট ফ্যালাসি কারো বিদ্যমান বেস রেট তথ্য উপেক্ষা করার প্রবণতা বর্ণনা করে, ধাক্কা দেয় এবং নতুন তথ্যের পক্ষে থাকে। এটি প্রমাণ-ভিত্তিক যুক্তির মৌলিক নিয়মের বিরুদ্ধে যায়।

You will typically hear about this happening in the financial industry. For example, investors will base their buying or sharing tactics on irrational information, which leads to fluctuation in the market - despite having the base rate to their knowledge.

তাই এখন আমরা বেস রেট এবং বেস রেট ফ্যালাসি সম্পর্কে আরও ভালভাবে বুঝতে পেরেছি। ডেটা সায়েন্সে এর প্রাসঙ্গিকতা এবং প্রভাব কী?

We’ve spoken about ‘probabilities of classes’ and ‘taking into consideration all relevant data’. If you are a data scientist, or machine learning engineer, or getting your foot in the door - you will know how important probabilities and relevant data are to producing accurate outputs, the learning process of your machine learning model and producing high-performance models.

To analyse and make predictions about data or for your machine learning model to produce accurate outputs - you need to take into consideration every bit of data. As you’re scanning through your data the first time you see it, you might consider some parts relevant and other parts irrelevant. However, this is your judgement and is not yet factual till proper analysis has taken place.

উপরে উল্লিখিত হিসাবে, প্রাথমিক বেস রেট আপনাকে সঠিকতা নিশ্চিত করতে এবং উচ্চ-পারফরম্যান্স মডেল তৈরি করতে সহায়তা করে। তাহলে আমরা কিভাবে ডেটা সায়েন্সে এটা করতে পারি?

বিভ্রান্তি ম্যাট্রিক্স

একটি বিভ্রান্তি ম্যাট্রিক্স হল একটি কর্মক্ষমতা পরিমাপ যা একটি শ্রেণিবিন্যাসের সমস্যার পূর্বাভাস ফলাফলের সারাংশ প্রদান করে। বিভ্রান্তি ম্যাট্রিক্সগুলি সমস্ত ফলাফলের উপর ভিত্তি করে: সত্য, মিথ্যা, ইতিবাচক এবং নেতিবাচক।

The confusion matrix represents our model's predictions during the testing phase. The false-negative and false-positive in the confusion matrix are examples of base rate fallacy.

True Positive (TP) - your model predicted positive and it’s positive
True Negative (TN) - your model predicted negative and it’s negative
False Positive (FP) - your model predicted positive and it’s negative
False Negative (FN) - your model predicted negative and it’s positive

একটি বিভ্রান্তি ম্যাট্রিক্স আমাদের মডেলের বৈধতা পরিমাপ করতে সাহায্য করার জন্য 5টি ভিন্ন মেট্রিক্স গণনা করতে পারে:

ভুল শ্রেণিবিন্যাস = FP + FN / TP + TN + FP + FN
যথার্থতা = TP/TP + FP
যথার্থতা = TP + TN / TP + TN + FP + FN
নির্দিষ্টতা = TN / TN + FP
সংবেদনশীলতা ওরফে রিকল = TP/TP + FN

To better understand a confusion matrix, it's better to look at a visualisation:

লেখকের ছবি

আপনি যখন এই নিবন্ধটির মধ্য দিয়ে যাচ্ছেন, আপনি সম্ভবত বেস রেট ভুলের বিভিন্ন কারণের কথা ভাবতে পারেন, যেমন সমস্ত প্রাসঙ্গিক ডেটা বিবেচনায় না নেওয়া, মানবিক ত্রুটি বা নির্ভুলতার অভাব।

যদিও এগুলি সবই সত্য এবং বেস রেট ফ্যালাসিটির কারণ যোগ করে। তারা সকলেই প্রথম স্থানে বেস রেট তথ্য উপেক্ষা করার সবচেয়ে বড় সমস্যার সাথে সম্পর্কিত। বেস রেট তথ্য প্রায়ই উপেক্ষা করা হয় কারণ এটি অপ্রাসঙ্গিক বলে বিবেচিত হয়, তবে, বেস রেট তথ্য লোকেদের অনেক সময় এবং অর্থ বাঁচাতে পারে। উপলব্ধ বেস রেট তথ্য ব্যবহার করে আপনি একটি প্রদত্ত ইভেন্ট ঘটবে কিনা সে সম্পর্কে সম্ভাব্যতা তৈরি করতে আরও সুনির্দিষ্ট হতে পারবেন।

বেস রেট তথ্য ব্যবহার করা আপনাকে বেস রেট ফ্যালাসি এড়াতে সাহায্য করবে।

Being aware of fallacies such as opinions, automatic processes, etc - will allow you to combat the issue of base rate fallacy and reduce potential errors. When you are measuring the probability of a certain event occurring, Bayesian methods can help with this to reduce the base rate fallacy.

The base rate is important in data science as it equips you with a base understanding of how to assess your study or project, and fine-tune your model - providing an overall increase in accuracy and performance.

আপনি যদি চিকিৎসা ক্ষেত্রে বেস রেট ফ্যালাসি সম্পর্কে একটি ভিডিও দেখতে চান তবে এই ভিডিওটি দেখুন: মেডিকেল টেস্ট প্যারাডক্স

নিশা আর্য একজন ডেটা সায়েন্টিস্ট, ফ্রিল্যান্স টেকনিক্যাল রাইটার এবং KDnuggets-এর কমিউনিটি ম্যানেজার। তিনি বিশেষ করে ডেটা সায়েন্স ক্যারিয়ার পরামর্শ বা টিউটোরিয়াল এবং ডেটা সায়েন্সের আশেপাশে তত্ত্ব ভিত্তিক জ্ঞান প্রদানে আগ্রহী। তিনি কৃত্রিম বুদ্ধিমত্তা মানব জীবনের দীর্ঘায়ু লাভ করতে পারে এমন বিভিন্ন উপায় অন্বেষণ করতে চান। একজন প্রখর শিক্ষার্থী, তার প্রযুক্তি জ্ঞান এবং লেখার দক্ষতা প্রসারিত করতে চাচ্ছে, অন্যদের গাইড করতে সাহায্য করার সময়।