درک تأثیر داده های بد – DATAVERSITY

آیا از هزینه های کیفیت پایین داده ها اطلاع دارید؟ در زیر، اهمیت مشاهده‌پذیری داده‌ها، نحوه کاهش خطرات داده‌های بد و راه‌های اندازه‌گیری ROI آن را بررسی می‌کنم. با درک تأثیر داده‌های بد و اجرای استراتژی‌های مؤثر، سازمان‌ها می‌توانند مزایای طرح‌های کیفی داده‌های خود را به حداکثر برسانند. 

داده ها به بخشی جدایی ناپذیر از تصمیم گیری مدرن تبدیل شده اند، و بنابراین، کیفیت داده ها برای اطمینان از اینکه سهامداران کسب و کار نتیجه گیری دقیق می کنند، بسیار مهم است. 

اما این چیزی است که هر رهبر داده مدرن به شما می گوید: مدیریت کیفیت داده ها سخت است. نیازمند زمان و تلاش است. علاوه بر این، ROI (بازده سرمایه گذاری) اغلب به سختی قابل اندازه گیری است. 

داده های بد چقدر بد هستند؟

داده های بد می تواند منجر به زیان های مالی قابل توجهی شود. گارتنر تخمین می زند که هر ساله کیفیت پایین داده ها به طور متوسط ​​برای سازمان ها هزینه دارد 12.9 میلیون دلار. در سال 2022، نرم افزار وحدت از دست دادن 110 میلیون دلار درآمد و 4.2 میلیارد دلار از ارزش بازار خود خبر داد. این شرکت اظهار داشت: «عواقب دریافت اطلاعات بد از یک مشتری بزرگ». به طور مشابه، داده های بد باعث شد Equifax، یک آژانس گزارش اعتباری که به صورت عمومی معامله می شود، برای ارسال امتیازهای اعتباری نادرست به وام دهندگان میلیون ها نفر از مشتریان اخیراً، یک حادثه داده‌ای باعث اختلال شدید در ترافیک هوایی بریتانیا و ایرلند شد. گزارش شده است که بیش از 2,000 پرواز لغو شده است که باعث سرگردانی صدها هزار مسافر شده است، زیان مالی انباشته به خطوط هوایی 126.5 میلیون دلار برآورد شده است.

پیامدهای داده های بد 

داده ها در قلب هر کسب و کار مدرن قرار دارند. مسئولیت کلیدی تیم داده ساخت و نگهداری محصولات داده ای است که در داخل و خارج به مشتریان ارائه می شود و در عین حال به سازمان اجازه می دهد تا اهداف خود را مقیاس بندی و برآورده کند. 

وقتی نوبت به حصول اطمینان از اینکه ابتکارات داده سازمان برای موفقیت آماده است، برخی از انتظارات پایه از یک تیم داده را می توان به صورت زیر خلاصه کرد:

• Uptime: داده ها یک سرویس هستند و بنابراین اطمینان از در دسترس بودن آن ها در صورت نیاز کلیدی است.
• امنیت: مطابقت با مقررات (مانند GDPR یا HIPAA). این تیم مسئول اجرای اقدامات و اقدامات برای محافظت از اطلاعات حساس و حفظ حریم خصوصی داده ها است.
• قابلیت اطمینان: هم از داده ها و هم از بستر داده. بخشی از این موضوع با آپ تایم پوشانده می شود، اما کیفیت و دقت داده ها به معنای سنتی آنها نیز پوشش داده می شود. 
• مقیاس: پلتفرم داده باید مقیاس پذیری را برای تطبیق با حجم رو به رشد داده، تعداد موارد استفاده و نیازهای کسب و کار فراهم کند.
• نوآوری: داده ها باید نوآوری را هدایت کنند، و این منطقه ای است که در آن مهم است که تیم داده با آوردن نوآوری به شیوه های داده و خارج از آن، الگوی خود باشد. 

دستیابی به کیفیت داده از طریق مشاهده پذیری داده ها

مشاهده پذیری داده راه حلی برای نظارت فعال و حفظ سلامت داده ها در طول چرخه عمر آن است. با اجرای تکنیک‌های ثبت، ردیابی و نظارت، سازمان‌ها در جریان داده‌ها دیده می‌شوند، مشکلات کیفیت داده‌ها را به سرعت شناسایی و عیب‌یابی می‌کنند و از اختلال در داشبوردهای تحلیلی جلوگیری می‌کنند. سواد دادهکه شامل منبع یابی، تفسیر و انتقال داده ها می شود، برای تصمیم گیرندگان ضروری است تا داده ها را به طور موثر به ارزش تجاری تبدیل کنند. پرورش فرهنگ داده محور و سرمایه گذاری بر روی ابزارهای مناسب، گام های مهمی برای دستیابی به کیفیت داده از طریق مشاهده پذیری داده ها است. 

کمی کردن ROI مشاهده پذیری داده ها

اندازه گیری بازگشت سرمایه مشاهده پذیری داده ها به رهبران کسب و کار کمک می کند تا ارزش و مزایای مرتبط با سرمایه گذاری در این روش را درک کنند. چندین معیار قابل اندازه‌گیری می‌توانند به عنوان نقطه شروعی برای ارزیابی هزینه داده‌های بد، از جمله میزان وقوع یا تعداد حوادث در سال، زمان شناسایی و زمان حل، عمل کنند.

تاثیر مشکلات کیفیت داده ها بسته به اندازه و پیچیدگی عملیات تجاری می تواند متفاوت باشد. به منظور ارزیابی آسیب و ایجاد یک مورد قوی برای راه‌حل مشاهده‌پذیری داده، ما پنج معیار کلیدی را پیشنهاد می‌کنیم که متخصصان داده می‌توانند به راحتی آن‌ها را پیاده‌سازی و نظارت کنند که می‌تواند برای پشتیبانی داخلی از یک مورد استفاده شود:

1. تعداد و فراوانی حوادث: در حالی که برخی از شرکت‌ها ممکن است به صورت روزانه حوادث داده را تجربه کنند، برخی دیگر ممکن است روزها - اگر نه هفته‌ها - بدون آن اتفاق بیفتند. بحرانی بودن رویدادها می تواند از چیزهای "جزئی" متفاوت باشد، مانند داده های قدیمی مرتبط با داشبوردی که هیچ کس در گذشته از آن استفاده نکرده است، تا مشکل تکثیر داده ها که باعث شارژ بیش از حد سرور و در نهایت از کار افتادن آن می شود.داستان واقعی، نتفلیکس 2016). ما متوجه می‌شویم که اغلب به این موارد مرتبط است: اندازه و پیچیدگی پلت فرم داده، صنعت شرکت (بعضی از صنایع ذاتا بالغ‌تر از سایرین هستند)، نوع معماری داده (متمرکز، غیرمتمرکز، ترکیبی) و غیره. ایده بهتر در مورد اینکه دفعه بعد چه چیزی را باید جستجو کرد، حوادث مکرر اغلب نشانگر خوبی هستند که چیزی در زیر آن نیاز به توجه بیشتر دارد.  
2. طبقه بندی حوادث: همه حوادث داده ها از شدت یکسانی برخوردار نیستند. برخی ممکن است جزئی باشند و به راحتی قابل کاهش باشند، در حالی که برخی دیگر می توانند عواقب جدی داشته باشند. مستندسازی بحرانی بودن حوادث برای اطمینان از تشدید و اولویت بندی مناسب مهم است. این جایی است که خط داده می تواند ابزاری باشد، زیرا به ارزیابی تأثیر پایین دست حادثه اجازه می دهد تا بحرانی بودن را بهتر درک کند. حادثه ای که به داشبورد مورد علاقه مدیر عامل، یا پایگاه داده تولید یا یک محصول داده مهم مرتبط است، احتمالاً از اهمیت بالایی برخوردار است. 
3. میانگین زمان تشخیص (MTTD): وقتی صحبت از ایجاد اعتماد به داده ها و تیم داده می شود، کابوس هر متخصص داده زمانی است که ذینفعان کسب و کار اولین کسانی هستند که مسائل مربوط به کیفیت داده را تشخیص می دهند. این واقعاً می تواند به اعتبار تیم و توانایی شرکت برای تبدیل شدن به داده محور واقعی آسیب برساند. همانطور که شروع به مستندسازی وقایع و طبقه‌بندی بحرانی بودن آنها می‌کنید، مهم است که نحوه شناسایی آنها و مدت زمانی که تیم داده‌ها آن‌ها را تأیید می‌کنند نیز پیگیری کنید. این معیار می تواند نشانگر خوبی از استحکام مدیریت حادثه شما باشد، اما کاهش آن به این معنی است که خطر آسیب بیشتر را کاهش می دهید. 
4. میانگین زمان تا وضوح (MTTR): پس از گزارش یک حادثه چه اتفاقی می افتد؟ MTTR میانگین زمان صرف شده بین آگاهی از یک حادثه داده و حل آن است. زمان رزولوشن تا حد زیادی تحت تاثیر بحرانی بودن حادثه و پیچیدگی پلت فرم داده است، به همین دلیل است که ما میانگین را برای هدف این چارچوب در نظر می گیریم.
5. میانگین زمان تولید (MTTP) میانگین زمان لازم برای ارسال محصولات داده جدید یا به عبارت دیگر میانگین زمان برای بازاریابی محصولات داده است. این می تواند زمانی باشد که یک تحلیلگر صرف «تمیز کردن» داده ها برای مدل علم داده می کند. در واقع، با توجه به فوربس، آماده سازی داده ها حدود 80 درصد از کار دانشمندان داده را تشکیل می دهد. در دنیایی که می‌خواهیم داده‌ها را به عنوان یک محصول در نظر بگیریم، بهبود کیفیت داده‌ها می‌تواند تأثیر مستقیمی بر کاهش زمان عرضه به بازار داشته باشد. 

علاوه بر معیارهای قابل اندازه‌گیری بالا، معیارهای دیگری که به راحتی قابل اندازه‌گیری نیستند اما به همان اندازه مهم هستند، ارزش توجه به هزینه داده‌های بد را دارند.

• از بین رفتن اعتماد: در داده ها و تیم داده به نظر من این خطرناک‌ترین پیامد داده‌های بد است که می‌تواند منجر به مسائل بزرگ‌تری مانند گردش مالی در تیم داده یا از دست دادن اعتماد به توانایی شرکت برای تبدیل شدن به داده‌محور و همگام شدن با چشم‌انداز دیجیتال در حال تحول شود. و هنگامی که اعتماد شکسته شود، بازیابی آن بسیار سخت است. در تجربه قبلی، من روی مصرف‌کنندگان داده کار کردم که ترجیح می‌دهند از داده‌ها استفاده نکنند و ترجیح می‌دهند به «تجربه» و «احساس درونی» در یک محیط معاملاتی سهام بسیار بی‌ثبات تکیه کنند تا اینکه از آن استفاده کنند چون می‌دانستند که شانس بالایی برای نادرست بودن دارد. . 

• کاهش بهره وری: با داده‌های بد، تیم‌ها مجبور به مبارزه با آتش و تصحیح خطاها به محض بروز می‌شوند. این آتش نشانی مداوم نه تنها طاقت فرسا است بلکه نتیجه معکوس نیز دارد. زمان ارزشمندی که می‌توان صرف برنامه‌ریزی استراتژیک و ابتکارات رشد کرد، برای عیب‌یابی تلف می‌شود و منابع را از وظایف حیاتی‌تر منحرف می‌کند.

• ریسک نظارتی و اعتباری: اشتباهات در گزارشگری مالی یا سوء استفاده از داده های شخصی می تواند منجر به جریمه های پرهزینه و مبارزات قانونی شود. پرداختن به مسائل مربوط به انطباق، کاهش قابل توجهی بر بهره وری دارد، بدون توجه به بار مالی آنها.

• عملکرد ضعیف تجاری: علاوه بر از دست دادن بهره وری در تیم داده، داده های بد می تواند عملکرد کلی کسب و کار را مختل کند زیرا شرکت با آمادگی و اعتبار دیجیتال در مقابل مشتریان خود دست و پنجه نرم می کند و در برابر تهدیدات خارجی آسیب پذیر می شود. 

مسائل مربوط به کیفیت داده ها می تواند منجر به مشکلات مختلفی از جمله از دست دادن اعتماد به داده ها، کاهش بهره وری و روحیه تیم، عدم رعایت مقررات و کاهش کیفیت تصمیم گیری شود. داده‌های مخفی شده در بخش‌ها یا واحدهای تجاری، دستیابی به دیدگاهی جامع از چشم‌انداز داده‌های سازمان را چالش برانگیز می‌سازد. این می‌تواند منجر به تصمیم‌گیری ناکارآمد، مانع فرهنگ داده‌ها و به خطر افتادن انطباق با مقرراتی مانند GDPR و HIPAA شود. علاوه بر این، تیم‌های داده می‌توانند با صرف زمان زیاد برای عیب‌یابی مشکلات داده‌ها ناامید شوند، که بر رضایت شغلی آنها تأثیر منفی می‌گذارد و به طور بالقوه منجر به ریزش کارکنان می‌شود. 

قانون 1x10

قانون 1×10، یک اصل شناخته شده در مدیریت حوادث، بر هزینه های فزاینده مرتبط با کیفیت بد داده ها تأکید دارد. طبق این قانون، هزینه پرداختن به یک مشکل کیفیت داده در نقطه ورود تقریباً 100 برابر هزینه اصلی است. اگر مشکل شناسایی نشود و در داخل سیستم منتشر شود، هزینه به حدود 1 برابر افزایش می‌یابد که مستلزم تلاش‌های اصلاحی و اصلاحی است. با این حال، اگر کیفیت پایین داده به مرحله کاربر نهایی یا تصمیم‌گیری برسد، به دلیل پیامدهای تجاری مهم، از جمله اختلالات عملیاتی، فرصت‌های از دست رفته و نارضایتی مشتری، هزینه می‌تواند به 10 برابر هزینه اولیه افزایش یابد. این قانون بر تأثیر تصاعدی کیفیت بد داده تأکید می‌کند، و سرمایه‌گذاری در مشاهده‌پذیری داده‌ها را برای سازمان‌ها ضروری می‌سازد، که کمک می‌کند مشکلات، در صورت بروز، نزدیک‌تر به علت اصلی در مقابل پایین‌دستی باشند.

نتیجه

مسائل مربوط به کیفیت داده ها به طور قابل توجهی بر مشاغل تأثیر می گذارد و منجر به هدر رفتن منابع و فرصت های از دست رفته می شود. سرمایه گذاری روی قابلیت مشاهده داده ها برای جلوگیری و کاهش خطرات مرتبط با داده های بد ضروری است. با استفاده از معیارهای قابل اندازه‌گیری و در نظر گرفتن عوامل غیرقابل اندازه‌گیری، سازمان‌ها می‌توانند ROI مشاهده‌پذیری داده‌ها را اندازه‌گیری کنند و ارزش آن را برای تصمیم‌گیرندگان نشان دهند. اطمینان از اعتماد به داده ها، ارتقای تصمیم گیری موثر در حوزه، پیروی از مقررات، و پرورش یک تیم داده راضی، همه جنبه های حیاتی برای به حداکثر رساندن مزایای طرح های کیفیت داده ها هستند. پذیرش مشاهده پذیری داده ها یک سرمایه گذاری استراتژیک است که از دقت، قابلیت اطمینان و استفاده از داده ها در دنیای داده محور امروزی محافظت می کند. 

سازمان‌هایی که یک روش مشاهده‌پذیری غنی ایجاد می‌کنند، دید بیشتری در محیط‌های در هم تنیده‌شان دارند، که منجر به قطعی‌های کمتر، حل سریع‌تر مشکلات، اعتماد بیشتر به قابلیت اطمینان برنامه‌هایشان - و در نهایت، درآمد بیشتر و مشتریان راضی‌تر می‌شود.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://www.dataversity.net/putting-a-number-on-bad-data/