فهم تأثير البيانات السيئة – تنوع البيانات

هل تعرف تكاليف ضعف جودة البيانات؟ أدناه، أستكشف أهمية إمكانية ملاحظة البيانات، وكيف يمكن أن تخفف من مخاطر البيانات السيئة، وطرق قياس عائد الاستثمار. من خلال فهم تأثير البيانات السيئة وتنفيذ استراتيجيات فعالة، يمكن للمؤسسات تعظيم فوائد مبادرات جودة البيانات الخاصة بها. 

أصبحت البيانات جزءًا لا يتجزأ من عملية صنع القرار الحديثة، وبالتالي فإن جودة البيانات لها أهمية قصوى لضمان قيام أصحاب المصلحة في الأعمال بالتوصل إلى استنتاجات دقيقة. 

ولكن هنا تكمن المشكلة التي سيخبرك بها كل قائد بيانات حديث: إدارة جودة البيانات أمر صعب. يستغرق وقتا وجهدا. علاوة على ذلك، غالبًا ما يكون من الصعب قياس عائد الاستثمار (ROI). 

ما مدى سوء البيانات السيئة؟

البيانات السيئة يمكن أن تؤدي إلى خسائر مالية كبيرة. تشير تقديرات مؤسسة جارتنر إلى أن ضعف جودة البيانات يكلف المؤسسات كل عام ما متوسطه 12.9 مليون دولار. في عام 2022 ، برامج الوحدة أعلنت عن خسارة قدرها 110 مليون دولار في الإيرادات و 4.2 مليار دولار في القيمة السوقية. وذكرت الشركة "عواقب استيعاب بيانات سيئة من عميل كبير". وبالمثل، تسببت البيانات السيئة Equifax، وهي وكالة تقارير ائتمانية متداولة علنًا، لإرسال درجات ائتمان غير دقيقة للمقرضين ملايين من العملاء. وفي الآونة الأخيرة، تسببت حادثة تتعلق بالبيانات في تعطيل كبير للحركة الجوية في المملكة المتحدة وإيرلندا. يُذكر أنه تم إلغاء أكثر من 2,000 رحلة جوية، ما أدى إلى تقطع السبل بمئات الآلاف من المسافرين، وتقدر الخسائر المالية المتراكمة لشركات الطيران بنحو 126.5 مليون دولار.

الآثار المترتبة على البيانات السيئة 

البيانات هي جوهر كل الأعمال التجارية الحديثة. تتمثل المسؤولية الرئيسية لفريق البيانات في بناء وصيانة منتجات البيانات التي يتم تقديمها للعملاء داخليًا وخارجيًا، مع السماح للمؤسسة بتوسيع نطاق أهدافها وتحقيقها. 

عندما يتعلق الأمر بضمان أن مبادرات البيانات الخاصة بالمؤسسة مهيأة للنجاح، يمكن تلخيص بعض التوقعات الأساسية من فريق البيانات على النحو التالي:

• مدة التشغيل: البيانات هي خدمة، وبالتالي فإن ضمان توفرها عند الحاجة إليها هو أمر أساسي.
• الأمن: الامتثال للوائح (مثل اللائحة العامة لحماية البيانات أو HIPAA). الفريق مسؤول عن تنفيذ التدابير والممارسات لحماية المعلومات الحساسة والحفاظ على خصوصية البيانات.
• الموثوقية: لكل من البيانات ومنصة البيانات. يتم تغطية جزء من هذا من خلال وقت التشغيل، ولكن أيضًا جودة البيانات ودقتها بمعناها التقليدي. 
• مقياس: يجب أن تسمح منصة البيانات بقابلية التوسع لاستيعاب أحجام البيانات المتزايدة، وعدد حالات الاستخدام، واحتياجات الأعمال.
• الابتكار: يجب أن تقود البيانات الابتكار، وهذا هو المجال الذي من المهم فيه أن يقود فريق البيانات بالقدوة من خلال جلب الابتكار إلى ممارسات البيانات وخارجها. 

تحقيق جودة البيانات من خلال إمكانية ملاحظة البيانات

تعد إمكانية ملاحظة البيانات حلاً لمراقبة صحة البيانات والحفاظ عليها بشكل استباقي طوال دورة حياتها. من خلال تنفيذ تقنيات التسجيل والتتبع والمراقبة، تحصل المؤسسات على رؤية لتدفقات البيانات، وتحديد مشكلات جودة البيانات واستكشاف مشكلاتها وإصلاحها بسرعة، ومنع انقطاع لوحات المعلومات التحليلية. محو الأمية البياناتيعد استخدام البيانات، التي تتضمن تحديد مصادر البيانات وتفسيرها وتوصيلها، أمرًا ضروريًا لصانعي القرار لترجمة البيانات إلى قيمة تجارية بشكل فعال. تعد تنمية الثقافة القائمة على البيانات والاستثمار في الأدوات المناسبة خطوات حاسمة نحو تحقيق جودة البيانات من خلال إمكانية ملاحظة البيانات. 

قياس عائد الاستثمار من إمكانية ملاحظة البيانات

يساعد قياس عائد الاستثمار لإمكانية ملاحظة البيانات قادة الأعمال على فهم القيمة والفوائد المرتبطة بالاستثمار في هذه الممارسة. يمكن أن تكون العديد من المقاييس القابلة للقياس الكمي بمثابة نقطة بداية لتقييم تكلفة البيانات السيئة، بما في ذلك معدل حدوث أو عدد الحوادث سنويًا، ووقت الاكتشاف، ووقت الحل.

تأثير قضايا جودة البيانات يمكن أن تختلف تبعا لحجم وتعقيد العمليات التجارية. من أجل تقييم الضرر وبناء حالة قوية لحل إمكانية ملاحظة البيانات، نقترح خمسة مقاييس رئيسية يمكن لممارسي البيانات تنفيذها ومراقبتها بسهولة والتي يمكن استخدامها لدعم الحالة داخليًا:

1. عدد الحوادث وتكرارها: في حين أن بعض الشركات قد تواجه حوادث تتعلق بالبيانات بشكل يومي، فقد تمر شركات أخرى أيامًا - إن لم يكن أسابيع - دون حدوث مثل هذه الحوادث. يمكن أن تختلف خطورة هذه الحوادث من شيء "بسيط"، مثل البيانات القديمة المرتبطة بلوحة معلومات لم يستخدمها أحد على مر العصور، إلى مشكلة تكرار البيانات التي تتسبب في زيادة تحميل الخادم وتعطله في النهاية (قصة حقيقية، نيتفليكس 2016). نجد أنها غالبًا ما تكون مرتبطة بما يلي: حجم وتعقيد منصة البيانات، وصناعة الشركة (بعض الصناعات بطبيعتها أكثر نضجًا للبيانات من غيرها)، ونوع بنية البيانات (مركزية، لا مركزية، هجينة)، وما إلى ذلك. إن توثيق الحوادث سيعطي للحصول على فكرة أفضل عما يجب البحث عنه في المرة القادمة، غالبًا ما تكون الحوادث المتكررة مؤشرًا جيدًا على أن شيئًا ما تحته يحتاج إلى اهتمام وثيق.  
2. تصنيف الحادث: ليست كل حوادث البيانات بنفس الخطورة؛ قد يكون بعضها بسيطًا ويمكن تخفيفه بسهولة، بينما يمكن أن يكون للبعض الآخر عواقب وخيمة. يعد توثيق مدى خطورة الحوادث أمرًا مهمًا لضمان التصعيد المناسب وتحديد الأولويات. هذا هو المكان الذي يمكن أن يكون فيه نسب البيانات مفيدًا، لأنه يسمح بتقييم التأثير النهائي للحادث لفهم مدى أهميته بشكل أفضل. من المرجح أن تكون الحادثة المرتبطة بلوحة المعلومات المفضلة للرئيس التنفيذي، أو قاعدة بيانات الإنتاج، أو منتج بيانات مهم، ذات أهمية عالية. 
3. متوسط ​​الوقت للكشف (MTTD): عندما يتعلق الأمر ببناء الثقة في البيانات وفريق البيانات، فإن كابوس كل ممارس للبيانات هو عندما يكون أصحاب المصلحة في الأعمال أول من يكتشف مشكلات جودة البيانات. يمكن أن يضر ذلك بمصداقية الفريق وقدرة الشركة على الاعتماد على البيانات حقًا. عندما تبدأ في توثيق الحوادث وتصنيف مدى أهميتها، من المهم أيضًا تتبع كيفية اكتشافها والوقت الذي استغرقه فريق البيانات للاعتراف بها. يمكن أن يكون هذا المقياس مؤشرًا جيدًا على مدى قوة إدارة الحوادث لديك، ولكن تقليله يعني أيضًا أنك تقلل من خطر تسبب الحادث في مزيد من الضرر. 
4. متوسط ​​الوقت حتى القرار (MTTR): ماذا يحدث بمجرد الإبلاغ عن حادثة؟ MTTR هو متوسط ​​الوقت المستغرق بين التعرف على حادثة البيانات وحلها. يتأثر وقت الحل بشكل كبير بمدى خطورة الحادث وتعقيد منصة البيانات، ولهذا السبب نفكر في المتوسط ​​لغرض هذا الإطار.
5. متوسط ​​الوقت للإنتاج (MTTP) هو متوسط ​​الوقت المستغرق لشحن منتجات بيانات جديدة، أو بعبارة أخرى، متوسط ​​الوقت اللازم لتسويق منتجات البيانات. قد يكون هذا هو الوقت الذي يقضيه المحلل في "تنظيف" البيانات لنموذج علم البيانات. في الواقع، وفقا ل الشرق الأوسطيمثل إعداد البيانات حوالي 80٪ من عمل علماء البيانات. في عالم نريد فيه التعامل مع البيانات كمنتج، يمكن أن يكون لتحسين جودة البيانات تأثير مباشر على تقليل الوقت اللازم للوصول إلى السوق. 

بالإضافة إلى المقاييس القابلة للقياس المذكورة أعلاه، فإن المقاييس الأخرى التي لا يمكن قياسها بسهولة ولكن بنفس القدر من الأهمية تستحق النظر عند النظر في تكلفة البيانات السيئة.

• تآكل الثقة: في البيانات و فريق البيانات. وهذا، في رأيي، هو أخطر نتيجة للبيانات السيئة، والتي يمكن أن تؤدي إلى مشكلات أكبر مثل معدل دوران فريق البيانات أو فقدان الثقة في قدرة الشركة على الاعتماد على البيانات ومواكبة المشهد الرقمي المتطور. وعندما تنكسر الثقة، فمن الصعب جدًا استعادتها. في تجربة سابقة، عملت مع مستهلكي البيانات الذين يفضلون عدم استخدام البيانات ويفضلون الاعتماد على "الخبرة" و"الشعور الغريزي" في بيئة تداول الأسهم المتقلبة للغاية بدلاً من استخدامها مع العلم أن لديها فرصة كبيرة لأن تكون غير دقيقة. . 

• الخسارة في الإنتاجية: ومع البيانات السيئة، تضطر الفرق إلى مكافحة الأخطاء وتصحيح الأخطاء عند ظهورها. إن مكافحة الحرائق المستمرة هذه ليست مرهقة فحسب، بل تؤدي أيضًا إلى نتائج عكسية. إن الوقت الثمين الذي يمكن إنفاقه على التخطيط الاستراتيجي ومبادرات النمو يتم إهداره في استكشاف الأخطاء وإصلاحها، وتحويل الموارد من المهام الأكثر أهمية.

• المخاطر التنظيمية والمخاطر المتعلقة بالسمعة: يمكن أن تؤدي الأخطاء في التقارير المالية أو سوء التعامل مع البيانات الشخصية إلى غرامات باهظة ومعارك قانونية. ويشكل التعامل مع قضايا الامتثال استنزافا كبيرا للإنتاجية، ناهيك عن العبء المالي الذي تفرضه.

• ضعف أداء الأعمال: بالإضافة إلى فقدان الإنتاجية داخل فريق البيانات، يمكن أن تعيق البيانات السيئة الأداء العام للأعمال حيث تكافح الشركة من أجل الاستعداد الرقمي والمصداقية أمام عملائها، وتصبح عرضة للتهديدات الخارجية. 

يمكن أن تؤدي مشكلات جودة البيانات إلى مشكلات مختلفة، بما في ذلك فقدان الثقة في البيانات، وانخفاض إنتاجية الفريق ومعنوياته، وعدم الامتثال للوائح، وانخفاض جودة اتخاذ القرار. تجعل البيانات المنعزلة داخل الأقسام أو وحدات الأعمال من الصعب الحصول على رؤية شاملة لمشهد بيانات المؤسسة. يمكن أن يؤدي ذلك إلى اتخاذ قرارات غير فعالة، وإعاقة ثقافة البيانات، وتعريض الامتثال للوائح مثل اللائحة العامة لحماية البيانات (GDPR) وقانون HIPAA للخطر. علاوة على ذلك، يمكن أن تشعر فرق البيانات بالإحباط بسبب قضاء وقت طويل في استكشاف مشكلات البيانات وإصلاحها، مما يؤثر سلبًا على رضاهم الوظيفي وربما يؤدي إلى الاستغناء عن الموظفين. 

قاعدة 1×10×100

تؤكد قاعدة 1x10x100، وهي مبدأ معترف به على نطاق واسع في إدارة الحوادث، على التكاليف المتصاعدة المرتبطة بجودة البيانات السيئة. وفقًا لهذه القاعدة، تبلغ تكلفة معالجة مشكلة جودة البيانات عند نقطة الإدخال تقريبًا 1x التكلفة الأصلية. إذا لم يتم اكتشاف المشكلة وانتشرت داخل النظام، فستزيد التكلفة إلى حوالي 10 أضعاف، مما يتضمن جهود التصحيح والمعالجة. ومع ذلك، إذا وصلت جودة البيانات الرديئة إلى المستخدم النهائي أو مرحلة اتخاذ القرار، فقد ترتفع التكلفة بشكل مذهل إلى 100 ضعف التكلفة الأولية بسبب عواقب الأعمال الكبيرة، بما في ذلك الاضطرابات التشغيلية والفرص الضائعة واستياء العملاء. تؤكد هذه القاعدة على التأثير الهائل لجودة البيانات السيئة، مما يجعل من الضروري للمؤسسات الاستثمار في إمكانية ملاحظة البيانات، مما يساعد في إبقاء المشكلات، في حالة حدوثها، أقرب إلى السبب الجذري مقابل المصب.

وفي الختام

تؤثر مشكلات جودة البيانات بشكل كبير على الشركات، مما يؤدي إلى إهدار الموارد وضياع الفرص. يعد الاستثمار في إمكانية ملاحظة البيانات أمرًا ضروريًا لمنع وتخفيف المخاطر المرتبطة بالبيانات السيئة. ومن خلال الاستفادة من المقاييس القابلة للقياس الكمي والنظر في العوامل غير القابلة للقياس، يمكن للمؤسسات قياس عائد الاستثمار من إمكانية ملاحظة البيانات وإظهار قيمتها لصناع القرار. يعد ضمان ثقة البيانات، وتعزيز اتخاذ القرارات الفعالة في المجال، والامتثال للوائح، وتعزيز فريق البيانات الراضي، كلها جوانب مهمة لتعظيم فوائد مبادرات جودة البيانات. يعد تبني إمكانية ملاحظة البيانات استثمارًا استراتيجيًا يضمن دقة البيانات وموثوقيتها واستخدامها في عالم اليوم القائم على البيانات. 

تتمتع المؤسسات التي تبني ممارسة غنية للمراقبة برؤية أكبر لبيئاتها المتشابكة، وهو ما يترجم إلى انقطاعات أقل، وحل أسرع للمشكلات، وثقة أكبر في موثوقية تطبيقاتها - وفي النهاية، المزيد من الإيرادات وعملاء أكثر سعادة.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://www.dataversity.net/putting-a-number-on-bad-data/