כמו וירוס בלתי נראה, "נתונים מלוכלכים" פוגעים בעולם העסקים של היום. כלומר, נתונים לא מדויקים, לא מלאים ולא עקביים הולכים ומתרבים בעולם של ימינו המתמקד ב"ביג דאטה".
עבודה עם נתונים מלוכלכים עולה לחברות מיליוני דולרים מדי שנה. זה מקטין את היעילות והאפקטיביות של מחלקות המשתרעות על פני הארגון ומצמצם את המאמצים לגדול ולהתרחב. זה פוגע בתחרותיות, מגביר את סיכוני האבטחה ומציג בעיות ציות.
אלו שאחראים על ניהול נתונים התמודדו עם האתגר הזה במשך שנים. רבים מהכלים הזמינים כיום יכולים לטפל בבעיות של ניהול נתונים עבור צוותים מכוסים בתוך מחלקות, אך לא עבור החברה בכלל או עבור מערכות אקולוגיות רחבות יותר של נתונים. גרוע מכך, הכלים האלה בסופו של דבר יוצרים אפילו יותר נתונים שיש לנהל - וגם הנתונים האלה יכולים להתלכלך ולגרום ליותר כאבי ראש ואובדן הכנסות.
הבנת נתונים מלוכלכים
נתונים מלוכלכים מתייחס לכל נתון שהוא מטעה, משוכפל, שגוי או לא מדויק, עדיין לא משולב, מפר כללים עסקיים, חסר עיצוב אחיד או מכיל שגיאות בסימני פיסוק או איות.
כדי להבין עד כמה נתונים מלוכלכים הפכו נפוצים בכל מקום בעשורים האחרונים, דמיינו את התרחיש הבא:
מלווים בבנק גדול מתבלבלים כשהם מגלים שכמעט כל לקוחות הבנק הם אסטרונאוטים. בהתחשב בכך שלנאס"א יש רק א כמה עשרות אסטרונאוטים, זה לא הגיוני.
לאחר חקירה נוספת, מחלקת ההלוואות מגלה שפקידי בנק שפותחים חשבונות חדשים הכניסו "אסטרונאוט" לתחום עיסוק הלקוחות. המלווים לומדים שתיאור התפקיד אינו רלוונטי לעמיתיהם האחראים על חשבונות חדשים. קציני הבנק בחרו ב"אסטרונאוט", האפשרות הזמינה הראשונה, פשוט כדי לעבור מהר יותר ביצירת חשבונות חדשים.
עם זאת, המלווים חייבים לרשום את העיסוקים הנכונים של הלקוחות שלהם כדי לקבל את הבונוסים השנתיים שלהם. כדי לתקן את המצב מפתחת מחלקת ההלוואות מסד נתונים נפרד משלה. הם יוצרים קשר עם כל לקוח, לומדים את העיסוק הנכון ומכניסים אותו למסד הנתונים שלהם.
כעת, לבנק יש שני מאגרי מידע עם אותו מידע בעצם, מלבד תחום אחד. אם מחלקה שלישית רוצה לגשת למידע באותם מסדי נתונים, לא קיימת מערכת כדי לקבוע איזה מסד נתונים מדויק. אז, המחלקה השלישית עשויה גם ליצור מסד נתונים משלה.
תרחישים דומים התרחשו בארגונים ברחבי הארץ במשך עשרות שנים.
מטמנות דיגיטליות צומחות
הצרות החלו בשנות ה-1990 עם ה טרנספורמציה דיגיטלית בּוּם. חברות פרסו תוכנה ארגונית כדי לשפר את התהליכים העסקיים שלהן. מוצרי תוכנה כשירות מ-Salesforce, למשל, אפשרו דרכים טובות יותר לניהול מערכות מכירות ושיווק.
אבל 30 שנה מאוחר יותר, תשתית עתיקה כזו הביאה לסיוט של ניהול נתונים. ממגורות נתונים שונות עם חבילות של מידע משוכפל, חלקי ושגוי מפלפל את הנוף הארגוני והמגזר הציבורי. ממגורות אלו מורכבות מתחומי עסקים, גיאוגרפיות ופונקציות שבהתאמה הן בבעלותן ומפקחות על מקורות הנתונים שלהן.
מעבר לכך, יצירת הנתונים גדלה באופן אקספוננציאלי במהלך העשורים. כל תהליך עסקי מצריך כעת תוכנה משלו, המייצרת נתונים מתמידים. יישומים מתעדים כל פעולה בבסיסי הנתונים המקוריים שלהם, ומכשולים לכריית נכסי הנתונים החדשים שנוצרו צצו.
בעשורים הקודמים, אוצר המילים המגדיר נתונים היה ספציפי לתהליך העסקי שיצר אותם. מהנדסים נאלצו לתרגם את הלקסיקונים האלה למילונים נפרדים עבור המערכות שצורכות את הנתונים. ערבויות איכות בדרך כלל לא היו קיימות. כמו בדוגמה של האסטרונאוט לעיל, נתונים שהיו ניתנים לשימוש על ידי פונקציה עסקית אחת לא היו שמישים על ידי אחרים. והנגישות לנתונים מתהליכים עסקיים מקוריים הייתה מוגבלת, במקרה הטוב, עבור פונקציות שאולי היו משיגות אופטימיזציה אחרת.
חידת ההעתקה
כדי לפתור בעיה זו, המהנדסים החלו ליצור עותקים של מסדי נתונים מקוריים מכיוון שעד לאחרונה זו הייתה האפשרות הטובה ביותר שקיימת. לאחר מכן, הם שינו את העותקים האלה כדי לעמוד בדרישות של הפונקציה הצורכת, תוך החלת כללי איכות נתונים והיגיון תיקון בלעדי לפונקציה הצורכת. הם יצרו עותקים רבים והעמיסו אותם למספר מחסני נתונים ומערכות ניתוח.
התוצאה? הצפה של עותקי מערך נתונים שנקראים כ"מלוכלכים" בחלקים מסוימים של הארגון, מה שגורם לבלבול לגבי איזה עותק הוא הנכון. לחברות יש היום מאות עותקים של נתוני מקור במאגרי נתונים תפעוליים, מסדי נתונים, מחסני נתונים, אגמי נתונים, ארגזי חול אנליטיים וגיליונות אלקטרוניים בתוך מרכזי נתונים ועננים מרובים. עם זאת, לקציני ההסברה הראשיים ולקציני הנתונים הראשיים אין שליטה על מספר העותקים שנוצרו או ידע על איזו גרסה מייצגת מקור אמיתי לאמת.
שלל מוצרי תוכנת Data Governance זמינים כדי לעשות קצת סדר בבלאגן הזה. אלה כוללים קטלוגים של נתונים, מערכות מדידת איכות נתונים ופתרון בעיות, מערכות ניהול נתוני התייחסות, מערכות ניהול נתונים מאסטר, גילוי שושלת נתונים ומערכות ניהול.
אבל התרופות האלה יקרות ודורשות זמן. פרויקט טיפוסי של ניהול נתונים מאסטר לשילוב נתוני לקוחות ממספר מקורות נתונים מקווי מוצרים שונים יכול לקחת שנים ולעלות מיליוני דולרים. במקביל, נפח הנתונים המלוכלכים גדל במהירויות העולות על המאמצים הארגוניים להתקנת בקרות וממשל.
גישות אלו רצופות פגמים. הם מסתמכים על תהליכים ידניים, היגיון פיתוח או כללים עסקיים כדי לבצע את המשימות של מלאי, מדידה ותיקון הנתונים.
משחזר שליטה
שלוש טכנולוגיות מתפתחות מתאימות ביותר להתמודדות עם המצוקה הנוכחית: ממשל נתונים מונע בינה מלאכותית ולמידת מכונה, פלטפורמות הדדיות סמנטיות כגון גרפי ידע ומערכות הפצת נתונים כגון ספרי חשבונות מבוזרים:
1. פתרונות Data Governance מונעי בינה מלאכותית ולמידת מכונה להפחית את התלות באנשים ובקוד. בינה מלאכותית ולמידת מכונה מחליפות עבודה ידנית בפעולות הכוללות תיוג אוטומטי, ארגון ופיקוח על מרחבים אדירים של נתונים. שינוי והגירה של ניהול נתונים מפחיתים את עלויות ה-IT. ארגונים עשויים גם לבנות ארכיטקטורות חזקות ובת קיימא יותר המעודדות איכות נתונים בקנה מידה.
2. גרפי ידע לאפשר יכולת פעולה הדדית מקורית של נכסי נתונים שונים כך שניתן לשלב ולהבין מידע בפורמט משותף. על ידי מינוף אונטולוגיות סמנטיות, ארגונים יכולים להגן על עתיד נתונים עם הקשר ופורמט משותף לשימוש חוזר על ידי מספר בעלי עניין.
3. ספרי חשבונות מחולקים, פרטיות דיפרנציאלית, ווירטואליזציה לבטל את הצורך בהעתקה פיזית של נתונים. ספרי חשבונות מבוזרים כוללים מסדי נתונים מאוחדים ומפושטים הניתנים לשימוש בין יחידות עסקיות וארגונים. פרטיות דיפרנציאלית מאפשרת להסוות נתונים כדי לעמוד בדרישות התאימות, ובו זמנית לשתף אותם עם מחזיקי עניין. וירטואליזציה מאפשרת ספינינג של נתונים בסביבה וירטואלית ולא פיזית.
ברגע שמנהלי מערכות מידע ו-CDO מבינים ששורש הבעיה הוא תשתית מדור קודם שיוצרת ממגורות נתונים, הם עשויים לשפר את הארכיטקטורות הבסיסיות ואסטרטגיות תשתית הנתונים.
נתונים מלוכלכים מגבילים את יכולתו של ארגון לקבל החלטות מושכלות ולפעול בדייקנות ובזריזות. ארגונים חייבים להשתלט על הנתונים שלהם ולעודד יכולת פעולה הדדית של נתונים, איכות ונגישות. פעולה זו תספק יתרונות תחרותיים ותמחוק פרצות אבטחה ותאימות.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://www.dataversity.net/overcoming-a-world-awash-in-dirty-data/
- :הוא
- $ למעלה
- a
- יכולת
- אודות
- מֵעַל
- גישה
- נגישות
- חשבונות
- מדויק
- הושג
- לרוחב
- פעולה
- פעולות
- כתובת
- לדבוק
- יתרונות
- AI
- תעשיות
- ניתוח
- ו
- שנתי
- מדי שנה
- בנפרד
- יישומים
- מריחה
- גישות
- ARE
- AS
- נכסים
- אַסטרוֹנָאוּט
- At
- זמין
- בנק
- BE
- כי
- להיות
- החל
- הטוב ביותר
- מוטב
- בונוסים
- בום
- להביא
- רחב
- לִבנוֹת
- עסקים
- תהליך עסקי
- תהליכים עסקיים
- by
- CAN
- קטלוגים
- גורם
- מרכזים
- לאתגר
- תשלום
- רֹאשׁ
- קוד
- משולב
- Common
- חברות
- חברה
- תחרותי
- התחרותיות
- הענות
- בלבול
- בהתחשב
- צור קשר
- הקשר
- לִשְׁלוֹט
- בקרות
- עותקים
- משותף
- עלות
- עלויות
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- נוֹכְחִי
- כיום
- לקוח
- נתוני לקוחות
- לקוחות
- נתונים
- מרכז נתונים
- תשתית נתונים
- ניהול נתונים
- איכות נתונים
- מחסני נתונים
- מסד נתונים
- מאגרי מידע
- קושי
- עשרות שנים
- החלטות
- הגדרה
- מַחלָקָה
- מחלקות
- תלות
- פרס
- תיאור
- לקבוע
- צעצועי התפתחות
- מפתחת
- אחר
- לגלות
- מגלה
- תגלית
- שונה
- מופץ
- - מפוצלות
- הפצה
- עושה
- דולר
- תריסר
- כל אחד
- מערכות אקולוגיות
- יְעִילוּת
- יְעִילוּת
- מַאֲמָצִים
- מתעורר
- טכנולוגיות מתפתחות
- מופעל
- לעודד
- מהנדסים
- מִפְעָל
- תוכנה ארגונית
- סביבה
- שגיאות
- למעשה
- אֲפִילוּ
- כל
- דוגמה
- בלעדי
- לבצע
- קיים
- יקר
- חקירה
- אקספוננציאלית
- שדה
- ראשון
- פגמים
- הבא
- בעד
- פוּרמָט
- בתדירות גבוהה
- החל מ-
- פונקציה
- פונקציות
- נוסף
- נוצר
- דור
- גיאוגרפיות
- ממשל
- גרפים
- לתפוס
- לגדול
- ערבויות
- יש
- כאבי ראש
- המארח
- איך
- אולם
- HTTPS
- מאות
- לשפר
- in
- לֹא מְדוּיָק
- לכלול
- גדל
- גדל
- מידע
- קציני מידע
- הודעה
- תשתית
- להתקין
- למשל
- לשלב
- משולב
- יכולת פעולה הדדית
- סוגיה
- בעיות
- IT
- שֶׁלָה
- עבודה
- ידע
- גָדוֹל
- לִלמוֹד
- למידה
- ספרנים
- מוֹרֶשֶׁת
- המלווים
- הַשׁאָלָה
- מינוף
- מוגבל
- גבולות
- קווים
- את
- מכונה
- למידת מכונה
- עשוי
- לעשות
- עושה
- לנהל
- הצליח
- ניהול
- מדריך ל
- עבודה ידנית
- רב
- שיווק
- מסכה
- מסיבי
- אב
- מאי..
- מדידת
- יכול
- הֲגִירָה
- מיליונים
- כרייה
- יותר
- המהלך
- מספר
- נאס"א
- ארצי
- יליד
- צורך
- לא זה ולא זה
- חדש
- מספר
- מכשולים
- להשיג
- מקצוע
- of
- קצינים
- on
- ONE
- פתיחה
- להפעיל
- מבצעי
- אופטימיזציה
- אפשרות
- להזמין
- ארגון
- אִרְגוּנִי
- ארגונים
- ארגון
- מְקוֹרִי
- אחרים
- אַחֶרֶת
- תוֹצָאָה
- שֶׁלוֹ
- חלקים
- אֲנָשִׁים
- גופני
- פיזית
- מכות
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- שיחק
- אפשרי
- דיוק
- מתנות
- קודם
- פְּרָטִיוּת
- בעיה
- בעיות
- תהליך
- תהליכים
- המוצר
- מוצרים
- פּרוֹיֶקט
- מגזר ציבורי
- איכות
- במקום
- חומר עיוני
- לאחרונה
- לאחרונה
- שיא
- להפחית
- להחליף
- מייצג
- דרישות
- החלטה
- בהתאמה
- אחראי
- שימוש חוזר
- הכנסה
- סיכונים
- חָסוֹן
- שורש
- כללי
- מכירות
- מכירות ושיווק
- כוח מכירות
- אותו
- ארגז חול
- סולם
- תרחיש
- תרחישים
- אבטחה
- סיכוני אבטחה
- בחירה
- תחושה
- נפרד
- שיתוף
- בפשטות
- בו זמנית
- מצב
- So
- תוכנה
- לפתור
- כמה
- מָקוֹר
- מקורות
- ספציפי
- מהירויות
- בעלי עניין
- חנויות
- אסטרטגיות
- כזה
- בר קיימא
- מערכת
- מערכות
- לקחת
- משימות
- צוותי
- טכנולוגיות
- זֶה
- השמיים
- המידע
- שֶׁלָהֶם
- אותם
- אלה
- שְׁלִישִׁי
- זמן
- ל
- היום
- של היום
- גַם
- כלים
- טרנספורמציה
- טרנספורמציה
- לתרגם
- צרה
- אמת
- טיפוסי
- בדרך כלל
- נמצא בכל מקום
- תחת
- בְּסִיסִי
- להבין
- הבין
- יחידות
- שָׁמִישׁ
- גרסה
- וירטואלי
- וירוס
- כֶּרֶך
- פגיעויות
- דרכים
- אשר
- בזמן
- יצטרך
- עם
- בתוך
- תיק עבודות
- עוֹלָם
- שנים
- זפירנט