מדוע הדור הבא של ניהול נתונים מתחיל בבדי נתונים

לחץ למידע נוסף על מחבר קנדל קלארק.

המנדט ל-IT לספק ערך עסקי מעולם לא היה חזק יותר. למעשה, 76% מהמנהלים מאמינים ש-IT חייב להיות שותף פעיל בפיתוח אסטרטגיה עסקית. זריזות היא המפתח להצלחה כאן. עם זאת, רוב הארגונים נפגעים מאסטרטגיות נתונים המותירות צוותים עם רגליים שטוחות כאשר השוק משתנה או מתעוררים אתגרים חדשים.

קח מערכות מובנות לניהול נתונים, למשל. אפשרות זו עבדה היטב כאשר נוף הנתונים הארגוני עצמו היה מובנה בעיקרו. אבל העולם שונה כעת, ונוף הנתונים הארגוני נשלט כעת על ידי נתונים היברידיים, מגוונים ומשתנים. הופעת האינטרנט של הדברים (IoT), העלייה בנפח הנתונים הלא מובנה, הגדלת הרלוונטיות של מקורות נתונים חיצוניים, והמגמה לקראת סביבות מרובות עננים היברידיות הן מכשולים לסיפוק כל בקשת נתונים חדשה. ה אסטרטגיית נתונים ישנה, המרוכז סביב מערכות נתונים יחסיות, שבור מיסודו. אז איך ארגונים יכולים לעבור מאסטרטגיית נתונים תגובתית לאסטרטגיית נתונים רספונסיבית?

בדי נתונים ארגוניים: הדרך קדימה

ארגונים כיום מחפשים לבנות א מארג נתונים להפעיל פרויקטים ומוצרים משותפים, חוצי-פונקציונליים ולהימלט מתזרימי עבודה תגובתיים עם בסיס דיגיטלי גמיש - ללא צורך בקריעה והחלפה. מארג נתונים שוזרים יחד נתונים מממגורות נתונים פנימיים וממקורות חיצוניים ויוצרים רשת של מידע להפעלת אפליקציות, AI וניתוח. פשוט מאוד, הם תומכים ברוחב המלא של אתגרי הנתונים בארגון המורכב והמקושר של היום.

בניגוד לטכניקות ישנות יותר של שילוב נתונים סטטי, עקרונות המפתח של מארג נתונים הם שהם יכולים:

• ענה על שאלות בלתי צפויות והתאם לדרישות חדשות
• הביאו משמעות לנתונים, מה שמוביל לתובנה טובה יותר
• אפשר שאילתות בין ממגורות נתונים ומקורות חיצוניים, ללא קשר למבנה הנתונים
• מודרניז את המערכות הקיימות כך שלא נדרש קרע והחלפה
• חבר נתונים בשכבת המחשוב, לא בשכבת האחסון, כך שניתן לחבר ממגורות נתונים מבלי ליצור ממגורות נוספות

מארג נתונים גם תומכים בחיבורי נתונים חוצי-פונקציונליים שהם המפתח ליצירת יתרון תחרותי ולהגנה עליהם ומאפשרים שיתוף פעולה ברחבי הארגון ועם שותפים חיצוניים. קח כדוגמה את האתגרים סביב חדשנות בשרשרת האספקה. מערכות נתונים קונבנציונליות של שרשרת האספקה ​​הן מרוץ ממסר, הפועלות עם מסירות ליניאריות וקישורי עמית לעמית מכוסים בין מערכות. ראינו את התוצאות הצפויות כאשר COVID-19 פגע ושרשרות האספקה ​​העולמיות קרסו. מאמץ מסוים או אפילו קריסה חלקית היה בלתי נמנע, אך ההשלכות החמירו בגלל אסטרטגיות נתונים לא נאותות שהתייחסו לשרשרת האספקה ​​כמערכת נוקשה. במציאות, שרשרת האספקה ​​היא רשת מורכבת של שחקנים שצריכים להיות מסונכרנים באופן מלא כדי להתאים לפי הצורך.

עם רשת אספקה ​​דיגיטלית המופעלת על ידי מארג נתונים, ארגונים יכולים לענות על שאלות מורכבות שקודם לכן היו עיוורים אליהן, כגון "הראה לי את כל חומרי הגלם והספקים הנלווים המעורבים בייצור של חלקה מוגמרת 123". או "איך משווים COGS למוצר A בין שני האזורים האלה?" או "אילו יצרנים סיפקו את חומרי הגלם המעורבים בתלונת לקוח זו?"

תפירת בד נתונים מוצלח מתחילה בהבנת החומרים שלו

בניגוד לגישות אחרות, מארג נתונים שוזרים יחד מערכות ואפליקציות קיימות לניהול נתונים. לכן, אין זה פלא שמארגי נתונים נתפסים במהירות כצעד הבא קדימה בהבשלת מרחב שילוב הנתונים. זה קורה כי מארג נתונים יכולים:

1. גלה משמעות נסתרת: מארג נתונים משנים את הסטטוס קוו על ידי אספקת משמעות, לא רק נתונים, ברחבי הארגון. משמעות זו שזורה יחד ממקורות רבים: נתונים ומטא נתונים, מקורות פנימיים וחיצוניים ומערכות ענן ו-on-prem. המשמעות נתפסת בתוך ועל ידי מודלים ניתנים להרחבה, המופעלים על ידי גרף ידע, כאשר כל ההקשר של כל נכס נתונים קיים וזמין במלואו, בצורה מובנת למכונה. עם מארג נתונים, אנשים ואלגוריתמים יכולים לקבל החלטות טובות יותר, תוך הפחתת הסבירות והסיכון של שימוש לרעה בנתונים או פרשנות שגויה.

2. ענה על שאלות קשות: מארג נתונים מספקים תשובות באמצעות יכולות שאילתות, חיפוש ולמידה עוצמתיות. במקום ישות סטטית המבוססת על העברה או העתקה של נתונים, פלטפורמת מארג נתונים מספקת שכבת נתונים דינמית "ניתנת לשאילתה" שאוסף תשובות מכל עבר ממגורות נתונים. אסטרטגיות שילוב נתונים קודמות הסתמכו על יצירת מודל נתונים חדש כדי לתמוך בכל מקרה שימוש חדש ולאחר מכן העברה או העתקה של נתונים כדי למלא את מודל הנתונים הזה. עם מארג נתונים, מודלים של נתונים ניתנים לשימוש חוזר, כך שכאשר מתעוררות שאלות בלתי צפויות, קל לצוותים להתאים את עצמם לצורכי העסק.

3. תמכו בפרויקטי ניהול נתונים חוצי-פונקציונליים: מארג נתונים שוזרים יחד מערכות ניהול נתונים קיימות, ומעשירים את כל האפליקציות המחוברות. הם מחליפים מערכות ישנות יותר שאספו או קיטלגו נכסים של ארגון אך לא הצליחו להפוך את הנתונים לשימושים. גם פתרונות קודמים נכשלו בין השאר בשל חוסר יכולתם להתמודד עם נתונים היברידיים, מגוונים ומשתנים אך גם בשל דחיפה ארגונית. מארג נתונים, לעומת זאת, בנויים לשיתוף פעולה, מינוף וחיבור של נכסים קיימים, והנעת זן חדש של פרויקטי ניהול נתונים צולבים.

מודרניזציה של השקעות קיימות

רובנו נזכיר כיצד אגמי נתונים החזיקו בעבר בהבטחה לרכז את נכסי הנתונים של הארגון. אבל אגמי נתונים רבים לא מצליחים לספק את ההייפ שלהם בדיוק בגלל שהם מאחזים נתונים בשכבת האחסון במקום לחבר אותם בשכבת המחשוב. הם ממנפים נתונים על סמך מיקומו ולא על סמך המשמעות העסקית שלו. כל הנחת היסוד מאחורי מארג נתונים היא ששיתוף נתונים פיזי אינו משיג כשלעצמו חיבור נתונים או מספק משמעות או הקשר. דורות קדומים יותר של מערכות אינטגרציה מבוססות אחסון כמו מחסן הנתונים מסוגלים, למעשה, אפילו פחות מאגמי נתונים, מכיוון שהם מנהלים בקלות נתונים מובנים מלכתחילה, ומשאירים את ממגורות הנתונים המובנים למחצה והבלתי מובנים ללא מענה ומנותקים לחלוטין. חברות פנו במהירות לקטלוגי נתונים כדי לנסות להתמודד עם המגוון המבלבל של נופי הנתונים שלהן רק כדי ללמוד שקטלוג לבדו לא מוביל לארגון מחובר.

While these technologies promised to end data silos, the truth is they are inevitable and exist for very good reasons. They allow for local control and governance when it is important to a particular part of the business, as some data must be stored apart from other data to comply with legal regulation or simply for legacy business reasons. Conventional data integration focused on eliminati
ng silos through mastering, migration, consolidation, or governance. But data fabrics offer a practical alternative. Rather than working against data silos, a data fabric leverages them without requiring further copies of data. Instead of replacing legacy technologies, a data fabric works alongside existing investments and improves their utility. This is because a data fabric is an architectural design that operates at the compute layer and focuses on connecting data wherever it resides and, thus, actually improves existing physically consolidated data storage assets like data lakes, data catalogs, warehouses, MDM, and others.

גרפי ידע: התפר החסר למארג נתונים מוצלח

גרפי ידע מסוגלים לייצג את המגוון והמורכבות המלאה של הנתונים הארגוניים מכיוון שהם משמשים כפורמט אוניברסלי למשמעות, ללא קשר למבנה המקור, המיקום או הפורמט של הנתונים. גרף ידע מחליף את התהליך המייגע הנוכחי לשילוב נתונים ארגוניים, הכולל בדרך כלל מיצוי, תרגום, מידול, מיפוי ולאחר מכן נע נתונים בין יישומים שונים. הקוד המותאם אישית הנדרש למידול ומיפוי הופך במהירות למסורבלת בקנה מידה גדול, ומאט את קצב החדשנות והתובנה.

גרפי ידע הם חלק בלתי נפרד ממארג נתונים יעיל, שכן הם יוצרים רשת ידע ניתנת לשימוש חוזר ומייצגים בקלות נתונים של מבנים שונים ותומכים בסכמות מרובות. יצירת הבנה סמנטית ניתנת לשאילתה ניתנת לשימוש חוזר של נתונים ארגוניים וצדדים שלישיים, גרפי ידע משמשים את הליבה של מארג הנתונים: העשרה והאצת השקעות קיימות ומתן גישה קריטית לתובנות עסקיות.

בדיוק כמו מארג רגיל שמתאים לכל מה שהוא עוטף, מארג נתונים ארגוני מונח על נכסי נתונים קיימים ומתחבר אליהם באמצעות חוטים בודדים ושוזר את המקורות הללו יחד לשכבה מאוחדת. על ידי כך, מארג נתונים למעשה מרכיבים את הערך העסקי של השקעות קיימות.

מקור: https://www.dataversity.net/why-the-next-generation-of-data-management-begins-with-data-fabrics/