روندهای داده 2024: از اشتراک گذاری داده های مشترک تا عملیات مبتنی بر هوش مصنوعی - DATAVERSITY

بازنشر افلاطون

دنبال: 0

در چشم‌انداز داده‌ای که به سرعت در حال تکامل است، درک روندهای نوظهور و استقبال از پیشرفت‌های تکنولوژیکی کلیدی برای ماندن در آینده است. با نزدیک شدن به سال 2024، این مقاله به بررسی روندهای داده‌ای می‌پردازد که چشم‌انداز استراتژیک سال آینده را مشخص می‌کند.

روند: تمرکز بر داده ها Sهارینگ و Dآتا Cهمکاری

بهبود اشتراک‌گذاری داده و همکاری امن داده‌ها بین طرفین در حال تبدیل شدن به یک حوزه کلیدی است. شرکت هایی مانند Snowflake و Databricks این ایده را پذیرفته اند و در صنایع مختلف مورد توجه قرار گرفته است.

در طول دهه گذشته، دگرگونی های دیجیتال منجر به تجزیه فرآیندها و سیستم‌های تجاری به قطعات کوچکتر شده است. برخی از آن قطعات در شرکت باقی می‌مانند، در حالی که برخی دیگر به ارائه‌دهندگان خارجی واگذار می‌شوند و یک اکوسیستم پیچیده ایجاد می‌کنند. برای مثال، تلاش‌های تبدیل دیجیتالی پردازش پرداخت جهانی اکنون می‌تواند ۱۰ یا ۱۵ شرکت را تحت تأثیر قرار دهد و داده‌ها در همه این طرف‌های مختلف پخش می‌شوند. داده‌های چندین ارائه‌دهنده باید ادغام شوند تا به‌صورت کلی دیده شوند، و این یک چالش است.

بنابراین، محصولات داده به طور فزاینده‌ای حول ایده ادغام داده‌ها در طرف‌های مختلف ساخته می‌شوند. انتظار می‌رود این روند در چند سال آینده ادامه یابد و محصولات داده‌ای زیادی حول این فرآیند ساخته شوند.

روند: ظهور مش داده ها

مفهومی از مش داده در طول سه سال گذشته کشش پیدا کرده است. این دو جزء کلیدی را به منصه ظهور می رساند. ابتدا، ایده «داده‌ها به‌عنوان محصول» را معرفی می‌کند، که شامل بسته‌بندی داده‌ها در قالبی کاملاً تعریف‌شده و قابل کشف است که می‌تواند در یک مد سلف سرویس، بدون دخالت مستقیم تولیدکننده داده استفاده شود. این مفهوم نه تنها داده‌های خام، بلکه مدل‌های تحلیلی را نیز شامل می‌شود، مانند مدل‌هایی که برای ریزش مشتری یا جلوگیری از تقلب استفاده می‌شوند.

ثانیا، استفاده از پلت‌فرم‌های خود سرویس برای تولید محصولات داده، و نه برای هوش تجاری، واحدهای تجاری مختلف را قادر می‌سازد تا محصولات داده را بدون نیاز به پلتفرم‌های داده جداگانه ایجاد کنند. این کار هزینه ها را کاهش می دهد و کارایی را افزایش می دهد.

ارائه‌دهندگان فناوری بزرگ، از جمله سرویس‌های ابری مانند Azure و AWS، راه‌حل‌هایی را برای مدیریت داده‌های توزیع‌شده و پلت‌فرم‌های تحلیلی به‌صورت شبکه داده ارائه می‌کنند. این به اتصال داده‌ها در پلت‌فرم‌ها و فناوری‌های مختلف کمک می‌کند و نمای متمرکزی از چشم‌انداز داده ارائه می‌دهد.

روند: LLM ها نقش مهمی در بهبود مهندسی داده و عملیات داده ایفا خواهند کرد

AI مولد و مدل‌های زبان بزرگ (LLM) پتانسیل تغییر فضای داده را دارند. این تحول شامل استقرار مدل‌های GenAI در زیرساخت‌های داده موجود برای کارهایی مانند مهندسی داده و عملیات داده است.

حتی جالب‌تر، پتانسیل این فناوری‌ها برای حل وظایف ابتدایی، مانند نمایه‌سازی، مدل‌سازی، و یکپارچه‌سازی داده‌ها، ساده‌سازی فرآیندها، و بهبود کیفیت داده است. انتظار می رود که LLM ها نقش مهمی در بهبود مهندسی داده و عملیات داده ایفا کنند.

روند: شرکت‌ها در ابزار کشف داده و کاتالوگ داده سرمایه‌گذاری خواهند کرد

حاکمیت داده در چند سال اخیر تکامل یافته است. پیش از این، بر روی ایمن سازی داده ها و مدیریت ریسک متمرکز بود، اما از آن زمان به سمت در دسترس قرار دادن داده ها به طور گسترده و در عین حال به حداقل رساندن خطرات تغییر کرده است. مفهوم داده‌ها به‌عنوان محصول بزرگ‌ترین تغییر است، زیرا مسئولیت‌ها را به تیم‌هایی منتقل می‌کند که در حال تولید، مالکیت یا ارائه داده‌ها هستند.

شرکت‌ها در حال سرمایه‌گذاری در ابزارهای کشف داده‌ها و کاتالوگ‌های داده‌ها هستند تا داده‌های خود از جمله منابع، مالکیت، ساختار و کیفیت آن‌ها را مشاهده کنند. اکنون مدیریت داده شامل قابل مشاهده، کشف، قابل استفاده مجدد و مفید می شود.

روند: تاکید روزافزون بر کیفیت داده ها

مشاهده‌پذیری داده‌ها در دو یا سه سال گذشته محبوبیت پیدا کرده است، که ناشی از افزایش استفاده از تجزیه و تحلیل داده‌ها و نیاز به کیفیت داده است. درک دقیقی از داده‌ها در زمان اجرا ارائه می‌دهد و به سازمان‌ها کمک می‌کند جریان داده‌ها را ردیابی کنند و مسائل مربوط به کیفیت داده، مشکلات عملیاتی، و تغییرات در سیستم‌های داده را شناسایی کنند. از نظر دید و درک آنچه در جریان است، ارزش زیادی برای مهندسان و افراد عملیاتی ایجاد می‌کند.

ابزارهای مشاهده پذیری داده مانند مونت کارلو و سودا برای پاسخگویی به تقاضای فزاینده برای بهبود کیفیت داده و کارایی عملیاتی پدید آمده اند.

یکی دیگر از جنبه‌های این روند، افزایش سرمایه‌گذاری در تجزیه و تحلیل داده‌ها است. در حوزه تجزیه و تحلیل داده ها، مقدار به دست آمده به شدت به کیفیت داده های مورد تجزیه و تحلیل بستگی دارد. در نتیجه، سازمان‌ها تاکید بیشتری بر کیفیت داده‌ها دارند. در طول این فرآیند، آشکار می‌شود که بسیاری از مسائل مربوط به کیفیت داده‌ها از فقدان قوانین تجاری تعریف‌شده یا قوانین اعتبارسنجی برای داده‌ها ناشی نمی‌شوند. درعوض، مشکلات اغلب از اختلافات عملیاتی، مانند تغییرات ایجاد شده توسط افراد یا عدم دقت در داده‌های دریافتی از ارائه‌دهندگان، در میان چالش‌های عملیاتی دیگر سرچشمه می‌گیرند.

اینها پنج مورد از مهم ترین روندهای داده ای است که باید در سال 2024 از آنها آگاه بود. کدام یک را به لیست اضافه می کنید؟