Tren Data 2024: Dari Berbagi Data Kolaboratif Hingga Operasi Berbasis AI - DATAVERSITY

Diterbitkan Ulang Oleh Plato

Followers: 0

Dalam lanskap data yang berkembang pesat, memahami tren yang muncul dan menerima kemajuan teknologi adalah kunci untuk tetap menjadi yang terdepan. Menjelang tahun 2024, artikel ini mengeksplorasi tren data yang akan menentukan lanskap strategis untuk tahun mendatang.

Tren: Fokus pada Data Sikan haring dan Data Ckerjasama

Meningkatkan berbagi data dan mengamankan kolaborasi data antar pihak menjadi salah satu bidang utama. Perusahaan seperti Snowflake dan Databricks menerima ide ini, dan ide ini mendapatkan daya tarik di berbagai industri.

Selama dekade terakhir, transformasi digital telah menyebabkan terpecahnya proses dan sistem bisnis menjadi bagian-bagian yang lebih kecil. Beberapa dari hal tersebut tetap berada di dalam perusahaan, sementara yang lain dialihdayakan ke penyedia eksternal, sehingga menciptakan ekosistem yang kompleks. Misalnya, upaya transformasi digital pemrosesan pembayaran global kini dapat menjangkau 10 atau 15 perusahaan, dan data tersebar ke berbagai pihak. Data dari beberapa penyedia perlu diintegrasikan agar dapat dilihat secara holistik, dan ini merupakan sebuah tantangan.

Oleh karena itu, produk data semakin banyak dibuat berdasarkan gagasan menggabungkan data dari berbagai pihak. Tren ini diperkirakan akan terus berlanjut selama beberapa tahun ke depan, dan banyak produk data akan dibuat berdasarkan proses ini.

Tren: Bangkitnya Data Mesh

Konsep jaring data telah mendapatkan daya tarik selama tiga tahun terakhir. Ini mengedepankan dua komponen utama. Pertama, hal ini memperkenalkan gagasan “data sebagai produk”, yang melibatkan pengemasan data dalam format yang terdefinisi dengan baik dan dapat ditemukan serta dapat digunakan dengan cara layanan mandiri, tanpa keterlibatan langsung dari produsen data. Konsep ini tidak hanya mencakup data mentah tetapi juga model analitis, seperti yang digunakan untuk churn pelanggan atau pencegahan penipuan.

Kedua, penggunaan platform layanan mandiri untuk memproduksi produk data, bukan untuk intelijen bisnis, memungkinkan berbagai unit bisnis membuat produk data tanpa memerlukan platform data terpisah. Hal ini mengurangi biaya dan meningkatkan efisiensi.

Penyedia teknologi besar, termasuk layanan cloud seperti Azure dan AWS, mulai mengejar ketertinggalan dan menawarkan solusi untuk mengelola data terdistribusi dan platform analitik dengan cara data mesh. Hal ini membantu menghubungkan data di berbagai platform dan teknologi, sehingga memberikan tampilan lanskap data yang terpusat.

Tren: LLM Akan Memainkan Peran Penting dalam Meningkatkan Rekayasa Data dan Operasi Data

AI generatif dan model bahasa besar (LLM) berpotensi mentransformasi ruang data. Transformasi ini mencakup penerapan model GenAI dalam infrastruktur data yang ada untuk tugas-tugas seperti rekayasa data dan operasi data.

Yang lebih menarik lagi adalah potensi teknologi ini untuk menyelesaikan tugas-tugas dasar, seperti pembuatan profil, pemodelan, dan pengintegrasian data, menyederhanakan proses, serta meningkatkan Kualitas Data. LLM diharapkan memainkan peran penting dalam meningkatkan rekayasa data dan operasi data.

Tren: Perusahaan Akan Berinvestasi pada Alat Penemuan Data dan Katalog Data

Tata Kelola Data telah berkembang selama beberapa tahun terakhir. Sebelumnya, hal ini berfokus pada pengamanan data dan pengelolaan risiko, namun kini telah beralih ke penyediaan data secara luas dan meminimalkan risiko. Konsep data sebagai produk merupakan perubahan terbesar karena mengalihkan tanggung jawab kepada tim yang memproduksi, memiliki, atau menyajikan data.

Perusahaan berinvestasi pada alat penemuan data dan katalog data untuk mendapatkan visibilitas data mereka, termasuk sumber, kepemilikan, struktur, dan kualitasnya. Tata Kelola Data kini melibatkan pembuatan data yang terlihat, dapat ditemukan, dapat digunakan kembali, dan berguna.

Tren: Meningkatnya Penekanan pada Kualitas Data

Observabilitas data semakin populer dalam dua atau tiga tahun terakhir, didorong oleh meningkatnya penggunaan analisis data dan kebutuhan akan Kualitas Data. Hal ini memberikan pemahaman terperinci tentang data pada waktu proses, membantu organisasi melacak aliran data dan mengidentifikasi masalah Kualitas Data, masalah operasional, dan perubahan pada sistem data. Hal ini memberikan banyak manfaat bagi para teknisi dan staf operasional dalam hal visibilitas dan pemahaman tentang apa yang sedang terjadi.

Alat observasi data seperti Monte Carlo dan Soda hadir untuk memenuhi permintaan yang terus meningkat akan peningkatan Kualitas Data dan efisiensi operasional.

Aspek lain dari tren ini adalah meningkatnya investasi dalam analisis data. Dalam bidang analisis data, nilai yang diperoleh sangat bergantung pada kualitas data yang dianalisis. Akibatnya, organisasi semakin menekankan Kualitas Data. Selama proses ini, terlihat jelas bahwa banyak masalah Kualitas Data bukan berasal dari tidak adanya aturan bisnis atau aturan validasi data yang jelas. Sebaliknya, masalah sering kali berasal dari perbedaan operasional, seperti perubahan yang dilakukan oleh individu atau ketidakakuratan data yang diterima dari penyedia, dan tantangan operasional lainnya.

Inilah lima tren data terpenting yang harus diperhatikan pada tahun 2024. Manakah yang akan Anda tambahkan ke dalam daftar?