Memahami Dampak Data Buruk - DATAVERSITY

Memahami Dampak Data Buruk – DATAVERSITY

Stempel Waktu: 19 Januari 2024 3
Node Sumber: 3070625

Tahukah Anda dampak buruknya kualitas data? Di bawah ini, saya mengeksplorasi pentingnya observabilitas data, bagaimana hal ini dapat memitigasi risiko data yang buruk, dan cara mengukur ROI-nya. Dengan memahami dampak data buruk dan menerapkan strategi yang efektif, organisasi dapat memaksimalkan manfaat dari inisiatif kualitas data mereka. 

Data telah menjadi bagian integral dari pengambilan keputusan modern, dan oleh karena itu, kualitas data sangat penting untuk memastikan bahwa pemangku kepentingan bisnis membuat kesimpulan yang akurat. 

Namun inilah kesimpulan yang akan disampaikan oleh setiap pemimpin data modern kepada Anda: Manajemen kualitas data itu sulit. Ini membutuhkan waktu dan usaha. Selain itu, ROI (laba atas investasi) seringkali sulit diukur. 

Seberapa Burukkah Data yang Buruk?

Data yang buruk dapat menyebabkan kerugian finansial yang signifikan. Gartner memperkirakan bahwa setiap tahun, kualitas data yang buruk menyebabkan kerugian rata-rata bagi organisasi $ 12.9 juta. Pada tahun 2022, Perangkat Lunak Persatuan melaporkan kerugian pendapatan $110 juta dan kapitalisasi pasar $4.2 miliar. “Konsekuensi menerima data buruk dari pelanggan dalam jumlah besar,” kata perusahaan itu. Demikian pula halnya dengan data buruk Equifax, agen pelaporan kredit publik, untuk mengirimkan nilai kredit yang tidak akurat kepada pemberi pinjaman jutaan pelanggan. Baru-baru ini, insiden data menyebabkan gangguan besar pada lalu lintas udara di Inggris dan Irlandia. Dilaporkan bahwa lebih dari 2,000 penerbangan dibatalkan, menyebabkan ratusan ribu pelancong terdampar, dan akumulasi kerugian finansial bagi maskapai penerbangan diperkirakan mencapai $126.5 juta.

Implikasi Data Buruk 

Data adalah jantung dari setiap bisnis modern. Tanggung jawab utama tim data adalah membangun dan memelihara produk data yang disajikan kepada pelanggan secara internal dan eksternal, sekaligus memungkinkan organisasi untuk meningkatkan skala dan mencapai tujuannya. 

Dalam hal memastikan bahwa inisiatif data organisasi siap untuk sukses, beberapa ekspektasi dasar dari tim data dapat diringkas sebagai berikut:

  • Waktu aktif: Data adalah sebuah layanan, oleh karena itu memastikan data tersedia saat dibutuhkan adalah kuncinya.
  • Keamanan: Kepatuhan terhadap peraturan (seperti GDPR atau HIPAA). Tim ini bertanggung jawab atas penerapan tindakan dan praktik untuk melindungi informasi sensitif dan menjaga privasi data.
  • Keandalan: Baik dari data maupun platform data. Sebagian dari hal ini tidak hanya mencakup waktu aktif, tetapi juga kualitas dan keakuratan data dalam pengertian tradisionalnya. 
  • Skala: Platform data harus memungkinkan skalabilitas untuk mengakomodasi pertumbuhan volume data, jumlah kasus penggunaan, dan kebutuhan bisnis.
  • Inovasi: Data harus mendorong inovasi, dan ini adalah area yang penting bagi tim data untuk memberi contoh dengan membawa inovasi ke dalam dan di luar praktik data. 

Mencapai Kualitas Data Melalui Observabilitas Data

Observabilitas data adalah solusi untuk memantau dan menjaga kesehatan data secara proaktif sepanjang siklus hidupnya. Dengan menerapkan teknik logging, penelusuran, dan pemantauan, organisasi mendapatkan visibilitas ke dalam aliran data, dengan cepat mengidentifikasi dan memecahkan masalah kualitas data, dan mencegah gangguan pada dasbor analitik. Literasi data, yang melibatkan pencarian sumber, interpretasi, dan komunikasi data, sangat penting bagi pengambil keputusan untuk menerjemahkan data menjadi nilai bisnis secara efektif. Menumbuhkan budaya berbasis data dan berinvestasi pada alat yang tepat merupakan langkah penting untuk mencapai kualitas data melalui observasi data. 

Mengukur ROI Observabilitas Data

Mengukur ROI dari observasi data membantu para pemimpin bisnis memahami nilai dan manfaat yang terkait dengan investasi dalam praktik ini. Beberapa metrik yang dapat diukur dapat berfungsi sebagai titik awal untuk mengevaluasi dampak dari data yang buruk, termasuk tingkat kejadian atau jumlah insiden per tahun, waktu deteksi, dan waktu penyelesaian.

Dampak dari masalah kualitas data dapat bervariasi tergantung pada ukuran dan kompleksitas operasi bisnis. Untuk menilai kerusakan dan membangun argumen yang kuat untuk solusi observasi data, kami mengusulkan lima metrik utama yang dapat diterapkan dan dipantau dengan mudah oleh praktisi data yang dapat digunakan untuk mendukung kasus secara internal:

  1. Jumlah dan frekuensi insiden: Meskipun beberapa perusahaan mungkin mengalami insiden data setiap hari, perusahaan lain mungkin memerlukan waktu berhari-hari – bahkan berminggu-minggu – tanpa insiden tersebut. Tingkat keparahan insiden dapat bervariasi, mulai dari sesuatu yang “kecil”, seperti data basi yang terhubung ke dasbor yang sudah lama tidak digunakan oleh siapa pun, hingga masalah duplikasi data yang menyebabkan server membayar terlalu mahal dan akhirnya mati (kisah nyata,Netflix 2016). Kami menemukan bahwa hal ini sering dikaitkan dengan: ukuran dan kompleksitas platform data, industri perusahaan (beberapa industri secara inheren lebih matang dalam hal data dibandingkan yang lain), jenis arsitektur data (terpusat, terdesentralisasi, hibrid), dll. gambaran yang lebih baik tentang apa yang harus dicari jika terjadi insiden lagi, kejadian yang berulang sering kali merupakan indikator yang baik bahwa ada sesuatu yang perlu mendapat perhatian lebih.  
  2. Klasifikasi insiden: Tidak semua insiden data memiliki tingkat keparahan yang sama; beberapa di antaranya mungkin kecil dan mudah diatasi, sementara yang lainnya dapat menimbulkan konsekuensi yang serius. Mendokumentasikan betapa pentingnya suatu insiden penting untuk memastikan eskalasi dan penentuan prioritas yang tepat. Di sinilah silsilah data dapat berperan penting, karena memungkinkan penilaian dampak hilir dari insiden tersebut untuk lebih memahami pentingnya hal tersebut. Sebuah insiden yang terkait dengan dasbor favorit CEO, atau database produksi, atau produk data penting kemungkinan besar memiliki tingkat kekritisan yang tinggi. 
  3. Waktu rata-rata untuk terdeteksi (MTTD): Dalam hal membangun kepercayaan pada data dan tim data, mimpi buruk setiap praktisi data adalah ketika pemangku kepentingan bisnis adalah pihak pertama yang mendeteksi masalah kualitas data. Hal ini dapat sangat merusak kredibilitas tim dan kemampuan perusahaan untuk benar-benar berbasis data. Saat Anda mulai mendokumentasikan insiden dan mengklasifikasikan tingkat keparahannya, penting juga untuk melacak bagaimana insiden tersebut terdeteksi dan waktu yang diperlukan tim data untuk mengenalinya. Metrik ini dapat menjadi indikator yang baik mengenai ketangguhan manajemen insiden Anda, namun dengan menguranginya berarti Anda mengurangi risiko bahwa insiden tersebut dapat menyebabkan lebih banyak kerusakan. 
  4. Waktu rata-rata untuk resolusi (MTTR): Apa yang terjadi setelah sebuah insiden dilaporkan? MTTR adalah waktu rata-rata yang dihabiskan antara menyadari suatu insiden data dan menyelesaikannya. Waktu penyelesaian sangat dipengaruhi oleh kritisnya insiden dan kompleksitas platform data, itulah sebabnya kami mempertimbangkan rata-rata untuk tujuan kerangka kerja ini.
  5. Waktu rata-rata untuk produksi (MTTP) adalah waktu rata-rata yang diperlukan untuk mengirimkan produk data baru atau, dengan kata lain, waktu rata-rata untuk memasarkan produk data. Ini bisa jadi merupakan waktu yang dihabiskan oleh seorang analis untuk “membersihkan” data untuk model ilmu data. Faktanya, menurut Forbes, persiapan data menyumbang sekitar 80% dari pekerjaan ilmuwan data. Di dunia di mana kita ingin memperlakukan data sebagai sebuah produk, peningkatan kualitas data dapat berdampak langsung pada pengurangan waktu pemasaran. 

Selain metrik-metrik yang dapat diukur di atas, metrik-metrik lain yang kurang mudah diukur namun sama pentingnya patut dipertimbangkan ketika mempertimbangkan dampak dari data yang buruk.

  • Erosi kepercayaan: Dalam datanya dan tim pendataan. Menurut pendapat saya, hal ini adalah konsekuensi paling berbahaya dari data yang buruk, yang dapat mengakibatkan masalah yang lebih besar seperti pergantian tim data atau hilangnya kepercayaan terhadap kemampuan perusahaan untuk menjadi berbasis data dan mengikuti perkembangan lanskap digital. Dan begitu kepercayaan itu rusak, akan sangat sulit untuk mendapatkannya kembali. Dalam pengalaman sebelumnya, saya bekerja di sekitar konsumen data yang memilih untuk tidak menggunakan data dan lebih memilih mengandalkan “pengalaman” dan “firasat” dalam lingkungan perdagangan saham yang sangat fluktuatif daripada menggunakannya karena mengetahui bahwa data tersebut kemungkinan besar tidak akurat. . 
  • Hilangnya produktivitas: Dengan data yang buruk, tim terpaksa melakukan baku tembak dan memperbaiki kesalahan yang muncul. Pemadam kebakaran yang terus-menerus ini tidak hanya melelahkan tetapi juga kontraproduktif. Waktu berharga yang seharusnya bisa digunakan untuk perencanaan strategis dan inisiatif pertumbuhan terbuang sia-sia untuk pemecahan masalah, sehingga mengalihkan sumber daya dari tugas-tugas yang lebih penting.
  • Risiko peraturan dan reputasi: Kesalahan dalam pelaporan keuangan atau kesalahan penanganan data pribadi dapat mengakibatkan denda yang mahal dan tuntutan hukum. Menangani masalah kepatuhan sangat menguras produktivitas, belum lagi beban keuangan yang ditimbulkannya.
  • Kinerja bisnis yang buruk: Selain kehilangan produktivitas dalam tim data, data yang buruk dapat menghambat kinerja bisnis secara keseluruhan karena perusahaan berjuang dengan kesiapan digital dan kredibilitas di hadapan pelanggannya, serta menjadi rentan terhadap ancaman eksternal. 

Masalah kualitas data dapat mengakibatkan berbagai masalah, termasuk hilangnya kepercayaan terhadap data, berkurangnya produktivitas dan semangat tim, ketidakpatuhan terhadap peraturan, dan berkurangnya kualitas pengambilan keputusan. Data yang disimpan di dalam departemen atau unit bisnis menyulitkan untuk mendapatkan gambaran menyeluruh tentang lanskap data organisasi. Hal ini dapat menyebabkan pengambilan keputusan yang tidak efektif, menghambat budaya data, dan membahayakan kepatuhan terhadap peraturan seperti GDPR dan HIPAA. Selain itu, tim data bisa menjadi frustrasi karena menghabiskan banyak waktu untuk memecahkan masalah data, sehingga berdampak negatif pada kepuasan kerja mereka dan berpotensi menyebabkan pemutusan hubungan kerja (churn) karyawan. 

Aturan 1x10x100

Aturan 1x10x100, sebuah prinsip yang dikenal luas dalam manajemen insiden, menekankan peningkatan biaya yang terkait dengan kualitas data yang buruk. Menurut aturan ini, biaya untuk mengatasi masalah kualitas data pada titik masuk kira-kira 1x biaya awal. Jika masalah tidak terdeteksi dan menyebar dalam sistem, biayanya akan meningkat hingga 10x lipat, yang memerlukan upaya koreksi dan remediasi. Namun, jika kualitas data yang buruk sampai ke tahap pengguna akhir atau pengambilan keputusan, biayanya bisa meroket hingga 100x lipat dari biaya awal karena konsekuensi bisnis yang signifikan, termasuk gangguan operasional, hilangnya peluang, dan ketidakpuasan pelanggan. Aturan ini menggarisbawahi dampak eksponensial dari kualitas data yang buruk, sehingga sangat penting bagi organisasi untuk berinvestasi dalam observasi data, yang membantu menjaga masalah, jika terjadi, lebih dekat ke akar permasalahan vs. di hilir.

Kesimpulan

Masalah kualitas data berdampak signifikan pada bisnis, menyebabkan sumber daya terbuang sia-sia dan hilangnya peluang. Berinvestasi dalam kemampuan observasi data sangat penting untuk mencegah dan memitigasi risiko yang terkait dengan data yang buruk. Dengan memanfaatkan metrik yang dapat diukur dan mempertimbangkan faktor-faktor yang tidak dapat diukur, organisasi dapat mengukur ROI dari kemampuan observasi data dan menunjukkan nilainya kepada pengambil keputusan. Memastikan kepercayaan data, mendorong pengambilan keputusan domain yang efektif, mematuhi peraturan, dan membina tim data yang puas merupakan aspek penting dalam memaksimalkan manfaat inisiatif kualitas data. Merangkul kemampuan observasi data adalah investasi strategis yang menjaga keakuratan, keandalan, dan pemanfaatan data di dunia yang berbasis data saat ini. 

Organisasi yang membangun praktik observabilitas yang kaya akan memiliki visibilitas yang lebih besar terhadap lingkungan yang saling terkait, yang berarti lebih sedikit pemadaman, penyelesaian masalah yang lebih cepat, kepercayaan yang lebih besar terhadap keandalan aplikasi mereka – dan, pada akhirnya, pendapatan yang lebih besar dan pelanggan yang lebih bahagia.

Stempel Waktu:

Lebih dari DATAVERSITAS