Panduan Metodologi Manajemen Proyek Ilmu Data - KDnuggets

Diterbitkan Ulang Oleh Plato

Followers: 0

Panduan Metodologi Manajemen Proyek Ilmu Data
Gambar oleh Penulis

Proyek ilmu data memiliki banyak elemen di dalamnya. Ada banyak orang yang terlibat dalam proses ini, dan banyak tantangan yang dihadapi dalam prosesnya. Banyak perusahaan melihat perlunya ilmu data, dan hal itu telah diterapkan dalam kehidupan kita saat ini. Namun, beberapa orang kesulitan mengetahui cara memanfaatkan analisis data mereka dan jalur mana yang harus digunakan untuk mencapainya.

Asumsi terbesar yang dibuat perusahaan ketika menggunakan ilmu data adalah menyiratkan bahwa karena penggunaan bahasa pemrograman, ia meniru metodologi yang sama dengan rekayasa perangkat lunak. Namun, ilmu data dan perangkat lunak bawaan model berbeda.

Ilmu data memerlukan siklus hidup dan metodologi uniknya agar berhasil.

Siklus hidup ilmu data dapat dipecah menjadi 7 langkah.

Pemahaman Bisnis

Jika Anda memproduksi sesuatu untuk sebuah perusahaan, pertanyaan nomor 1 Anda seharusnya adalah 'Mengapa?'. Mengapa kita perlu melakukan ini? Mengapa ini penting bagi bisnis? Mengapa? Mengapa? Mengapa?

Tim ilmu data bertanggung jawab untuk membangun model dan menghasilkan analisis data berdasarkan kebutuhan bisnis. Selama fase siklus hidup ilmu data ini, tim ilmu data dan eksekutif perusahaan harus mengidentifikasi tujuan utama proyek, misalnya melihat variabel yang perlu diprediksi.

Proyek ilmu data seperti apa yang mendasari proyek ini? Apakah ini tugas regresi atau klasifikasi, pengelompokan, atau deteksi anomali? Setelah Anda memahami keseluruhan tujuan objek Anda, Anda dapat terus bertanya mengapa, apa, di mana, kapan, dan bagaimana! Mengajukan pertanyaan yang tepat adalah sebuah seni, dan akan memberikan konteks mendalam pada proyek tersebut kepada tim ilmu data.

Data Mining

Setelah Anda memiliki semua pemahaman bisnis yang Anda perlukan untuk proyek tersebut, langkah Anda selanjutnya adalah memulai proyek dengan mengumpulkan data. Fase penambangan data mencakup pengumpulan data dari berbagai sumber yang sejalan dengan tujuan proyek Anda.

Pertanyaan yang akan Anda ajukan selama fase ini adalah: Data apa yang saya perlukan untuk proyek ini? Dari mana saya dapat memperoleh data ini? Akankah data ini membantu memenuhi tujuan saya? Di mana saya akan menyimpan data ini?

Pembersihan Data

Beberapa ilmuwan data memilih untuk memadukan fase penambangan data dan pembersihan data secara bersamaan. Namun, ada baiknya untuk membedakan fase-fase tersebut untuk alur kerja yang lebih baik.

Pembersihan data adalah fase yang paling memakan waktu dalam alur kerja ilmu data. Semakin besar data Anda, semakin lama waktu yang dibutuhkan. Biasanya diperlukan waktu hingga 50-80% waktu data scientist untuk menyelesaikannya. Alasan mengapa memerlukan waktu lama adalah karena data tidak pernah bersih. Anda dapat menghadapi data yang tidak konsisten, data hilang, label salah, kesalahan ejaan, dan banyak lagi.

Sebelum melakukan pekerjaan analitis apa pun, Anda perlu memperbaiki kesalahan ini untuk memastikan bahwa data yang Anda rencanakan untuk dikerjakan adalah benar dan akan menghasilkan keluaran yang akurat.

Eksplorasi Data

Setelah menghabiskan banyak waktu dan energi untuk membersihkan data, kini Anda memiliki data bersih yang dapat Anda gunakan. Waktunya eksplorasi data! Fase ini adalah brainstorming tujuan proyek Anda secara keseluruhan. Anda ingin mendalami apa yang dapat Anda temukan dari data, pola tersembunyi, membuat visualisasi untuk menemukan wawasan lebih lanjut, dan banyak lagi.

Dengan informasi ini, Anda akan dapat membuat hipotesis yang sejalan dengan tujuan bisnis Anda dan menggunakannya sebagai titik referensi untuk memastikan Anda menjalankan tugas.

Rekayasa Fitur

Rekayasa fitur adalah pengembangan dan konstruksi fitur data baru dari data mentah. Anda mengambil data mentah dan membuat fitur informatif yang sejalan dengan tujuan bisnis Anda. Tahap rekayasa fitur terdiri dari pemilihan fitur dan konstruksi fitur.

Pemilihan fitur adalah saat Anda mengurangi jumlah fitur yang Anda miliki yang menambah lebih banyak gangguan pada data daripada informasi berharga yang sebenarnya. Memiliki terlalu banyak fitur dapat menyebabkan kutukan dimensi, peningkatan kompleksitas data agar model dapat dipelajari dengan mudah dan efektif.

Konstruksi fitur ada pada namanya. Ini adalah pembangunan fitur baru. Dengan menggunakan fitur yang Anda miliki saat ini, Anda dapat membuat fitur baru, misalnya jika tujuan Anda terkonsentrasi pada anggota senior, Anda dapat membuat batasan usia yang Anda inginkan.

Fase ini sangat penting karena akan mempengaruhi keakuratan model prediksi Anda.

Pemodelan Prediktif

Di sinilah kesenangan dimulai, dan Anda akan melihat apakah Anda telah memenuhi tujuan bisnis Anda. Pemodelan prediktif terdiri dari melatih data, mengujinya, dan menggunakan metode statistik komprehensif untuk memastikan bahwa hasil model signifikan terhadap hipotesis yang dibuat.

Berdasarkan semua pertanyaan yang Anda ajukan pada fase 'Pemahaman Bisnis', Anda akan dapat menentukan model mana yang tepat untuk tugas Anda. Pilihan model Anda mungkin memerlukan proses coba-coba, namun hal ini penting untuk memastikan bahwa Anda membuat model yang berhasil dan menghasilkan keluaran yang akurat.

Setelah Anda membuat model, Anda perlu melatihnya pada kumpulan data Anda dan mengevaluasi kinerjanya. Anda dapat menggunakan metrik evaluasi yang berbeda seperti validasi silang k-fold untuk mengukur akurasi dan terus melakukan ini hingga Anda puas dengan nilai akurasi Anda.

Menguji model Anda menggunakan data pengujian dan validasi memastikan keakuratan dan model Anda berperforma baik. Memasukkan data Anda dengan data yang tidak terlihat adalah cara yang baik untuk melihat performa model dengan data yang belum pernah dilatih sebelumnya. Ini membuat model Anda berfungsi!

Visualisasi Data

Setelah Anda puas dengan kinerja model Anda, Anda siap untuk kembali dan menjelaskan semuanya kepada para eksekutif di perusahaan. Membuat visualisasi data adalah cara yang baik untuk menjelaskan temuan Anda kepada orang-orang yang tidak paham teknis, dan juga merupakan cara yang baik untuk menceritakan kisah tentang data.

Visualisasi data merupakan kombinasi komunikasi, statistik, dan seni. Ada banyak cara untuk menyajikan temuan data Anda dengan cara yang estetis. Anda dapat menggunakan alat seperti Dokumentasi Matplotlib, Tutorial Seaborn, dan Perpustakaan Plot. Jika Anda menggunakan Python, bacalah ini: Buat Visualisasi Menakjubkan dengan Python Graph Gallery.

Dan seperti itulah Anda berada di akhir siklus hidup, tapi ingatlah itu adalah sebuah siklus. Jadi Anda harus kembali ke awal: Pemahaman Bisnis. Anda perlu mengevaluasi keberhasilan model Anda sehubungan dengan pemahaman dan tujuan bisnis awal, beserta hipotesis yang dibuat.

Sekarang kita telah melalui siklus hidup ilmu data, Anda pasti berpikir ini tampak sangat sederhana. Itu hanya selangkah demi selangkah. Namun kita semua tahu bahwa segala sesuatunya tidak sesederhana itu. Untuk menjadikannya sesederhana dan seefektif mungkin, metodologi pengelolaan perlu diterapkan.

Proyek ilmu data tidak lagi sepenuhnya berada di bawah tanggung jawab ilmuwan data – ini adalah upaya tim. Oleh karena itu, standarisasi manajemen proyek sangat penting, dan ada metode yang dapat Anda gunakan untuk memastikan hal ini. Mari kita lihat ke dalamnya.

Metodologi Air Terjun

Sama seperti air terjun, metodologi air terjun adalah proses pengembangan berurutan yang mengalir melalui semua tahapan suatu proyek. Setiap fase harus diselesaikan agar fase berikutnya dapat dimulai. Tidak ada tumpang tindih antar fase, sehingga metode ini efektif karena tidak ada bentrokan. Jika harus meninjau kembali fase-fase sebelumnya, berarti tim telah merencanakan dengan buruk.

Ini terdiri dari lima fase:

Persyaratan
Mendesain
Organisasi
Verifikasi (Pengujian)
Pemeliharaan (Penerapan)

Jadi kapan sebaiknya Anda menggunakan metodologi air terjun? Karena mengalir seperti air, semuanya harus jernih. Artinya, tujuannya telah ditentukan, tim mengetahui tumpukan teknologi secara menyeluruh, dan semua elemen proyek sudah siap untuk memastikan proses yang lancar dan efektif.

Tapi mari kita kembali ke kenyataan. Apakah proyek ilmu data mengalir dengan mudah seperti air? Tidak. Mereka memerlukan banyak eksperimen, perubahan persyaratan, dan banyak lagi. Namun, bukan berarti Anda tidak bisa menggunakan elemen metodologi air terjun. Metodologi air terjun memerlukan banyak perencanaan. Jika Anda merencanakan segalanya, ya, Anda mungkin masih menghadapi 1 atau 2 masalah dalam perjalanannya, namun tantangannya akan lebih sedikit dan prosesnya tidak terlalu berat.

Metodologi Agile

Grafik Metodologi tangkas lahir pada awal tahun 2001 ketika 17 orang berkumpul untuk mendiskusikan masa depan pengembangan perangkat lunak. Itu didirikan pada 4 nilai inti dan 12 prinsip.

Metodologi agile lebih sejalan dengan teknologi saat ini, karena metodologi ini bekerja dalam industri teknologi yang bergerak cepat dan selalu berubah. Jika Anda seorang profesional di bidang teknologi, Anda pasti tahu bahwa persyaratan dalam ilmu data atau proyek perangkat lunak selalu berubah. Oleh karena itu, penting untuk memiliki metode yang tepat yang memungkinkan Anda beradaptasi dengan cepat terhadap perubahan ini.

Metodologi tangkas adalah metode manajemen proyek ilmu data yang sempurna karena memungkinkan tim untuk terus meninjau persyaratan proyek seiring pertumbuhannya. Para eksekutif dan manajer ilmu data dapat mengambil keputusan tentang perubahan yang perlu dilakukan selama proses pengembangan, bukan di akhir proses setelah semuanya selesai.

Hal ini terbukti sangat efektif seiring dengan berkembangnya model untuk mencerminkan keluaran yang berfokus pada pengguna, menghemat waktu, uang, dan energi.

Contoh metode tangkas adalah Banyak orang. Metode scrum menggunakan kerangka kerja yang membantu menciptakan struktur dalam tim menggunakan serangkaian nilai, prinsip, dan praktik. Misalnya, dengan menggunakan Scrum, proyek ilmu data dapat memecah proyek yang lebih besar menjadi beberapa proyek yang lebih kecil. Masing-masing proyek mini ini akan disebut sprint dan akan terdiri dari perencanaan sprint untuk menentukan tujuan, persyaratan, tanggung jawab, dan banyak lagi.

Metodologi Hibrida

Mengapa tidak menggunakan dua metode berbeda secara bersamaan? Ini disebut metode hybrid, dimana dua atau lebih metodologi digunakan untuk menciptakan metode yang sepenuhnya unik untuk bisnis. Perusahaan dapat menggunakan metode hibrida untuk semua jenis proyek, namun alasan di baliknya adalah pada pengiriman produk.

Misalnya, jika pelanggan membutuhkan suatu produk tetapi tidak puas dengan jangka waktu produksi berdasarkan penggunaan sprint dalam metode Agile. Jadi sepertinya perusahaan perlu melakukan lebih banyak perencanaan, bukan? Metode apa yang banyak perencanaannya? Ya, benar, Air Terjun. Perusahaan dapat mengadopsi air terjun ke dalam metode mereka untuk memenuhi kebutuhan pelanggan secara khusus.

Beberapa perusahaan mungkin mempunyai perasaan campur aduk tentang menggabungkan metode agile dengan metode non-agile seperti Waterfall. Kedua metode ini dapat berjalan berdampingan, namun merupakan tanggung jawab perusahaan untuk memastikan pendekatan sederhana yang masuk akal, mengukur keberhasilan metode hibrida, dan memberikan produktivitas.

Penelitian dan Pengembangan

Beberapa orang mungkin menganggap ini sebagai metodologi, namun saya yakin ini adalah landasan penting untuk proses proyek ilmu data. Sama seperti metodologi air terjun, tidak ada salahnya merencanakan dan mempersiapkan diri dengan informasi sebanyak-banyaknya.

Tapi bukan itu yang saya bicarakan di sini. Ya, sangat bagus untuk meneliti semuanya sebelum Anda memulai sebuah proyek. Namun cara yang baik untuk memastikan manajemen proyek yang efektif adalah dengan melihat proyek Anda sebagai proyek penelitian dan pengembangan. Ini adalah alat yang efektif untuk kolaborasi tim ilmu data.

Anda ingin berjalan sebelum menjalankan dan mengoperasikan proyek ilmu data seperti makalah penelitian. Beberapa proyek ilmu data memiliki tenggat waktu yang ketat sehingga membuat proses ini menjadi sulit, namun, terburu-buru dalam menghasilkan produk akhir selalu menimbulkan tantangan lebih lanjut. Anda ingin membangun model yang efektif dan sukses yang memenuhi fase siklus hidup ilmu data awal Anda: Pemahaman Bisnis.

Penelitian dan pengembangan dalam proyek ilmu data membuka pintu bagi inovasi, meningkatkan kreativitas, dan tidak membatasi tim untuk menyelesaikan sesuatu yang jauh lebih besar!

Meskipun terdapat berbagai metodologi yang dapat dipilih, pada akhirnya hal ini tergantung pada operasional bisnis. Beberapa metode yang populer di satu perusahaan, mungkin bukan pendekatan terbaik bagi perusahaan lain.

Setiap orang mungkin mempunyai cara kerja yang berbeda-beda, jadi pendekatan terbaik adalah menciptakan metode yang cocok untuk semua orang.

Ingin mempelajari tentang mengotomatisasi alur kerja ilmu data Anda, baca ini: Otomasi dalam Alur Kerja Ilmu Data.

Nisa Arya adalah Ilmuwan Data, Penulis Teknis Lepas, dan Manajer Komunitas di KDnuggets. Dia sangat tertarik untuk memberikan nasihat atau tutorial karir Ilmu Data dan pengetahuan berbasis teori seputar Ilmu Data. Dia juga ingin menjelajahi berbagai cara Kecerdasan Buatan bermanfaat bagi umur panjang kehidupan manusia. Seorang pembelajar yang tajam, berusaha memperluas pengetahuan teknologi dan keterampilan menulisnya, sambil membantu membimbing orang lain.