データサイエンスプロジェクト管理手法のガイド - KDnuggets

プラトン再発行

フォロワー： 0

データサイエンスプロジェクト管理方法論ガイド
著者による画像

データサイエンスプロジェクトには多くの要素があります。このプロセスには多くの人が関与しており、その過程では多くの課題に直面します。多くの企業がデータサイエンスの必要性を認識しており、今日では私たちの生活に導入されています。ただし、データ分析をどのように活用するか、そしてそこに到達するためにどのパスを使用すればよいかについて悩んでいる人もいます。

企業がデータサイエンスを使用するときに行う最大の前提は、プログラミング言語の使用により、データサイエンスがソフトウェアエンジニアリングと同じ方法論を模倣していることを意味することです。ただし、モデルに組み込まれているデータサイエンスとソフトウェアは異なります。

データサイエンスが成功するには、独自のライフサイクルと方法論が必要です。

データサイエンスのライフサイクルは 7 つのステップに分割できます。

ビジネス理解

会社のために何かを制作している場合、一番の質問は「なぜ?」であるはずです。なぜこれを行う必要があるのでしょうか? それがビジネスにとってなぜ重要なのでしょうか? なぜ？なぜ？なぜ？

データサイエンスチームは、ビジネスのニーズに基づいてモデルを構築し、データ分析を生成する責任を負います。データサイエンスライフサイクルのこの段階では、データサイエンスチームと企業の幹部は、予測する必要がある変数を調査するなど、プロジェクトの中心的な目標を特定する必要があります。

これはどのようなデータサイエンスプロジェクトに基づいていますか? それは回帰タスク、分類タスク、クラスタリング、または異常検出ですか? オブジェクトの全体的な目的を理解したら、なぜ、何を、どこで、いつ、どのようにして尋ね続けることができます。適切な質問をすることは芸術であり、データサイエンスチームにプロジェクトの詳細なコンテキストを提供します。

データマイニング

プロジェクトに必要なビジネスの理解をすべて得たら、次のステップはデータを収集してプロジェクトを開始することです。データマイニングフェーズには、プロジェクトの目的に沿ったさまざまなソースからのデータの収集が含まれます。

この段階で尋ねる質問は次のとおりです。このプロジェクトにはどのようなデータが必要ですか? このデータはどこから入手できますか? このデータは私の目的を達成するのに役立ちますか? このデータはどこに保存しますか?

データクリーニング

データサイエンティストの中には、データマイニングとデータクリーニングのフェーズを組み合わせることを選択する人もいます。ただし、ワークフローを改善するにはフェーズを区別することをお勧めします。

データクリーニングは、データサイエンスワークフローの中で最も時間のかかるフェーズです。データが大きくなるほど、時間がかかります。通常、完了するまでにデータサイエンティストの時間の最大 50 ～ 80% かかることがあります。これほど時間がかかるのは、データが決してきれいではないためです。不整合、データの欠落、不正なラベル、スペルミスなどのあるデータを扱うことになる可能性があります。

分析作業を実行する前に、これらのエラーを修正して、使用する予定のデータが正しく、正確な出力が生成されることを確認する必要があります。

データ探査

データのクリーニングに多くの時間とエネルギーを費やした後、作業できるきれいなデータが手に入りました。データ探索の時間です! このフェーズは、プロジェクト全体の目標についてのブレーンストーミングです。データから何が見つかるか、隠れたパターンを深く掘り下げ、視覚化を作成してさらなる洞察などを見つけたいと考えています。

この情報を使用すると、ビジネス目標に沿った仮説を作成し、タスクを確実に遂行するための参照点として使用できます。

フィーチャ工学

特徴エンジニアリングは、生データから新しいデータ特徴を開発および構築することです。生データを取得し、ビジネス目標に沿った有益な機能を作成します。特徴エンジニアリングフェーズは、特徴の選択と特徴の構築で構成されます。

特徴の選択とは、実際の貴重な情報よりも多くのノイズをデータに追加する特徴の数を減らすことです。特徴が多すぎると、次元の呪い、つまりモデルが簡単かつ効果的に学習するためのデータの複雑さが増大する可能性があります。

機能構築が名前に含まれています。新しい機能の構築です。現在持っている機能を使用して、新しい機能を作成できます。たとえば、目的が上級メンバーに集中している場合は、希望する年齢のしきい値を作成できます。

このフェーズは、予測モデルの精度に影響するため、非常に重要です。

予測モデリング

ここからが楽しいところです。ビジネス目標を達成したかどうかがわかります。予測モデリングは、データのトレーニング、テスト、包括的な統計手法の使用で構成され、モデルからの結果が作成された仮説に対して有意であることを確認します。

「ビジネスの理解」フェーズで行ったすべての質問に基づいて、どのモデルが目の前のタスクに適しているかを判断できます。モデルの選択は試行錯誤のプロセスになるかもしれませんが、これは正確な出力を生成する適切なモデルを確実に作成するために重要です。

モデルを構築したら、データセット上でモデルをトレーニングし、そのパフォーマンスを評価する必要があります。 k 分割相互検証などのさまざまな評価メトリクスを使用して精度を測定し、精度の値に満足するまでこれを続けることができます。

テストおよび検証データを使用してモデルをテストすると、モデルの精度と適切なパフォーマンスが保証されます。目に見えないデータをデータにフィードすることは、これまでトレーニングされていないデータでモデルがどのように動作するかを確認する良い方法です。これによりモデルが機能します。

データの視覚化

モデルのパフォーマンスに満足したら、会社に戻って社内の幹部にすべてを説明する準備が整います。データの視覚化を作成することは、技術に詳しくない人に調査結果を説明する良い方法であり、データについてのストーリーを伝える良い方法でもあります。

データの視覚化は、コミュニケーション、統計、アートを組み合わせたものです。データの結果を見た目が美しい方法で表示する方法はたくさんあります。などのツールを使用できます Matplotlib ドキュメント, シーボーンのチュートリアル, プロットリーライブラリ。 Python を使用している場合は、これを読んでください。 Python Graph Gallery を使用して素晴らしいビジュアライゼーションを作成する.

このようにして、あなたはライフサイクルの終わりにいますが、それはサイクルであることを忘れないでください。したがって、ビジネスの理解という原点に戻る必要があります。作成した仮説とともに、元のビジネス理解と目的に関してモデルの成功を評価する必要があります。

ここまでデータサイエンスのライフサイクルを説明してきましたが、これは非常に簡単なことのように思われるでしょう。それは一歩ずつ進んでいくだけです。しかし、物事はそれほど単純ではないことは誰もが知っています。可能な限りシンプルかつ効果的なものにするためには、管理方法を導入する必要があります。

データサイエンスプロジェクトはもはやデータサイエンティストだけの責任ではなく、チームの取り組みです。したがって、プロジェクト管理の標準化は不可欠であり、これを確実にするために使用できる方法があります。それらについて調べてみましょう。

ウォーターフォール手法

ウォーターフォールと同じように、ウォーターフォール手法はプロジェクトのすべての段階を流れる一連の開発プロセスです。次のフェーズを開始するには、各フェーズを完了する必要があります。フェーズ間に重複がなく、衝突が発生しないため効果的な方法です。以前のフェーズを再検討する必要がある場合、それはチームの計画が不十分であることを意味します。

これは XNUMX つのフェーズで構成されます。

要件
設計
製品の導入
検証（テスト）
メンテナンス（導入）

では、ウォーターフォール手法をいつ使用する必要があるのでしょうか? 水のように流れるので、すべてが透明である必要があります。これは、目的が定義され、チームがテクノロジーのスタックを隅々まで把握しており、スムーズで効果的なプロセスを保証するためのプロジェクト要素がすべて整っていることを意味します。

しかし、現実に戻りましょう。データサイエンスプロジェクトは水のように簡単に流れていくのでしょうか? いいえ。多くの実験や要件の変更などが必要です。ただし、ウォーターフォール手法の要素を使用できないという意味ではありません。ウォーターフォール手法では多くの計画が必要です。すべてを計画した場合、確かに途中で 1 つまたは 2 つ問題に遭遇するかもしれませんが、課題は少なくなり、プロセス上それほど厳しくなくなります。

アジャイル手法

　アジャイル方法論は、ソフトウェア開発の将来について話し合うために 2001 人が集まった 17 年の初めに誕生しました。それは 4 つの核となる価値観と 12 の原則に基づいて設立されました。

アジャイル手法は、ペースが速く、常に変化するテクノロジー業界で機能するため、今日のテクノロジーにより適合しています。あなたが技術専門家であれば、データサイエンスやソフトウェアプロジェクトの要件が常に変化することをご存知でしょう。したがって、これらの変化に迅速に適応できる適切な方法を導入することが重要です。

アジャイル手法は、チームがプロジェクトの成長に合わせて要件を継続的にレビューできるため、完璧なデータサイエンスプロジェクト管理手法です。経営幹部やデータサイエンスマネージャーは、すべてが完了した最後ではなく、開発プロセス中に行う必要がある変更について決定を下すことができます。

ユーザー重視の出力を反映するようにモデルが進化するにつれて、これは非常に効果的であることがわかり、時間、お金、エネルギーを節約できます。

アジャイル手法の例は次のとおりです。 スクラム。スクラム手法では、一連の価値観、原則、実践を使用してチーム内に構造を構築するのに役立つフレームワークを使用します。たとえば、スクラムを使用すると、データサイエンスプロジェクトは、より大きなプロジェクトを一連の小さなプロジェクトに分割できます。これらのミニプロジェクトはそれぞれスプリントと呼ばれ、目的、要件、責任などを定義するスプリント計画で構成されます。

ハイブリッド手法

XNUMX つの異なる方法を併用してみてはいかがでしょうか? これはハイブリッド手法と呼ばれ、XNUMX つ以上の手法を使用してビジネスに完全に独自の手法を作成します。企業はあらゆる種類のプロジェクトにハイブリッド手法を使用できますが、その背後にある理由は製品の提供にあります。

たとえば、顧客が製品を必要としているが、アジャイル手法でのスプリントの使用に基づく生産期間に満足していない場合です。ということは、会社はもう少し計画を立てる必要があるようですね？計画性が高い方法は何ですか? はい、そうです、滝です。企業は、顧客の要件に具体的に応えるために、メソッドにウォーターフォールを採用できます。

一部の企業は、アジャイル手法とウォーターフォールなどの非アジャイル手法を組み合わせることに複雑な感情を抱いているかもしれません。これら XNUMX つの方法は共存できますが、合理的なシンプルなアプローチを確保し、ハイブリッド方法の成功を測定し、生産性を提供するのは企業の責任です。

研究開発

これを方法論と考える人もいるかもしれませんが、私はこれがデータサイエンスプロジェクトプロセスの重要な基盤であると信じています。ウォーターフォールの方法論と同様に、できるだけ多くの情報をもとに計画を立て、準備をしておくことは問題ありません。

しかし、私がここで話しているのはそういうことではありません。はい、プロジェクトを開始する前にすべてを調査するのは素晴らしいことです。ただし、効果的なプロジェクト管理を確保するための良い方法は、プロジェクトを研究開発プロジェクトとして捉えることです。これは、データサイエンスチームのコラボレーションに効果的なツールです。

データサイエンスプロジェクトを研究論文のように実行および運用する前に、まず歩いてみましょう。一部のデータサイエンスプロジェクトには厳しい期限が設定されているため、このプロセスが困難になりますが、最終製品を急ぐと常にさらなる課題が伴います。あなたは、データサイエンスのライフサイクルの最初のフェーズであるビジネスの理解を満たす、効果的で成功するモデルを構築したいと考えています。

データサイエンスプロジェクトの研究開発は、イノベーションへの扉を常に開き、創造性を高め、チームがより優れたものを開発できるように制限するものではありません。

さまざまな方法論から選択できますが、最終的にはビジネスの運営によって決まります。ある企業では人気のある方法でも、別の企業にとっては最適なアプローチではない場合があります。

作業方法は人それぞれ異なるため、誰にとっても効果的な方法を作成するのが最善のアプローチです。

データサイエンスワークフローの自動化について知りたい場合は、次の記事を読んでください。データサイエンスワークフローの自動化.

ニシャ・アリア KDnuggets のデータサイエンティスト、フリーランステクニカルライター、およびコミュニティマネージャーです。彼女は特に、データサイエンスに関するキャリアアドバイスやチュートリアル、およびデータサイエンスに関する理論に基づく知識を提供することに関心を持っています。彼女はまた、人工知能が人間の寿命を延ばすためのさまざまな方法を探求したいと考えています。熱心な学習者であり、他の人を導く手助けをしながら、技術知識とライティングスキルを広げようとしています。