LLM を単独で使用すると会社の予測ニーズに対応できない理由 - KDnuggets

プラトン再発行

フォロワー： 0

スポンサードコンテンツ

ChatGPT および大規模言語モデル (LLM) に基づく同様のツールは素晴らしいです。しかし、それらは万能のツールではありません。

それは、構築や作成のための他のツールを選択するのと同じです。仕事に適したものを選択する必要があります。ハンマーでボルトを締めたり、泡立て器でハンバーガーのパティをひっくり返したりしようとはしないでしょう。このプロセスは厄介であり、結果として厄介な失敗を引き起こす可能性があります。

LLM のような言語モデルは、生成 AI と予測 AI の両方を含む、より広範な機械学習ツールキットの一部にすぎません。タスクの要件を満たすには、正しいタイプの機械学習モデルを選択することが重要です。

LLM が、ビジネスの最も重要な予測モデリングタスクに取り組むよりも、テキストの下書きやギフトのアイデアのブレインストーミングを支援するのに適している理由をさらに深く掘り下げてみましょう。 LLM よりも前から存在し、ビジネスにおいてその価値が繰り返し証明されてきた「伝統的な」機械学習モデルには依然として重要な役割が残っています。また、これらのツールを一緒に使用するための先駆的なアプローチ、つまり Pecan が呼ぶエキサイティングな開発についても検討します。予測GenAI.

LLM は数値ではなく単語用に設計されています

機械学習では、さまざまな数学的手法を使用して、いわゆる「トレーニングデータ」、つまりデータアナリストやデータサイエンティストが解決したい問題を表す初期データセットを分析します。

トレーニングデータの重要性は、どれだけ強調してもしすぎることはありません。その中には、後で新しいまだ見たことのないデータが与えられたときに、機械学習モデルが結果を予測するために「学習」するパターンと関係が保持されています。

では、LLM とは具体的に何でしょうか?大規模言語モデル (LLM) は、機械学習の範疇に含まれます。これらは深層学習に由来しており、その構造は自然言語処理用に特別に開発されています。

言葉という土台の上に成り立っていると言えるかもしれません。彼らの目的は単に、一連の単語の中でどの単語が次に来るかを予測することです。たとえば、iOS 17 の iPhone のオートコレクト機能では、LLM を使用して、次に入力する可能性が最も高い単語をより適切に予測できるようになりました。

LLM と従来の機械学習の強み

ここで、あなたが機械学習モデルであると想像してください。 (大げさであることは承知しています。) あなたは単語を予測する訓練を受けてきました。あなたは、あらゆる種類のトピックに関する膨大な情報源から何百万もの単語を読んで研究してきました。メンター (別名開発者) は、単語を予測し、ユーザーの要求に合った新しいテキストを作成するための最良の方法を学ぶのを手伝ってくれました。

しかし、ここにひねりがあります。ユーザーは、数百万行の数値を含む顧客データと取引データの巨大なスプレッドシートを提供し、この既存のデータに関連する数値を予測するように求めます。

あなたの予想はどうなると思いますか?まず、このタスクが、あなたが苦労して学んだ内容と一致しないことにおそらくイライラするでしょう。（幸いなことに、私たちが知る限り、LLM にはまだ感情がありません。）さらに重要なのは、あなたが学んだことと一致しないタスクを行うように求められているということです。そして、おそらくそれほど良いパフォーマンスはできないでしょう。

トレーニングとタスクの間のギャップは、LLM が、ほとんどの企業が収集する主要なデータ形式である数値表データを含む予測タスクに適していない理由を説明するのに役立ちます。代わりに、このタイプのデータを処理するために特別に作成され、微調整された機械学習モデルの方が効果的です。文字通り、このために訓練されてきました。

LLM の効率と最適化の課題

従来の機械学習手法は、数値データとの適合性が高いことに加えて、LLM よりもはるかに効率的で、パフォーマンス向上のための最適化が容易です。

LLM になりすました経験に戻りましょう。これらすべての単語を読んで、そのスタイルや順序を研究するのは、大変な作業のように思えますよね?これらすべての情報を自分の中に取り込むには多大な労力が必要です。

同様に、LLM の複雑なトレーニングにより、数十億のパラメータを持つモデルが作成される可能性があります。その複雑さにより、これらのモデルは人間の言語の微妙なニュアンスを理解し、応答することができます。ただし、負荷の高いトレーニングには、LLM が応答を生成するときに負荷の高い計算要求が伴います。デシジョンツリーやニューラルネットワークなどの数値指向の「従来の」機械学習アルゴリズムでは、必要なコンピューティングリソースがはるかに少なくなる可能性があります。そして、これは「大きいほど良い」というものではありません。たとえ LLM が数値データを処理できたとしても、この違いは、従来の機械学習手法のほうが高速で、効率的で、環境的に持続可能で、コスト効率が高いことを意味します。

さらに、ChatGPT が特定の応答を提供することをどのようにして知ったのかを ChatGPT に尋ねたことがありますか?その答えはおそらく少しあいまいになるでしょう:

ライセンスされたデータ、人間のトレーナーによって作成されたデータ、および公開されているデータの組み合わせに基づいて応答を生成します。私のトレーニングには、人間の言語についての幅広い理解を発展させるために、書籍、ウェブサイト、その他のテキストなどのさまざまなソースから取得した大規模なデータセットも含まれていました。トレーニングプロセスには、数週間または数か月にわたって数千の GPU で計算を実行することが含まれますが、正確な詳細とタイムスケールは OpenAI が独占しています。

その回答に反映されている「知識」のうち、人間のトレーナーから得たもの、公開データから得たもの、書籍から得たものはどれくらいあるでしょうか? ChatGPT 自体でも定かではありません。「これらのソースの相対的な割合は不明であり、どの特定の文書が私のトレーニングセットの一部であったかについては詳細に把握できません。」

ChatGPT があなたの質問に対して自信を持って答えてくれるものの、特定のソースへの応答を追跡できないのは少し不安です。 LLM の解釈可能性と説明可能性が限られているため、特定のビジネスニーズに合わせて LLM を最適化する際にも課題が生じます。彼らの情報や予測の背後にある理論的根拠を理解するのは難しい場合があります。さらに状況を複雑にしているのは、一部の企業はモデルの予測に影響を与える要因を説明できなければならないという規制上の要求と格闘していることです。全体として、これらの課題は、従来の機械学習モデル (一般に解釈しやすく説明しやすい) がビジネスユースケースにより適している可能性があることを示しています。

企業の予測ツールキットにおける LLM の適切な場所

では、LLM を単語関連のタスクに任せて、予測ユースケースについては忘れるべきでしょうか?結局のところ、彼らは顧客離れや顧客生涯価値の予測を支援できないように思えるかもしれません。

問題は次のとおりです。「従来の機械学習モデル」と言うと、これらの手法が広く理解され、使いやすく聞こえるように聞こえますが、Pecan での経験から、これらのより馴染みのある形式の AI ですら、企業が導入するのに依然として大部分が苦労していることがわかっています。

北米の企業の 42% は AI の使用をまったく始めていないか、選択肢を研究し始めたばかりです。

Workday による最近の調査では、北米の企業の 42% が AI の使用を開始していないか、選択肢を検討する初期段階にあることが明らかになりました。そして、機械学習ツールが企業にとってよりアクセスしやすくなってから XNUMX 年以上が経過しました。彼らには時間があり、さまざまなツールが利用可能です。

データサイエンスと AI に関する大規模な話題にもかかわらず、何らかの理由で AI の導入が成功することは驚くほど稀であり、ビジネスに大きな影響を与える可能性が認められています。 AI による約束とそれを生産的に実装する能力との間のギャップを埋めるのに役立つ重要なメカニズムがいくつか欠けています。

そしてまさにそこにおいて、LLM が重要な橋渡しの役割を果たすことができると私たちは信じています。 LLM は、ビジネスユーザーが解決すべきビジネス上の問題の特定と予測モデルの開発の間の溝を越えるのに役立ちます。

LLM が注目されるようになったことで、機械学習モデルをハンドコーディングする能力や能力を持たないビジネスチームやデータチームも、ニーズをより適切にモデルに変換できるようになりました。親がよく言うように、子どもたちは「自分の言葉を使う」ことで、モデル化のプロセスをスタートさせることができます。

ビジネスデータを活用するために構築された機械学習技術と LLM を融合する

その機能が Pecan の Predictive GenAI に導入されました。これは、LLM の長所と、すでに高度に洗練され自動化された機械学習プラットフォームを融合させています。 LLM を利用した予測チャットは、ビジネスユーザーからの入力を収集して、予測質問 (ユーザーがモデルを使用して解決したい特定の問題) の定義と開発をガイドします。

次に、GenAI を使用して、当社のプラットフォームは予測ノートブックを生成し、モデリングへの次のステップをさらに容易にします。繰り返しますが、LLM 機能を利用して、ノートブックには、予測モデルのトレーニングデータを選択するための事前入力された SQL クエリが含まれています。 Pecan の自動化されたデータ準備、特徴量エンジニアリング、モデル構築、展開機能は、残りのプロセスを記録的な速さで実行でき、他の予測モデリングソリューションよりも速く実行できます。

つまり、Pecan の Predictive GenAI は、LLM の比類のない言語スキルを使用して、クラス最高の予測モデリングプラットフォームをビジネスユーザーにとってはるかにアクセスしやすく、使いやすいものにしています。私たちは、このアプローチがより多くの企業が AI でどのように成功するのに役立つかを見ることに興奮しています。

したがって、LLM が 一人で すべての予測ニーズを処理するのには適していませんが、AI プロジェクトを前進させる上で強力な役割を果たすことができます。 Pecan の Predictive GenAI は、ユースケースを解釈し、自動生成された SQL コードで有利なスタートを切ることで、これらのテクノロジーの統合において先導しています。あなたはできる無料トライアルで今すぐチェックしてください.