今週の AI、18 月 2.1 日: OpenAI が財政難に陥る • Stability AI が StableCode - KDnuggets

プラトン再発行

フォロワー： 0

### 代替 ###
エディターが Midjourney で作成した画像

KDnuggets の今週号「今週の AI」へようこそ。この厳選された毎週の投稿は、急速に進歩する人工知能の世界で最も魅力的な開発状況を常に最新の状態に保つことを目的としています。社会における AI の役割についての理解を形作る画期的な見出しから、示唆に富んだ記事、洞察力に富んだ学習リソース、知識の限界を押し広げる注目の研究まで、この投稿では AI の現在の状況の包括的な概要を提供します。この毎週の更新は、この進化し続ける分野の最新情報と情報を提供し続けることを目的としています。楽しみに読んでください！

「ヘッドライン」セクションでは、人工知能の分野における先週のトップニュースと発展について説明します。情報の範囲は、政府の AI 政策から、AI における技術の進歩や企業のイノベーションにまで及びます。

💡 ChatGPT の苦境: OpenAI は 2024 年までに破産する可能性があり、AI ボットの費用は毎日 700,000 万ドルの会社に発生

OpenAIは、ChatGPTやその他のAIサービスの運営コストが高いため、財政難に直面している。初期の急速な成長にもかかわらず、ChatGPT のユーザーベースはここ数カ月で減少しています。 OpenAI は、テクノロジーを効果的に収益化し、持続可能な収益を生み出すことに苦労しています。その間、驚くべき速度で現金を使い果たし続けています。競争が激化し、エンタープライズ GPU 不足がモデル開発を妨げているため、OpenAI は収益性への道を早急に見つける必要があります。それができなければ、この先駆的な AI スタートアップは倒産の危機に瀕するかもしれない。

💡 Stability AI が開発者向け AI コーディングアシスタントである StableCode を発表

Stability AI は、ソフトウェア開発に最適化された初の生成 AI 製品である StableCode をリリースしました。 StableCode には、500 億を超えるコードトークンでトレーニングされた複数のモデルが組み込まれており、インテリジェントなオートコンプリートを提供し、自然言語命令に応答し、長いコードスパンを管理します。会話型 AI はすでにコードを書くことができますが、StableCode は、コードの構造と依存関係を理解することでプログラマーの生産性を向上させることを目的として構築されています。 StableCode は、長いコンテキストを処理できる特殊なトレーニングとモデルを使用して、開発者のワークフローを強化し、意欲的なプログラマーの参入障壁を下げることを目指しています。この発表は、この分野で競争が激化する中、Stability AI が AI 支援コーディングツールに進出したことを表しています。

💡 OpenAIによるスーパーアライメントの導入

OpenAI は、人間のフィードバックからの強化学習などの技術を使用して AI システムを調整する新しい Superalignment チームを通じて、超インテリジェント AI による潜在的なリスクに対処するために積極的に取り組んでいます。主な目標は、他の AI システムを活用したスケーラブルなトレーニング方法の開発、モデルの堅牢性の検証、意図的に位置がずれたモデルであっても完全な位置合わせパイプラインのストレステストを行うことです。全体として、OpenAI は、スーパーインテリジェンスを責任を持って操作するための先駆的なアプローチによって、機械学習が安全に実行できることを示すことを目的としています。

💡 生成 AI を使用して検索 (および閲覧) しながら学習します

Google は、科学/歴史トピックのホバー定義、コード概要の色分けされた構文ハイライト、重要なポイントを要約してユーザーを支援する「ブラウジング中の SGE」と呼ばれる初期の実験など、検索エンジン生成 (SGE) AI 機能のいくつかのアップデートを発表しています。 Web 上の長い形式のコンテンツを読むときにページを探索します。これらは、複雑なトピックの理解を強化し、コーディング情報の消化を改善し、ユーザーが閲覧する際のナビゲーションと学習を支援することを目的としています。このアップデートは、複雑な Web コンテンツから重要な詳細を理解して抽出することに重点を置き、ユーザーのフィードバックに基づいて AI 検索エクスペリエンスを進化させる Google の継続的な取り組みを表しています。

💡 Together.ai は Llama2 を 32k コンテキストウィンドウに拡張します

LLaMA-2-7B-32K は、Togetter Computer によって開発されたオープンソースのロングコンテキスト言語モデルで、Meta の LLaMA-2 のコンテキスト長を 32K トークンに拡張します。 FlashAttendant-2 などの最適化を利用して、より効率的な推論とトレーニングを可能にします。モデルは、書籍、論文、指導データなどのデータの混合を使用して事前トレーニングされました。長い形式の QA および要約タスクを微調整するための例が提供されています。ユーザーは、Hugging Face 経由でモデルにアクセスするか、OpenChatKit を使用してカスタマイズされた微調整を行うことができます。すべての言語モデルと同様、LLaMA-2-7B-32K は偏ったコンテンツや不正確なコンテンツを生成する可能性があるため、使用には注意が必要です。

「記事」セクションでは、人工知能に関するさまざまな示唆に富む記事を紹介します。各記事は特定のトピックを深く掘り下げ、新しい技術、革新的なアプローチ、画期的なツールなど、AI のさまざまな側面についての洞察を読者に提供します。

📰 LangChain チートシート

LangChain を使用すると、開発者は車輪を再発明することなく、有能な AI 言語ベースのアプリを構築できます。構成可能な構造により、LLM、プロンプトテンプレート、外部ツール、メモリなどのコンポーネントを簡単に組み合わせて組み合わせることができます。これによりプロトタイピングが加速され、長期にわたって新しい機能をシームレスに統合できるようになります。チャットボット、QA ボット、または複数ステップの推論エージェントの作成を検討している場合でも、LangChain は高度な AI を迅速に組み立てるための構成要素を提供します。

📰 ChatGPT を使用してテキストを PowerPoint プレゼンテーションに変換する方法

この記事では、ChatGPT を使用してテキストを PowerPoint プレゼンテーションに変換する XNUMX 段階のプロセスの概要を説明します。まず、テキストをスライドタイトルとコンテンツに要約し、次に Python コードを生成して、python-pptx ライブラリを使用して要約を PPTX 形式に変換します。これにより、長いテキスト文書から魅力的なプレゼンテーションを迅速に作成でき、面倒な手作業を克服できます。 ChatGPT プロンプトの作成とコードの実行について明確な説明が提供され、プレゼンテーションのニーズに効率的な自動ソリューションを提供します。

📰 LLM 研究における未解決の課題

この記事では、大規模な言語モデルを改善するための 10 の重要な研究方向性の概要を示しています。幻覚の軽減、コンテキストの長さ/構造の最適化、マルチモーダルデータの組み込み、モデルの高速化、新しいアーキテクチャの設計、フォトニックチップなどの GPU 代替品の開発、使用可能なエージェントの構築、学習の改善です。人間によるフィードバック、チャットインターフェイスの強化、英語以外の言語への拡張などです。これらの分野にわたる関連論文を引用し、強化学習に対する人間の好みの表現や低リソース言語のモデルの構築などの課題に言及しています。著者は、多言語のような一部の問題はより扱いやすいものの、アーキテクチャなどの問題にはさらなるブレークスルーが必要であると結論付けています。全体として、研究者、企業、コミュニティ全体にわたる技術的および非技術的な専門知識の両方が、LLM を前向きに導くために重要です。

📰 LLM を（おそらく）微調整する必要がない理由

📰 OpenAI GPT モデルを使用するためのベストプラクティス

この記事では、コミュニティの経験に基づいて、OpenAI の GPT モデルを使用する際に高品質の出力を取得するためのベストプラクティスについて概説します。長さやペルソナなどの詳細を含む詳細なプロンプトを提供することを推奨しています。複数ステップの指示。模倣する例。参考文献と引用。批判的思考の時間。精度を高めるためにコードを実行します。ステップやペルソナの指定など、モデルの指示に関するこれらのヒントに従うと、より正確で関連性のあるカスタマイズ可能な結果が得られます。このガイダンスは、ユーザーがプロンプトを効果的に構築して OpenAI の強力な生成機能を最大限に活用できるようにすることを目的としています。

📰 AIについて私たちはみんな間違っている

著者は、一般的な誤解に反論するために、創造性、検索、パーソナライゼーションなどの例を用いて、現在の AI の能力が過小評価されていると主張します。彼は、AI は単にランダムなアイデアを生成するだけでなく、概念を再結合することによって創造的になることができると述べています。それは、Google のような単なる強力な検索エンジンではありません。そして、一般的なスキルだけでなく、個人的な関係を築くことができます。どのアプリケーションが最も役立つかはわかりませんが、著者は否定的ではなく広い心を持ち、AI の可能性を判断する最善の方法は実践的な探索を続けることであると強調しています。彼は、AI に関する私たちの想像力には限界があり、その用途は現在の予測をはるかに超えている可能性が高いと結論付けています。

「ツール」セクションには、実用的な AI アプリケーションに取り組みたい人のために、コミュニティによって作成された便利なアプリとスクリプトがリストされています。ここでは、大規模で包括的なコードベースから小規模なニッチなスクリプトまで、さまざまな種類のツールが見つかります。ツールは承認なしで共有されており、いかなる種類の保証もないことに注意してください。ソフトウェアをインストールして使用する前に、自分で下調べを行ってください。

🛠️ MetaGPT: マルチエージェントフレームワーク

MetaGPT は XNUMX 行の要件を入力として受け取り、ユーザーストーリー、競合分析、要件、データ構造、API、ドキュメントなどを出力します。内部的には、MetaGPT にはプロダクトマネージャー、アーキテクト、プロジェクトマネージャー、エンジニアが含まれます。ソフトウェア会社のプロセス全体を、慎重に調整された SOP とともに提供します。

🛠️ GPT LLM トレーナー

このプロジェクトの目標は、高パフォーマンスのタスク固有のモデルをトレーニングするための実験的な新しいパイプラインを探索することです。私たちはすべての複雑さを抽象化して、アイデアからパフォーマンスの完全にトレーニングされたモデルに移行することをできるだけ簡単にしようとしています。

タスクの説明を入力するだけで、システムがデータセットを最初から生成し、適切な形式に解析して、LLaMA 2 モデルを微調整します。

🛠️ ドクターGPT

DoctorGPT は、米国の医師免許試験に合格できる大規模言語モデルです。これは、すべての人に自分の専属医師を提供するという使命を持ったオープンソースプロジェクトです。 DoctorGPT は、Meta の Llama2 7 億パラメータ大規模言語モデルのバージョンで、医療対話データセットで微調整され、強化学習と憲法 AI を使用してさらに改善されました。モデルのサイズはわずか 3 ギガバイトなので、どのローカルデバイスにも適合し、使用するために API を支払う必要はありません。