Skip to content

Latest commit

 

History

History
148 lines (114 loc) · 14.4 KB

README_ja.md

File metadata and controls

148 lines (114 loc) · 14.4 KB

English

SLM Innovator Lab

Azure AI/ML Platform を基盤とする SLM Innovator Lab で、AI プロジェクトの可能性を最大限に引き出しましょう。このラボは、Azure での複数の SLM モデルの微調整とデプロイに優れたお客様や、RAG アプリケーションを作成するための微調整を通じて基本モデルのパフォーマンスを最適化することを目指しているお客様向けに設計されています。AI Foundry の高度な機能により、効率的でスケーラブルな LLMOps を確立できます。

このハンズオンラボは、次の目的に適しています。

  1. 1日ワークショップ(お客様により異なる4〜7時間) / LLMOpsハンズオンによる2日ワークショップ
  2. ハッカソンスターターコード
  3. SLMのfine-tuning&serving PoC/Prototypeのリファレンスガイド

ハンズオンガイド:https://azure.github.io/slm-innovator-lab/

新しいコンテンツ (2024 年 10 月 25 日)

LLMOpsとpromptflow python SDK
このハンズオンでは、Python SDK を使用して、新しいフローを作成し、チャット フロー構造を定義し、微調整されたモデル エンドポイントを統合する方法を学習します。また、フローを使用してモデルのパフォーマンスを比較および評価する方法についても学習します。これは、以前に Azure AI Foundry UI に基づいて利用可能だったハンズオンに追加されるものです。
ノートブックに移動します

Microsoft Olive モデルの最適化
Microsoft Olive は、AI モデルのデプロイを効率化するために Microsoft が開発したハードウェア対応の AI モデル最適化ツールチェーンです。オリーブは、特にエッジデバイス、クラウド、およびさまざまなハードウェア構成で使用するために、AIモデルをより速く、より効率的にすることで、デプロイ用のAIモデルを準備するプロセスを簡素化します。このハンズオンでは、デバイス上またはハイブリッドのデプロイ シナリオを検討します。
ノートブックに移動します

Python SDK
によるコンテンツの安全性 このハンズオンでは、テキストブロックリストの管理、性的なコンテンツ、暴力、憎悪、自傷行為に関するテキストと画像の分析を、複数の深刻度レベルで行うことができます。また、Azure Open AI Service と統合する方法についても学習します: Azure Open AI Service を使用して、有害なコンテンツに対してコンテンツを書き換えます。
ノートブックに移動

必要条件

開始する前に、次の要件を満たす必要があります。

Note 管理されたオンライン エンドポイントの場合、 [Azure ML では、デプロイのクォータの 20% が予約されています].1 デプロイ内の VM SKU に対して特定の数のインスタンスをリクエストする場合は、 ceil(1.2 × number of instances requested for deployment) × number of cores for the VM SKU エラーが発生しないように、使用可能なクォータが必要です。たとえば、 Standard_NC6s_v3 デプロイで VM (6 コアが付属) の 1 つのインスタンスを要求する場合、12 コア (ceil(1.2 × 1 インスタンス) = 2, 2 × 6 コア) のクォータが使用可能である必要があります。

上記の要件をまだお持ちでない場合は、まずラボの準備に進んでください。

Lab 0. ラボの準備

アカウントに合わせて .env ファイルを忘れずに変更してください 。.env.sample のファイル名を .env 変更する、またはコピーして .env という名前で保存してください

注意

このワークショップは、パブリック環境で設定し、インターネットにアクセスできることを前提としています。プライベート環境で構成している場合は、サービスにアクセスするためにプライベートネットワークの設定が必要になる場合があります。プライベート環境で構成するときに発生する可能性のある一般的な問題を次に示します。

  • Azure ML ワークスペースと [Azure AI Foundry] プライベートネットワークを設定する場合、サービスにアクセスするためにVPNまたはプライベートリンクを設定する必要がある場合があります。
  • Low-priority VM を使用している場合は、VM が使用可能になるまで待つ必要がある場合があります。VM の可用性は、リージョンによって異なる場合があります。
  • BLOB ストレージがある場合は、それを使用してデータとモデルを格納できます。ただし、ワークスペース内の BLOB ストレージへの接続を設定する必要がある場合があります Azure ML 。
  • クォータの問題がある場合は、VM または GPU のクォータの引き上げをリクエストする必要があります。
  • ワークスペースでネットワークを設定すると Azure ML 、ネットワークを変更することはできません。ネットワークを変更する場合は、新しいワークスペースを作成する必要がある場合があります。
  • ワークスペースと同じリージョンにないコンピューティング インスタンスを使用している場合は Azure ML 、サービスにアクセスするために VPN またはプライベート リンクの設定が必要になる場合があります。
  • で作成したコンピュート・インスタンスを使用している場合 Azure AI スタジオ、そのコンピュート・インスタンスでトレーニング・ジョブを実行することはできません。ワークスペースに新しいコンピューティング インスタンスを作成する必要がある場合があります Azure ML 。
  • 成果物のダウンロード時に PermissionMismatch エラーが発生した場合は、ワークスペースに適切なアクセス許可を割り当てなければならない場合があります Azure ML 。

使用を開始する方法

  1. コンピューティング インスタンスを Azure ML に作成します 。コード開発には、 Standard_DS11_v2 (2 コア、14 GB RAM、28 GB ストレージ、GPU なし) をお勧めします。
  2. CIのターミナルを開き、次のコマンドを実行します。 
    git clone https://github.com/Azure/slm-innovator-lab.git
cd slm-innovator-lab && conda activate azureml_py310_sdkv2
pip install -r requirements.txt

ハンズオンラボ

Lab 1. データ準備

Lab 2. LLMのファインチューニングとサービング

Lab 3. LLMOps

参照

Expand

データ準備

SLMの微調整

Phi-3/Phi-3.5

Florence-2

LLMOps

貢献

このプロジェクトは、貢献と提案を歓迎します。 ほとんどのコントリビューションでは、同意する必要があります。 コントリビューターライセンス契約(CLA)は、お客様が当社に付与する権利を有し、実際に付与することを宣言します。 あなたの投稿を使用する権利。詳しくは https://cla.opensource.microsoft.com をご覧ください。

プルリクエストを送信すると、CLAボットが自動的に提供する必要があるかどうかを判断します CLA を作成し、PR を適切に装飾します (ステータス チェック、コメントなど)。指示に従うだけです ボットによって提供されます。この操作は、CLA を使用してすべてのリポジトリで 1 回だけ行う必要があります。

このプロジェクトでは、Microsoft Open Source Code of Conduct を採用しています。 詳細については、行動規範に関するFAQまたは 追加の質問やコメントがある場合は、opencode@microsoft.com にお問い合わせください。

商標

このプロジェクトには、プロジェクト、製品、またはサービスの商標またはロゴが含まれている場合があります。Microsoft の許可された使用 商標またはロゴは、 Microsoft の商標およびブランド ガイドライン。 このプロジェクトの変更されたバージョンで Microsoft の商標またはロゴを使用することは、混乱を引き起こしたり、Microsoft のスポンサーシップを暗示したりしてはなりません。 第三者の商標またはロゴの使用は、それらの第三者のポリシーの対象となります。

ライセンスの概要

このサンプル コードは、MIT-0 ライセンスの下で提供されています。LICENSE ファイルを参照してください。

Footnotes

  1. この追加のクォータは、OS のアップグレードや VM の復旧など、システムが開始する操作用に予約されており、そのような操作が実行されない限り、コストは発生しません。 ↩