メインコンテンツまでスキップ

監視、デバッグ、デプロイ

エクスペリメントの追跡、Logの調査、本番運用GPUワークロードのスケジュール、AIランタイムでトレーニングしたモデルのサービングを行います。

    • GPUワークロードのスケジューリング
    • 宣言型オートメーションバンドルを使用してトレーニングコードをデプロイし、ランをスケジュールし、マルチタスクGPUおよびCPUワークフローを構築します。
    • バンドルタスクの構成
    • トレーニングコードのパッケージ化、GPUコンピュートと環境の選択、バンドルタスクへの構成の受け渡しを行います。
    • トレーニング済みモデルの提供
    • AI ランタイムでトレーニングされたモデルを Log、登録、デプロイし、CPU または GPU コンピュートで Model Serving Endpoint にデプロイします。
    • ノートブック環境で提供する
    • AIランタイムノートブックからモデルをエクスプレスデプロイメントとして登録し、Endpointがノートブックと同じ環境とパッケージを使用するようにします。
    • LLM を提供する
    • AI ランタイムでトレーニングされた LLM を、OpenAI 互換 API の背後にある GPU Endpoint で提供します。