メインコンテンツまでスキップ
に最終更新

カスタム トレース ビューを構築する

注記

この機能はベータ版です。

カスタムトレースビューは、Databricks MLflowトレースエクスプローラーにおけるパーソナライズされたLayoutです。defaultのtabsの代わりに、レビューワークフローにとって最も重要なトレースフィールド、メトリクス、フィードバックコントロールが表示されます。

カスタムビューはAI支援型です。希望するLayoutを自然言語で記述すると、Genieがそれを生成します。コーディングは不要です。各ビューはトレースに依存しないTemplateであり、エクスペリメント内のすべてのトレースに自動的に再バインドされるため、一度Layoutを作成すれば、すべてのトレースで再利用できます。

カスタムビューは、次のような場合に役立ちます。

  • スパンツリー全体をスキャンするのではなく、少数の高シグナルフィールドを表示して集中的にレビューします。
  • エクスペリメントで作業するすべてのレビュアーに同じ Layout を提示します。
  • インタラクティブなフィードバックコントロールを追加して、レビュー担当者がトレースを読みながら直接スコアを付けられるようにします。

カスタムビューの作成​

  1. [Traces] tabからトレースを開きます。トレースの検索と表示の詳細については、「Databricks MLflow UI でトレースを表示する」を参照してください。
  2. トレースエクスプローラーで Custom view tab を選択します。
  3. テキストボックスに、希望するLayoutを自然言語で記述してください。例えば、表示するトレースフィールド、要約するメトリクス、含めるフィードバックコントロールなどを記述します。
  4. Build with Genie をクリックします。Genieは、記述内容からLayoutを生成します。調整するには、 Edit with Genie をクリックし、変更したい内容を記述してください。
  5. 保存 をクリックします。MLflowは保存されたビューをエクスペリメントと共に保存し、そのエクスペリメント内のすべてのトレースで利用可能になります。

ビューを追加作成するには、ビュー切り替えツールを開き、「 ビューの作成 」を選択します。

コンポーネントを表示​

When you describe a Layout, Genie assembles it from a set of display components:

  • Stat card : レイテンシ、トークン数、コンピュートされたスコアなどの単一のメトリクスまたは値を表示します。
  • Assessment board ：フィードバックや評価結果など、トレースに対してログ記録されたアセスメントを表示します。
  • キーと値のビューアー : トレースの構造化フィールドをキーと値のペアとして表示します。
  • Layout primitives ：コンポーネントを行、列、セクションに配置します。

フィードバックコントロールを追加​

カスタムビューに対話型コントロールを追加することで、レビュー担当者がLayout上で直接トレースを評価し、コメントできるようにすることができます。使用可能なコントロールは次のとおりです。

  • 迅速な承認または拒否のための高評価および低評価ボタン。
  • セットから 1 つのオプションを選択するためのラジオグループ。
  • 自由形式のコメントまたは根拠のためのテキスト入力。

MLflow はこのフィードバックを評価としてトレースに記録するため、他の評価と並んで表示され、評価およびモニタリングに使用できるようになります。

保存されたビューの管理​

ビューはエクスペリメントレベルで共有されるため、エクスペリメントを表示する権限を持つユーザーは全員、同じカスタムビューセットを参照できます。MLflow は、ビューをエクスペリメントのタグとして保存します。

トレース エクスプローラーから、次の操作が可能です：

  • ビューの切り替え
  • ビューの名前を変更する
  • ビューの削除

ビューはトレースに依存しないTemplateであるため、ビューを切り替えてもLayoutのみが変更されます。基盤となるトレースデータは同じままであり、選択されたビューは次に開くトレースに再バインドされます。

権限​

カスタムビューへのアクセスは、エクスペリメントの権限に従います：

  • CAN EDIT または CAN MANAGE: カスタムビューの作成、名前変更、削除を行います。
  • CAN READ：保存されたビューを表示および切り替えますが、作成、名前変更、削除はできません。

制限事項​

  • 各エクスペリメントには、最大50個の保存済みビューを格納できます。
  • 各ビューには約20,000 UTF-8 バイトの制限があります。より大きなビューは、制限内に収まるように圧縮されます。
  • 保存された定義が破損しているビューは、再構築されるまでプレースホルダーとして表示されます。

その他のリソース​

このページの見出し