Databricks のオペレーショナルエクセレンス

オペレーショナル・エクセレンス の柱のアーキテクチャ原則は、Databricks の運用を維持するすべての運用プロセスを対象としています。オペレーショナル・エクセレンスは、Databricks を効率的に運用する能力に対応し、ビジネス価値を提供するために Databricks を運用、管理、監視する方法について説明します。

オペレーショナルエクセレンスの原則

1. ビルドとリリースのプロセスを最適化する

   Databricks環境全体でソフトウェアエンジニアリングのベストプラクティスを使用します。DevOpsおよびMLOpsの両方で、継続的インテグレーションと継続的デリバリーのパイプラインを使用してビルドとリリースを行います。

2. デプロイとワークロードの自動化

   Databricksのデプロイとワークロードを自動化することは、これらのプロセスを標準化し、人為的ミスを排除し、生産性を向上させ、再現性を高めるのに役立ちます。これには、構成のドリフトを回避するための「構成のコード化」の使用、および必要なすべてのDatabricksおよびクラウドサービスのプロビジョニングを自動化するための「インフラストラクチャのコード化」が含まれます。

   特にMLの場合、プロセスは自動化を推進する必要があります:プロセスのすべてのステップを自動化できるわけではなく、自動化すべきでもありません。 ビジネス上の問題を決定するのは依然として人間であり、一部のモデルでは、デプロイ前に常に人間の監視が必要です。 したがって、開発プロセスはプライマリであり、プロセス内の各モジュールは必要に応じて自動化する必要があります。 これにより、自動化とカスタマイズの段階的なビルドアウトが可能になります。

3. モニタリング、アラート、ログ記録を設定する

   Databricks のワークロードは、通常、Databricks プラットフォームサービスと外部クラウドサービスを、たとえばデータソースやターゲットとして統合します。正常な実行は、実行チェーン内の各サービスが正常に機能している場合にのみ可能です。そうでない場合は、モニタリング、アラート、ログ記録は、問題を検出および追跡し、システムの動作を理解するために重要です。

4. 容量とクォータの管理

   クラウドで起動されるサービスについては、アクセスレートの制限、インスタンスの数、ユーザー数、メモリ要件などの制限をアカウントに含めます。 ソリューションを設計する前に、これらの制限を理解する必要があります。

次へ: オペレーショナル エクセレンスに関するおすすめの方法

オペレーショナルエクセレンスのためのベストプラクティスを参照してください。