データレイクハウスのオペレーショナルエクセレンス

オペレーショナル エクセレンスの 柱のアーキテクチャ原則は、レイクハウスの稼働を維持するすべての運用プロセスをカバーしています。オペレーショナルエクセレンスは、レイクハウスを効率的に運用する能力を取り上げ、ビジネス価値を提供するためのレイクハウスの運用、管理、監視方法について説明します。

オペレーショナルエクセレンスの原則

1. ビルドとリリースのプロセスを最適化する

   ソフトウェアエンジニアリングのベストプラクティスをレイクハウス環境全体で使用します。 DevOps と MLOps の両方の継続的インテグレーションと継続的デリバリー パイプラインを使用してビルドとリリースを行います。

2. デプロイとワークロードの自動化

   レイクハウスのデプロイとワークロードを自動化することで、これらのプロセスを標準化し、人為的エラーを排除し、生産性を向上させ、再現性を高めることができます。 これには、構成のドリフトを回避するための「コードとしての構成」の使用や、必要なすべてのレイクハウスおよびクラウドサービスのプロビジョニングを自動化するための「コードとしてのインフラストラクチャ」の使用が含まれます。

   特にMLの場合、プロセスは自動化を推進する必要があります:プロセスのすべてのステップを自動化できるわけではなく、自動化すべきでもありません。 ビジネス上の問題を決定するのは依然として人間であり、一部のモデルでは、デプロイ前に常に人間の監視が必要です。 したがって、開発プロセスはプライマリであり、プロセス内の各モジュールは必要に応じて自動化する必要があります。 これにより、自動化とカスタマイズの段階的なビルドアウトが可能になります。

3. モニタリング、アラート、ログ記録を設定する

   レイクハウスのワークロードは、通常、Databricks プラットフォームサービスと外部クラウドサービスを (データソースやターゲットなど) 統合します。 正常な実行は、実行チェーン内の各サービスが正常に機能している場合にのみ発生します。 そうでない場合は、問題を検出して追跡し、システムの動作を理解するために、監視、アラート、およびロギングが重要です。

4. 容量とクォータの管理

   クラウドで起動されるサービスについては、アクセスレートの制限、インスタンスの数、ユーザー数、メモリ要件などの制限をアカウントに含めます。 ソリューションを設計する前に、これらの制限を理解する必要があります。

次へ: オペレーショナル エクセレンスに関するおすすめの方法

オペレーショナルエクセレンスのためのベストプラクティスを参照してください。