データレイクハウスのオペレーショナルエクセレンス

オペレーショナルエクセレン スの柱のアーキテクチャ原則は、レイクハウスの稼働を維持するすべての運用プロセスをカバーしています。オペレーショナルエクセレンスは、レイクハウスを効率的に運用する能力に対処し、レイクハウスを運用、管理、および監視してビジネス価値を提供する方法について説明します。

オペレーショナル・エクセレンスの原則

1. ビルドとリリースのプロセスを最適化する

   ソフトウェアエンジニアリングのベストプラクティスをレイクハウス環境全体で活用します。 DevOps と MLOps の両方に対応する継続的インテグレーションと継続的デリバリーのパイプラインを使用して、ビルドとリリースを行います。

2. デプロイとワークロードの自動化

   レイクハウスのデプロイとワークロードを自動化することで、これらのプロセスを標準化し、人為的ミスを排除し、生産性を向上させ、再現性を高めることができます。 これには、構成ドリフトを回避するための「コードとしての構成」の使用、および必要なすべてのレイクハウスおよびクラウドサービスのプロビジョニングを自動化するための「コードとしてのインフラストラクチャ」の使用が含まれます。

   特に機械学習の場合、プロセスは自動化を推進する必要があります:プロセスのすべてのステップを自動化できるわけではありません。 ビジネス上の質問は依然としてユーザーが決定し、一部のモデルでは、展開前に常に人間の監視が必要になります。 したがって、開発プロセスはプライマリであり、プロセス内の各モジュールは必要に応じて自動化する必要があります。 これにより、自動化とカスタマイズの段階的な構築が可能になります。

3. 監視、アラート、ログ記録を設定する

   レイクハウスのワークロードは、通常、Databricks プラットフォーム サービスと外部クラウド サービス (たとえば、 DATA やターゲット) を統合します。 正常な実行は、実行チェーン内の各サービスが正しく機能している場合にのみ発生します。 そうでない場合、監視、アラート、およびログ記録は、問題を検出および追跡し、システムの動作を理解するために重要です。

4. 容量とクォータの管理

   クラウドで起動されるサービスでは、アクセス レートの制限、インスタンスの数、ユーザー数、メモリ要件などの制限をアカウントに取り入れます。 ソリューションを設計する前に、これらの制限を理解する必要があります。

次へ: オペレーショナル エクセレンスのためのベスト プラクティス

「 オペレーショナル エクセレンスのベスト プラクティス」を参照してください。