メインコンテンツまでスキップ
に最終更新

Databricksにおけるデータウェアハウス

Databricks SQLは、レイクハウスアーキテクチャに基づいて構築されたクラウドデータウェアハウスです。データレイク上で直接実行され、 Delta Lake拡張機能を備えた ANSI SQLをサポートし、データを移動せずに高パフォーマンスでコスト効率の高いデータウェアハウスを構築するツールを提供します。

インターフェースとツール​

SQLウェアハウス上のDatabricks SQL SQL 実行には、クエリ、視覚化、パイプライン管理、自動化のための複数のインターフェイスからアクセスできます。

    • SQLエディタ
    • 統合されたAI支援機能、コードコメント、バージョン履歴を活用して、SQLクエリを作成および実行できます。
    • ノートブック
    • ノートブックをSQLウェアハウスに接続することで、Python、Scala、またはRと並行してSQLを実行できます。
    • AI/BI
    • セルフサービス型のデータ分析と対話型データ探索のための、 AIを活用したダッシュボードとGenie spacesを作成します。
    • メトリクスビュー
    • セマンティック レイヤーを使用した一貫した計算により、再利用可能なビジネス メトリクスを定義します。
    • アラート
    • クエリ結果を監視し、条件を評価し、通知を自動的に配信します。
    • ジョブ
    • 自動化されたデータ処理およびレポート作成ワークフローのために、SQLクエリをスケジュール設定します。
    • ETL
    • インクリメンタルETLパイプライン用に、 Databricks SQLでストリーミング テーブルとマテリアライズドビューを直接定義して更新します。
    • REST API
    • Databricks SQLオブジェクトをプログラムで自動化および管理します。

監視と最適化​

はじめに​

Databricks SQLを初めて使う場合は、まず概念を理解してから、実践的なチュートリアルに従ってください。

    • Databricks SQLの概念
    • クエリ、 SQLウェアハウス、ダッシュボード、データ管理などの中核となる概念を学びます。
    • Unity Catalogメトリクス ビュー
    • クエリとダッシュボード全体で使用できるセマンティック レイヤーを使用して、一貫性があり再利用可能なビジネス メトリクスを定義します。
    • AI/BI dashboardを作成する
    • AI 支援によるオーサリングを使用して、データセット、視覚化、フィルターを備えた最初のダッシュボードを構築して公開します。

参照​