Databricks 統合の概要
ここに記載されている記事は、Databricksと併せて使用できる様々なデータソース、BIツール、開発者ツールに接続する方法についての情報を提供するものです。これらの多くは、パートナーのシステムとPartner Connectハブを通じて利用できます。
Partner Connect
Partner Connectは、検証済みのソリューションとDatabricksクラスターやSQLウェアハウスの統合を、より迅速かつ簡単に実行することを可能にするユーザーインターフェイスです。
詳細については、Databricks Partner Connectとはを参照してください。
データソース
Databricks は、CSV、 Delta Lake、JSON、Parquet、XML などのさまざまなデータ形式や、Amazon S3、Google BigQuery、Cloud Storage、Snowflake などのデータ ストレージ プロバイダーとの間でデータの読み取りと書き込みを行うことができます。
データ取り込み、データソースへの接続、およびデータ形式のオプションを参照してください。
BI ツール
Databricksは、Power BIやTableauなどの、ユーザーに人気のあるBIツールとの統合を検証済みです。DatabricksのクラスターやSQLウェアハウスを介し、多くの場合ローコードまたはノーコードでデータを操作できます。
接続手順を含む包括的なリストについては、BI と視覚化を参照してください。
その他のETLツール
Databricksは、あらゆる種類の データソースへのアクセスに加えて、dbt、Prophecy、Azure Data FactoryなどのETL/ELTツール、Airflowなどのデータパイプラインオーケストレーションツール、DataGrip、DBeaver、SQL Workbench/JなどのSQLデータベースツールとの統合を提供します。
接続手順については、以下を参照してください。
- ETLツール : データの準備と変換
- Airflow : Apache Airflow を使用して Databricks ジョブをオーケストレーションする
- SQLデータベースツール : SQLコネクタ、ライブラリ、ドライバー、API、およびツール。
IDEs およびその他の開発者ツール
Databricksは、DataGrip、IntelliJ、PyCharm、Visual Studio Codeなどの開発者ツールをサポートしており、SQL ウェアハウス などのDatabricks コン ピュート にプログラムでアクセスできます。
開発者をサポートするツールの包括的な一覧については、 Databricks での開発を参照してください。
Git
Databricks Git フォルダーは、お気に入りの Git プロバイダーとリポジトリレベルの統合を提供するため、Databricks ノートブックでコードを開発し、それをリモート Git リポジトリと同期できます。 Databricks Git フォルダーの Git 統合を参照してください。