Databricksを用いた SQL Server のクエリー

この記事では、Databricks を Microsoft SQL Server に接続してデータの読み取りと書き込みを行う方法について説明します。

注：

SQL Server データのクエリを管理するには、レイクハウスフェデレーションを使用することをお勧めします。 「レイクハウスフェデレーションとは」をご覧ください。

SQL Server への接続を構成する

Databricks Runtime 11.3 LTS 以降では、 sqlserver キーワードを使用して、SQL Server への接続に付属のドライバーを使用できます。 DataFrames を使用する場合は、次の構文を使用します。

remote_table = (spark.read
  .format("sqlserver")
  .option("host", "hostName")
  .option("port", "port") # optional, can use default port 1433 if omitted
  .option("user", "username")
  .option("password", "password")
  .option("database", "databaseName")
  .option("dbtable", "schemaName.tableName") # (if schemaName not provided, default to "dbo")
  .load()
)

val remote_table = spark.read
  .format("sqlserver")
  .option("host", "hostName")
  .option("port", "port") // optional, can use default port 1433 if omitted
  .option("user", "username")
  .option("password", "password")
  .option("database", "databaseName")
  .option("dbtable", "schemaName.tableName") // (if schemaName not provided, default to "dbo")
  .load()

SQL を使用する場合は、次の例に示すように、USING 句で sqlserver を指定し、テーブルの作成時にオプションを渡します。

DROP TABLE IF EXISTS sqlserver_table;
CREATE TABLE sqlserver_table
USING sqlserver
OPTIONS (
  dbtable '<schema-name.table-name>',
  host '<host-name>',
  port '1433',
  database '<database-name>',
  user '<username>',
  password '<password>'
);

従来の JDBC ドライバーを使用する

Databricks Runtime 10.4 LTS 以前では、JDBC 設定を使用してドライバーと構成を指定する必要があります。 次の例では、JDBC ドライバーを使用して SQL Server にクエリを実行します。 読み取り、書き込み、並列処理の構成、クエリ プッシュダウンの詳細については、 「JDBC を使用したデータベースのクエリ」を参照してください。

driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

database_host = "<database-host-url>"
database_port = "1433" # update if you use a non-default port
database_name = "<database-name>"
table = "<table-name>"
user = "<username>"
password = "<password>"

url = f"jdbc:sqlserver://{database_host}:{database_port};database={database_name}"

remote_table = (spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()
)

val driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver"

val database_host = "<database-host-url>"
val database_port = "1433" // update if you use a non-default port
val database_name = "<database-name>"
val table = "<table-name>"
val user = "<username>"
val password = "<password>"

val url = s"jdbc:sqlserver://{database_host}:{database_port};database={database_name}"

val remote_table = spark.read
  .format("jdbc")
  .option("driver", driver)
  .option("url", url)
  .option("dbtable", table)
  .option("user", user)
  .option("password", password)
  .load()