Databricks Connect for Python の制限事項

注記

この記事では、Databricks Runtime13.3LTS以降のDatabricks Connectについて説明します。

この記事では、Databricks Connect for Python の制限事項の一覧を示します。 Databricks Connect を使用すると、一般的な IDE、ノートブックサーバー、およびカスタムアプリケーションを Databricks クラスターに接続できます。「Databricks Connect とは」を参照してください。この記事の Scala バージョンについては、「 Databricks Connect for Scala の制限事項」を参照してください。

important

使用している Python、Databricks Runtime、Databricks Connect のバージョンによっては、一部の機能にバージョン要件がある場合があります。「要件」を参照してください。

機能の可用性

Databricks Connect for Databricks Runtime 13.3 LTS 以下では使用できません。

ストリーミング foreachBatch
128 MB を超えるデータフレームの作成
3600 秒を超える長いクエリ

Databricks Connect for Databricks Runtime 15.3 以前では使用できません。

ApplyinPandas() 標準アクセスモードのコンピュートとCogroup()

Databricks Connect for Databricks Runtime 16.3 以前では使用できません。

サーバレスコンピュートでは、UDF にカスタムライブラリを含めることはできません。

以下は使用できません:

dataframe.display() API
Databricks ユーティリティ: credentials、 library、 notebook workflow、 widgets
Spark コンテキスト
RDD
RDD、Spark Contextを使用するライブラリ、または基盤となるSpark JVM(Mosaic geospatial、GraphFrames、GreatExpectationsなど)にアクセスするライブラリ
CREATE TABLE <table-name> AS SELECT (代わりに、 spark.sql("SELECT ...").write.saveAsTable("table")を使用してください)
log4jのログレベルの変更 SparkContext
分散 ML トレーニングはサポートされていません。
ローカル開発環境とリモートクラスターの同期

機能の可用性​

機能の可用性