Databricks Connect for Scala の制限事項

注記

この記事では、Databricks Runtime13.3LTLTS以降のDatabricks Connectについて説明します。

この記事では、Databricks Connect for Scala の制限事項の一覧を示します。 Databricks Connect を使用すると、一般的な IDEs、ノートブック サーバー、およびカスタム アプリケーションを Databricks コンピュート リソースに接続できます。 「Databricks Connect とは」を参照してください。この記事の Python バージョンについては、「 Databricks Connect for Python の制限事項」を参照してください。

important

使用している Scala、Java、Databricks Runtime、Databricks Connect のバージョンによっては、一部の機能にバージョン要件がある場合があります。 「要件」を参照してください。

機能の可用性

Databricks Connect for Databricks Runtime 13.3 LTS 以下では使用できません。

• ストリーミング foreachBatch
• 128 MB を超える DataFrames の作成
• 3600 秒を超える長いクエリ
• 専用アクセス モードを使用するコンピュート リソース上のスカラー UDFs (旧称シングル ユーザー)

使用できません:

• Databricks ユーティリティ: credentials、 library、 notebook workflow、 widgets
• Spark コンテキスト
• RDDの
• CREATE TABLE <table-name> AS SELECT (代わりに、 spark.sql("SELECT ...").write.saveAsTable("table")を使用してください)
• log4j ログ・レベルの変更 SparkContext
• 分散型 ML トレーニング
• ローカル開発環境とリモートコンピュートリソースの同期