標準コンピュートの要件と制限事項

このページには、標準コンピュートの要件と制限事項のリストが含まれています。 クラシックコンピュートを使用している場合は、ワークロードが以下に示す制限のいずれかに依存している場合を除き Databricks 、標準アクセスモードを使用することをお勧めします。

重要

initスクリプトとライブラリは、アクセスモードと Databricks Runtime バージョンによってサポートが異なります。 「initスクリプトはどこでインストールできますか?」 および コンピュートスコープのライブラリを参照してください。

現在の標準コンピュートの制限

次のセクションでは、最新の Databricks Runtime バージョンに基づく標準コンピュートの制限事項を示します。 古い Databricks Runtime バージョンに適用される制限については、「 Runtime依存の制限」を参照してください。

ワークロードにこれらの機能が必要な場合は、代わりに 専用コンピュート を使用してください。

一般標準コンピュートの制限事項

• Databricks Runtime for ML はサポートされていません。代わりに、Databricks RuntimeにバンドルされていないMLライブラリをコンピュートスコープのライブラリとしてインストールします。
• GPU 対応コンピュートはサポートしていません。
• Spark 送信ジョブ タスクはサポートされていません。代わりに JAR タスク を使用してください。
• DBUtils およびその他のクライアントは、 外部ロケーションを使用してクラウド ストレージからのみ読み取ることができます。
• DBFSルートとマウントは FUSE をサポートしていません。

言語の制限

• R はサポートされていません。

Spark API の制限事項

• Spark Context (sc)、 spark.sparkContext、および sqlContext は Scala ではサポートされていません。

  • Databricks では、 spark 変数を使用して SparkSession インスタンスを操作することをお勧めします。
  • 次の sc 関数もサポートされていません: emptyRDD、 range、 init_batched_serializer、 parallelize、 pickleFile、 textFile、 wholeTextFiles、 binaryFiles、 binaryRecords、 sequenceFile、 newAPIHadoopFile、 newAPIHadoopRDD、 hadoopFile、 hadoopRDD、 union、 runJob、 setSystemProperty、 uiWebUrl、 stop、 setJobGroup、 setLocalProperty、 getConf。

• 特定のSpark 構成プロパティの設定はサポートされていません。制限付きプロパティを設定するクラスターの作成または編集はエラーで失敗します。完全な一覧については、Spark 構成の制限事項を参照してください。

• spark.createDataFrameを使用してローカルデータからDataFrameを作成する場合、行サイズは128MBを超えることはできません。

• RDD API はサポートされていません。

• Databricks Runtime の最新バージョンで使用される Spark Connect は、分析と名前解決を実行時に延期するため、コードの動作が変わる可能性があります。「Spark Connect と Spark Classic の比較」を参照してください。

UDF の制限事項

• Hive UDF はサポートされていません。代わりに、 Unity Catalog で UDF を使用します。
• Scala UDF は高階関数内では使用できません。

ストリーミングの制限

注記

リストされている Kafka オプションの一部は、Databricks でサポートされている構成で使用する場合、サポートが制限されます。リストされているすべての Kafka の制限は、バッチ処理とストリーム処理の両方に有効です。「Apache Kafka への接続」を参照してください。

• ソケットソースの操作はサポートされていません。

• Unity Catalogによって管理されるデータ ソースで option("cleanSource", "archive") を使用する場合、 sourceArchiveDir はソースと同じ外部ロケーションに存在する必要があります。

• Kafka ソースおよびシンクの場合、以下のオプションはサポートされていません。

  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy

• Python foreachBatchはThreadPoolExecutorまたはマルチスレッド実行をサポートしていません。マルチスレッド実行ではエラーが発生しない場合もありますが、データの破損や結果の不整合を引き起こす可能性があります。

ネットワークとファイルシステムの制限

• 標準コンピュート 実行コマンド ファイルシステムの機密部分へのアクセスを禁止された低特権ユーザーとして実行します。

• DBFS の POSIX スタイル パス (/) はサポートされていません。

• ワークスペース管理者と ANY FILE アクセス許可を持つユーザーのみが、DBFS を使用してファイルを直接操作できます。

• インスタンスのメタデータサービスや、 Databricks VPCで実行されているサービスに接続することはできません。

環境変数の制限事項

標準のコンピュートでは、Sparkエンジンとinitスクリプトで使用できる環境変数は、事前に定義されたセットのみです。クラスターに設定した環境変数で、このセットに含まれていないものは、UDFを含むユーザーコードで引き続き利用できますが、Sparkエンジンまたはinitスクリプトでは利用できません。

このセットには、一般的な構成、認証情報、およびランタイム変数が含まれます。以下の例は網羅的ではありません。

• ネットワークとプロキシ：HTTP_PROXY、HTTPS_PROXY、 NO_PROXY
• TLS証明書: REQUESTS_CA_BUNDLE、 SSL_CERT_FILE
• AWS 認証情報とリージョン：AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、AWS_REGION、 AWS_DEFAULT_REGION
• Azure資格情報: AZURE_CLIENT_ID、AZURE_CLIENT_SECRET、 AZURE_TENANT_ID
• Google クラウド認証情報: GOOGLE_APPLICATION_CREDENTIALS
• Databricks 接続：DATABRICKS_HOST、 DATABRICKS_TOKEN
• ロケールとタイムゾーン：TZ、LANG、 LC_ALL
• 並列処理とスレッド化：OMP_NUM_THREADS、OPENBLAS_NUM_THREADS、MKL_NUM_THREADS、 NUMEXPR_NUM_THREADS
• 可観測性：DD_API_KEY、DD_SITE、 DD_ENV
• Unity Catalogのデフォルト: CATALOG、 CATALOG_NAME

Scala カーネルの制限事項

標準コンピュートで Scala カーネルを使用する場合、次の制限が適用されます。

• 特定のクラスは、内部のアーモンドカーネルライブラリ(特に Input)と競合する場合、コードで使用できません。アーモンドで定義されているインポートのリストについては、 アーモンドのインポートを参照してください。
• log4j への直接ログ記録はサポートされていません。
• UI では、データフレームスキーマドロップダウンはサポートされていません。
• ドライバが OOM に達した場合、Scala REPL は終了しません。
• //connector/sql-aws-connectors:sql-aws-connectors が Scala REPL の bazel ターゲットにない場合は、結果を ClassNotFoundExceptionで使用します。
• Scala カーネルは SQLImplicits と互換性がありません。

ランタイムに依存する制限事項

以下の制限はランタイム更新によって解決されましたが、古いランタイムを使用している場合はワークロードに引き続き適用される可能性があります。

言語サポート

機能	必要な Databricks Runtime バージョン
Scala	13.3以上
すべてのランタイムバンドル Java と Scala ライブラリは、デフォルトで利用可能	15.4 LTS以上(15.3以下の場合は spark.databricks.scala.kernel.fullClasspath.enabled=trueセット)

機能	必要な Databricks Runtime バージョン
Scala	13.3以上
すべてのランタイムバンドル Java と Scala ライブラリは、デフォルトで利用可能	15.4 LTS以上(15.3以下の場合は spark.databricks.scala.kernel.fullClasspath.enabled=trueセット)

Spark API のサポート

機能	必要な Databricks Runtime バージョン
SparkML	17.0以上
Python: SparkContext (sc)、 spark.sparkContext、 sqlContext	14.0以上
Scala Dataset ops: map, mapPartitions, foreachPartition, flatMap, reduce, filter	15.4 LTS以上

機能	必要な Databricks Runtime バージョン
SparkML	17.0以上
Python: SparkContext (sc)、 spark.sparkContext、 sqlContext	14.0以上
Scala Dataset ops: map, mapPartitions, foreachPartition, flatMap, reduce, filter	15.4 LTS以上

UDF のサポート

機能	必要な Databricks Runtime バージョン
applyInPandas, mapInPandas	14.3 LTS以上
Scala スカラー UDF と Scala UDAFs	14.3 LTS以上
PySpark UDF の Git フォルダー、ワークスペース ファイル、またはボリュームからモジュールをインポートする	14.3 LTS以上
ノートブックまたはコンピュートスコープのライブラリを介して、PySpark UDF でgrpc、pyarrow、またはprotobufのカスタムバージョンを使用する	14.3 LTS以上
非スカラーPythonおよびPandas UDF(UDAFs、UDTF、およびSpark上のPandasを含む)	14.3 LTS以上
Python スカラー UDF と Pandas UDF	14.1以上

機能	必要な Databricks Runtime バージョン
applyInPandas, mapInPandas	14.3 LTS以上
Scala スカラー UDF と Scala UDAFs	14.3 LTS以上
PySpark UDF の Git フォルダー、ワークスペース ファイル、またはボリュームからモジュールをインポートする	14.3 LTS以上
ノートブックまたはコンピュートスコープのライブラリを介して、PySpark UDF でgrpc、pyarrow、またはprotobufのカスタムバージョンを使用する	14.3 LTS以上
非スカラーPythonおよびPandas UDF(UDAFs、UDTF、およびSpark上のPandasを含む)	14.3 LTS以上
Python スカラー UDF と Pandas UDF	14.1以上

ストリーミングのサポート

機能	必要な Databricks Runtime バージョン
transformWithStateInPandas	16.3以上
applyInPandasWithState	14.3 LTS以上
Scala foreach	16.1以上
Scala foreachBatch と flatMapGroupsWithState	16.2以上
Scala from_avro	14.2以上
Kafka オプション kafka.ssl.truststore.location と kafka.ssl.keystore.location (指定場所は 外部ロケーション 管理 Unity Catalog)	13.3 LTS以上
Scala StreamingQueryListener	16.1以上
Python StreamingQueryListener Unity Catalog で管理されるオブジェクトとの対話	14.3 LTS以上

機能	必要な Databricks Runtime バージョン
transformWithStateInPandas	16.3以上
applyInPandasWithState	14.3 LTS以上
Scala foreach	16.1以上
Scala foreachBatch と flatMapGroupsWithState	16.2以上
Scala from_avro	14.2以上
Kafka オプション kafka.ssl.truststore.location と kafka.ssl.keystore.location (指定場所は 外部ロケーション 管理 Unity Catalog)	13.3 LTS以上
Scala StreamingQueryListener	16.1以上
Python StreamingQueryListener Unity Catalog で管理されるオブジェクトとの対話	14.3 LTS以上

さらに、Python の場合、Databricks Runtime 14.0 以降で次の動作変更が foreachBatch されています。

• print() コマンドは、ドライバー ログに出力を書き込みます。
• 関数内の dbutils.widgets サブモジュールにはアクセスできません。
• 関数で参照されるファイル、モジュール、またはオブジェクトは、シリアル化可能であり、Spark で使用できる必要があります。

ネットワークとファイルシステムのサポート

機能	必要な Databricks Runtime バージョン
80 および 443 以外のポートへの接続	12.2 LTS以上

機能	必要な Databricks Runtime バージョン
80 および 443 以外のポートへの接続	12.2 LTS以上

Spark構成の制限事項

Databricks Runtime 19 以降では、標準アクセスモードで次のSpark構成プロパティを設定することはできません。これらのプロパティのいずれか、またはリストされているプレフィックスのいずれか（末尾に .* が付いているものとして表示）で始まるプロパティを設定するクラスターを作成または編集すると、エラーが発生します。アップグレードする前に、クラスター構成、コンピュートポリシー、およびジョブ定義からこれらのプロパティを削除してください。

カテゴリー	制限された Spark 構成プロパティ
JVM、クラスパス、およびネイティブライブラリのオプション	spark.driver.extraJavaOptions、spark.driver.defaultJavaOptions、spark.executor.extraJavaOptions、spark.executor.defaultJavaOptions、spark.yarn.am.extraJavaOptions、spark.yarn.am.defaultJavaOptions、spark.driver.extraClassPath、spark.executor.extraClassPath、spark.driver.extraLibraryPath、 spark.executor.extraLibraryPath
環境変数の挿入	spark.executorEnv.*、spark.yarn.appMasterEnv.*、 spark.kubernetes.driverEnv.*
ライブラリ、JAR、およびファイル	spark.jars、spark.jars.packages、spark.jars.ivy、spark.jars.ivySettings、spark.jars.repositories、spark.files、spark.archives、spark.submit.pyFiles、spark.sql.maven.additionalRemoteRepositories、spark.yarn.jars、spark.yarn.archive、spark.yarn.dist.jars、spark.yarn.dist.files、spark.yarn.dist.archives、spark.yarn.dist.pyFiles、 spark.yarn.dist.forceDownloadSchemes
Hive metastore JARs	spark.sql.hive.metastore.jars, spark.sql.hive.metastore.jars.path
PythonとRの実行可能ファイル	spark.pyspark.python、spark.pyspark.driver.python、spark.r.command、spark.r.driver.command、 spark.r.shell.command
Kubernetes ポッド構成	spark.kubernetes.container.image、spark.kubernetes.driver.container.image、spark.kubernetes.executor.container.image、spark.kubernetes.driver.podTemplateFile、spark.kubernetes.executor.podTemplateFile、spark.kubernetes.driver.volumes.*、spark.kubernetes.executor.volumes.*、spark.kubernetes.driver.secrets.*、 spark.kubernetes.executor.secrets.*
ローカルファイルシステムアクセス	spark.connect.copyFromLocalToFs.allowDestLocal, spark.sql.artifact.copyFromLocalToFs.allowDestLocal
Databricks の分離とアクセス制御	spark.databricks.pyspark.enableProcessIsolation、spark.databricks.pyspark.enablePy4JSecurity、spark.databricks.pyspark.runAsLowPrivilegeUser、spark.databricks.pyspark.enableIptables、spark.databricks.pyspark.onlyAllowTrustedFilesystems、spark.databricks.pyspark.trustedFilesystems、spark.databricks.pyspark.pythonUdfsOnly、spark.databricks.acl.dfAclsEnabled、spark.databricks.acl.fileAccess.enabled、spark.databricks.acl.allowTransformUsing、spark.databricks.passthrough.enabled、spark.databricks.runtimeConfigAllowlist.enabled、spark.databricks.runtimeConfigAllowlist.extraConfs、spark.testing.databricks.runtimeConfigAllowlist.enabled、 spark.databricks.sql.jdbc.enableLakeguardDriver

カテゴリー	制限された Spark 構成プロパティ
JVM、クラスパス、およびネイティブライブラリのオプション	spark.driver.extraJavaOptions、spark.driver.defaultJavaOptions、spark.executor.extraJavaOptions、spark.executor.defaultJavaOptions、spark.yarn.am.extraJavaOptions、spark.yarn.am.defaultJavaOptions、spark.driver.extraClassPath、spark.executor.extraClassPath、spark.driver.extraLibraryPath、 spark.executor.extraLibraryPath
環境変数の挿入	spark.executorEnv.*、spark.yarn.appMasterEnv.*、 spark.kubernetes.driverEnv.*
ライブラリ、JAR、およびファイル	spark.jars、spark.jars.packages、spark.jars.ivy、spark.jars.ivySettings、spark.jars.repositories、spark.files、spark.archives、spark.submit.pyFiles、spark.sql.maven.additionalRemoteRepositories、spark.yarn.jars、spark.yarn.archive、spark.yarn.dist.jars、spark.yarn.dist.files、spark.yarn.dist.archives、spark.yarn.dist.pyFiles、 spark.yarn.dist.forceDownloadSchemes
Hive metastore JARs	spark.sql.hive.metastore.jars, spark.sql.hive.metastore.jars.path
PythonとRの実行可能ファイル	spark.pyspark.python、spark.pyspark.driver.python、spark.r.command、spark.r.driver.command、 spark.r.shell.command
Kubernetes ポッド構成	spark.kubernetes.container.image、spark.kubernetes.driver.container.image、spark.kubernetes.executor.container.image、spark.kubernetes.driver.podTemplateFile、spark.kubernetes.executor.podTemplateFile、spark.kubernetes.driver.volumes.*、spark.kubernetes.executor.volumes.*、spark.kubernetes.driver.secrets.*、 spark.kubernetes.executor.secrets.*
ローカルファイルシステムアクセス	spark.connect.copyFromLocalToFs.allowDestLocal, spark.sql.artifact.copyFromLocalToFs.allowDestLocal
Databricks の分離とアクセス制御	spark.databricks.pyspark.enableProcessIsolation、spark.databricks.pyspark.enablePy4JSecurity、spark.databricks.pyspark.runAsLowPrivilegeUser、spark.databricks.pyspark.enableIptables、spark.databricks.pyspark.onlyAllowTrustedFilesystems、spark.databricks.pyspark.trustedFilesystems、spark.databricks.pyspark.pythonUdfsOnly、spark.databricks.acl.dfAclsEnabled、spark.databricks.acl.fileAccess.enabled、spark.databricks.acl.allowTransformUsing、spark.databricks.passthrough.enabled、spark.databricks.runtimeConfigAllowlist.enabled、spark.databricks.runtimeConfigAllowlist.extraConfs、spark.testing.databricks.runtimeConfigAllowlist.enabled、 spark.databricks.sql.jdbc.enableLakeguardDriver