メインコンテンツまでスキップ

標準コンピュートの要件と制限事項

このページには、標準コンピュートの要件と制限事項のリストが含まれています。 クラシックコンピュートを使用している場合は、ワークロードが以下に示す制限のいずれかに依存している場合を除き Databricks 、標準アクセスモードを使用することをお勧めします。

important

initスクリプトとライブラリは、アクセスモードと Databricks Runtime バージョンによってサポートが異なります。 「initスクリプトはどこでインストールできますか?」 および コンピュートスコープのライブラリを参照してください。

現在の標準コンピュートの制限​

次のセクションでは、最新の Databricks Runtime バージョンに基づく標準コンピュートの制限事項を示します。 古い Databricks Runtime バージョンに適用される制限については、「 Runtime依存の制限」を参照してください。

ワークロードにこれらの機能が必要な場合は、代わりに 専用コンピュート を使用してください。

一般標準コンピュートの制限事項​

  • Databricks Runtime for ML はサポートされていません。代わりに、Databricks RuntimeにバンドルされていないMLライブラリをコンピュートスコープのライブラリとしてインストールします。
  • GPU 対応コンピュートはサポートしていません。
  • Spark 送信ジョブ タスクはサポートされていません。代わりに JAR タスク を使用してください。
  • DBUtils およびその他のクライアントは、 外部ロケーションを使用してクラウド ストレージからのみ読み取ることができます。
  • カスタムコンテナはサポートされていません。
  • DBFSルートとマウントは FUSE をサポートしていません。

言語の制限​

  • R はサポートされていません。

Spark API の制限事項​

  • Spark Context (sc)、 spark.sparkContext、および sqlContext は Scala ではサポートされていません。

    • Databricks では、 spark 変数を使用して SparkSession インスタンスを操作することをお勧めします。
    • 次の sc 関数もサポートされていません: emptyRDD、 range、 init_batched_serializer、 parallelize、 pickleFile、 textFile、 wholeTextFiles、 binaryFiles、 binaryRecords、 sequenceFile、 newAPIHadoopFile、 newAPIHadoopRDD、 hadoopFile、 hadoopRDD、 union、 runJob、 setSystemProperty、 uiWebUrl、 stop、 setJobGroup、 setLocalProperty、 getConf。

  • Spark 構成プロパティ spark.executor.extraJavaOptionsはサポートされていません。

  • spark.createDataFrameを使用してローカルデータからDataFrameを作成する場合、行サイズは128MBを超えることはできません。

  • RDD API はサポートされていません。

UDF の制限事項​

  • Hive UDF はサポートされていません。代わりに、 Unity Catalog で UDF を使用します。

ストリーミングの制限​

注記

リストされている Kafka オプションの一部は、Databricks でサポートされている構成に使用すると、サポートが制限されます。 リストされているすべての Kafka の制限は、バッチ処理とストリーム処理の両方で有効です。 Apache Kafka と Databricks を使用したストリーム処理を参照してください。

  • statestore と state-metadata の形式を使用して、ステートフル ストリーミング クエリの状態情報を照会することはできません。

  • transformWithState および関連する API はサポートされていません。

  • ソケットソースの操作はサポートされていません。

  • Unity Catalogによって管理されるデータ ソースで option("cleanSource", "archive") を使用する場合、 sourceArchiveDir はソースと同じ外部ロケーションに存在する必要があります。

  • Kafka ソースおよびシンクの場合、以下のオプションはサポートされていません。

    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy

  • ストリーミングワークロード用に Kafka や Kinesis などの外部ソースへのアクセスを設定するインスタンスプロファイルはサポートされていません。代わりに、 サービス資格情報を使用してください。

ネットワークとファイルシステムの制限​

  • 標準コンピュート 実行コマンド ファイルシステムの機密部分へのアクセスを禁止された低特権ユーザーとして実行します。

  • DBFS の POSIX スタイル パス (/) はサポートされていません。

  • ワークスペース管理者と ANY FILE アクセス許可を持つユーザーのみが、DBFS を使用してファイルを直接操作できます。

  • インスタンス メタデータ サービス (IMDS) や、 Databricks VPCで実行されている他のサービスに接続することはできません。 boto3 を使用してクラウドサービスにアクセスするには、 サービス資格情報を使用します。

Scala カーネルの制限事項​

標準コンピュートで Scala カーネルを使用する場合、次の制限が適用されます。

  • 特定のクラスは、内部のアーモンドカーネルライブラリ(特に Input)と競合する場合、コードで使用できません。アーモンドで定義されているインポートのリストについては、 アーモンドのインポートを参照してください。
  • log4j への直接ログ記録はサポートされていません。
  • UI では、データフレームスキーマドロップダウンはサポートされていません。
  • ドライバが OOM に達した場合、Scala REPL は終了しません。
  • //connector/sql-aws-connectors:sql-aws-connectors が Scala REPL の bazel ターゲットにない場合は、結果を ClassNotFoundExceptionで使用します。
  • Scala カーネルは SQLImplicits と互換性がありません。

ランタイムに依存する制限事項​

以下の制限はランタイム更新によって解決されましたが、古いランタイムを使用している場合はワークロードに引き続き適用される可能性があります。

言語サポート​

機能

必要な Databricks Runtime バージョン

Scala

13.3以上

すべてのランタイムバンドル Java と Scala ライブラリは、デフォルトで利用可能

15.4 LTS以上(15.3以下の場合は spark.databricks.scala.kernel.fullClasspath.enabled=trueセット)

Spark API のサポート​

機能

必要な Databricks Runtime バージョン

SparkML

17.0以上

Python: SparkContext (sc)、 spark.sparkContext、 sqlContext

14.0以上

Scala Dataset ops: map, mapPartitions, foreachPartition, flatMap, reduce, filter

15.4 LTS以上

UDF のサポート​

機能

必要な Databricks Runtime バージョン

applyInPandas, mapInPandas

14.3 LTS以上

Scala スカラー UDF と Scala UDAFs

14.3 LTS以上

PySpark UDF の Git フォルダー、ワークスペース ファイル、またはボリュームからモジュールをインポートする

14.3 LTS以上

ノートブックまたはコンピュートスコープのライブラリを介して、PySpark UDF でgrpc、pyarrow、またはprotobufのカスタムバージョンを使用する

14.3 LTS以上

非スカラーPythonおよびPandas UDF(UDAFs、UDTF、およびSpark上のPandasを含む)

14.3 LTS以上

Python スカラー UDF と Pandas UDF

13.3 LTS以上

ストリーミングのサポート​

機能

必要な Databricks Runtime バージョン

transformWithStateInPandas

16.3以上

applyInPandasWithState

14.3 LTS以上

Scala foreach

16.1以上

Scala foreachBatch と flatMapGroupsWithState

16.2以上

Scala from_avro

14.2以上

Kafka オプション kafka.ssl.truststore.location と kafka.ssl.keystore.location (指定場所は 外部ロケーション 管理 Unity Catalog)

13.3 LTS以上

Scala StreamingQueryListener

16.1以上

Python StreamingQueryListener Unity Catalog で管理されるオブジェクトとの対話

14.3 LTS以上

さらに、Python の場合、Databricks Runtime 14.0 以降で次の動作変更が foreachBatch されています。

  • print() コマンドは、ドライバー ログに出力を書き込みます。
  • 関数内の dbutils.widgets サブモジュールにはアクセスできません。
  • 関数で参照されるファイル、モジュール、またはオブジェクトは、シリアル化可能であり、Spark で使用できる必要があります。

ネットワークとファイルシステムのサポート​

機能

必要な Databricks Runtime バージョン

80 および 443 以外のポートへの接続

12.2 LTS以上

に最終更新