標準コンピュートの要件と制限事項
このページには、標準コンピュートの要件と制限事項のリストが含まれています。 クラシックコンピュートを使用している場合は、ワークロードが以下に示す制限のいずれかに依存している場合を除き Databricks 、標準アクセスモードを使用することをお勧めします。
initスクリプトとライブラリは、アクセスモードと Databricks Runtime バージョンによってサポートが異なります。 「initスクリプトはどこでインストールできますか?」 および コンピュートスコープのライブラリを参照してください。
現在の標準コンピュートの制限
次のセクションでは、最新の Databricks Runtime バージョンに基づく標準コンピュートの制限事項を示します。 古い Databricks Runtime バージョンに適用される制限については、「 Runtime依存の制限」を参照してください。
ワークロードにこれらの機能が必要な場合は、代わりに 専用コンピュート を使用してください。
一般標準コンピュートの制限事項
- Databricks Runtime for ML はサポートされていません。代わりに、Databricks RuntimeにバンドルされていないMLライブラリをコンピュートスコープのライブラリとしてインストールします。
- GPU 対応コンピュートはサポートしていません。
- Spark 送信ジョブ タスクはサポートされていません。代わりに JAR タスク を使用してください。
- DBUtils およびその他のクライアントは、 外部ロケーションを使用してクラウド ストレージからのみ読み取ることができます。
- カスタムコンテナはサポートされていません。
- DBFSルートとマウントは FUSE をサポートしていません。
言語の制限
- R はサポートされていません。
Spark API の制限事項
-
Spark Context (
sc)、spark.sparkContext、およびsqlContextは Scala ではサポートされていません。- Databricks では、
spark変数を使用してSparkSessionインスタンスを操作することをお勧めします。 - 次の
sc関数もサポートされていません:emptyRDD、range、init_batched_serializer、parallelize、pickleFile、textFile、wholeTextFiles、binaryFiles、binaryRecords、sequenceFile、newAPIHadoopFile、newAPIHadoopRDD、hadoopFile、hadoopRDD、union、runJob、setSystemProperty、uiWebUrl、stop、setJobGroup、setLocalProperty、getConf。
- Databricks では、
-
Spark 構成プロパティ
spark.executor.extraJavaOptionsはサポートされていません。 -
spark.createDataFrameを使用してローカルデータからDataFrameを作成する場合、行サイズは128MBを超えることはできません。 -
RDD API はサポートされていません。
UDF の制限事項
- Hive UDF はサポートされていません。代わりに、 Unity Catalog で UDF を使用します。
ストリーミングの制限
リストされている Kafka オプションの一部は、Databricks でサポートされている構成に使用すると、サポートが制限されます。 リストされているすべての Kafka の制限は、バッチ処理とストリーム処理の両方で有効です。 Apache Kafka と Databricks を使用したストリーム処理を参照してください。
statestoreとstate-metadataの形式を使用して、ステートフル ストリーミング クエリの状態情報を照会することはできません。transformWithStateおよび関連する API はサポートされていません。- ソケットソースの操作はサポートされていません。
- Unity Catalogによって管理されるデータ ソースで
option("cleanSource", "archive")を使用する場合、sourceArchiveDirはソースと同じ外部ロケーションに存在する必要があります。 - Kafka ソースおよびシンクの場合、以下のオプションはサポートされていません。
kafka.sasl.client.callback.handler.classkafka.sasl.login.callback.handler.classkafka.sasl.login.classkafka.partition.assignment.strategy
ネットワークとファイルシステムの制限
-
標準コンピュート 実行コマンド ファイルシステムの機密部分へのアクセスを禁止された低特権ユーザーとして実行します。
-
DBFS の POSIX スタイル パス (
/) はサポートされていません。 -
ワークスペース管理者と ANY FILE アクセス許可を持つユーザーのみが、DBFS を使用してファイルを直接操作できます。
-
インスタンスのメタデータサービスや、 Databricks VPCで実行されているサービスに接続することはできません。
Scala カーネルの制限事項
標準コンピュートで Scala カーネルを使用する場合、次の制限が適用されます。
- 特定のクラスは、内部のアーモンドカーネルライブラリ(特に
Input)と競合する場合、コードで使用できません。アーモンドで定義されているインポートのリストについては、 アーモンドのインポートを参照してください。 - log4j への直接ログ記録はサポートされていません。
- UI では、データフレームスキーマドロップダウンはサポートされていません。
- ドライバが OOM に達した場合、Scala REPL は終了しません。
//connector/sql-aws-connectors:sql-aws-connectorsが Scala REPL の bazel ターゲットにない場合は、結果をClassNotFoundExceptionで使用します。- Scala カーネルは SQLImplicits と互換性がありません。
ランタイムに依存する制限事項
以下の制限はランタイム更新によって解決されましたが、古いランタイムを使用している場合はワークロードに引き続き適用される可能性があります。
言語サポート
機能 | 必要な Databricks Runtime バージョン |
|---|---|
Scala | 13.3以上 |
すべてのランタイムバンドル Java と Scala ライブラリは、デフォルトで利用可能 | 15.4 LTS以上(15.3以下の場合は |
Spark API のサポート
機能 | 必要な Databricks Runtime バージョン |
|---|---|
SparkML | 17.0以上 |
Python: | 14.0以上 |
Scala | 15.4 LTS以上 |
UDF のサポート
機能 | 必要な Databricks Runtime バージョン |
|---|---|
| 14.3 LTS以上 |
Scala スカラー UDF と Scala UDAFs | 14.3 LTS以上 |
PySpark UDF の Git フォルダー、ワークスペース ファイル、またはボリュームからモジュールをインポートする | 14.3 LTS以上 |
ノートブックまたはコンピュートスコープのライブラリを介して、PySpark UDF で | 14.3 LTS以上 |
非スカラーPythonおよびPandas UDF(UDAFs、UDTF、およびSpark上のPandasを含む) | 14.3 LTS以上 |
Python スカラー UDF と Pandas UDF | 14.1以上 |
ストリーミングのサポート
機能 | 必要な Databricks Runtime バージョン |
|---|---|
| 16.3以上 |
| 14.3 LTS以上 |
Scala | 16.1以上 |
Scala | 16.2以上 |
Scala | 14.2以上 |
Kafka オプション | 13.3 LTS以上 |
Scala | 16.1以上 |
Python | 14.3 LTS以上 |
さらに、Python の場合、Databricks Runtime 14.0 以降で次の動作変更が foreachBatch されています。
print()コマンドは、ドライバー ログに出力を書き込みます。- 関数内の
dbutils.widgetsサブモジュールにはアクセスできません。 - 関数で参照されるファイル、モジュール、またはオブジェクトは、シリアル化可能であり、Spark で使用できる必要があります。
ネットワークとファイルシステムのサポート
機能 | 必要な Databricks Runtime バージョン |
|---|---|
80 および 443 以外のポートへの接続 | 12.2 LTS以上 |