メインコンテンツまでスキップ

サーバレスコンピュートの制限

ノートブックやジョブをServerlessコンピュートに移行する前に、サポートされている言語とAPIs、データアクセス要件、ユーザー定義関数の制限、ネットワークルール、およびキャッシュ要件を確認してください。

言語とAPIのサポート​

  • Rはサポートされていません。
  • Spark Connect APIのみがサポートされます。 Spark RDD APIはサポートされていません。
  • サーバレス コンピュートで使用されるSpark Connect は、分析と名前解決を実行時まで延期するため、コードの動作が変わる可能性があります。 「Spark Connect と Spark Classic の比較」を参照してください。
  • ANSI モードはdefaultで有効になっています。不正なキャスト、算術オーバーフロー、および不正な形式の入力は、NULLや不正な結果をサイレントに返すのではなく、ランタイムエラーを発生させます。動作を変更する操作の処理方法およびオプトアウトの制限に関する情報については、移行ガイドのSQL動作の違いに関するセクションを参照してください。
  • defaultのセッションタイムゾーンは Etc/UTC (協定世界時) です。別のタイムゾーンを使用するには、spark.sql.session.timeZone を設定します。「Serverless ノートブックとジョブのSparkプロパティを構成する」を参照してください。
  • spark.createDataFrameを使用してローカルデータからDataFrameを作成する場合、行サイズは128MBを超えることはできません。

データアクセスと保存​

  • 外部データソースに接続するには、 Unity Catalog を使用する必要があります。 外部ロケーションを使用してクラウドストレージにアクセスします。

  • DBFS へのアクセスは制限されています。代わりに、 Unity Catalogボリュームまたはワークスペース ファイルを使用してください。

  • ノートブックとジョブタスクの作業ディレクトリは保証されないため、相対ファイルパスや相対的なPythonインポートが失敗する可能性があります。ファイルを参照するには絶対パスを使用し、相対モジュールの代わりに共有Pythonコードをワークスペースファイルとしてインポートしてください。See Work with Python and R modules.

  • Maven 座標はサポートされていません。

  • グローバル一時ビューはサポートされていません。単一セッション内で使用する結果にはセッション一時ビューを使用してください。コンピュートされた結果をセッション間で共有するには、Unity Catalog テーブルに書き込みます。

  • AWSインスタンスによるDBFSマウントはサポートされていません。

ユーザー定義関数(UDF)​

  • Serverless ノートブックとジョブでの Unity Catalog Python UDF は、ワークスペースのネットワークポリシーおよび UDF ネットワーキングの制限に従って、外部ネットワークアクセスをサポートしています。CREATE FUNCTION (External) コマンドはサポートされていません。Databricks では、サポートされている UDF を作成するために CREATE FUNCTION (SQL and Python) を使用することをお勧めしています。
  • Serverlessコンピュート上のPySpark UDFは、サンドボックスごとにdefaultメモリ制限が1 GiB (1024 MiB) の隔離されたサンドボックスでランされます。Databricksはこの制限を管理します。ユーザーはこれを構成できません。
  • Scala UDF は高階関数内では使用できません。

UIとログ​

  • Spark UI は使用できません。 代わりに、クエリ プロファイルを使用して、Spark クエリに関する情報を表示します。 クエリ プロファイルを参照してください。
  • Spark ログは使用できません。ユーザーはクライアント側のアプリケーション ログにのみアクセスできます。

ネットワークとワークスペースへのアクセス​

  • クロスワークスペースアクセスは、ソースワークスペースのエグレスルールと送信先ワークスペースのイングレウルールに依存します。クロスワークスペースアクセスのベータ版では、許可されるワークスペースペアの構成がサポートされています。互換モードを使用するワークスペースは、既存のネットワーク制限を保持します。要件とサービス固有の制限については、「クロスワークスペースアクセス」を参照してください。
  • Databricks Container Services はサポートされていません。
  • Serverless コンピュートは、IPv4 経由でのみアクセス可能なリソースに接続できません。リソースは IPv4 経由でアクセス可能である必要があります。

ストリーミングの制限​

ノートブックとジョブのServerlessコンピュートは、次のStructured Streaming Triggerをサポートしています。

  • Trigger.AvailableNow()。 Databricks 、サーバレス コンピュートにこのトリガー モードを推奨します。
  • Trigger.Once()この非推奨モードはサポートされていますが、推奨されません。

Serverlessノートブックまたはジョブでは、以下のTriggerはサポートされていません:

  • Trigger.Continuous(interval).
  • Trigger.ProcessingTime(interval).
    • デフォルトでは、トリガーモードを指定しない場合、Apache Spark はトリガーをTrigger.ProcessingTime("0 seconds")に設定します。サポートされているトリガーをサーバレスコンピュートに設定する必要があります。

サポートされていないトリガーを使用しようとすると、クエリはエラーINFINITE_STREAMING_TRIGGER_NOT_SUPPORTEDを発生させます。

これらのTriggerに関する制限は、LakeFlow Pipelinesの処理モードには適用されません。継続的なストリーミングワークロードでは、Serverless パイプラインを継続モードで使用するか、継続ジョブでTrigger.AvailableNow()を使用します。LakeFlow Pipelines のリアルタイムモードは、特定のランタイム、ソース、シンク、オペレーター要件を伴うサブ秒単位の運用ワークロードをサポートします。

ストリーミングのユースケースを適切なサーバレス製品にマッピングする決定ガイドについては、サーバレス コンピュートでのストリーミングを参照してください。

標準アクセスモードでのストリーミングに関するすべての制限も適用されます。ストリーミングの制限を参照してください。

ノートブックの制限​

  • Scala と R はノートブックではサポートされていません。
  • JAR ライブラリはノートブックではサポートされていません。回避策については、 「サーバレス コンピュートのベスト プラクティス」を参照してください。 ジョブ内の JAR タスクがサポートされています。ジョブについては JAR タスクを参照してください。
  • ノートブックセッションで%pipを使ってインストールされたライブラリは、新しいセッションで再インストールする必要があります。 環境 ウィンドウで構成された依存関係は、Serverless環境キャッシュを使用します。ノートブックへの依存関係の追加を参照してください。
  • ユーザー間でノートブックを共有する場合の TEMP テーブルとビューの共有はサポートされていません。
  • ノートブック内のデータフレームのオートコンプリートと変数エクスプローラーはサポートされていません。
  • デフォルトでは、新しいノートブックは .ipynb 形式で保存されます。ノートブックがソース 形式で保存されている場合、サーバレス メタデータが正しく取得されず、一部のフィーチャが期待どおりに機能しないことがあります。
  • ノートブックのタグはサポートされていません。サーバレス利用ポリシーをタグ付けするには、サーバレス利用ポリシーを使用します。

ジョブの制限​

  • ジョブランページに表示されるタスクLogsは、タスクランごとに分離されているわけではなく、複数のタスクからの出力が含まれます。アプリケーションLogをタスクランごとに整理されたディレクトリのボリュームに配信するには、Serverless LogをUnity Catalogボリュームに配信するを参照してください。
  • タスク ライブラリは、ノートブック タスクではサポートされていません。 代わりに、ノートブック スコープのライブラリを使用してください。 ノートブック スコープの Python ライブラリを参照してください。
  • デフォルトでは、サーバレス ジョブにはクエリ実行タイムアウトはありません。 spark.databricks.execution.timeoutプロパティを使用して、ジョブ クエリの実行タイムアウトを設定できます。詳細については、 「サーバーレス ノートブックとジョブのSparkプロパティを構成する」を参照してください。
  • サーバレスコンピュートの最大ランタイムは7日間です。7日を超える実行はプラットフォームによって終了され、再試行されません。7日を超えるワークロードを実行するには、それらをより小さな実行に分割するか、クラシックコンピュートを使用します。

コンピュート固有の制限​

次のコンピュート固有の機能はサポートされていません。

キャッシングの制限​

  • メタデータはサーバレス コンピュート セッションにキャッシュされます。 このため、カタログを切り替えてもセッション コンテキストが完全にリセットされない可能性があります。セッション コンテキストをクリアするには、サーバレス コンピュート リソースをリセットするか、新しいセッションを開始します。

  • df.cache()``df.persist()およびdf.unpersist()は、 Serverlessコンピュートでの DataFrameキャッシュ パブリックプレビューが有効になっている場合、Serverless環境バージョン5以降でサポートされます。プレビューは、コンプライアンスセキュリティプロファイルが有効になっているワークスペースでは使用できません。有効化およびクライアントの要件については、「要件」を参照してください。

  • Serverlessコンピュートでは、次のキャッシュ APIs と SQL コマンドはサポートされていません。これらの APIs または SQL コマンドのいずれかを使用すると、例外が発生します。

  • Spark 機械学習モデルのキャッシュはセッションあたり 1 GB(1,073,741,824 バイト)に制限されており、単一モデルは 100 MB に制限されています。どちらの制限も、クラシックコンピュートよりもServerlessコンピュートの方が低く設定されており、変更することはできません。セッションの制限を超過すると、ML_CACHE_SIZE_OVERFLOW_EXCEPTION が発生します。モデルごとの制限を超過すると、MODEL_SIZE_OVERFLOW_EXCEPTION が発生します。キャッシュ内の空きを確保するには、使用しなくなったモデルへの Python 参照を削除します。15 分間使用されずに放置されたモデルはローカルディスクに移動しますが、引き続きセッション制限の対象としてカウントされます。

Hive の制限事項​

  • Hive SerDe テーブル はサポートされていません。 また、Hive SerDe テーブルにデータをロードする対応する LOAD DATA コマンドはサポートされていません。 このコマンドを使用すると、例外が発生します。

  • Hive 変数 ( ${env:var}、 ${configName}、 ${system:var}、 spark.sql.variableなど) や、 ${var} 構文を使用した設定変数の参照はサポートされていません。 Hive 変数を使用すると、例外が発生します。

    代わりに、DECLARE VARIABLE、 SET VARIABLE、および SQL セッション変数参照とパラメーター マーカー ('?' または '') セッション状態を宣言、変更、参照します。多くの場合、 IDENTIFIER 句 を使用してオブジェクト名をパラメータ化することもできます。

サポートされているデータソース​

データ操作言語 (DML) 操作の場合、Serverless コンピュートは次のデータソースプロバイダーを許可します。各プロバイダーも要求された操作をサポートする必要があります。このリストに含まれているからといって、すべての書き込み、更新、削除の操作がサポートされているとは限りません。たとえば、バイナリファイルソースは読み取り専用です。

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

サーバレス コンピュートは、読み込み操作で次のデータソースをサポートしています。

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW (Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB