サーバレス コンピュート リリースノート

適用対象: AWS GCP Azure

このセクションには、サーバレス コンピュートのリリースノートが含まれています。 リリースノートは、年と週ごとに整理されています。サーバレス コンピュートは、常にここに記載されている最新のリリースバージョンを使用して実行します。

2026年7月6日

このServerlessコンピュートリリースには、SAP Databricks Runtime 18のアップデートが含まれています。

新機能

• IPアドレス関数 (プレビュー) : IPv4およびIPv6アドレスとCIDRブロックを操作するための新しいSQL関数が利用可能です。これには、nullセーフな動作のためのip_host、ip_cidr、ip_version、ip_prefix_length、ip_network、ip_network_last、ip_cidr_contains、ip_as_binary、ip_as_string、およびtry_*バリアントが含まれます。

• オンデマンド状態再パーティション分割 (プレビュー) ：Structured Streamingは現在、チェックポイント状態を失うことなく、ステートフルクエリーのシャッフルパーティションの数を変更することをサポートしています。

行動の変化

• CREATE OR REPLACE TABLE はコメントを保持します:CREATE OR REPLACE TABLE は、既存の列およびテーブルのコメントを default で保持するようになりました。以前は、テーブルを再作成する際にコメントは削除されていました。

• DataFrame の名前による書き込みは互換性のある列をキャストします : writeTo().append()、writeTo().overwrite()、writeTo().overwritePartitions()、および write.mode("append").saveAsTable() は、ターゲットの Delta テーブルスキーマに一致させるために、型互換の列（たとえば、int から long）を自動的にキャストするようになりました。以前は、列の型に互換性はあるものの同一ではない場合に、これらの操作は DELTA_FAILED_TO_MERGE_FIELDS エラーで失敗していました。動作は SQL INSERT INTO ... BY NAME と一致するようになりました。

• ALTER TABLE SET TBLPROPERTIES for pipelines.pipelineId : ALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') は、指定されたテーブルをパイプラインによる書き込みの対象となるようにします。以前は、通常のテーブルでこのプロパティを設定しても効果はありませんでした。テーブルがパイプライン書き込みの対象外である場合、コマンドは SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED をスローします。

• DESCRIBE EXTENDED AS JSON には予測的最適化の結果が含まれます : DESCRIBE EXTENDED ... AS JSON には、予測的最適化評価の結果が出力に含まれるようになりました。以前は、この情報がJSON出力で返されませんでした。

• メトリクスビューのウィンドウメジャーは正しい結果を返します: クエリーでGROUP BY 、IN /BETWEEN フィルター、またはウィンドウの順序列で混在した述語を使用する場合、メトリクスビューのウィンドウメジャーは正しい結果を返すようになりました。以前は、これらのフィルターパターンでは正しくない結果が生成される可能性がありました。

• ** キーでの Structured StreamingNaN の重複排除**：Structured StreamingNaN の重複排除は、異なるビットパターンを持つ (非数値) の値を、double またはfloat の列が重複排除キーとして使用される場合に重複として扱うようになりました。以前は、内部表現が異なる NaN の値は個別のものとして扱われ、重複排除されませんでした。

• NATURAL JOIN 大文字と小文字を区別しない列の一致 : NATURAL JOIN は、共通列を大文字と小文字を区別せずに一致させるようになり、同等の USING 結合と一貫性があります。以前は、列の一致が大文字と小文字を区別していたため、大文字と小文字のみが異なる列（たとえば、ID と id）が共通列として認識されず、予期される等結合ではなくサイレントなクロス結合が発生していました。

バージョン18.2

2026年5月13日

このServerless コンピュート リリースは、SAP Databricks Runtime 18.2 にほぼ対応します。

新機能

• 一時テーブルのCREATE OR REPLACEサポート : CREATE OR REPLACE TEMP TABLE構文がサポートされるようになりました。これにより、単一のステートメントで一時テーブルを作成または置換できます。これにより、一時テーブルを明示的に削除して再作成する必要がなくなります。

• measure()関数のagg()別名 : agg()は、measure()関数の別名として利用できるようになりました。この変更は完全に下位互換性があります。既存のmeasure()を使用するクエリーは、変更なしで引き続き機能し、agg()は同じ引数で使用すると同じ結果を生成します。

• Delta テーブル履歴に書き込みオプションフラグが含まれるようになりました : Delta テーブル履歴 (DESCRIBE HISTORY) に、WRITE および REPLACE TABLE 操作の operationParameters 列に書き込みオプションフラグが含まれるようになりました。次のオプションを明示的に有効にすると、履歴に Boolean フラグとして表示されます (true の場合のみ含まれます)。

  WRITEおよびREPLACE TABLEオペレーションの場合：

  • isDynamicPartitionOverwrite: 動的パーティション上書きモードが使用された場合に表示されます
  • canOverwriteSchema: スキーマの上書き (overwriteSchema) が有効な場合に存在します
  • canMergeSchema：スキーマMerge（mergeSchema）が有効になっている場合に存在します。

  REPLACE TABLE件のオペレーション：

  • predicate: replaceWhereが使用された場合に存在します
  • isV1WriterSaveAsTableOverwrite：置換が.saveAsTableの上書きによってトリガーされた場合に存在します

• replaceOnとreplaceUsing DataFrame APIs を使用してデータを選択的に置換: replaceOn``replaceUsingScala および Python DataFrame APIs の および オプションは、現在、一般提供されています。これらのオプションを使用して、テーブルの一部を DataFrame の結果で置き換えます。replaceOn は、ユーザー定義の条件に一致する行を置換します。replaceUsing は、指定された列が等しい行を置換します。これらの APIs は、INSERT REPLACE ON および INSERT REPLACE USING SQL ステートメントを補完します。

行動の変化

• INSERT、MERGE、およびスキーマ進化を伴うストリーミング書き込みにおけるNULL構造体の保持 : INSERT、MERGE、およびスキーマ進化を使用するストリーミング書き込みの場合、ソース内のNULL構造体はターゲットにNULLとして保存されるようになりました。以前は、その値は、すべてのフィールドがNULLに設定された非NULL構造体として誤って具体化されていましたが、スキーマ進化なしの同じ操作では、NULL構造体が正しく保持されていました。コードがすべてのフィールドがNULLである非NULL構造体を受け取ることに依存していた場合、代わりにNULL構造体を処理するようにコードを更新してください。

• LEFT OUTER JOIN LATERAL ** で行が削除される問題の修正**：LEFT OUTER JOIN LATERAL のクエリーから誤って行を削除していたバグが修正されました。この構成を使用するクエリーは、正しい結果を返すようになりました。一時的に以前の動作に戻すには、spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic を true に設定します。

• NATURAL JOINは、大文字と小文字を区別しない列の一致を尊重します : NATURAL JOINは、spark.sql.caseSensitiveがfalse（default）に設定されている場合、大文字と小文字を区別しない列の一致を正しく使用するようになりました。以前は、NATURAL JOINは共通の列を識別するために大文字と小文字を区別する比較を使用していました。このため、大文字と小文字のみが異なる列（たとえば、IDとid）は一致するものとして認識されませんでした。これにより、NATURAL JOINはサイレントにクロス結合結果を生成していました。この修正により、NATURAL JOINの動作が、すでに大文字と小文字の区別を正しく処理していたUSING結合と整合されます。このバグの影響を受けるクエリーは、適切に結合された列を使用して正しい結果を返すようになりました。

• SQL UDF dependency validation in Unity Catalog : Unity Catalogは、アクセス制御のバイパスを防ぐため、SQLユーザー定義関数 (UDF) に対し依存関係の検証を強制するようになりました。以前は、REST APIを介して作成されたSQL関数は、ユーザーがアクセス権を持たない依存関係を参照できました。無効な依存関係構成を持つSQL UDFは、実行がブロックされるようになりました。

• AWS SDK v1の依存関係がシェード化されました : SAP Databricks RuntimeにバンドルされているAWS SDK v1の依存関係はシェード化され、クラスパス上で直接利用できなくなりました。お使いのコードが、以前SAP Databricks Runtimeによって提供されていたAWS SDK v1ライブラリに依存している場合は、プロジェクトで明示的な依存関係として追加してください。この変更は、AWSによるSDK v1のサポート終了に伴い、AWS SDK v2への移行に備えるものです。

• ESRI 定義の SRID 102100 の誤った EPSG オーソリティを修正 : SRID 102100 の座標参照系 (CRS) マッピングで、誤った EPSG:102100 の代わりに ESRI:102100 が正しく使用されるようになりました。この修正により、地理空間データが正しいオーソリティで保存され、他のシステムとの相互運用性が向上します。

バージョン18.1

2026年4月20日

このServerless コンピュートリリースは、SAP Databricks Runtime 18.1におおよそ対応します。

新機能

• **INSERTステートメントによるスキーマ進化**: WITH SCHEMA EVOLUTIONSQL ステートメントでINSERT 句を使用して、挿入操作中にターゲットテーブルのスキーマを自動的に進化させます。この句は、INSERT INTO、INSERT OVERWRITE、およびINSERT INTO ... REPLACEの形式でサポートされています。

• INSERT操作におけるNULL構造体値の保持 ：スキーマ進化または暗黙的なキャスティングを伴うINSERTの操作は、ソースとターゲットのテーブルの構造体フィールドの順序が異なる場合、NULLの構造体値を保持します。

• parse_timestamp SQL function : The parse_timestamp SQL関数は、複数のパターンを使用してtimestamp 文字列を解析します。この関数はPhotonエンジンで実行され、パフォーマンスが向上します。

• max_by** とmin_by (オプションの制限付き)**: 集計関数max_by とmin_by limitは、オプションの3番目の引数 (最大100,000) を受け入れるようになり、ウィンドウ関数またはCTEなしでトップまたはボトムK値の配列を返します。

• ベクトル集計関数とスカラー関数 : 新しい SQL 関数は、埋め込みおよび類似性ワークロード向けの ARRAY<FLOAT> ベクトルで動作します。これには、vector_avg、vector_sum、vector_cosine_similarity、vector_inner_product、vector_l2_distance、vector_norm、および vector_normalize が含まれます。

• SQL cursor support in compound statements : SQLスクリプト複合ステートメントがカーソル処理をサポートするようになりました。DECLARE CURSORを使用してカーソルを定義し、ステートメントを開き、フェッチし、閉じ、クエリーを実行して行を一度に1つずつ消費します。

• **近似トップKスケッチ関数**: 新しい関数により、分散型トップK集計のための近似トップKスケッチの構築および結合が可能になりました:approx_top_k_accumulate 、 、およびapprox_top_k_combine approx_top_k_estimate。

• タプルスケッチ関数 ：タプルスケッチの新しい集計関数とスカラー関数は、キーとサマリーのペアに対する個別のカウントと集計をサポートします。

• 新しい地理空間関数 ：以下の地理空間関数が利用可能になりました。

  • st_estimatesrid: 入力ジオメトリに最適な予測空間参照識別子（SRID）を推定します。
  • st_force2d: 地理またはジオメトリを2D表現に変換します。
  • st_nringsポリゴンまたはマルチポリゴン内のリングの総数（外側のリングと内側のリングの両方を含む）をカウントします。
  • st_numpoints：地理またはジオメトリ内の空でない点の数をカウントします。

• Photon support for geospatial functions : st_difference、st_intersection、st_unionは現在、より高速なパフォーマンスのためにPhotonエンジンで実行されます。

行動の変化

• 観測メトリクスのエラーによってクエリーが失敗しなくなりました : 観測メトリクスの収集中のエラーがクエリー実行の失敗を引き起こすことはなくなりました。以前は、OBSERVE 句でのエラー（ゼロによる除算など）によってクエリー全体がブロックされたり、失敗したりすることがありました。現在、クエリーは正常に完了し、observation.get を呼び出すとエラーが発生します。

• DESCRIBE FLOW ** 予約済みキーワード**：DESCRIBE FLOW コマンドが利用可能になりました。flow という名前のテーブルがある場合、DESCRIBE schema.flow、DESCRIBE TABLE flow、または DESCRIBE `flow` をバッククォートで囲んで使用します。

• SpatialSQL Booleanセット操作 ：ST_Difference、ST_Intersection、およびST_Unionは、約2倍高速な新しい実装を使用します。有効な入力ジオメトリは常に結果を生成します。結果は一貫した出力のために正規化されており、異なる式と操作の順序のため、線分交差の場合、15番目の小数点以下で異なる場合があります。

• SQLSTATEの例外タイプ : 例外タイプがSQLSTATEをサポートするように更新されました。コードが文字列の一致によって例外を解析する場合、または特定の例外タイプをキャッチする場合、エラー処理ロジックを更新してください。

バージョン18.0

2026年2月27日

このサーバレス コンピュート リリースは、SAP Databricks Runtime 18.0 にほぼ対応します。

新機能

• SQLスクリプトが GA になりました : SQLスクリプトがサーバレス コンピュートで一般的に利用できるようになりました。
• Unity Catalog Python UDF の共有分離 : Unity Catalog Python UDF は、サーバーレス コンピュートの共有分離モードで実行されるようになりました。
• メトリクス ビューのSQLウィンドウ関数 : メトリクス ビューでSQLウィンドウ関数を使用できるようになりました。
• ステートレス ストリーミング クエリでの動的なシャッフル パーティション調整 : サーバレス コンピュートは、ステートレス ストリーミング クエリのシャッフル パーティションを動的に調整してパフォーマンスを最適化するようになりました。
• リテラル文字列がどこでも結合 : 文字列リテラルがすべてのSQLコンテキストにわたって結合されるようになりました。
• どこでも問題マーカー : 問題マーカーがすべてのSQLコンテキストでサポートされるようになりました。
• IDENTIFIER句 がすべてのSQLコンテキストでサポートされるようになりました。
• 新しいBITMAP_AND_AGG関数 ：ビットマップAND演算のための新しい集計関数。
• 新しい Theta スケッチ機能 : Theta スケッチの近似的な個別カウントのための新しい機能。
• 新しいKLLスケッチ関数ライブラリ ：KLLスケッチの分位点推定のための新しい関数。
• Apache Parquetがバージョン1.16.0にアップグレードされました 。Apache Parquetライブラリがバージョン 1.16.0 にアップグレードされました。
• 新しい地理空間機能 : st_azimuth 、 st_boundary 、 st_closestpoint 、 st_geogfromewkt 、 st_geomfromewkt 。
• 空間結合のパフォーマンスの向上 : 空間結合は、サーバレス コンピュートでより高速に実行されるようになりました。
• 地理空間機能のパフォーマンス向上 ：地理空間機能が最適化され、パフォーマンスが向上しました。

行動の変化

• FSCK REPAIR TABLE メタデータ修復がデフォルトで含まれています。
• Python UDFの実行が統一されました（TIMESTAMPのタイムゾーン動作の変更）。
• タイムトラベルの制限とvacuum保持動作が更新されました。
• BinaryType PySparkでは、デフォルトではバイト列にマッピングされます。
• Parquetファイル内にパーティション列が具体化されます。
• DESCRIBE TABLE 出力にはメタデータ列が含まれます。

ペースレス環境バージョン5が利用可能になりました

2026年2月25日

サーバーレス環境バージョン 5 が利用可能になり、更新されたシステム ライブラリとセキュリティ パッチが含まれています。

バージョン17.3

2025年10月28日

このサーバレス コンピュート リリースは、 Databricks Runtime 17.3 LTSにほぼ対応します。

新機能

• 再帰 CTE の LIMIT ALL サポート : 再帰共通テーブル式 (rCTE) でLIMIT ALL句を使用して、クエリ結果に行制限を適用しないことを明示的に指定できるようになりました。

• Unity Catalogボリューム内のファイルに追加すると正しいエラーが返される : Unity Catalogボリューム内の既存のファイルに追加しようとすると、問題を理解して解決するのに役立つ、より説明的なエラー メッセージが返されるようになりました。

• st_dump関数のサポート : st_dump関数を使用して、ジオメトリ オブジェクトを構成要素に分解し、より単純なジオメトリのセットを返すことができるようになりました。

• ポリゴン内部リング関数がサポートされるようになりました 。次の関数を使用してポリゴン内部リングを操作できるようになりました。

  • st_numinteriorrings: 多角形の内部境界（リング）の数を取得します。
  • st_interiorringn: ポリゴンの n 番目の内部境界を抽出し、それをラインストリングとして返します。

• 定数式を使用した EXECUTE IMMEDIATE : EXECUTE IMMEDIATEステートメントでは、クエリ文字列で定数式の使用がサポートされるようになり、より柔軟な動的 SQL 実行が可能になります。

• サーバーレス コンピュートでspark.sql.files.maxPartitionBytes許可する : サーバーレス コンピュートでspark.sql.files.maxPartitionBytes Spark構成を構成して、ファイルの読み取り時に単一のパーティションにパックする最大バイト数を制御できるようになりました。

行動の変化

• DESCRIBE QUERY および DESCRIBE TABLE にメタデータ列を追加 : DESCRIBE QUERYコマンドとDESCRIBE TABLEコマンドの出力にメタデータ列が含まれるようになり、各列のプロパティと特性に関する追加情報が提供されるようになりました。

• FSCK REPAIR TABLEコマンドのデフォルトモード変更 : テーブル メタデータを修復する際に、より一貫した動作を提供するために、 FSCK REPAIR TABLEコマンドのデフォルトモードが変更されました。

• NullType 列を削除する際の null 構造体の正しい処理 : SAP Databricks は、 NullTypeを含む列を削除するときに null 構造体の値を正しく処理し、潜在的なデータ破損や予期しない動作を防ぐようになりました。

• Parquet での null 構造体の処理の改善 : このリリースには、Parquet ファイルの読み取りと書き込み時に null 構造体の値を処理する方法の改善が含まれており、より一貫性のある正しい動作が保証されます。

• Kafka の aws-msk-iam-auth ライブラリのアップグレード : Amazon MSK IAM 認証に使用されるaws-msk-iam-authライブラリが最新バージョンにアップグレードされ、セキュリティと互換性が向上しました。

バージョン17.2

2025年9月25日

このサーバレス コンピュート リリースは、 Databricks Runtime 17.2 にほぼ対応します。

新機能

• ST_ExteriorRing関数がサポートされるようになりました : ST_ExteriorRing関数を使用してポリゴンの外側の境界を抽出し、それをラインストリングとして返すことができるようになりました。

• メトリクス ビュー作成のTEMPORARYキーワードのサポート : メトリクス ビューの作成時にTEMPORARYキーワードを使用できるようになりました。 一時メトリック ビューは、それを作成したセッションでのみ表示され、セッションが終了すると削除されます。

• S3 上のLokiFileSystem.getFileStatusにネイティブ I/O を使用する : LokiFileSystem.getFileStatusは Amazon S3 トラフィックにネイティブ I/O スタックを使用し、 shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatusではなくorg.apache.hadoop.fs.FileStatusオブジェクトを返すようになりました。

• Auto Loader singleVariantColumnモードでパーティション列を推測します : Auto Loader 、 singleVariantColumnオプションを使用して半構造化バリアント型としてデータを取り込むときに、ファイル パスからパーティション列を推測するようになりました。 以前は、パーティション列は自動的に検出されませんでした。

行動の変化

• DESCRIBE CONNECTION JDBC 接続の環境設定を表示します 。SAP Databricks では、カスタム ドライバーをサポートし、分離して実行される JDBC 接続のDESCRIBE CONNECTION出力に、ユーザー定義の環境設定が含まれるようになりました。その他の接続タイプは変更されません。

• マネージドテーブルの移行中にユニフォーム履歴を切り捨てるオプション : ALTER TABLE...SET MANAGEDを使用して、Uniform/ Icebergを有効にしてテーブルを移行するときにユニフォーム履歴を切り捨てることができるようになりました。 これにより、Uniform を手動で無効化して再度有効化する場合に比べて移行が簡素化され、ダウンタイムが短縮されます。

• 空の正規表現と正の制限を持つsplitの正しい結果 : 空の正規表現と正の制限を持つsplit functionを使用した場合に、SAP Databricks は正しい結果を返すようになりました。以前は、この関数は最後の要素に残りの文字列を含めるのではなく、誤って残りの文字列を切り捨てていました。

• Photon のurl_decodeおよびtry_url_decodeエラー処理を修正 : Photon では、 try_url_decode()およびurl_decode()とfailOnError = falseの組み合わせは、クエリを失敗させる代わりに、無効な URL エンコード文字列に対してNULLを返すようになりました。

• Unity Catalog Python UDTF の共有実行環境 : SAP Databricks では、同じ所有者および Spark セッションからの Python ユーザー定義テーブル関数 (UDTF) の実行環境を共有するようになりました。オプションのSTRICT ISOLATION句を使用すると、環境変数の変更や任意のコードの実行などの副作用のある UDTF の共有を無効にすることができます。

バージョン17.1

2025年8月19日

このサーバレス コンピュート リリースは、 Databricks Runtime 17.1 にほぼ対応します。

新機能

• Photon ライターのワイド スキーマのメモリ使用量の削減 : Photon エンジンが強化され、ワイド スキーマのメモリ使用量が大幅に削減され、以前はメモリ不足エラーが発生していたシナリオに対処できるようになりました。

行動の変化

• 無効なCHECK制約に対してエラーがスローされました : 制約検証中にCHECK制約式を解決できない場合、SAP Databricks ではAnalysisExceptionがスローされるようになりました。

• Pulsar コネクタは Bouncy Castle を公開しなくなりました : クラスパスの競合を防ぐために、Bouncy Castle ライブラリが Pulsar コネクタでシェーディングされるようになりました。その結果、Spark ジョブはコネクタからorg.bouncycastle.*クラスにアクセスできなくなります。コードが Bouncy Castle に依存している場合は、サーバレス環境に手動でライブラリをインストールします。

サーバレス環境バージョン4

2025年8月13日

環境バージョン 4 がサーバレス ノートブックとジョブで利用できるようになりました。 この環境バージョンには、ライブラリのアップグレードと API の更新が含まれています。

バージョン 17.0

2025年7月24日

このサーバレスコンピュートリリースは、 Databricks Runtime 17.0にほぼ対応しています。

新機能

• SQL プロシージャのサポート : SQL スクリプトを、Unity Catalog の再利用可能な資産として格納されているプロシージャにカプセル化できるようになりました。CREATE PROCEDURE コマンドを使用してプロシージャを作成し、CALL コマンドを使用して呼び出すことができます。

• 設定 する デフォルトの照合順序 SQL関数: CREATE FUNCTION コマンドで新しい DEFAULT COLLATION 句を使用すると、関数本体のパラメーター、戻り値の型、およびSTRINGリテラルに使用されるSTRINGの固定照合順序が定義されます。

• 再帰的共通テーブル式 (rCTE) のサポート : SAP Databricks では、再帰的共通テーブル式 (rCTE) を使用した階層データのナビゲーションがサポートされるようになりました。自己参照 CTE を UNION ALL で使用して、再帰的な関係を追跡します。

• PySpark と Spark Connect で DataFrames df.mergeInto API がサポートされるようになりました : PySpark と Spark Connect で df.mergeInto API がサポートされるようになりました。

• SHOWスキーマでのALL CATALOGSのサポート : SHOW SCHEMAS構文がALL CATALOGSを受け入れるように更新され、名前空間をサポートするすべてのアクティブなカタログを反復処理できるようになります。出力属性には、対応する名前空間のカタログを示す catalog 列が含まれるようになりました。

• リキッドクラスタリングにより、削除ベクトルの圧縮がより効率的に : リキッドクラスタリングを備えた Delta テーブルは、 OPTIMIZE の実行時に削除ベクトルからの物理的な変更をより効率的に適用するようになりました。

• MERGE操作の列値のUPDATE/INSERTに非決定論的式を許可 する: SAP Databricks では、MERGE操作の更新および挿入された列値で非決定論的式を使用できるようになりました。たとえば、 rand()などの式を使用して、列の動的値またはランダムな値を生成できるようになりました。

• MERGE Python APIsDelta Unit ではなく DataFrame を返すように変更 します。Python MERGE APIs ( DeltaMergeBuilderなど) も、SQL API と同じ結果で DataFrame を返すようになりました。