メインコンテンツまでスキップ
に最終更新

サーバレス コンピュート リリースノート

適用対象: チェックマーク「はい」 AWSチェックマーク「はい」 GCPチェックマーク「はい」 Azure

このセクションには、サーバレス コンピュートのリリースノートが含まれています。 リリースノートは、年と週ごとに整理されています。サーバレス コンピュートは、常にここに記載されている最新のリリースバージョンを使用して実行します。

バージョン17.3​

2025年10月28日

このサーバレス コンピュート リリースは、 Databricks Runtime 17.3 LTSにほぼ対応します。

新機能​

  • 再帰 CTE の LIMIT ALL サポート : 再帰共通テーブル式 (rCTE) でLIMIT ALL句を使用して、クエリ結果に行制限を適用しないことを明示的に指定できるようになりました。

  • Unity Catalogボリューム内のファイルに追加すると正しいエラーが返される : Unity Catalogボリューム内の既存のファイルに追加しようとすると、問題を理解して解決するのに役立つ、より説明的なエラー メッセージが返されるようになりました。

  • st_dump関数のサポート : st_dump関数を使用して、ジオメトリ オブジェクトを構成要素に分解し、より単純なジオメトリのセットを返すことができるようになりました。

  • ポリゴン内部リング関数がサポートされるようになりました 。次の関数を使用してポリゴン内部リングを操作できるようになりました。

    • st_numinteriorrings: 多角形の内部境界（リング）の数を取得します。
    • st_interiorringn: ポリゴンの n 番目の内部境界を抽出し、それをラインストリングとして返します。

  • 定数式を使用した EXECUTE IMMEDIATE : EXECUTE IMMEDIATEステートメントでは、クエリ文字列で定数式の使用がサポートされるようになり、より柔軟な動的 SQL 実行が可能になります。

  • サーバーレス コンピュートでspark.sql.files.maxPartitionBytes許可する : サーバーレス コンピュートでspark.sql.files.maxPartitionBytes Spark構成を構成して、ファイルの読み取り時に単一のパーティションにパックする最大バイト数を制御できるようになりました。

行動の変化​

  • DESCRIBE QUERY および DESCRIBE TABLE にメタデータ列を追加 : DESCRIBE QUERYコマンドとDESCRIBE TABLEコマンドの出力にメタデータ列が含まれるようになり、各列のプロパティと特性に関する追加情報が提供されるようになりました。

  • FSCK REPAIR TABLEコマンドのデフォルトモード変更 : テーブル メタデータを修復する際に、より一貫した動作を提供するために、 FSCK REPAIR TABLEコマンドのデフォルトモードが変更されました。

  • NullType 列を削除する際の null 構造体の正しい処理 : SAP Databricks は、 NullTypeを含む列を削除するときに null 構造体の値を正しく処理し、潜在的なデータ破損や予期しない動作を防ぐようになりました。

  • Parquet での null 構造体の処理の改善 : このリリースには、Parquet ファイルの読み取りと書き込み時に null 構造体の値を処理する方法の改善が含まれており、より一貫性のある正しい動作が保証されます。

  • Kafka の aws-msk-iam-auth ライブラリのアップグレード : Amazon MSK IAM 認証に使用されるaws-msk-iam-authライブラリが最新バージョンにアップグレードされ、セキュリティと互換性が向上しました。

バージョン17.2​

2025年9月25日

このサーバレス コンピュート リリースは、 Databricks Runtime 17.2 にほぼ対応します。

新機能​

  • ST_ExteriorRing関数がサポートされるようになりました : ST_ExteriorRing関数を使用してポリゴンの外側の境界を抽出し、それをラインストリングとして返すことができるようになりました。

  • メトリクス ビュー作成のTEMPORARYキーワードのサポート : メトリクス ビューの作成時にTEMPORARYキーワードを使用できるようになりました。 一時メトリック ビューは、それを作成したセッションでのみ表示され、セッションが終了すると削除されます。

  • S3 上のLokiFileSystem.getFileStatusにネイティブ I/O を使用する : LokiFileSystem.getFileStatusは Amazon S3 トラフィックにネイティブ I/O スタックを使用し、 shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatusではなくorg.apache.hadoop.fs.FileStatusオブジェクトを返すようになりました。

  • Auto Loader singleVariantColumnモードでパーティション列を推測します : Auto Loader 、 singleVariantColumnオプションを使用して半構造化バリアント型としてデータを取り込むときに、ファイル パスからパーティション列を推測するようになりました。 以前は、パーティション列は自動的に検出されませんでした。

行動の変化​

  • DESCRIBE CONNECTION JDBC 接続の環境設定を表示します 。SAP Databricks では、カスタム ドライバーをサポートし、分離して実行される JDBC 接続のDESCRIBE CONNECTION出力に、ユーザー定義の環境設定が含まれるようになりました。その他の接続タイプは変更されません。

  • マネージドテーブルの移行中にユニフォーム履歴を切り捨てるオプション : ALTER TABLE...SET MANAGEDを使用して、Uniform/ Icebergを有効にしてテーブルを移行するときにユニフォーム履歴を切り捨てることができるようになりました。 これにより、Uniform を手動で無効化して再度有効化する場合に比べて移行が簡素化され、ダウンタイムが短縮されます。

  • 空の正規表現と正の制限を持つsplitの正しい結果 : 空の正規表現と正の制限を持つsplit functionを使用した場合に、SAP Databricks は正しい結果を返すようになりました。以前は、この関数は最後の要素に残りの文字列を含めるのではなく、誤って残りの文字列を切り捨てていました。

  • Photon のurl_decodeおよびtry_url_decodeエラー処理を修正 : Photon では、 try_url_decode()およびurl_decode()とfailOnError = falseの組み合わせは、クエリを失敗させる代わりに、無効な URL エンコード文字列に対してNULLを返すようになりました。

  • Unity Catalog Python UDTF の共有実行環境 : SAP Databricks では、同じ所有者および Spark セッションからの Python ユーザー定義テーブル関数 (UDTF) の実行環境を共有するようになりました。オプションのSTRICT ISOLATION句を使用すると、環境変数の変更や任意のコードの実行などの副作用のある UDTF の共有を無効にすることができます。

バージョン17.1​

2025年8月19日

このサーバレス コンピュート リリースは、 Databricks Runtime 17.1 にほぼ対応します。

新機能​

  • Photon ライターのワイド スキーマのメモリ使用量の削減 : Photon エンジンが強化され、ワイド スキーマのメモリ使用量が大幅に削減され、以前はメモリ不足エラーが発生していたシナリオに対処できるようになりました。

行動の変化​

  • 無効なCHECK制約に対してエラーがスローされました : 制約検証中にCHECK制約式を解決できない場合、SAP Databricks ではAnalysisExceptionがスローされるようになりました。

  • Pulsar コネクタは Bouncy Castle を公開しなくなりました : クラスパスの競合を防ぐために、Bouncy Castle ライブラリが Pulsar コネクタでシェーディングされるようになりました。その結果、Spark ジョブはコネクタからorg.bouncycastle.*クラスにアクセスできなくなります。コードが Bouncy Castle に依存している場合は、サーバレス環境に手動でライブラリをインストールします。

サーバレス環境バージョン4​

2025年8月13日

環境バージョン 4 がサーバレス ノートブックとジョブで利用できるようになりました。 この環境バージョンには、ライブラリのアップグレードと API の更新が含まれています。

バージョン 17.0​

2025年7月24日

このサーバレスコンピュートリリースは、 Databricks Runtime 17.0にほぼ対応しています。

新機能​

  • SQL プロシージャのサポート : SQL スクリプトを、Unity Catalog の再利用可能な資産として格納されているプロシージャにカプセル化できるようになりました。CREATE PROCEDURE コマンドを使用してプロシージャを作成し、CALL コマンドを使用して呼び出すことができます。

  • 設定 する デフォルトの照合順序 SQL関数: CREATE FUNCTION コマンドで新しい DEFAULT COLLATION 句を使用すると、関数本体のパラメーター、戻り値の型、およびSTRINGリテラルに使用されるSTRINGの固定照合順序が定義されます。

  • 再帰的共通テーブル式 (rCTE) のサポート : SAP Databricks では、再帰的共通テーブル式 (rCTE) を使用した階層データのナビゲーションがサポートされるようになりました。自己参照 CTE を UNION ALL で使用して、再帰的な関係を追跡します。

  • PySpark と Spark Connect で DataFrames df.mergeInto API がサポートされるようになりました : PySpark と Spark Connect で df.mergeInto API がサポートされるようになりました。

  • SHOWスキーマでのALL CATALOGSのサポート : SHOW SCHEMAS構文がALL CATALOGSを受け入れるように更新され、名前空間をサポートするすべてのアクティブなカタログを反復処理できるようになります。出力属性には、対応する名前空間のカタログを示す catalog 列が含まれるようになりました。

  • リキッドクラスタリングにより、削除ベクトルの圧縮がより効率的に : リキッドクラスタリングを備えた Delta テーブルは、 OPTIMIZE の実行時に削除ベクトルからの物理的な変更をより効率的に適用するようになりました。

  • MERGE操作の列値のUPDATE/INSERTに非決定論的式を許可 する: SAP Databricks では、MERGE操作の更新および挿入された列値で非決定論的式を使用できるようになりました。たとえば、 rand()などの式を使用して、列の動的値またはランダムな値を生成できるようになりました。

  • MERGE Python APIsDelta Unit ではなく DataFrame を返すように変更 します。Python MERGE APIs ( DeltaMergeBuilderなど) も、SQL API と同じ結果で DataFrame を返すようになりました。