Databricks Runtime 17.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「サポート終了履歴」を参照してください。サポートされているすべてのDatabricks Runtimeバージョンについては、 Databricks Runtimeリリースノートのバージョンと互換性」を参照してください。

次のリリースノートには、 Apache Spark 4.0.0 を搭載したDatabricks Runtime 17.0 に関する情報が記載されています。

Databricks はこのバージョンを 2025 年 6 月にリリースしました。

新機能と改善点

SparkML が標準クラスターでサポートされるようになりました
SQLプロシージャのサポート
SQL関数のデフォルトの照合順序を設定する
再帰共通テーブル式（パブリックプレビュー）
ANSI SQLがデフォルトで有効
PySpark と Spark Connect が DataFrames df.mergeInto API をサポートするようになりました
SHOWスキーマ内のALL CATALOGSサポートします
液体クラスタリングは、より効率的に削除を圧縮するようになりました
MERGE操作のUPDATE / INSERT列値に非決定論的な式を許可する
AutoLoader 取り込み時の空の構造体を無視して救済する (特に Avro)
Delta MERGE PythonおよびScala APIsを変更して、Unit ではなくDataFrame返すようにしました。
SQL変数の宣言と削除のためのVARキーワードをサポート
Apache Parquetライブラリをアップグレードする
Google Cloud Pub/Sub の Workload Identity フェデレーションをサポート

SparkML が標準クラスターでサポートされるようになりました

標準アクセスモード (以前の共有アクセスモード) がPySparkのSpark ML ( PySpark .ml) をサポートするようになりましたそして、Spark 用の MLflow (mlflow.spark)。ハイパーチューニングの場合、 Databricks標準クラスターで Optuna と Joblib Spark使用することを推奨します。

標準クラスターで SparkML を実行する場合、次の制限が適用されます。

最大モデルサイズは 1GB です。
セッションあたりの最大モデルキャッシュサイズは 10 GB です。
モデルのサイズが 1GB を超えそうになると、ツリーモデルのトレーニングは早期に停止します。
次の SparkML モデルはサポートされていません。
- 分散LDAモデル
- FPGrowthModel

SQLプロシージャのサポート

SQLスクリプトを、 Unity Catalogに再利用可能なアセットとして保存されるプロシージャにカプセル化できるようになりました。 CREATE PROCEDUREコマンドを使用してプロシージャを作成し、 CALLコマンドを使用してそれを呼び出すことができます。

SQL関数のデフォルトの照合順序を設定する

CREATE FUNCTIONコマンドで新しいDEFAULT COLLATION句を使用すると、関数本体のSTRING問題、戻り値の型、およびSTRINGリテラルに使用されるデフォルト照合順序が定義されます。

再帰共通テーブル式（パブリックプレビュー）

Databricks では、再帰共通テーブル式 (rCTE)を使用した階層データのナビゲーションがサポートされるようになりました。再帰関係に従うには、 UNION ALLで自己参照 CTE を使用します。

ANSI SQLがデフォルトで有効

デフォルトの SQL 方言は ANSI SQL になりました。ANSI SQL は確立された標準であり、予期しない結果や誤った結果からユーザーを保護するのに役立ちます。詳細については、 Databricks ANSI 有効化ガイドをお読みください。

PySpark と Spark Connect が DataFrames `df.mergeInto` API をサポートするようになりました

PySpark と Spark Connect は、以前は Scala でのみ使用可能だったdf.mergeInto API をサポートするようになりました。

`SHOW`スキーマ内の`ALL CATALOGS`サポートします

SHOW SCHEMAS構文は、次の構文を受け入れるように更新されました。

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

SHOWクエリでALL CATALOGSが指定されている場合、実行はカタログマネージャー (DsV2) を使用して名前空間をサポートするすべてのアクティブなカタログを反復処理します。各カタログには、最上位レベルの名前空間が含まれます。

コマンドの出力属性とスキーマが変更され、対応する名前空間のカタログを示すcatalog列が追加されました。次に示すように、新しい列が出力属性の末尾に追加されます。

前の出力

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

新しい出力

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

液体クラスタリングは、より効率的に削除を圧縮するようになりました

液体クラスタリングを備えたDeltaテーブルは、 OPTIMIZEの実行中に、投函からの物理的な変更をより効率的に適用するようになりました。詳細については、「Parquet データファイルへの変更を適用する」を参照してください。

`MERGE`操作の`UPDATE` / `INSERT`列値に非決定論的な式を許可する

Databricks では、 MERGE操作の更新および挿入された列の値に非決定論的な式を使用できるようになりました。ただし、 MERGEステートメントの条件内の非決定論的な式はサポートされていません。

たとえば、列に対して動的な値やランダムな値を生成できるようになりました。

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

これは、データのプロパティ (平均値やその他のコンピュート列など) を保持しながら実際のデータを難読化するため、データのプライバシーに役立ちます。

AutoLoader 取り込み時の空の構造体を無視して救済する (特に Avro)

Delta テーブルは空のstruct型データの取り込みをサポートしていないため、Auto Loader は空のスキーマを持つ Avro データ型を復元するようになりました。

Delta MERGE PythonおよびScala APIsを変更して、Unit ではなくDataFrame返すようにしました。

ScalaおよびPython MERGE APIs ( DeltaMergeBuilderなど) も、 SQL APIと同様に、同じ結果でDataFrame返すようになりました。

SQL変数の宣言と削除のためのVARキーワードをサポート

変数を宣言および削除するための SQL 構文では、 VARIABLEに加えてVARキーワードがサポートされるようになりました。この変更により、すべての変数関連操作の構文が統一され、一貫性が向上し、変数を設定するときに既にVAR使用しているユーザーの混乱が軽減されます。

Apache Parquetライブラリをアップグレードする

Spark 4.0 との互換性を確保するために、Apache Parquet ライブラリがバージョン 1.13.1 から 1.15.1 にアップグレードされました。このアップデートには、次のモジュールにわたるパフォーマンスの向上、バグ修正、および強化された Parquet 機能のサポートが含まれています。

parquet-column
parquet-common
parquet-encoding
parquet-format-structures
parquet-hadoop
parquet-jackson

Google Cloud Pub/Sub の Workload Identity フェデレーションをサポート

Workload Identity フェデレーションを使用して、サービスアカウントキーを必要とせずにDatabricksから Google クラウド Pub/Sub に安全に接続できるようになりました。これにより、Pub/Sub と統合されるストリーミングおよびデータ取り込みワークロードの認証が簡素化されます。

挙動の変更

Databricks File System (DBFS) のカスタム CA 証明書はサポートされなくなりました
Spark UI の「実際のキャッシュミス」セクションを削除しました
Spark UIの「キャッシュメタデータマネージャーのピークディスク使用量」メトリクスを削除しました
Spark UI の「再スケジュールされたキャッシュミスバイト」セクションを削除しました
CREATE VIEW 列レベルの句は、マテリアライズドビューにのみ適用される場合にエラーをスローするようになりました。

Databricks File System (DBFS) のカスタム CA 証明書はサポートされなくなりました

DBFSルートおよびDBFSマウント内のデータストレージを廃止するための継続的な取り組みの一環として、 DBFSカスタムCA証明書はDatabricks Runtime 17.0以降ではサポートされていません。ファイルの操作に関する推奨事項については、「Databricks でのファイルの操作」を参照してください。

Spark UI の「実際のキャッシュミス」セクションを削除しました

この変更により、「キャッシュの実際のミスサイズ」メトリック (圧縮キャッシュと非圧縮キャッシュの両方) のサポートが削除されます。メトリクスの「キャッシュ書き込みミス」も同じ情報を測定します。

ファイルが適切なエグゼキューターに割り当てられたときにキャッシュがどのように実行されるかを確認することを目的とする場合は、このメトリクスの実行可能なプロキシとしてnumLocalScanTasksを使用します。

Spark UIの「キャッシュメタデータマネージャーのピークディスク使用量」メトリクスを削除しました

この変更によりDatabricks RuntimeとSpark UIからcacheLocalityMgrDiskUsageInBytesとcacheLocalityMgrTimeMsメトリクスのサポートが削除されます。

Spark UI の「再スケジュールされたキャッシュミスバイト」セクションを削除しました

キャッシュの再スケジュールされたミスサイズとキャッシュの再スケジュールされたミスサイズ (非圧縮) メトリクスがDatabricks Runtimeから削除されました。これは、ファイルが非優先のエグゼキューターに割り当てられたときにキャッシュがどのように実行されるかを測定するために行われます。 numNonLocalScanTasks は、このメトリクスの優れたプロキシです。

`CREATE VIEW`列レベルの句は、句がマテリアライズドビューにのみ適用される場合にエラーをスローするようになりました。

CREATE VIEW MATERIALIZED VIEWに対してのみ有効な列レベルの句を指定するコマンドは、エラーをスローするようになりました。CREATE VIEWコマンドの影響を受ける句は次のとおりです:

NOT NULL
指定されたデータ型（ FLOATまたは STRING
DEFAULT
COLUMN MASK

ライブラリのアップグレード

アップグレードされた Python ライブラリ :
- azure-core 1.31.0 から 1.34.0 へ
- 24.4.2 から 24.10.0 までの黒
- boto3 1.34.69 から 1.36.2 へ
- botocore 1.34.69 から 1.36.3 へ
- cachetools 5.3.3 から 5.5.1 へ
- 2024年6月2日から2025年1月31日までの認定
- cffi 1.16.0 から 1.17.1 へ
- charset-normalizer 2.0.4 から 3.3.2 へ
- cloudpickle 2.2.1 から 3.0.0 へ
- contourpy 1.2.0 から 1.3.1 へ
- 42.0.5 から 43.0.3 への暗号化
- Cython 3.0.11 以降3.0.12まで
- databricks-sdk 0.30.0 から 0.49.0 へ
- debugpy 1.6.7 から 1.8.11 へ
- 1.2.14 から 1.2.13 では非推奨
- distlib 0.3.8 から 0.3.9 へ
- filelock 3.15.4 から 3.18.0 へ
- fonttools 4.51.0 から 4.55.3 へ
- GitPython 3.1.37 以降3.1.43まで
- google-auth 2.35.0 から 2.40.0 へ
- google-クラウド-コア 2.4.1 から 2.4.3
- Google Cloud Storage 2.18.2 から 3.1.0 へ
- google-crc32c 1.6.0 から 1.7.1 へ
- grpcio 1.60.0 から 1.67.0 へ
- grpcio-status 1.60.0 から 1.67.0 へ
- importlib-metadata 6.0.0 から 6.6.0 へ
- ipyflow-core 0.0.201 から 0.0.209 へ
- ipykernel 6.28.0 から 6.29.5 へ
- iPython 8.25.0 から 8.30.0 へ
- ipywidgets 7.7.2 から 7.8.1 へ
- ジェダイ 0.19.1 から 0.19.2 へ
- jupyter_client 8.6.0 から 8.6.3 へ
- kiwisolver 1.4.4 から 1.4.8 へ
- matplotlib 3.8.4 から 3.10.0 へ
- matplotlib-inline 0.1.6 以降0.1.7まで
- mlflow-skinny 2.19.0 から 2.22.0 へ
- numpy 1.26.4 から 2.1.3 へ
- opentelemetry-api 1.27.0 から 1.32.1 へ
- opentelemetry-sdk 1.27.0 から 1.32.1 へ
- opentelemetry-semantic-conventions 0.48b0 から 0.53b1 まで
- Pandas 1.5.3 から 2.2.3 へ
- parso 0.8.3 から 0.8.4 へ
- patsy 0.5.6 から 1.0.1 へ
- 枕 10.3.0 から 11.1.0 へ
- plotly 5.22.0 から 5.24.1 へ
- 1.0.0 から 1.5.0 へのプラグイン
- proto-plus 1.24.0 から 1.26.1 へ
- protobuf 4.24.1 から 5.29.4 へ
- pyarrow 15.0.2 から 19.0.1 へ
- pyccolo 0.0.65 から 0.0.71 へ
- pydantic 2.8.2 から 2.10.6 へ
- pydantic_core 2.20.1 から 2.27.2 へ
- PyJWT 2.7.0 から 2.10.1 へ
- pyodbc 5.0.1 から 5.2.0 へ
- pyparsing 3.0.9 から 3.2.0 へ
- 1.1.294からの著作権1.1.394まで
- Python -lsp-server 1.10.0 から 1.12.0
- PyYAML 6.0.1 から 6.0.2 へ
- pyzmq 25.1.2 から26.2.0まで
- 2.32.2 から 2.32.3 へのリクエスト
- rsa 4.9 から 4.9.1 へ
- s3transfer 0.10.2 から 0.11.3 へ
- scikit-learn 1.4.2 から 1.6.1 へ
- scipy 1.13.1 から 1.15.1 へ
- sqlparse 0.5.1 から 0.5.3 へ
- statsmodels 0.14.2 から 0.14.4 へ
- 8.2.2 から 9.0.0 への tenacity
- threadpoolctl 2.2.0 から 3.5.0 へ
- 竜巻 6.4.1 から 6.4.2 へ
- typing_extensions 4.11.0 から 4.12.2 へ
- urllib3 1.26.16 から 2.3.0 へ
- virtualenv 20.26.2 から 20.29.3 へ
- ホイール 0.43.0 から 0.45.1 へ
- 1.14.1 から 1.17.0 への wrapt
- yapf 0.33.0 から 0.40.2 へ
- zipp 3.17.0 から 3.21.0 へ
アップグレードされた R ライブラリ :
- 16.1.0からの矢印19.0.1へ
- askpass 1.2.0 から 1.2.1 へ
- ベース 4.4.0 から 4.4.2
- bigD 0.2.0 から 0.3.0 へ
- 4.0.5 から 4.6.0 へのビット
- bit64 4.0.5 から 4.6.0-1
- ビトップ 1.0-8 から 1.0-9
- ほうき 1.0.6 から 1.0.7 へ
- bslib 0.8.0 から 0.9.0 へ
- キャレット6.0-94から7.0-1へ
- 2.3-61 から 2.3-62 への chron
- CLI 3.6.3 から 3.6.4 へ
- クロック 0.7.1 から 0.7.2 へ
- commonmark 1.9.1 から 1.9.5 へ
- コンパイラ 4.4.0 から 4.4.2
- cpp11 0.4.7 から 0.5.2 へ
- 2.0.1 から 2.0.2 への資格情報
- curl 5.2.1 から 6.2.1 へ
- data.table 1.15.4 から 1.17.0 へ
- 4.4.0 から 4.4.2 までのデータセット
- 0.6.36 から 0.6.37 へのダイジェスト
- e1071 1.7-14から1.7-16へ
- 0.24.0から1.0.3まで評価する
- fontawesome 0.5.2 から 0.5.3 へ
- fs 1.6.4 から 1.6.5 へ
- future.apply を 1.11.2 から 1.11.3 に適用する
- 2.1.0からのgert2.1.4まで
- git2r 0.33.0 から 0.35.0 へ
- グルー 1.7.0 から 1.8.0 へ
- gower 1.0.1 から 1.0.2 へ
- グラフィック 4.4.0 から 4.4.2
- grDevices 4.4.0 から 4.4.2
- グリッド 4.4.0 から 4.4.2
- gt 0.11.0 から 0.11.1 へ
- gtable 0.3.5 から 0.3.6 へ
- ハードハット 1.4.0 から 1.4.1 へ
- httr2 1.0.2 から 1.1.1 へ
- jsonlite 1.8.8 から 1.9.1 へ
- ニットル 1.48 から 1.50 へ
- 1.3.2 から 1.4.1 へ
- lava 1.8.0 から 1.8.1 へ
- 1.9.3から1.9.4への潤滑
- 4.4.0 から 4.4.2 までのメソッド
- マイム0.12から0.13へ
- mlflow 2.14.1 から 2.20.4 へ
- nlme 3.1-165 から 3.1-164 まで
- openssl 2.2.0 から 2.3.2 へ
- 4.4.0 から 4.4.2 への並行
- 1.38.0から1.42.0まで並行して
- ピラー 1.9.0 から 1.10.1 へ
- pkgbuild 1.4.4 から 1.4.6 へ
- 2.1.0 からの pkgdown2.1.1まで
- processx 3.8.4 から 3.8.6 へ
- profvis 0.3.8 から 0.4.0 へ
- progressr 0.14.0 から 0.15.1 へ
- 1.3.0 から 1.3.2 への約束
- ps 1.7.7 から 1.9.0 へ
- purrr 1.0.2 から 1.0.4 へ
- R6 2.5.1 から 2.6.1 へ
- ragg 1.3.2 から 1.3.3 へ
- randomForest 4.7-1.1 から 4.7-1.2 へ
- Rcpp 1.0.13 から 1.0.14 へ
- RcppEigen 0.3.4.0.0 から 0.3.4.0.2 へ
- reactR 0.6.0 から 0.6.1 へ
- readxl 1.4.3 から 1.4.5 へ
- 1.1.0からのレシピ1.2.0へ
- rlang 1.1.4 以降1.1.5まで
- rmarkdown 2.27 から 2.29 へ
- RODBC 1.3-23 から 1.3-26 へ
- Rserve 1.8-13 から 1.8-15 へ
- RSQLite 2.3.7 から 2.3.9 へ
- rstudioapi 0.16.0 から 0.17.1 へ
- sessioninfo 1.2.2 から 1.2.3 へ
- 1.9.1 から 1.10.0 への Shiny
- Sparklyr 1.8.6 から 1.9.0 へ
- SparkR 3.5.2 から 4.0.0 へ
- 4.4.0 から 4.4.2 までのスプライン
- 4.4.0から4.4.2までの統計
- stats4 4.4.0 から 4.4.2 へ
- 生存率3.6-4から3.5-8へ
- sys 3.4.2 から 3.4.3 へ
- 1.1.0からのシステムフォント1.2.1へ
- tcltk 4.4.0 から 4.4.2 へ
- 3.2.1.1 から 3.2.3 への testthat
- textshaping 0.4.0 から 1.0.0 へ
- 4032.109から4041.110までのtimeDate
- tinytex 0.52 から 0.56
- 4.4.0 から 4.4.2 までのツール
- tzdb 0.4.0 から 0.5.0 へ
- usethis 3.0.0 から 3.1.0 へ
- ユーティリティ 4.4.0 から 4.4.2
- V8 4.4.2 から 6.0.2 へ
- ワルド 0.5.2 から 0.6.1 へ
- 3.0.1 から 3.0.2 へ
- xfun を 0.46 から 0.51 へ
- xml2 1.3.6 から 1.3.8 へ
- 2.3.1 から 2.3.2 への zip
アップグレードされた Java ライブラリ :
- com.clearspring.アナリティクス.ストリーム 2.9.6 から 2.9.8
- com.esotericsoftware.kryo-shaded4.0.2 から 4.0.3 へ
- com.fasterxml.classmate 1.3.4 から 1.5.1 へ
- com.fasterxml.jackson.core.jackson-annotations2.15.2 から 2.18.2 へ
- com.fasterxml.jackson.core.jackson-core2.15.2 から 2.18.2 へ
- com.fasterxml.jackson.core.jackson-databind2.15.2 から 2.18.2 へ
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor2.15.2 から 2.18.2 へ
- com.fasterxml.jackson.datatype.jackson-datatype-joda2.15.2 から 2.18.2 へ
- com.fasterxml.jackson.datatype.jackson-datatype-jsr3102.16.0から2.18.2へ
- com.fasterxml.jackson.module.jackson-module-paranamer2.15.2 から 2.18.2 へ
- com.github.luben.zstd-jni1.5.5-4から1.5.6-10へ
- com.google.code.gson.gson 2.10.1 から 2.11.0
- com.google.crypto.tink.tink 1.9.0 から 1.16.0
- com.google.errorprone.error_prone_annotations2.10.0から2.36.0へ
- com.google.flatbuffers.flatbuffers-java2026年5月23日から2025年3月24日まで
- com.google.guava.guava 15.0 から 33.4.0-jre
- com.google.protobuf.protobuf-java3.25.1 から 3.25.5 へ
- com.マイクロソフト。 azure 。 azure -データレイク-ストア-sdk 2.3.9から2.3.10へ
- com.microsoft.sqlserver.mssql-JDBC 11.2.3.jre8 から 12.8.0.jre8 へ
- commons- CLI .commons- CLI 1.5.0から1.9.0へ
- commons-codec.commons-codec 1.16.0 から 1.17.2 へ
- commons-io.commons-io 2.13.0 から 2.18.0
- io.airlift.aircompressor0.27から2.0.2へ
- io.dropwizard.メトリクス.メトリクス-annotation 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス-core 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス-グラファイト 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス-healthchecks 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス-jetty9 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス-jmx 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス- JSON 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス- JVM 4.2.19から4.2.30まで
- io.dropwizard.メトリクス.メトリクス-サーブレット 4.2.19から4.2.30まで
- io.netty.netty-すべて4.1.108.Final から 4.1.118.Final へ
- io.netty.nettyバッファ4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-コーデック4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-コーデック-http4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-コーデック-http24.1.108.Final から 4.1.118.Final へ
- io.netty.netty-コーデック-ソックス4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-common4.1.108.Final から 4.1.118.Final へ
- io.netty.nettyハンドラ4.1.108.Final から 4.1.118.Final へ
- io.netty.nettyハンドラプロキシ4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-resolver4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-tcnative-boringssl-static2.0.61.Final-db-r16-windows-x86_64 から 2.0.70.Final-db-r0-windows-x86_64 へ
- io.netty.netty-tcnative-classes2.0.61.Final から 2.0.70.Final へ
- io.netty.netty-トランスポート4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-トランスポートクラス-epoll4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-トランスポートクラス-kqueue4.1.108.Final から 4.1.118.Final へ
- io.netty.netty-トランスポート-ネイティブ-epoll4.1.108.Final-linux-x86_64 から 4.1.118.Final-linux-x86_64 へ
- io.netty.netty-トランスポート-ネイティブ-kqueue4.1.108.Final-osx-x86_64 から 4.1.118.Final-osx-x86_64 へ
- io.netty.netty-トランスポート-ネイティブ-unix-共通4.1.108.Final から 4.1.118.Final へ
- io.prometheus.jmx.collector 0.12.0 から 0.18.0
- io.prometheus.simpleclient0.7.0 から 0.16.1 へ - データブリックス
- io.prometheus.simpleclient_common0.7.0 から 0.16.1 へ - データブリックス
- io.prometheus.simpleclient_dropwizard0.7.0 から 0.16.1 へ - データブリックス
- io.prometheus.simpleclient_pushgateway0.7.0 から 0.16.1 へ - データブリックス
- io.prometheus.simpleclient_servlet0.7.0 から 0.16.1 へ - データブリックス
- joda-time.joda-time2.12.1 から 2.13.0 へ
- net.razorvine.pickle 1.3 から 1.5 へ
- org.antlr.antlr4-ランタイム4.9.3 から 4.13.1 へ
- org.apache.arrow.arrow-format15.0.0から18.2.0へ
- org.apache.arrow.arrow-memory-core15.0.0から18.2.0へ
- org.apache.arrow.arrow-memory-netty15.0.0から18.2.0へ
- org.apache.arrow.arrow-vector15.0.0から18.2.0へ
- org.apache.avro.avro 1.11.4 から 1.12.0
- org.apache.avro.avro-ipc1.11.4から1.12.0へ
- org.apache.avro.avro-mapred1.11.4から1.12.0へ
- org.apache.commons.commons-compress1.23.0から1.27.1へ
- org.apache.commons.commons-lang33.12.0から3.17.0へ
- org.apache.commons.commons-text1.10.0から1.13.0へ
- org.apache.curator.curator-クライアント2.13.0から5.7.1へ
- org.apache.curator.curator-framework2.13.0から5.7.1へ
- org.apache.curator.curator-recipes2.13.0から5.7.1へ
- org.apache.datasketches.datasketches-java 3.1.0 以降6.1.1まで
- org.apache.datasketches.datasketches-memory 2.0.0 から 3.0.2
- org.apache.hadoop.hadoop-client-runtime3.3.6 から 3.4.1 へ
- org.apache.hive.hive-beeline2.3.9から2.3.10へ
- org.apache.hive.hive- CLI 2.3.9から2.3.10へ
- org.apache.hive.hive-JDBC 2.3.9から2.3.10へ
- org.apache.hive.hive-llap-クライアント2.3.9から2.3.10へ
- org.apache.hive.hive-llap-common2.3.9から2.3.10へ
- org.apache.hive.hive-serde2.3.9から2.3.10へ
- org.apache.hive.hive-shims2.3.9から2.3.10へ
- org.apache.hive.shims.hive-shims-0.23 2.3.9 から 2.3.10
- org.apache.hive.shims.hive-shims-common2.3.9から2.3.10へ
- org.apache.hive.shims.hive-shims-スケジューラ 2.3.9から2.3.10へ
- org.apache.ivy.ivy 2.5.2 から 2.5.3
- org.apache.logging.log4j.log4j-1.2-api2.22.1 から 2.24.3 へ
- org.apache.logging.log4j.log4j-api2.22.1 から 2.24.3 へ
- org.apache.logging.log4j.log4j-core2.22.1 から 2.24.3 へ
- org.apache.logging.log4j.log4j-layout-template- JSON 2.22.1 から 2.24.3 へ
- org.apache.logging.log4j.log4j-slf4j2-impl2.22.1 から 2.24.3 へ
- org.apache.orc.orc-core1.9.2-shaded-protobuf から 2.1.1-shaded-protobuf へ
- org.apache.orc.orc-mapreduce1.9.2-shaded-protobuf から 2.1.1-shaded-protobuf へ
- org.apache.orc.orc-shims1.9.2 から 2.1.1 へ
- org.apache.thrift.libthrift 0.12.0 から 0.16.0
- org.apache.ws.xmlschema.xmlschema-core2.3.0から2.3.1へ
- org.apache.xbean.xbean-asm9-shaded4.23から4.26へ
- org.apache.zookeeper.zookeeper 3.9.2 から 3.9.3
- org.apache.zookeeper.zookeeper-jute3.9.2 から 3.9.3 へ
- org.checkerframework.checker-qual3.31.0から3.43.0へ
- org. Eclipse .jetty.jetty-client 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-continuation 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-http 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-io 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-jndi 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-plus 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-proxy 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-security 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-server 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-servlet 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-servlets 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-util 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-util-ajax 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-webapp 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.jetty-xml 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.websocket.websocket-api 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.websocket.websocket-client 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.websocket.websocket-common 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.websocket.websocket-server 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org. Eclipse .jetty.websocket.websocket-servlet 9.4.52.v20230823 から 9.4.53.v20231009 へ
- org.glassfish.jersey.containers.jersey-container-servlet2.40から2.41へ
- org.glassfish.jersey.containers.jersey-container-servlet-core2.40から2.41へ
- org.glassfish.jersey.core.jersey-client2.40から2.41へ
- org.glassfish.jersey.core.jersey-common2.40から2.41へ
- org.glassfish.jersey.core.jersey-server2.40から2.41へ
- org.glassfish.jersey.inject.jersey-hk22.40から2.41へ
- org.hibernate.validator.hibernate-validator6.1.7.Final から 6.2.5.Final へ
- org.jboss.logging.jboss-logging3.3.2.Final から 3.4.1.Final へ
- org.objenesis.objenesis 2.5.1 から 3.3
- org.roaringbitmap.RoaringBitmap を 0.9.45-databricks から 1.2.1 にアップグレード
- org.rocksdb.rocksdbjni 9.2.1 から 9.8.4
- org.scalatest.scalatest 互換3.2.16から3.2.19
- org.slf4j.jcl-over-slf4j2.0.7から2.0.16へ
- org.slf4j.jul-to-slf4j2.0.7から2.0.16へ
- org.slf4j.slf4j-api2.0.7から2.0.16へ
- org.threeten.threeten-extra1.7.1から1.8.0へ
- org.tukaani.xz 1.9 から 1.10 へ

Apache Spark

その機能の多くは、Databricks Runtime 14.x、15.x、16.x で既に利用可能でしたが、現在は Runtime 17.0 ですぐに使用できます。

SPARK-52311アンカー出力が重複している場合、UnionLoop 出力が重複しないように再定義します。
SPARK-50104 Connect で SparkSession.executeCommand をサポート
SPARK-51085 SQLContext コンパニオンの復元
SPARK-49698クラシックのみのメソッドに ClassicOnly アノテーションを追加します。
SPARK-52026 ANSI モードのSparkでPandas API確実にブロックする
SPARK-43415カスタムmapValues関数を使用してKVGDS.aggを実装します
SPARK-50979 .expr/.typedExpr の暗黙の削除
SPARK-49961 ScalaとJavaの両方の正しい変換型シグネチャ
SPARK-51012 Connect Shims から SparkStrategy を削除します。
SPARK-50915 getConditionを追加し、 getErrorClassを廃止します PySparkException
SPARK-51821デッドロックを回避するために、uninterruptibleLock を保持せずに interrupt() を呼び出します。
SPARK-52192 MLCache ロードパスのチェック
SPARK-52122 DefaultParamsReader RCE脆弱性を修正
SPARK-52191モデルのローカルパスローダーからJavaデシリアライザーを削除
SPARK-52051バックポート「メモリ制御が有効な場合にモデルの概要を有効にする」および「エラーメッセージを絞り込み、内部 Spark 構成を非表示にする」が Databricks Runtime 17.0.0 にコミットされました
SPARK-51391 SparkConnectClient SPARK_USERに合わせるように修正し、 user.name
SPARK-51416 Spark Connect サーバーの起動時に SPARK_CONNECT_MODE を削除します
SPARK-51156 Spark Connectにおける静的トークン認証のサポート
SPARK-51279 Scala で Spark Connect サーバーを待機中に一定のスリープを回避する
SPARK-51254 Spark Connect URL で --master を許可しない
SPARK-51267 PythonとScala間でローカルSpark Connectサーバーロジックを一致させる
SPARK-51212デフォルトで Spark Connect 用の分離された PySpark パッケージを追加します
SPARK-52017 rCTE内のサブクエリからの複数の自己参照と自己参照を有効にする
SPARK-52035 LinearRegressionTrainingSummaryとLinearRegressionModelを分離する
SPARK-50511 Pythonデータソースのエラーメッセージをラップしないようにする
SPARK-51974モデルサイズとセッションごとのモデルキャッシュサイズを制限する
SPARK-51947 Spark Connect モデルキャッシュオフロード
SPARK-49751 SparkListenerConnectServiceStarted イベントのデシリアライゼーションを修正
SPARK-47952 Yarn 上で実行しているときに、実際の SparkConnectService GRPC アドレスとポートをプログラムで取得する機能をサポート
SPARK-47587 Hiveモジュール: 変数を含むlogWarnを構造化ログフレームワークに移行
SPARK-50768タスク中断によるストリームリークを回避するために TaskContext.createResourceUninterruptibly を導入しました
SPARK-51818 QueryExecution の作成を AnalyzeHandler に移動し、AnalyzePlanRequests では実行しない
SPARK-51609単純なクエリの再帰CTE実行を最適化
SPARK-49748 getConditionを追加し、 getErrorClassを廃止します SparkThrowable
SPARK-51867ローカルファイルシステムパスに対する保存/読み込みメソッドをサポートするScalaモデルを作成する
SPARK-51856分散DataFrameサイズをカウントするためのモデルサイズAPIを更新
SPARK-51941入力が -1.0 から 1.0 の間の BigDecimal の場合の convertToCatalyst の精度の問題を修正しました
SPARK-50605 Spark Connectへの移行を容易にするためにSQL APIモードをサポート
SPARK-51849リファクタリング ResolveDDLCommandStringTypes
SPARK-51673ビュークエリを変更するためにデフォルトの照合順序を適用する
SPARK-51880 MLキャッシュオブジェクトのPythonクライアント参照を修正
SPARK-51873 OneVsRestアルゴリズムでは、保存/読み込みを使用してキャッシュを置き換えることができます。
SPARK-51072 Hadoop クラウド監査コンテキストを設定するための CallerContext
SPARK-51790 UTF8String を KryoSerializer に登録する
SPARK-51022 MsSqlServerSQLQueryBuilderのbuild()メソッドで未使用のtableSampleClauseを削除し、 DB2SQLQueryBuilder
SPARK-51219 ShowTablesExec.isTempViewが非V2SessionCatalogカタログで動作するように修正されました
SPARK-49700 Connect と Classic の統合 Scala インターフェース
SPARK-50458ファイル読み取り時にサポートされていないファイルシステムの適切なエラー処理
SPARK-50666 JDBCソースでの読み取りのサポートヒント
SPARK-50131 「IN サブクエリ DataFram を追加…」を再適用します
SPARK-51899 spark.catalog.listTables() のエラー処理ルールを実装
SPARK-51820順序付けアプローチにより、新しいgroup / orderの残りの問題に対処します
SPARK-48585 built-in JdbcDialect のメソッドclassifyExceptionがoriginal例外をスローするようにします
SPARK-48387 Postgres: TimestampType を TIMESTAMP WITH TIME ZONE にマッピングする
SPARK-51820序数によるグループ化の問題を回避するために、 UnresolvedOrdinal構造を分析の前に移動してください
SPARK-48337 JDBC TIME値の精度低下を修正
SPARK-51711アクティブなリモート Spark セッションを新しいスレッドに伝播して、CrossValidator を修正します。
SPARK-47515 MySQLでTimestampNTZTypeをDATETIMEとして保存する
SPARK-48439 Derby: DECIMAL型の適切な精度とスケールを計算する
SPARK-51820 SPARK-51820 codesync の編集ロジックを準備する
SPARK-48323 DB2: BooleanType を CHAR(1) ではなく Boolean にマップする
SPARK-51635 PushProjectionThroughLimit と PushProjectionThroughOffset を統合
SPARK-48211 DB2: SMALLINT を ShortType として読み込む
SPARK-51803 StructFieldのメタデータに外部エンジンのJDBC型を保存する
SPARK-51845プロトメッセージCleanCacheを追加し、 GetCacheInfo
SPARK-49511 sql/api にフォーマットルールを適用する
SPARK-47968 MsSQLServer: データタイムオフセットをTimestampTypeにマップする
SPARK-51726ステージ CREATE/REPLACE/CREATE OR REPLACE テーブルに TableInfo を使用する
SPARK-47967 JdbcUtils.makeGetterが読み取り時間タイプを NTZ として正しく処理するようにしました
SPARK-47989 MsSQLServer: spark.sql.legacy.mssqlserver.numericMapping.enabled のスコープを修正
SPARK-51193 Nettyを4.1.118.Finalに、netty-tcnativeを2.0.70.Finalにアップグレードします。
SPARK-47882 createTableColumnTypesは直接使用するのではなく、データベースタイプにマッピングする必要があります
SPARK-47879 Oracle: VarcharType マッピングに VARCHAR ではなく VARCHAR2 を使用する
SPARK-51372テーブル作成のためのTableInfoを導入
SPARK-47791 JDBC データソースから、精度ではなくスケールを優先して小数点第 2 位を超える小数を切り捨てます。
SPARK-51404 time(n)型を次のように解析します TimeType(n)
SPARK-50350 Avro: 新しい関数schema_of_avroを追加 ( scala側)
SPARK-51136履歴サーバーにCallerContextを設定しました
SPARK-50641 GetJsonObjectEvaluatorを移動 JsonExpressionEvalUtils
SPARK-50083 _LEGACY_ERROR_TEMP_1231を統合する PARTITIONS_NOT_FOUND
SPARK-51556 try_to_time関数を追加
SPARK-47684 Postgres: 長さが指定されていない bpchar を StringType にマップする
SPARK-48688 SQL to_avro および from_avro 関数を呼び出すと妥当なエラーが返されますが、Avro はデフォルトでロードされていません。
SPARK-49839 SPJ: ソート時に可能な場合はシャッフルをスキップする
SPARK-45534 RemoteBlockPushResolver の finalize の代わりに java.lang.ref.Cleaner を使用する
SPARK-51816データフレームAPIsを使用してStatFunctions.multipleApproxQuantiles簡素化する
SPARK-49179 v2 のマルチバケット内部結合で AssertionError がスローされる問題を修正
SPARK-47456 ORC Brotli コーデックのサポート
SPARK-51542上部と下部を指定するためのスクロールボタンを追加
SPARK-51541 LiteralメソッドでTIMEデータ型をサポートします
SPARK-51615 ShowNamespaces を RunnableCommand を使用するようにリファクタリングする
SPARK-51191 DELETE、UPDATE、MERGEにおけるデフォルト値の処理を検証する
SPARK-51829削除後にクライアント側でclient.thread_local.ml_cachesを更新する必要があります
SPARK-51358 StateStoreCoordinator によるスナップショットアップロード遅延検出を導入
SPARK-51686現在の実行のサブ実行の実行IDをリンクします（存在する場合）
SPARK-51456 to_time関数を追加
SPARK-51773ファイル形式をケースクラスに変換して適切に比較する
SPARK-51777登録する sql.columnar.* KryoSerializer へのクラス
SPARK-51432 Arrowスキーマが一致しない場合に適切な例外をスローする
SPARK-51395プロシージャ内のデフォルト値の処理を改善
SPARK-50582引用組み込み関数を追加
SPARK-51684 test_pandas_transform_with_state でのテスト失敗を修正
SPARK-51213ヒントを解決するときに Expression クラス情報を保持する
SPARK-51651現在の実行のルート実行IDをリンクする（存在する場合）
SPARK-50947重複したアーティファクトに適切なエラークラスとSparkExceptionを割り当てます
SPARK-51574 Python データソースフィルタープッシュダウンのフィルターシリアル化
SPARK-51608 Pythonランナー終了時のログ例外
SPARK-51266未使用の定義を削除 private[spark] object TaskDetailsClassNames
SPARK-51011タスクが強制終了されたときに中断されるかどうかのログ記録を追加
SPARK-49646サブクエリの相関関係を修正するための Spark 構成を追加
SPARK-51107 CommandBuilderUtils#join をリファクタリングして行を再利用し、冗長性を削減します
SPARK-51758ウォーターマークにより空の DF を引き起こす追加バッチに関連するテストケースを修正
SPARK-51664ハッシュ式でTIMEデータ型をサポート
SPARK-51819不足しているテストを含めるためにPySpark -errors テストモジュールを更新します
SPARK-50751適切なエラー条件を割り当てる _LEGACY_ERROR_TEMP_1305
SPARK-50973関連する非推奨のAPI使用をクリーンアップ avro.Schema#toString(boolean)
SPARK-50908不安定なTTLテストを無効にする test_pandas_transform_with_state.py
SPARK-50811ドライバー上で JVM プロファイラーを有効にするサポート
SPARK-50808混合型が正しく書き込まれない writeAll の問題を修正
SPARK-51780実装手順の説明
SPARK-50370コード生成サポート json_tuple
SPARK-50756 SparkConf.validateSettings の例外にはエラークラスを使用する
SPARK-50805メソッドnameForAppAndAttemptを移動 o.a.s.u.Utils
SPARK-51812一部のメソッドの冗長な問題を削除します QueryExecution
SPARK-50819 Sparkプロファイラーモジュールのリファクタリング
SPARK-51547エラー状態に名前を割り当てます: _LEGACY_ERROR_TEMP_2130
SPARK-48538 bonecp による HMS メモリリークを回避する
SPARK-51176予期しないエラーに対する一貫性を満たす PySpark Connect <> Classic
SPARK-50773デフォルトで構造化ログを無効にする
SPARK-50616 CSVデータソースライターにファイル拡張子オプションを追加
SPARK-50624 ColumnarRow/MutableColumnarRow に TimestampNTZType を追加
SPARK-51590組み込みファイルベースのデータソースでTIMEを無効にする
SPARK-49886 rocksDB フォーマット V2 のクエリレベル失敗テスト
SPARK-50823 cloudpickle を 3.1.0 からアップグレード3.1.1まで
SPARK-50780 setFeatureMaskの代わりにoverrideStdFeaturesを使用してください JacksonParser
SPARK-50621 Cloudpickle を 3.1.0 にアップグレード
SPARK-50719 PySpark のサポートinterruptOperation
SPARK-50545 AccessControlExceptionが有効な場合でもignoreCorruptFilesがスローされる必要があります
SPARK-51517 Hive結果でTIMEデータ型をサポート
SPARK-47856 OracleからのSpark SQLデータ型のドキュメントマッピングとテストの追加
SPARK-46066文字列APIの代わりにセパレータAPIを使用して、 DefaultPrettyPrinter
SPARK-50718 PySpark のサポートaddArtifact(s)
SPARK-51497デフォルトの時間フォーマッタを追加
SPARK-51488データ型としてTIMEキーワードをサポート
SPARK-51273 Spark Connect呼び出しプロシージャがプロシージャを2回実行する
SPARK-51092ビッグエンディアンプラットフォームでタイムアウト付きのv1 FlatMapGroupsWithStateテストをスキップする
SPARK-50606未初期化セッションホルダーのNPEを修正
SPARK-49530 PySparkプロットで円のサブプロットをサポート
SPARK-50357 PySparkの割り込み(タグ|すべて) APIsのサポート
SPARK-51290 DSv2書き込みでデフォルト値の入力を有効にする
SPARK-50485 tableRelationCache によってスローされた (未チェック)ExecutionException で SparkThrowable をアンラップします
SPARK-51513 RewriteMergeIntoTableルールが未解決のプランを生成する問題を修正
SPARK-51482文字列から時間へのキャストをサポート
SPARK-51462 TIMEデータ型の型付きリテラルをサポート
SPARK-51454時々文字列へのサポートキャスト
SPARK-51447 stringToTimeを追加して stringToTimeAnsi
SPARK-51775 NormalizePlan による LogicalRelation と HiveTableRelation の正規化
SPARK-51791 ImputerModel係数をデータフレームではなく配列で保存します
SPARK-51442時間フォーマッタを追加
SPARK-51384外部タイプとしてjava.time.LocalTimeサポート TimeType
SPARK-51747データソースのキャッシュされたプランはオプションを尊重する必要があります
SPARK-51774 Python Connect GRPC 例外に GRPC ステータスコードを追加
SPARK-51660 MDCがサポートされていない場合でも適切に処理します
SPARK-51296 singleVariantColumn モードで破損したデータの収集をサポートします。
SPARK-45907 ProcfsMetricsGetterでcomputeProcessTreeを実行するためにJava9+ ProcessHandle APIsを使用する
SPARK-51342追加 TimeType
SPARK-51769 Arrow出力バッチのレコード数を制限するためにmaxRecordsPerOutputBatchを追加しました
SPARK-51350ショー手順の実装
SPARK-51711メモリベースのMLCache削除ポリシー
SPARK-51178代わりに適切なPySparkエラーを発生させる SparkConnectGrpcException
SPARK-51738構造体型のINサブクエリ
SPARK-51714テスト状態ストアのチェックポイント形式 V2 に障害取り込みテストを追加
SPARK-51704不要な収集操作を排除
SPARK-51512外部シャッフルサービスでシャッフルデータをクリーンアップするときに、null MapStatus を除外します。
SPARK-49308 Spark Connect Scala クライアントで UserDefinedAggregateFunction をサポート
SPARK-50091 INサブクエリの左辺オペランドの集計の大文字と小文字を区別する
SPARK-50265 Connect で spark.udf.registerJavaUdf をサポート
SPARK-49273 Spark Connect Scala クライアントの Origin サポート
SPARK-51187 SPARK-49699で導入された誤った設定の適切な廃止を実装しました
SPARK-51650バッチ内の ml キャッシュされたオブジェクトの削除をサポートする
SPARK-51619 Arrowに最適化されたPython UDFでUDT入出力をサポート
SPARK-51333アンラップInvocationTargetExceptionがスローされました MLUtils.loadOperator
SPARK-51566 Python UDFトレースバックの改善
SPARK-51393 Arrow が見つからないが Arrow に最適化された Python UDF が有効になっている場合、通常の Python UDF にフォールバックします。
SPARK-49960カスタム ExpressionEncoder のサポートと TransformingEncoder の修正
SPARK-51380 V2ExpressionSQLBuilderの柔軟性を向上させるためにvisitSQLFunctionとvisitAggregateFunctionを追加しました
SPARK-51600 isTesting || isTestingSqlが true の場合、 sql/hiveとsql/hive-thriftserverのクラスを先頭に追加します
SPARK-51070 ValidateExternalType では Set の代わりにscala.collection.Set使用してください
SPARK-50759いくつかのレガシーカタログAPIs廃止
SPARK-50994追跡実行でRDD変換を実行する
SPARK-51466 Hive UDF評価時のHive組み込み UDF の初期化を排除する
SPARK-51491サブクエリAPIsを使用してBoxplot簡素化する
SPARK-51175ドライバーを削除するときにMaster経過時間を表示するようにする
SPARK-50334 PBファイルの記述子を読み取るための共通ロジックを抽出
SPARK-50483 ignoreCorruptFiles が有効になっている場合でも BlockMissingException がスローされる必要があります
SPARK-50286 SQLオプションをWriteBuilderに正しく伝播する
SPARK-51023 RPC例外時にリモートアドレスをログに記録する
SPARK-47611 MySQLDialect.getCatalystType のデッドコードをクリーンアップ
SPARK-49229 SparkConnectPlanner における Scala UDF 処理の重複排除
SPARK-50557 Scala SQL インターフェースで RuntimeConfig.contains(..) をサポート
SPARK-51471 RatePerMicroBatchStream - startOffset のオフセット/タイムスタンプが endOffset より大きい場合に ASSERT エラーを分類します
SPARK-50473従来の列処理を簡素化
SPARK-49286 Avro/Protobuf 関数を sql/api に移動する
SPARK-49087内部関数を呼び出す未解決関数を区別する
SPARK-50422 SparkSession.sqlのうちParameterized SQL queriesを API GA に作成
SPARK-49249 「PySpark の新しいデフォルトのアーティファクトマネージャー構成を許可リストに追加する」のコンパニオン PR
SPARK-50366 Classic の SparkSession のスレッドレベルでユーザー定義タグを分離する
SPARK-49436 SQLContext の共通インターフェース
SPARK-51551アルゴリズムの調整のため、保存/読み込みを使用してキャッシュを置き換えることを許可します
SPARK-51599大きな Excel ファイル用にps.read_excelを最適化します
SPARK-51118フォールバックのために連鎖UDF入力タイプをチェックするようにExtractPythonUDFsを修正
SPARK-50395 Windows での不正な URI 構文を修正
SPARK-50708 ArtifactManagerインスタンスの GC でアーティファクトリソースを削除します
SPARK-51076 UDT 入力および出力タイプに対する Arrow Python UDF フォールバック
SPARK-50243 ArtifactManager のキャッシュされたクラスローダー
SPARK-49249 Spark Classic におけるアーティファクトの分離
SPARK-50821 Py4J を 0.10.9.8 から 0.10.9.9 にアップグレード
SPARK-51591 Python 3.13 のデイリーテストにおける ThreadPoolExecutor の失敗を修正
SPARK-40353インデックスのnullableの不一致を修正 ps.read_excel
SPARK-42746 LISTAGG関数を実装
SPARK-50102不足しているパブリック SQL メソッドに必要な shim を追加します。
SPARK-50513 EncoderImplicits を SQLImplicits から分割し、StatefulProcessor 内にヘルパーオブジェクトを提供します
SPARK-51567 の修正 DistributedLDAModel.vocabSize
SPARK-49569 SparkContextとRDDをサポートするためのシムを追加
SPARK-51473 ML変換されたデータフレームはモデルへの参照を保持します
SPARK-51340モデルサイズの推定
SPARK-51474列出力と行出力の両方をサポートするノードに冗長な ColumnarToRowExec を挿入しないでください
SPARK-51445変更されていないvarを val
SPARK-50618 DataFrameReaderとDataStreamReaderがアナライザーをより活用できるようにする
SPARK-51097 RocksDB状態ストアの最後にアップロードされたスナップショットバージョンインスタンスメトリクスを再導入します
SPARK-49418共有セッションスレッドローカル
SPARK-50096 _LEGACY_ERROR_TEMP_2150に適切なエラー条件を割り当てます: TUPLE_SIZE_EXCEEDS_LIMIT
SPARK-50264 DataStreamWriter に不足しているメソッドを追加する
SPARK-49434アグリゲータを sql/api に移動する
SPARK-51451 ExtractGenerator が UnresolvedStarWithColumns が解決されるまで待機するように修正
SPARK-49416共有DataStreamReaderインターフェースを追加
SPARK-49429共有DataStreamWriterインターフェースを追加
SPARK-49282共有 SparkSessionBuilder インターフェースを作成します。
SPARK-49415 SQLImplicits を sql/api に移動する
SPARK-51443 DSv2 および readStream の singleVariantColumn を修正します。
SPARK-49369暗黙的な列変換を追加
SPARK-49417共有StreamingQueryManagerインターフェースを追加
SPARK-51079 Pandas UDF 、createDataFrame、toPandasでArrowを使用して大きな変数型をサポート
SPARK-51277 Arrow最適化Python UDFで0引数実装を実装する
SPARK-50601サブクエリでの withColumns / withColumnsRenamed のサポート
SPARK-49479 BarrierCoordinator の停止時にタイマー非デーモンスレッドをキャンセルする
SPARK-51379 treeAggregate の最終集計をドライバーからエグゼキューターに移動する
SPARK-49712 connect-client- JVMからエンコーダーを削除
SPARK-49424エンコーダーを統合するScala
SPARK-49574マスターの壊れたデルタ共有テストを無効にする
SPARK-51409変更ログライター作成パスにエラー分類を追加
SPARK-49568データセットから自己タイプを削除
SPARK-51433リリーススクリプトをPySpark -client リリースに変更
SPARK-51422 CrossValidator における JVM-Python データ交換を排除
SPARK-51425カスタムを設定するためのクライアントAPIを追加 operation_id
SPARK-49284共有カタログインターフェースを作成する
SPARK-50855 Spark Connect の Scala における TransformWithState のサポート
SPARK-50694サブクエリでの名前変更をサポート
SPARK-50880 V2ExpressionSQLBuilderに新しいvisitBinaryComparisonメソッドを追加
SPARK-51282 JVM-Pythonデータ交換を排除することでOneVsRestModel変換を最適化
SPARK-51079 Pandas UDF 、createDataFrame、toPandasでArrowを使用して大きな変数型をサポート
SPARK-51383クライアントが既に停止していることがわかっている場合は、RPC 呼び出しを行わないようにします。
SPARK-51227 PySpark Connect _minimum_grpc_versionを 1.67.0 に修正
SPARK-51362隣接レコードの依存関係を排除するために NextIterator API を使用するように JSON を変更しました
SPARK-51375 SparkConnect(Execution|Session)Manager.periodicMaintenanceのログメッセージを抑制します
SPARK-50393 Spark ClassicとSpark Connectに共通のTableArgを導入
SPARK-50133 Spark Connect Python クライアントでテーブル引数への DataFrame 変換をサポート
SPARK-49574 ExpressionEncoder はそれを作成した AgnosticEncoder を追跡します
SPARK-49422 sql/api に groupByKey を追加
SPARK-51381 Spark Connect SessionページにSession ID表示
SPARK-51316行数ではなくバイト単位での Arrow バッチを許可する
SPARK-50134 Spark Connect の SCALAR および EXISTS サブクエリ用の DataFrame API をサポート
SPARK-50392 Spark Classic における DataFrame からテーブル引数への変換
SPARK-50553無効なプランメッセージに対してInvalidPlanInputをスローします
SPARK-51322ストリーミングサブクエリ式のエラーメッセージの改善
SPARK-51281 DataFrameWriterV2 はパスオプションを尊重する必要があります
SPARK-50856 Spark Connect の Python における TransformWithStateInPandas のサポート
SPARK-51333アンラップInvocationTargetExceptionがスローされました invokeMethod
SPARK-50134 Spark Connect のラテラル結合のための DataFrame API をサポート
SPARK-51083 JavaUtils を修正して InterruptedExceptions を飲み込まないようにする
SPARK-49413共有RuntimeConfigインターフェースを作成する（フォローアップ）
SPARK-49413共有RuntimeConfigインターフェースを作成する
SPARK-50993 nullDataSourceOption を QueryCompilationErrors から QueryExecutionErrors に移動する
SPARK-51329クラスタリングモデルにnumFeaturesを追加します
SPARK-51305改善 SparkConnectPlanExecution.createObservedMetricsResponse
SPARK-51097 RocksDBに最後にアップロードされたスナップショットバージョンの状態ストアインスタンスメトリクスを追加しています
SPARK-49425共有 DataFrameWriter を作成する
SPARK-50655仮想列ファミリ関連のマッピングをエンコーダーではなく DB レイヤーに移動する
SPARK-48530 SQLスクリプトにおけるローカル変数のサポート
SPARK-51284空の結果に対するSQLスクリプトの実行を修正
SPARK-49085 Connect の Protobuf 関数の特殊なケースを削除します
SPARK-50881 connect dataframe.py で可能な場合はキャッシュされたスキーマを使用する
SPARK-51275 Pythonのreadwriteにおけるセッション伝播
SPARK-51109サブクエリ式のCTEがグループ化列として使用される
SPARK-50598後で再帰的 CTE を実装できるようにするには問題を追加します
SPARK-51202メタアルゴリズムでセッションを渡す Python ライター
SPARK-51215ヘルパーモデル属性を呼び出すためのヘルパー関数を追加
SPARK-51214キャッシュされたモデルを積極的に削除しない fit_transform
SPARK-51237新しい transformWithState ヘルパーAPIsのAPI詳細を追加
SPARK-51192 processWithoutResponseObserverForTestingを公開 SparkConnectPlanner
SPARK-51217 MLモデルヘルパーコンストラクターのクリーンアップ
SPARK-51218 NondeterministicExpressionCollection で map/flatMap を避ける
SPARK-50953 VariantGet で非リテラルパスのサポートを追加
SPARK-50132ラテラル結合用のDataFrame APIを追加
SPARK-51190 TreeEnsembleModel.treeWeights の修正
SPARK-50945 Connect でサマライザーとサマリービルダーをサポート
SPARK-51142 ML プロトコルバッファのクリーンアップ
SPARK-51139エラークラスを絞り込む MLAttributeNotAllowedException
SPARK-51080保存/読み込みの修正 PowerIterationClustering
SPARK-51100トランスフォーマーラッパーをヘルパーモデル属性関係に置き換える
SPARK-51091のデフォルトパラメータを修正 StopWordsRemover
SPARK-51089接続時にVectorIndexerModel.categoryMapsサポート
SPARK-50954メタアルゴリズムのクライアント側モデルパス上書きをサポート
SPARK-50975接続時にCountVectorizerModel.from_vocabularyサポート
SPARK-50958接続時にWord2VecModel.findSynonymsArrayサポート
SPARK-50930 Connect でPowerIterationClusteringサポート
SPARK-51157 Scala関数APIsに不足していた@varargs Scalaアノテーションを追加
SPARK-51155停止後にSparkContext合計ランタイムを表示させる
SPARK-51143ピン留めplotly<6.0.0と torch<2.6.0
SPARK-50949サポートするためのヘルパーモデルを導入 StringIndexModel.from_labels_xxx
SPARK-51131 EXECUTE IMMEDIATE コマンド内に SQL スクリプトが見つかった場合、例外をスローします。
SPARK-51078 py4j呼び出しを修正 StopWordsRemover
SPARK-50944 Connect でKolmogorovSmirnovTestサポート
SPARK-50602無効なインデックス列が指定された場合に適切なエラーメッセージが表示されるように転置を修正しました
SPARK-50943 Connect でCorrelationサポート
SPARK-50234転置DataFrame APIのエラーメッセージとテストを改善しました
SPARK-50942 Connect のサポートChiSquareTest
SPARK-48353 SQLスクリプトにおける例外処理メカニズムの導入
SPARK-51043 Spark Connect foreachBatch のきめ細かなユーザーログ記録
SPARK-50799 rlike、length、octet_length、bit_length、transform のドキュメント文字列を改良しました
SPARK-51015 Connect で RFormulaModel.toString をサポート
SPARK-50843既存のモデルから新しいモデルを返す機能をサポート
SPARK-50969接続時にGaussianMixtureModel.gaussians修正
SPARK-50899接続時に PrefixSpan をサポート
SPARK-51060 Connect でQuantileDiscretizerサポート
SPARK-50974接続時に CrossValidator の foldCol サポートを追加
SPARK-50922 Connect で OneVsRest をサポート
SPARK-50812 PolynomialExpansionのサポートを追加
SPARK-50923 Connect で FMClassifier と FMRegressor をサポート
SPARK-50918パイプラインの読み取り/書き込みをリファクタリングする
SPARK-50938 Connect で VectorSizeHint と VectorSlicer をサポート
SPARK-51005 Connect で VectorIndexer と ElementwiseProduct をサポート
SPARK-51014接続時に RFormula をサポート
SPARK-50941 TrainValidationSplit のサポートを追加
SPARK-51004 IndexStringのサポートを追加
SPARK-51003 Connect で LSH モデルをサポート
SPARK-50924 Connect で AFTSurvivalRegression と IsotonicRegression をサポート
SPARK-50921 Connect で MultilayerPerceptronClassifier をサポート
SPARK-50995 KMeans と BisectingKMeans のサポートclusterCenters
SPARK-50940接続時に CrossValidator/CrossValidatorModel のサポートを追加
SPARK-50929 Connect でLDAサポート
SPARK-50925 Connect で GeneralizedLinearRegression をサポート
SPARK-50988推定器とモデルの uid の不一致を修正
SPARK-50989接続時に NGram、Normalizer、Interaction をサポート
SPARK-50937 Connect でImputerサポート
SPARK-51049範囲マージのS3AベクターIOしきい値の増加
SPARK-50812 Connect で TargetEncoderModel をサポート
SPARK-50920 Connect で NaiveBayes をサポート
SPARK-50936接続時にHashingTF、IDF、FeatureHasherをサポート
SPARK-50934 Connect で CountVectorizer と OneHotEncoder をサポート
SPARK-49287ストリーミングクラスを sql/api に移動する
SPARK-50932 Connect での Bucketizer のサポート
SPARK-50933 Connect での機能セレクターのサポート
SPARK-50931接続時にバイナリ化をサポート
SPARK-50935接続時にDCTをサポート
SPARK-50963 Connect でトークナイザー、SQLTransform、StopWordsRemover をサポート
SPARK-50928 Connect で GaussianMixture をサポート
SPARK-49383 Transpose DataFrame API のサポート
SPARK-50939 Connect で Word2Vec をサポート
SPARK-49249 Spark Coreへの接続に新しいタグ関連APIsを追加
SPARK-50919接続時に LinearSVC をサポート
SPARK-50883同じコマンドで複数の列を変更できるようになりました
SPARK-50918接続時のパイプラインのサポート
SPARK-50826処理方法をリファクタリング ALLOWED_ATTRIBUTES
SPARK-49427 MergeIntoWriter の共有インターフェースを作成する
SPARK-49414共有DataFrameReaderインターフェースを追加
SPARK-50948 Connect に StringIndexer/PCA のサポートを追加
SPARK-50901サポートTransformer VectorAssembler
SPARK-50879 Connect で機能スケーラーをサポート
SPARK-50130スカラーおよびexistsサブクエリ用のDataFrame APIsを追加
SPARK-50075テーブル値関数用のDataFrame APIsを追加
SPARK-49426 DataFrameWriterV2の共有インターフェースを作成する
SPARK-50898接続時にFPGrowthサポート
SPARK-50844ロード時にモデルをServiceLoaderでロードするようにする
SPARK-50884評価者でのサポートは大きいほど良い
SPARK-50959 JavaWrapperの例外を飲み込む
SPARK-50558 ExpressionSetにsimpleStringを導入
SPARK-49422 KeyValueGroupedDatasetの共有インターフェースを作成する
SPARK-50878 Connect での ALS のサポート
SPARK-50897 ServiceLoader でのインスタンス作成の回避
SPARK-50877 Connect で KMeans と BisectingKMeans をサポート
SPARK-50876 Connect でのツリー回帰のサポート
SPARK-50874接続時にLinearRegressionサポート
SPARK-50869 ML Connect の評価者をサポート
SPARK-50851 Express MLパラメータ proto.Expression.Literal
SPARK-50825 ML Connect でツリー分類器をサポート
SPARK-50827サポートプラグイン
SPARK-49907 Connect で spark.ml をサポート
SPARK-50968使用方法を修正 Column.__new__
SPARK-49028共有SparkSessionを作成する
SPARK-49421共有RelationalGroupedDatasetインターフェースを作成する
SPARK-50804 to_protobuf() は MatchError をスローすべきではない
SPARK-50900 ProtoDataTypesにVectorUDTとMatrixUDTを追加
SPARK-50579 の修正 truncatedString
SPARK-50875 TVFにRTRIM照合順序を追加
SPARK-49420 DataFrameNaFunctions の共有インターフェースを追加
SPARK-50669 TimestampAdd式の署名を変更する
SPARK-46615 ArrowDeserializers で scimmutable.ArraySeq をサポート
SPARK-49423 sql/api で観測を統合する
SPARK-49086 ML関数の登録をSparkSessionExtensionsに移動
SPARK-49419共有DataFrameStatFunctionsを作成する
SPARK-50735 ExecuteResponseObserver の失敗により、無限の再接続リクエストが発生します。
SPARK-50522不確定な照合のサポート
SPARK-50893 UDT.DataType をオプションとしてマークする
SPARK-50685 getattr を活用して Py4J のパフォーマンスを向上
SPARK-50742 spark.hadoop.fs.s3a.connection.establish.timeout設定を削除
SPARK-50714 Avroエンコーディングが使用されている場合、TransformWithStateのスキーマ進化を有効にする
SPARK-49029共有データセットインターフェースの作成
SPARK-50263 System.currentTimeMillisを置き換える System.nanoTime
SPARK-50525 InsertMapSortInRepartitionExpressions オプティマイザールールを定義する
SPARK-50561 UNIFORM SQL関数の型強制と境界チェックの改善
SPARK-50707 char/varchar間のキャストを有効にする
SPARK-49027クラスとコネクト間で列APIを共有する
SPARK-49632 CANNOT_PARSE_TIMESTAMP の ANSI 設定提案を削除
SPARK-50529設定でchar/varcharの動作を変更する
SPARK-50600分析失敗時に分析セット
SPARK-50789型付き集計の入力を分析する必要がある
SPARK-49025列の実装に依存しないようにする
SPARK-50738ブラックを23.12.1にアップグレード
SPARK-49883状態ストアチェックポイント構造 V2 と RocksDB の統合
SPARK-50778 PySpark DataFrame にメタデータ列を追加する
SPARK-49565パイプSQL演算子による自動生成された式エイリアスの改善
SPARK-50772 SET、EXTEND、DROP演算子の後にテーブルエイリアスを保持する
SPARK-50690 DESCRIBE TABLEビュークエリ出力の引用符の矛盾を修正
SPARK-50675テーブルおよびビューレベルの照合のサポート
SPARK-50480 StringType から CharType と VarcharType を拡張する
SPARK-50715 SparkSession.Builderはバッチで設定を設定します
SPARK-50693 TypedScalaUdfの入力を分析する必要がある
SPARK-50710リリース後のセッションへのオプションのクライアント再接続のサポートを追加
SPARK-50596 Py4J を 0.10.9.7 から 0.10.9.8 にアップグレード
SPARK-50661古いクライアント FEB との下位互換性を追加します。
SPARK-50515読み取り専用インターフェースを追加 SparkConf
SPARK-50642初期状態がない場合の Spark Connect の FlatMapGroupsWithState の状態スキーマを修正しました
SPARK-50702 regexp_count、regexp_extract、regexp_extract_allのドキュメント文字列を改良
SPARK-50692 RPADプッシュダウンのサポートを追加
SPARK-50699指定されたセッションで DDL 文字列を解析して生成する
SPARK-50573スキーマ進化への状態行への状態スキーマ ID の追加
SPARK-50311 PySparkの(add|remove|get|clear)Tag(s) APIsをサポート
SPARK-50661 Spark Connect Scala foreachBatch 実装を修正しました。データセット[T]をサポートするため。
SPARK-50696 DDL解析メソッドのPy4J呼び出しを最適化
SPARK-50687 DataFrameQueryContext のスタックトレースを取得するためのロジックを最適化します
SPARK-50681 MapInXXX と ApplyInXXX の解析済みスキーマをキャッシュする
SPARK-50578 TransformWithStateInPandas の状態メタデータの新しいバージョンのサポートを追加
SPARK-50405複雑なデータ型の照合型強制を適切に処理する
SPARK-50615バリアントをスキャンにプッシュします。
SPARK-50599 Avro および UnsafeRow エンコーディングを可能にする DataEncoder 特性を作成する
SPARK-50076ログキーの修正
SPARK-50339リネージ情報を保存するための変更ログを有効にする
SPARK-50540 StatefulProcessorHandleの文字列スキーマを修正
SPARK-50544実装 StructType.toDDL
SPARK-50528 InvalidCommandInputを共通モジュールに移動します
SPARK-50063 Spark Connect ScalaクライアントにVariantのサポートを追加
SPARK-50310 PySpark の DataFrameQueryContext を無効にするフラグを追加
SPARK-50310 PySpark の DataFrameQueryContext を無効にするフラグを追加
SPARK-50032完全修飾照合名の使用を許可する
SPARK-50466文字列関数のドキュメント文字列を改良する - パート1
SPARK-49676 transformWithStateInPandas API に演算子の連鎖のサポートを追加
SPARK-50081 XPath*のコード生成サポート (Invoke および RuntimeReplaceable による)
SPARK-46725 DAYNAME関数を追加
SPARK-50067 SchemaOfCsv のコード生成サポート（Invoke と RuntimeReplaceable による）
SPARK-49873エラーテストでのマージ後の失敗を修正
SPARK-50270 TransformWithStateInPandas にカスタム状態メトリクスを追加しました
SPARK-50381サポート spark.master.rest.maxThreads
SPARK-50427 configure_logging をパブリック API として公開する
SPARK-50173 Pandas式がより多くのデータ型を受け入れるようにする
SPARK-50169パフォーマンスの改善 RegExpReplace
SPARK-50238 PySpark UDF/UDTF/ UDAFsおよびPython UC UDFにバリアントサポートを追加
SPARK-50190ヒストグラムからNumpyの直接依存関係を削除
SPARK-50183 Pandas APIとPySparkの内部関数を統合する
SPARK-50170 _invoke_internal_function_over_columnsを移動 pyspark.sql.utils
SPARK-50036 REPL シェルのコンテキストに SPARK_LOG_SCHEMA を含める
SPARK-50141 lpadとrpad列型引数を受け入れるようにする
SPARK-49954 SchemaOfJson のコード生成サポート (Invoke と RuntimeReplaceable による)
SPARK-50098 googleapis-common-protosの最小バージョンを 1.65.0 にアップグレードしてください
SPARK-50059構造化ストリーミング I/O のAPI互換性チェック
SPARK-50241 NullIntolerant Mixin を Expression.nullIntolerant メソッドに置き換えます
SPARK-49849構造化ストリーミングクエリ管理のAPI互換性チェック
SPARK-49851 Protobuf の API 互換性チェック
SPARK-49850 AvroのAPI互換性チェック
SPARK-50039グループ化の API 互換性チェック
SPARK-50023関数のAPI互換性チェック
SPARK-50030ウィンドウのAPI互換性チェック
SPARK-50002 I/OのAPI互換性チェック
SPARK-49848カタログのAPI互換性チェック
SPARK-50022 UI が無効になっているときにアプリ UI リンクを非表示にするようにMasterPageを修正しました
SPARK-50021 UI が無効になっているときにアプリ UI リンクを非表示にするようにApplicationPageを修正しました
SPARK-49990パフォーマンスの改善 randStr
SPARK-50380 ReorderAssociativeOperator は ConstantFolding の契約を尊重する必要があります
SPARK-50330ソートノードとウィンドウノードにヒントを追加
SPARK-49609 ClassicとConnect間のAPI互換性チェックを追加
SPARK-49773不正なタイムゾーンを持つmake_timestamp()からのキャッチされない Java 例外
SPARK-49345現在実行中のSparkセッションを使用していることを確認してください
SPARK-49368 protobuf liteクラスへの直接アクセスを避ける
SPARK-50056 ParseUrl のコード生成サポート (Invoke と RuntimeReplaceable による)
SPARK-49119 v1とv2間の構文show columnsの不一致を修正しました
SPARK-50144 DSv1 ストリーミングソースによるメトリクス計算の制限に対処する
SPARK-49962 AbstractStringTypesクラス階層を簡素化
SPARK-50327シングルパスアナライザーで再利用できるように関数の解決を除外する
SPARK-48775 STS で SQLContext を SparkSession に置き換える
SPARK-50325エイリアス解決をシングルパスアナライザーで再利用できるように分離
SPARK-48123構造化ログをクエリするための定数テーブルスキーマを提供する
SPARK-50055 TryMakeIntervalの代替を追加
SPARK-49312エラーメッセージの改善 assertSchemaEqual
SPARK-38912クラスメソッドとプロパティに関連するコメントを削除します
SPARK-50112 TransformWithState演算子でAvroエンコーディングの使用を許可する
SPARK-50260 Spark Connectの実行とセッション管理をリファクタリングして最適化する
SPARK-50196 Pythonエラーコンテキストを修正して適切なコンテキストを使用するようにしました
SPARK-50167 PySpark のプロットエラーメッセージとインポートを改善
SPARK-50085 np.int8 でlit(ndarray) numpy データ型に合わせる
SPARK-50273 RocksDB ロック取得/解放ケースのログ記録を改善
SPARK-50163完了リスナーによるRocksDBの余分なacquireLockの解放を修正
SPARK-49770 RocksDB SSTファイルマッピング管理を改善し、既存のスナップショットと同じバージョンを再ロードする際の問題を修正しました。
SPARK-50232 dev/requirements.txt に 'protobuf==5.28.3' を追加
SPARK-50231関数instrが列を受け入れるようにします substring
SPARK-50028 Spark Connectサーバーリスナーのグローバルロックを細粒度ロックに置き換える
SPARK-50077デフォルトの完全なパラメータパターンを回避するために、LogicalRelation に新しいパターンオブジェクトを導入します。
SPARK-50128 Scalaの暗黙的なエンコーダを使用してステートフルなプロセッサハンドルAPIsを追加する
SPARK-49411ドライバーとステートフルオペレーター間で状態ストアチェックポイントIDを通信する
SPARK-50054ヒストグラムプロットのサポート
SPARK-49854アーティファクトマネージャーのクローン作成時にクラスターライブラリをコピーしない
SPARK-50071 try_make_timestamp(_ltz and _ntz) と関連テストを追加
SPARK-50024クライアントの警告モジュールの代わりにロガーを使用するように切り替えます
SPARK-50174 UnresolvedCatalogRelation解決を除外
SPARK-49734関数にseed引数を追加 shuffle
SPARK-49943 timestamp_ntz_to_longを削除 PythonSQLUtils
SPARK-49945エイリアスを追加 distributed_id
SPARK-49755 Connect の Avro 関数の特殊なケースを削除します
SPARK-49805プライベート[xxx]関数を削除 function.scala
SPARK-49929ボックスプロットのサポート
SPARK-49767内部関数呼び出しをリファクタリングする
SPARK-49939 json_object_keys のコード生成サポート (Invoke と RuntimeReplaceable による)
SPARK-49854セッションクローン中にアーティファクトマネージャーをクローンする
SPARK-49766 json_array_lengthコード生成サポート ( InvokeおよびRuntimeReplaceableによる)
SPARK-49540の使用法を統一する distributed_sequence_id
SPARK-50046ウォーターマークを計算するために EventTimeWatermark ノードの安定した順序を使用する
SPARK-50031 TryParseUrl式を追加
SPARK-49202ヒストグラムにArrayBinarySearchを適用します
SPARK-49811 StringTypeAnyCollation の名前変更
SPARK-50106 protobuf Python パッケージを 5.28.3 にアップグレードしました
SPARK-49203式を追加 java.util.Arrays.binarySearch
SPARK-50090 ResolveBinaryArithmetic をリファクタリングして単一ノード変換を分離する
SPARK-49103サポート spark.master.rest.filters
SPARK-49222 QueryCompilationErrors 内の不要なメソッドをクリアする
SPARK-50062照合順序のサポート InSet
SPARK-50035ステートフルプロセッサの明示的なhandleExpiredTimer関数部分のサポートを追加
SPARK-50050 lit strとbool型の numpy ndarray を受け入れるようにする
SPARK-50051 Make litは空の numpy ndarray で動作します
SPARK-49857データセット localCheckpoint API にストレージレベルを追加
SPARK-48749 UnaryPositive を簡素化し、RuntimeReplaceable で Catalyst Rules を削除します
SPARK-50058プラン正規化関数を分離し、後でシングルパスアナライザーテストで使用するようにしました。
SPARK-50042 Python リンター用に NumPy 2 をアップグレード
SPARK-50052 NumpyArrayConverter が空の str ndarray をサポートするようにしました
SPARK-49126 spark.history.ui.maxApplications構成定義を移動 History.scala
SPARK-50044複数の数学関数のドキュメント文字列を改良
SPARK-48782カタログ内のプロシージャ実行のサポートを追加
SPARK-48773ドキュメント構成「spark.default.parallelism」構成ビルダーフレームワークによる
SPARK-49876 Spark Connect サービスからグローバルロックを削除する
SPARK-48480 StreamingQueryListener は spark.interrupt() の影響を受けないはずです
SPARK-49978 sparkR の非推奨警告をパッケージ添付時に移動
SPARK-48549 SQL関数の改善 sentences
SPARK-49956 collect_set式による照合が無効になりました
SPARK-49974 resolveRelations(...) をアナライザーから移動しますScala
SPARK-49067 UTF-8リテラルをUrlCodecクラスの内部メソッドに移動する
SPARK-49393非推奨のカタログプラグインAPIsで失敗する
SPARK-49918適切な場合は、 SparkContextの conf に読み取り専用アクセスを使用します
SPARK-49924 ArrayCompactを置き換えた後もcontainsNullを保持
SPARK-49895 SELECT句の末尾のカンマに遭遇した場合のエラーを改善
SPARK-49890 df.sample の準備を親クラスに抽出します
SPARK-49810 DataFrame.sortの準備を親クラスに抽出します
SPARK-49405 JsonOptions の文字セットを制限する
SPARK-49542パーティション変換例外評価エラー
SPARK-47172 RPC暗号化にAES-GCMのサポートを追加
SPARK-44914 xercesImpl を削除した後の HadoopConfUtilsSuite を修正
SPARK-47496動的JDBC方言のJava SPI サポートを登録する
SPARK-48961 PySparkException の問題命名をJVMと一致させる
SPARK-47390 PostgresとMySQLのSQLタイムスタンプのマッピングを処理する
SPARK-49824 SparkConnectStreamingQueryCache のログ記録を改善
SPARK-49894列フィールド操作の文字列表現を改良
SPARK-49836 window/session_window fn にウィンドウが指定されている場合にクエリが壊れる可能性がある問題を修正
SPARK-49531 plotlyバックエンドによるラインプロットのサポート
SPARK-48780関数とプロシージャを処理するための NamedParametersSupport ジェネリックでエラーが発生する
SPARK-49026 ColumnNode から Proto への変換を追加
SPARK-49814 Spark Connectクライアントの起動時にspark versionを表示します connect server
SPARK-49246 TableCatalog#loadTable は書き込み用かどうかを示す必要があります
SPARK-49749 BlockManagerInfo のログレベルをデバッグに変更
SPARK-48303再編成 LogKeys
SPARK-48112 SparkConnectPlanner のセッションをプラグインに公開する
SPARK-45919 Javaクラス定義を簡素化するにはJava 16 recordを使用します
SPARK-48126 spark.log.structuredLogging.enabledを有効にする
SPARK-49656値状態コレクション型と変更フィードの読み取りオプションを持つ状態変数のサポートを追加
SPARK-49323 MockObserver を Spark Connect Server のテストフォルダからサーバのメインフォルダに移動する
SPARK-49772 ColumnFamilyOptions を削除し、RocksDB の dbOptions に直接設定を追加します
SPARK-49688割り込みと実行プラン間のデータ競合を修正
SPARK-49585 SessionHolder 内の実行マップを、operationID が設定されたものに置き換えます。
SPARK-49684セッション復元ロックの有効期間を最小化する
SPARK-48857 CSVOptions の文字セットを制限する
SPARK-48615 16進文字列の解析のパフォーマンス向上
SPARK-49719 UUIDとSHUFFLE整数を受け入れるようにする seed
SPARK-49713関数count_min_sketchが数値引数を受け入れるようにする
SPARK-48623構造化ログの移行 [パート3]
SPARK-48541 TaskReaperによって強制終了されたエグゼキューターに新しい終了コードを追加
SPARK-48627バイナリから HEX_DISCRETE 文字列へのパフォーマンスの向上
SPARK-49226 UDFコード生成のクリーンアップ
SPARK-49673 CONNECT_GRPC_ARROW_MAX_BATCH_SIZE を 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZE に増やす
SPARK-49307非依存エンコーダフレームワークにKryoシリアル化を追加
SPARK-48601 JDBCオプションにnull値を設定したときに、よりユーザーフレンドリーなエラーメッセージを表示します
SPARK-42252 spark.shuffle.localDisk.file.output.bufferを追加して非推奨にする spark.shuffle.unsafe.file.output.buffer
SPARK-49505範囲内のランダムな文字列または数値を生成するための新しいSQL関数「randstr」と「uniform」を作成します。
SPARK-48341プラグインがテストでQueryTestを使用できるようにする
SPARK-48374追加のPyArrowテーブル列タイプをサポート
SPARK-49412単一ジョブですべてのボックスプロットメトリクスをコンピュート
SPARK-49684セッションおよび実行マネージャーからグローバルロックを削除します
SPARK-49225 ColumnNode SQLを追加して正規化する
SPARK-49274 Javaシリアル化ベースのエンコーダーをサポート
SPARK-49089ハードコードされたCatalyst式を内部関数レジストリに移動する
SPARK-48185 'シンボリック参照クラスにアクセスできません: クラス sun.util.calendar.ZoneInfo' を修正
SPARK-48037 SortShuffleWriter にシャッフル書き込み関連のメトリクスが欠如しており、不正確なデータが発生する可能性がある問題を修正
SPARK-49534 spark-hive_xxx.jarがクラスパスにない場合、 sql/hiveとsql/hive-thriftserver先頭に追加しなくなりました
SPARK-49502 SparkEnv.get.shuffleManager.unregisterShuffle での NPE を回避する
SPARK-49567 PySpark コードベースからvanilla代わりにclassicを使用します
SPARK-49582 「dispatch_window_method」ユーティリティとドキュメント文字列の改善
SPARK-49478 ConnectProgressExecutionListener で null メトリクスを処理する
SPARK-49525サーバーサイドストリーミングクエリリスナーバスリスナーのログのマイナー改善
SPARK-49544 SparkConnectExecutionManager の粗いロックを ConcurrentMap に置き換えます
SPARK-49548 SparkConnectSessionManager の粗いロックを ConcurrentMap に置き換えます
SPARK-49004列API内部関数に別のレジストリを使用する
SPARK-49443 to_variant_object 式を実装し、schema_of_variant 式でバリアントオブジェクトの OBJECT を出力するようにする
SPARK-49595 Spark Connect Scala クライアントのDataFrame.unpivot/melt修正
SPARK-49526 ArtifactManager で Windows スタイルのパスをサポート
SPARK-49396 CaseWhen式のNULL可能性チェックを修正
SPARK-49024列ノードに関数のサポートを追加
SPARK-48985互換性のある式コンストラクタを接続する
SPARK-49083 from_xml と from_json が JSON スキーマでネイティブに動作できるようにする
SPARK-48986 ColumnNode中間表現を追加
SPARK-48960 Spark connectでspark-submitが動作するようになりました
SPARK-49492非アクティブなExecutionHolderへの再接続が試行されました
SPARK-47307オプションで Base64 文字列をチャンクするように構成を追加する
SPARK-49451 parse_json で重複キーを許可する
SPARK-49021状態データソースリーダーで transformWithState 値状態変数を読み取るためのサポートを追加
SPARK-49249 Spark SQL Core にaddArtifact API を追加します
SPARK-48693 Invoke と StaticInvoke の toString を簡素化および統合する
SPARK-41982文字列型のパーティションは数値型として扱われるべきではありません
SPARK-49216構造化ログ設定がオフの場合、明示的に構築された LogEntry でメッセージコンテキストをログに記録しないように修正
SPARK-49459シャッフルチェックサムのサポートCRC32C
SPARK-49409 CONNECT_SESSION_PLAN_CACHE_SIZEのデフォルト値を調整する
SPARK-49164 JDBCリレーションのSQLクエリの述語におけるNullSafeEqualではない問題を修正
SPARK-48344 SQL スクリプトの実行 (Spark Connect を含む)
SPARK-49260 Spark Connect シェルでsql/coreモジュールのクラスパスを先頭に追加しなくなりました
SPARK-49041間違ったsubsetが指定された場合、 dropDuplicatesに対して適切なエラーを発生させます
SPARK-49300 tokenRenewalIntervalが設定されていない場合のHadoop委任トークンのリークを修正
SPARK-48796再起動時にVCFのRocksDBCheckpointMetadataから列ファミリーIDをロードする
SPARK-49269 AstBuilder で VALUES() リストを積極的に評価する
SPARK-49336 protobuf メッセージを切り捨てる際のネストレベルを制限する
SPARK-49245いくつかのアナライザールールをリファクタリングする
SPARK-48755 transformWithState PySparkベース実装と ValueState サポート
SPARK-48762 Python用のclusterBy DataFrameWriter APIを導入
SPARK-48967 「INSERT INTO ... VALUES」ステートメントのパフォーマンスとメモリフットプリントを改善
SPARK-49195スクリプトレベルの解析ロジックを SparkSubmitCommandBuilder に埋め込む
SPARK-49173 Spark Connect シェルプロンプトを@からに変更します scala>
SPARK-49198 Spark Connect シェルに必要な jar を削減
SPARK-48936 Spark-Shell をSpark Connect で動作させる
SPARK-49201 Spark SQLを使用してhistプロットを再実装します
SPARK-49111 withProjectAndFilter を DataSourceV2Strategy のコンパニオンオブジェクトに移動します
SPARK-49185 Spark SQLを使用してkdeプロットを再実装します
SPARK-48761 Scala 用の clusterBy DataFrameWriter API を導入
SPARK-48628タスクピークオン/オフヒープメモリメトリクスを追加
SPARK-48900ジョブ/ステージのキャンセルのすべての内部呼び出しにreasonフィールドを追加します
SPARK-49076 AstBuilder のコメント内の古いlogical plan nameを修正
SPARK-49059 SessionHolder.forTesting(...)をテストパッケージに移動します
SPARK-48658エンコード/デコード関数は文字化けではなくコーディングエラーを報告します
SPARK-45891バリアント仕様に間隔型のサポートを追加
SPARK-49032メタデータテーブルエントリにスキーマパスを追加し、オペレータメタデータ形式v2の関連テストを実施
SPARK-49009列APIsと関数が列挙型を受け入れるようにする
SPARK-49035 TypeVar の削除 ColumnOrName_
SPARK-48849 TransformWithStateExec オペレータの OperatorStateMetadataV2 を作成する
SPARK-48974代わりにSparkSession.implicitsを使用してください SQLContext.implicits
SPARK-48996列の__and__と__or__にベアリテラルを許可する
SPARK-48928ローカルチェックポイントRDDで.unpersist()を呼び出すと警告が記録される
SPARK-48972関数内のリテラル文字列処理を統一する
SPARK-48891 StateSchemaCompatibilityChecker をリファクタリングして、すべての状態スキーマ形式を統一します。
SPARK-48841 collationName ～ sql()個を含める Collate
SPARK-48944 Connect Server における JSON 形式のスキーマ処理を統一
SPARK-48945正規表現関数を簡素化 lit
SPARK-48865 try_url_decode関数を追加
SPARK-48851 SCHEMA_NOT_FOUNDの値をnamespaceから catalog.namespace
SPARK-48510 Mavenでテストを実行する際のUDAF toColumn APIの修正
SPARK-45190 from_xmlが StructType スキーマをサポートするようにする
SPARK-48900 cancelJobGroupにreasonフィールドを追加し、 cancelJobsWithTag
SPARK-48909メタデータを書き込むときは SparkContext ではなく SparkSession を使用する
SPARK-48510 Spark Connect で UDAF toColumn API をサポート
SPARK-45155 Spark Connect JVM/Scala クライアントの API ドキュメントを追加
SPARK-48794 Spark Connect の df.mergeInto サポート (Scala および Python)
SPARK-48714 PySparkでDataFrame.mergeInto実装する
SPARK-48726 TransformWithStateExec 演算子の StateSchemaV3 ファイル形式を作成する
SPARK-48834クエリコンパイル中にPython UDF、UDTF、 UDAFsへのバリアント入出力を無効にする
SPARK-48716 SparkListenerSQLExecutionStart に jobGroupId を追加する
SPARK-48888変更ログ操作のサイズに基づいてスナップショットの作成を削除
SPARK-48772状態データソースフィードリーダーModeの変更
SPARK-48742 RocksDB の仮想列ファミリー
SPARK-48852接続時の文字列トリム機能を修正
SPARK-48343 SQLスクリプトインタープリタの導入
SPARK-48118 SPARK_SQL_LEGACY_CREATE_HIVE_TABLE環境変数をサポートします
SPARK-48804 classIsLoadable と OutputCommitter.isAssignableFrom を追加出力コミッタークラスの設定を確認する
SPARK-47577ログキーTASK_IDの誤解を招く使用法を修正
SPARK-48798 SparkSessionベースのプロファイリングにspark.profile.renderを導入
SPARK-48686 ParserUtils.unescapeSQLString のパフォーマンスを向上
SPARK-48611 HadoopRDD と NewHadoopRDD の入力分割のログ TID
SPARK-48720コマンドALTER TABLE ... UNSET TBLPROPERTIES ... v1 と v2 で揃えます
SPARK-48710 NumPy 2.0互換型を使用する
SPARK-48810セッション停止() APIはべき等であるべきである
SPARK-48818 percentile関数を簡素化する
SPARK-48638 DataFrame に ExecutionInfo サポートを追加
SPARK-48799オペレータメタデータの読み取り/書き込みのバージョン管理をリファクタリング
SPARK-46122デフォルトでspark.sql.legacy.createHiveTableByDefault falseに設定します
SPARK-48629残りのコードを構造化ログフレームワークに移行する
SPARK-48320 OSS Sparkから最新のログ特性とテストケースを同期する
SPARK-48573 ICUバージョンのアップグレード
SPARK-48687ステートフルクエリの計画フェーズで状態スキーマ検証とドライバーの更新を追加
SPARK-47579変数を含む logInfo を構造化ログフレームワークに移行する (パート 1 ～ 4)
SPARK-48713 baseObject がバイト配列の場合、UnsafeRow.pointTo のインデックス範囲チェックを追加します。
SPARK-48498述語では常に文字パディングを行う
SPARK-48598データフレーム操作でキャッシュされたスキーマを伝播する
SPARK-47599 MLlib : 変数を含む logWarn を構造化ログフレームワークに移行する
SPARK-48576 UTF8_BINARY_LCASE を UTF8_LCASE に名前変更
SPARK-48650 IPython ノートブックから正しい呼び出しサイトを表示する
SPARK-48059 Java側の構造化ログフレームワーク
SPARK-48482 dropDuplicates と dropDuplicatesWithinWatermark は可変長引数を受け入れる必要がある
SPARK-48620 YearMonthIntervalTypeの内部生データリークを修正し、 CalendarIntervalType
SPARK-48555いくつかの関数の代わりとして列を使用するサポート
SPARK-48591簡素化するためのヘルパー関数を追加 Column.py
SPARK-48459 Spark Connect で DataFrameQueryContext を実装する
SPARK-48610リファクタリング: OP_ID_TAG の代わりに補助 idMap を使用する
SPARK-47923 arrow R パッケージの最小バージョンを 10.0.0 にアップグレードします
SPARK-48593ラムダ関数の文字列表現を修正
SPARK-46947ドライバープラグインがロードされるまでメモリマネージャーの初期化を遅延する
SPARK-48220 PyArrow テーブルを createDataFrame() に渡すことができるようになりました
SPARK-48564セット操作でキャッシュされたスキーマを伝播する
SPARK-48561サポートされていないプロット関数に対してPandasNotImplementedErrorをスローします
SPARK-48513状態スキーマの互換性のためにエラークラスを追加
SPARK-48553より多くのプロパティをキャッシュする
SPARK-48550親ウィンドウクラスを直接使用する
SPARK-48504 Spark Connect および Spark Classic の親ウィンドウクラス
SPARK-48508ユーザーが指定したスキーマをキャッシュする DataFrame.{to, mapInPandas, mapInArrow}
SPARK-48496 JavaUtilsで静的正規表現パターンインスタンスを使用する
SPARK-47578手動バックポート: 変数を使用して logWarning を移行する
SPARK-47737 PyArrow を 10.0.0 にアップグレード
SPARK-48159日付時刻式における照合文字列のサポートを拡張
SPARK-48454親 DataFrame クラスを直接使用する
SPARK-48438親の列クラスを直接使用する
SPARK-47597手動バックポート: 変数を含む logInfo を移行する
SPARK-48434 printSchemaがキャッシュされたスキーマを使用するようにする
SPARK-46998 SQL 設定の廃止 spark.sql.legacy.allowZeroIndexInFormatString
SPARK-46569 JDK9以降、SecureRandomのThreadLocalを削除
SPARK-46455冗長な型変換を削除
SPARK-46270 java16 instanceof式を使用する
SPARK-46479 Javaバージョンチェックにcommons-lang3のユーティリティメソッドを使用する
SPARK-45998冗長な型キャストのクリーンアップ
SPARK-45533 RocksDBIterator/LevelDBIterator の finalize の代わりに jlrCleaner を使用する
SPARK-45309すべてのSystemUtils.isJavaVersionAtLeastを削除JDK 9/11/17 付き
SPARK-48295デフォルトでcompute.ops_on_diff_framesをオンにする
SPARK-47960 transformWithState の後に他のステートフル演算子を連鎖できるようにする
SPARK-48367 scalafmt ファイル検出のための lint- Scalaを修正
SPARK-48247 MapTypeスキーマ推論に辞書内のすべての値を使用する
SPARK-48370 Scala Spark Connect クライアントのチェックポイントと localCheckpoint
SPARK-48258 Spark Connect のチェックポイントとローカルチェックポイント
SPARK-48293 ForeachBatchUserFuncException ラッピング割り込みのテストを追加
SPARK-48031 viewSchemaMode 構成を分解し、SHOW CREATE TABLE サポートを追加
SPARK-48288コネクタキャスト式のソースデータ型を追加
SPARK-48310キャッシュされたプロパティはコピーを返す必要があります
SPARK-48287組み込みのtimestamp_diffメソッドを適用する
SPARK-44444デフォルトでANSI SQLモードを使用する
SPARK-48276不足している__repr__を追加 SQLExpression
SPARK-46991 catalyst で IllegalArgumentException を SparkIllegalArgumentException に置き換えます
SPARK-48031サポートビュースキーマ進化
SPARK-48113プラグインがSpark Connectと統合できるようにする
SPARK-47158レガシーエラーコードに名前とsqlStateを割り当てる
SPARK-47545 Scalaクライアントのデータセットobserveサポート
SPARK-47993 Python 3.8 を削除
SPARK-48260 ParquetIOSuite で出力コミッターの調整を無効にする
SPARK-47365 PySparkにtoArrow() DataFrameメソッドを追加
SPARK-47963外部Sparkエコシステム向けの構造化ログを有効にする
SPARK-48045 as_index=False を無視するマルチ agg-relabel を修正
SPARK-47719 timeParserPolicy のデフォルトを修正しました
SPARK-48075 PySpark avro関数の型チェック
SPARK-48102ストリーミングクエリの進行状況でメトリクスの期間を追跡する
SPARK-47858 DataFrame エラーコンテキストのリファクタリング
SPARK-48052親クラスでpyspark-connect CI を回復する
SPARK-45284 SparkR の最小システム要件を Java 17 に更新する
SPARK-47933 Spark Connect および Classic の親列クラス
SPARK-48053 SparkSession.createDataFrameサポートされていないオプションについては警告する必要がある
SPARK-48044キャッシュ DataFrame.isStreaming
SPARK-47594構造化ログ移行
SPARK-47764 ShuffleCleanupMode によるシャッフル依存関係のクリーンアップ
SPARK-45501型チェックと変換にパターンマッチングを使用する
SPARK-45515拡張されたswitch式を使用して、通常のswitchステートメントを置き換えます
SPARK-47417照合順序のサポート: Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
SPARK-47909 Spark Connect および Spark Classic の親 DataFrame クラス
SPARK-47602コア/ MLlib /リソースマネージャー: 構造化ログの移行
SPARK-47390 PostgresDialectはTIMESTAMPとTIMESTAMP_TZを区別します
SPARK-47868 SparkConnectPlannerとSparkSessionの再帰制限エラーを修正
SPARK-45802不要になったJava majorVersionチェックインを削除します Platform
SPARK-47818 SparkConnectPlanner にプランキャッシュを導入して分析リクエストのパフォーマンスを向上
SPARK-46031 !Optional.isPresent()を置き換える Optional.isEmpty()
SPARK-45659 Java APIにsinceフィールドを追加して、 @Deprecated
SPARK-45596 org.apache.spark.sql.connect.client.util.Cleaner の代わりに java.lang.ref.Cleaner を使用してください
SPARK-47807 PySpark .ml をPySpark -connect と互換性のあるものにする
SPARK-45830リファクタリング StorageUtils#bufferCleaner
SPARK-45578 InaccessibleObjectExceptionの使用を削除 trySetAccessible
SPARK-44895 ThreadStackTrace に「daemon」、「priority」を追加
SPARK-45295 Utils.isMemberClass を削除JDK 8の回避策
SPARK-47081クエリ実行の進行状況をサポート
SPARK-45322 ProcessHandle を使用して pid を直接取得する
SPARK-46812 mapInPandas / mapInArrow が ResourceProfile をサポートするようにする
SPARK-47406 MYSQLDialect で TIMESTAMP と DATETIME を処理する
SPARK-47712接続プラグインがデータセットを作成および処理できるようにする
SPARK-47720 spark.speculation.multiplierを 3 に、 spark.speculation.quantileを 0.9 に更新
SPARK-47665 SMALLINT を使用して MYSQL に ShortType を書き込む
SPARK-47722 RocksDBのバックグラウンド作業が完了するまで待ってから閉じる
SPARK-47610常に設定 io.netty.tryReflectionSetAccessible=true
SPARK-47372状態ストアプロバイダで使用するための範囲スキャンベースのキー状態エンコーダのサポートを追加
SPARK-44708 test_reset_index assert_eq を assertDataFrameEqual を使用するように移行
SPARK-47346 Python プランナーワーカーの作成時にデーモンモードを設定可能にする
SPARK-47419 log4j2-defaults.propertiesを移動 common/utils
SPARK-47380サーバー側でSparkSessionが同じであることを確認する
SPARK-47055 MyPy 1.8.0 へのアップグレード
SPARK-46795 UnsupportedOperationExceptionをSparkUnsupportedOperationExceptionに置き換えます sql/core
SPARK-46648デフォルトのORC圧縮としてzstdを使用する
SPARK-47322 withColumnsRenamed列名の重複処理を次のとおりにしました withColumnRenamed
SPARK-47011非推奨を削除 BinaryClassificationMetrics.scoreLabelsWeight
SPARK-46332 CatalogNotFoundExceptionをエラークラスに移行します CATALOG_NOT_FOUND
SPARK-46975専用のフォールバックメソッドをサポート
SPARK-47069 SparkSessionベースのプロファイリングにspark.profile.show/dumpを導入
SPARK-47062互換性のために Connect プラグインを Java に移行する
SPARK-46833照合順序 - サポートされている照合順序の比較とハッシュルールを提供する CollationFactory の導入
SPARK-46984 PySpark .copy_func を削除
SPARK-46849 CREATE TABLE 列のデフォルトでオプティマイザーを実行する
SPARK-46976実装 DataFrameGroupBy.corr
SPARK-46911 StatefulProcessorHandleImpl に deleteIfExists 演算子を追加する
SPARK-46955実装 Frame.to_stata
SPARK-46936実装 Frame.to_feather
SPARK-46655 DataFrameメソッドでクエリコンテキストのキャッチをスキップします
SPARK-46926フォールバックリストにconvert_dtypes 、 infer_objects 、 set_axisを追加します
SPARK-46683テスト範囲を拡大するためにサブクエリの順列を生成するサブクエリジェネレータを作成する
SPARK-46777 StreamingDataSourceV2Relation触媒構造をバッチバージョンと同等になるようにリファクタリングします
SPARK-46620フレームメソッドに基本的なフォールバックメカニズムを導入する
SPARK-46808 Pythonのエラークラスを自動ソート機能で絞り込む
SPARK-46686 SparkSessionベースのPython UDFプロファイラーの基本サポート
SPARK-46258追加 RocksDBPersistenceEngine
SPARK-46665削除 assertPandasOnSparkEqual
SPARK-46227 withSQLConfをSQLHelperから SQLConfHelper
SPARK-40876 Parquetリーダーにおける拡張型プロモーション
SPARK-46101 (文字列|array).size を置き換えてスタックの深さを減らす (文字列|配列).長さ
SPARK-46170 SparkSessionExtensions でアダプティブクエリポストプランナー戦略ルールの挿入をサポート
SPARK-46246 EXECUTE IMMEDIATE SQL サポート
SPARK-46466ベクトル化された Parquet リーダーは、タイムスタンプ ntz のリベースを実行すべきではありません。
SPARK-46399 Sparkリスナーの使用のためにアプリケーション終了イベントに終了ステータスを追加します
SPARK-45506 SparkConnect addArtifact に Ivy URI サポートを追加
SPARK-45597 SQLでPythonデータソースを使用したテーブルの作成をサポート (DSv2 exec)
SPARK-46402 getMessageParametersとgetQueryContextのサポートを追加
SPARK-46213エラーフレームワークにPySparkImportErrorを導入
SPARK-46226残りのRuntimeErrorをすべてPySparkエラーフレームワークに移行します
SPARK-45886 DataFrameコンテキストのcallSiteにフルスタックトレースを出力します
SPARK-46256 ZSTDの並列圧縮サポート
SPARK-46249バックグラウンド操作との競合を防ぐために、 RocksDBメトリクスを取得するにはインスタンスロックが必要です
SPARK-45667関連する非推奨APIの使用をクリーンアップ IterableOnceExtensionMethods
SPARK-46254古いPython 3.8/3.7バージョンチェックを削除
SPARK-46213エラーフレームワークにPySparkImportErrorを導入
SPARK-46188 Sparkドキュメントの生成されたテーブルのCSSを修正
SPARK-45670 SparkSubmit は K8s にデプロイするときに--total-executor-coresサポートしません
SPARK-46169 DataFrame APIの欠落に対して適切な JIRA 番号を割り当てます
SPARK-45022データセット API エラーのコンテキストを提供する
SPARK-46062 CTE定義と参照間でisStreamingフラグを同期する
SPARK-45698関連する非推奨APIの使用をクリーンアップ Buffer
SPARK-45136 Ammonite サポートによる ClosureCleaner の強化
SPARK-44442 Mesosサポートを削除
SPARK-45996 Spark Connect の適切な依存関係要件メッセージを表示します
SPARK-45767 TimeStampedHashMapとそのUTを削除します
SPARK-45912 XSDToSchema API の拡張: クラウドストレージのアクセス性向上のための HDFS API の変更
SPARK-45338 scala.collection.JavaConvertersを置き換えて scala.jdk.CollectionConverters
SPARK-45828 dsl の非推奨メソッドを削除
SPARK-45718 Spark 3.4.0 から残りの非推奨の Pandas 機能を削除します
SPARK-45990 protobufを4.25.1にアップグレードしてサポートする Python 3.11
SPARK-45941 pandasバージョン 2.1.3 にアップグレードしてください
SPARK-45555失敗したアサーションのデバッグ可能なオブジェクトが含まれています
SPARK-45710エラー_LEGACY_ERROR_TEMP_21[59,60,61,62]に名前を割り当てます
SPARK-45733複数の再試行ポリシーをサポート
SPARK-45503 RocksDB 圧縮を設定するための設定を追加
SPARK-45614エラー_LEGACY_ERROR_TEMP_215[6,7,8]に名前を割り当てる
SPARK-45680リリースセッション
SPARK-45620 Python UDTFに関連するユーザー向けAPIsを修正して、camelCaseを使用するようにしました。
SPARK-45634 Spark の Pandas API からDataFrame.get_dtype_countsを削除します
SPARK-44752 XML: Sparkドキュメントの更新
SPARK-45523 UDTFがNULL値でない列に対してNoneを返す場合、役立つエラーメッセージを返す
SPARK-45558ストリーミングステートフルオペレータ用のメタデータファイルを導入
SPARK-45390 distutils使用を削除
SPARK-45517エラーフレームワークをサポートするためにさらに例外コンストラクターを拡張します
SPARK-45427 SSLOptions と SparkTransportConf に RPC SSL 設定を追加
SPARK-45581 SQLSTATE を必須にします。
SPARK-44784 SBT テストを密閉します。
SPARK-45550 Spark上のPandas APIから非推奨のAPIsを削除します
SPARK-45415 RocksDB 状態ストアで「fallocate」を選択的に無効化できるようにする
SPARK-45487 SQLSTATEと一時エラーを修正
SPARK-45505 analyzeInPython をリファクタリングして再利用可能にする
SPARK-45451データセットキャッシュのデフォルトのストレージレベルを設定可能にする
SPARK-45065 Pandas 2.1.0 をサポート
SPARK-45450 PEP8に従ってインポートを修正: PySpark .pandasとPySpark (コア)
SPARK-43299 Scala クライアントで StreamingQueryException を変換する
SPARK-42617 Pandas 2.0.0 からのisocalendarサポート
SPARK-45441 PythonWorkerUtils にさらに多くのユーティリティ関数を導入
SPARK-43620 Pandas APIsサポートされていない機能に依存している問題を修正
SPARK-45330アンモナイトを2.5.11にアップグレード
SPARK-45267 numeric_only のデフォルト値を変更します。
SPARK-45303 KryoSerializerBenchmark の JDK 8/11 回避策を削除
SPARK-43433 GroupBy.nth動作を最新のPandasに一致させる
SPARK-45166未使用のコードパスをクリーンアップ pyarrow<4
SPARK-44823ブラックを23.9.1にアップデートし、誤ったチェックを修正
SPARK-45165 CategoricalIndex APIsからinplace問題を削除します
SPARK-45180 inclusiveのブール入力をから削除します Series.between
SPARK-45164非推奨のIndex APIsを削除
SPARK-45179 Numpyの最小バージョンを1.21に上げる
SPARK-45177 col_space件をから削除します to_latex
SPARK-43241 MultiIndex.appendは名前の等価性をチェックしません
SPARK-43123すべての列がオブジェクト型の場合、 DataFrame.interpolateに対してTypeErrorが発生します。
SPARK-43295文字列型の列をサポート DataFrameGroupBy.sum
SPARK-42619 DataFrame.info にshow_counts問題を追加します
SPARK-44863 Spark UI にスレッドダンプを txt としてダウンロードするためのボタンを追加します
SPARK-44713共有クラスを sql/api に移動する
SPARK-44692トリガーを sql/api に移動する
SPARK-43563 read_csvからsqueezeを削除し、より多くのテストを有効にします。
SPARK-43476 Pandas 2.0.0 以降のサポートStringMethods
SPARK-43872 Pandas 2.0.0 以上で(DataFrame|Series).plotサポートします。
SPARK-42620 (DataFrame|Series).between_time にinclusive問題を追加します
SPARK-44289 Pandas 2.0.0 のindexer_between_timeをサポートし、より多くのテストを有効にします。
SPARK-42621 pd.date_range に包含的なものを追加する
SPARK-43709 ps.date_rangeからclosed問題を削除し、テストを有効にします。
SPARK-43568 Pandas 2 のCategorical APIsをサポート
SPARK-44842 Pandas 2.0.0 の統計関数をサポートし、テストを有効にします。
SPARK-43606 Int64Indexを削除 & Float64Index
SPARK-43873有効化 FrameDescribeTests
SPARK-44841 Pandas 2.0.0 以降ではvalue_countsサポートします。
SPARK-44686 Encoders に RowEncoder を作成する機能を追加します。Scala Scala
SPARK-41400 Connect Client Catalyst 依存関係の削除
SPARK-44538 Row.jsonValueとその仲間を復元する
SPARK-44507 AnalysisException を sql/api に移動
SPARK-44531エンコーダー推論を sql/api に移動
SPARK-43744スタブユーザークラスがサーバークラスパスに見つからないために発生するクラス読み込みの問題を修正しました
SPARK-36612シャッフルハッシュ結合で左外部結合ビルドまたは右外部結合ビルドをサポートします
SPARK-44541不要な関数hasRangeExprAgainstEventTimeColを削除します UnsupportedOperationChecker
SPARK-44059組み込み関数の名前付き引数のアナライザーサポートを追加
SPARK-44216 assertSchemaEqual API を公開する
SPARK-43755実行を SparkExecutePlanStreamHandler から別のスレッドに移動する
SPARK-44201 Spark Connect の Scala でストリーミングリスナーのサポートを追加
SPARK-43965 Spark Connect で Python UDTF をサポート
SPARK-44398 Scala foreachBatch API
SPARK-44044ストリーミングでのウィンドウ関数のエラーメッセージの改善

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。最近リリースされたドライバーをダウンロードしてアップグレード ( ODBC のダウンロード、 JDBC のダウンロード)。

メンテナンスアップデート

Databricks Runtime 17.0 のメンテナンス更新を参照してください。

システム環境

オペレーティングシステム : Ubuntu 24.04.2LTS
Java ：ズールー語17.54+21-CA
Scala : 2.13.16
Python : 3.12.3
R : 4.4.2
Delta Lake : 4.0.0

インストールされたPython

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
注釈付き型	0.7.0	どれでも	4.6.2	アルゴン2-cffi	21.3.0
アルゴン2-cffi-結合	21.2.0	矢印	1.3.0	astトークン	2.0.5
astunparse	1.6.3	非同期LRU	2.0.4	属性	24.3.0
自動コマンド	2.2.2	azure - コモン	1.1.28	azureコア	1.34.0
azureアイデンティティ	1.20.0	azure -mgmt-core	1.5.0	azure -mgmt-web	8.0.0
azureストレージ BLOB	12.23.0	azureストレージファイルデータレイク	12.17.0	バベル	2.16.0
バックポート.tarファイル	1.2.0	美しいスープ4	4.12.3	黒	24.10.0
bleach	6.2.0	ウィンカー	1.7.0	ボト3	1.36.2
ボトコア	1.36.3	キャッシュツール	5.5.1	認定	2025年1月31日
cffi	1.17.1	chardet	4.0.0	charset-normalizer	3.3.2
クリック	8.1.7	クラウドピクル	3.0.0	通信	0.2.1
輪郭線	1.3.1	cryptography	43.0.3	サイクラー	0.11.0
シトン	3.0.12	databricks-sdk	0.49.0	dbus- Python	1.3.2
デバッグ	1.8.11	デコレータ	5.1.1	defusedxml	0.7.1
非推奨	1.2.13	ディストリビューション	0.3.9	docstring-to-markdown	0.11
実行中	0.8.3	ファセットの概要	1.1.1	fastapi	0.115.12
fastjsonschema	2.21.1	ファイルロック	3.18.0	フォントツール	4.55.3
FQDN	1.5.1	ファイルシステムスペック	2023年5月0日	gitdb	4.0.11
GitPython	3.1.43	Google API コア	2.20.0	Google認証	2.40.0
google-クラウド-コア	2.4.3	Google Cloud Storage	3.1.0	google-crc32c	1.7.1
Google 再開可能メディア	2.7.2	googleapis-common-protos	1.65.0	grpcio	1.67.0
grpcio-status	1.67.0	h11	0.14.0	httpcore	1.0.2
httplib2	0.20.4	httpx	0.27.0	イドナ	3.7
importlib-メタデータ	6.6.0	インポートライブラリリソース	6.4.0	語形変化	7.3.1
iniconfig	1.1.1	ipyflow-core	0.0.209	ipyカーネル	6.29.5
iPython	8.30.0	ipython-genutils	0.2.0	ipywidgets	7.8.1
同位体	0.6.1	等張性	20.11.0	jaraco.context	5.3.0
jaraco.functools	4.0.1	jaraco.text	3.12.1	ジェダイ	0.19.2
ジンジャ2	3.1.5	jmespath	1.0.1	joblib	1.4.2
json5	0.9.25	JSONポインタ	3.0.0	jsonschema	4.23.0
jsonschema仕様	2023年7月1日	jupyterイベント	0.10.0	jupyter-lsp	2.2.0
jupyter_クライアント	8.6.3	jupyter_core	5.7.2	jupyter_server	2.14.1
jupyter_server_terminals	0.4.4	JupyterLab	4.3.4	jupyterlab-pygments	0.1.2
JupyterLabウィジェット	1.0.0	jupyterlab_サーバー	2.27.3	キウイソルバー	1.4.8
ランチパッドライブラリ	1.11.0	lazr.restfulclient	0.14.6	lazr.uri	1.0.6
マークダウン・イット・パイ	2.2.0	マークアップセーフ	3.0.2	Matplotlib	3.10.0
matplotlibインライン	0.1.7	マッケイブ	0.7.0	mdurl	0.1.0
不調	2.0.4	mlflow-skinny	2.22.0	mmh3	5.1.0
より多くのitertools	10.3.0	msal	1.32.3	msal拡張機能	1.3.1
mypy拡張機能	1.0.0	nbクライアント	0.8.0	nbconvert	7.16.4
nbフォーマット	5.10.4	ネスト非同期	1.6.0	ノードenv	1.9.1
notebook	7.3.2	ノートブックシム	0.2.3	numpy	2.1.3
oauthlib	3.2.2	オープンテレメトリAPI	1.32.1	オープンテレメトリSDK	1.32.1
opentelemetry セマンティック規約	0.53b1	オーバーライド	7.4.0	packaging	24.1
pandas	2.2.3	パンドックフィルター	1.5.0	パルソ	0.8.4
パススペック	0.10.3	patsy	1.0.1	期待する	4.8.0
枕	11.1.0	ピップ	25.0.1	プラットフォームディレクトリ	3.10.0
Plotly	5.24.1	プラグ状の	1.5.0	プロメテウスクライアント	0.21.0
プロンプトツールキット	3.0.43	プロトプラス	1.26.1	protobuf	5.29.4
psutil	5.9.0	サイコップ2	2.9.3	ptyプロセス	0.7.0
純粋評価	0.2.2	pyarrow	19.0.1	ピヤスン1	0.4.8
pyasn1モジュール	0.2.8	ピッコロ	0.0.71	pycパーサー	2.21
ピダンティック	2.10.6	pydantic_core	2.27.2	パイフレーク	3.2.0
ピグメント	2.15.1	PyGオブジェクト	3.48.2	PyIceberg	0.9.0
ピジョンJWT	2.10.1	pyodbc	5.2.0	pyparsing	3.2.0
海賊権	1.1.394	pytest	8.3.5	Python-dateutil	2.9.0.post0
Python-JSON-ロガー	3.2.1	Python-lsp-jsonrpc	1.1.2	Python-lsp-サーバー	1.12.0
pytoolconfig	1.2.6	pytz	2024.1	パイヤム	6.0.2
ピズムク	26.2.0	参照	0.30.2	リクエスト	2.32.3
rfc3339バリデータ	0.1.4	rfc3986 バリデータ	0.1.1	リッチ	13.9.4
ロープ	1.12.0	rpds-py	0.22.3	rsa	4.9.1
s3転送	0.11.3	scikit-learn	1.6.1	scipy	1.15.1
シーボーン	0.13.2	ゴミ箱へ送信	1.8.2	setuptools	74.0.0
six	1.16.0	smmap	5.0.0	スニッフィオ	1.3.0
ソートされたコンテナ	2.4.0	スープふるい	2.5	sqlparse	0.5.3
sshインポートID	5.11	スタックデータ	0.2.0	スターレット	0.46.2
statsmodels	0.14.4	厳格な	1.7.3	粘り強さ	9.0.0
終了する	0.17.1	threadpoolctl	3.5.0	タイニーCSS2	1.4.0
トークン化_rt	6.1.0	トムリ	2.0.1	竜巻	6.4.2
特性レット	5.14.3	タイプガード	4.3.0	タイプ-Python-dateutil	2.9.0.20241206
タイピング拡張機能	4.12.2	tzdata	2024.1	ujson	5.10.0
無人アップグレード	0.1	uriテンプレート	1.3.0	urllib3	2.3.0
ウビコーン	0.34.2	仮想環境	20.29.3	ワドリブ	1.3.6
トイレ幅	0.2.5	ウェブカラー	24.11.1	webencodings	0.5.1
Websocketクライアント	1.8.0	パッチ	1.0.2	車輪	0.45.1
ウィジェットnb拡張機能	3.6.6	ラップト	1.17.0	ヤップ	0.40.2
ジップ	3.21.0

インストールされたRライブラリ

R ライブラリは、2025 年 3 月 20 日の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
矢印	19.0.1	アスクパス	1.2.1	主張する	0.2.1
バックポート	1.5.0	ベース	4.4.2	base64enc	0.1～3
ビッグD	0.3.0	bit	4.6.0	ビット64	4.6.0-1
ビトプス	1.0-9	ブロブ	1.2.4	ブート	1.3-30
醸造	1.0～10	ブリオ	1.1.5	ほうき	1.0.7
bslib	0.9.0	カチェム	1.1.0	発信者	3.7.6
キャレット	7.0-1	セルレンジャー	1.1.0	クロン	2.3-62
クラス	7.3-22	CLI	3.6.4	clipr	0.8.0
クロック	0.7.2	クラスター	2.1.6	コードツール	0.2-20
カラースペース	2.1-1	コモンマーク	1.9.5	コンパイラ	4.4.2
設定	0.3.2	葛藤	1.2.0	cpp11	0.5.2
クレヨン	1.5.3	credentials	2.0.2	Curl	6.2.1
データテーブル	1.17.0	データセット	4.4.2	DBI	1.2.3
dbplyr	2.5.0	説明	1.4.3	開発ツール	2.4.5
図	1.6.5	diffobj	0.3.5	ダイジェスト	0.6.37
ダウンライト	0.4.4	dplyr	1.1.4	dtplyr	1.3.1
e1071	1.7-16	省略記号	0.3.2	評価する	1.0.3
ファンシー	1.0.6	ファーバー	2.1.2	ファストマップ	1.2.0
素晴らしいフォント	0.5.3	猫	1.0.0	For each	1.5.2
外部	0.8-86	フォージ	0.2.0	fs	1.6.5
未来	1.34.0	将来適用	1.11.3	うがい	1.5.2
ジェネリック医薬品	0.1.3	ゲルト	2.1.4	ggplot2	3.5.1
gh	1.4.1	git2r	0.35.0	gitcreds	0.1.2
glmnet	4.1-8	グローバル	0.16.3	のり	1.8.0
グーグルドライブ	2.1.1	googlesheets4	1.1.1	ガワー	1.0.2
グラフィック	4.4.2	grデバイス	4.4.2	グリッド	4.4.2
グリッドエクストラ	2.3	gsubfn	0.7	GT	0.11.1
gテーブル	0.3.6	ヘルメット	1.4.1	避難所	2.5.4
高い	0.11	HMS	1.1.3	htmlツール	0.5.8.1
htmlウィジェット	1.6.4	httpuv	1.6.15	httr	1.4.7
httr2	1.1.1	ids	1.0.1	ini	0.3.1
ipred	0.9-15	等バンド	0.2.7	イテレータ	1.0.14
jQueryライブラリ	0.1.4	jsonlite	1.9.1	ジューシージュース	0.1.0
カーンスムーズ	2.23-22	ニット	1.50	ラベリング	0.4.3
後で	1.4.1	格子	0.22-5	溶岩	1.8.1
ライフサイクル	1.0.4	聞く	0.9.1	潤滑する	1.9.4
マグリット	2.0.3	Markdown	1.13	質量	7.3-60.0.1
マトリックス	1.6-5	メモワーズ	2.0.1	方法	4.4.2
mgcv	1.9-1	パントマイム	0.13	ミニUI	0.1.1.1
MLflow	2.20.4	モデルメトリクス	1.2.2.2	モデラー	0.1.11
マンセル	0.5.1	nlme	3.1-164	ネット	7.3-19
numDeriv	2016年8月1日	オープンSSL	2.3.2	平行	4.4.2
並行して	1.42.0	柱	1.10.1	パッケージビルド	1.4.6
パッケージコンフィグ	2.0.3	パッケージダウン	2.1.1	パッケージロード	1.4.0
プロガー	0.2.0	プライヤー	1.8.9	賞賛	1.0.0
プリティユニット	1.2.0	pROC	1.18.5	プロセスx	3.8.6
プロリム	2024年6月25日	プロフィス	0.4.0	進捗	1.2.3
進歩者	0.15.1	約束	1.3.2	プロト	1.0.0
プロキシ	0.4-27	PS	1.9.0	ゴロゴロ	1.0.4
R6	2.6.1	ラグ	1.3.3	ランダムフォレスト	4.7-1.2
ラップディレクトリ	0.3.3	rcmdcheck	1.4.0	RColorBrewer	1.1-3
Rcpp	1.0.14	RcppEigen	0.3.4.0.2	反応可能	0.4.4
反応R	0.6.1	読者	2.1.5	リードXL	1.4.5
レシピ	1.2.0	再戦	2.0.0	再戦2	2.1.2
リモコン	2.5.0	再プレックス	2.1.1	再形成2	1.4.4
rlang	1.1.5	rmarkdown	2.29	RODBC	1.3-26
ロキシゲン2	7.3.2	rpart	4.1.23	rprojroot	2.0.4
Rserve	1.8-15	RSQLite	2.3.9	rstudioapi	0.17.1
リバース	2.1.2	ベスト	1.0.4	生意気な	0.4.9
スケール	1.3.0	セレクター	0.4-2	セッション情報	1.2.3
形	1.4.6.1	shiny	1.10.0	ソースツール	0.1.7-1
sparklyr	1.9.0	SparkR	4.0.0	スパースベクトル	0.3.1
空間	7.3-17	スプライン	4.4.2	sqldf	0.4-11
スクエア	2021.1	統計	4.4.2	統計4	4.4.2
ストリング	1.8.4	ストリンガー	1.5.1	生存	3.5-8
威勢のいい	5.17.14.1	システム	3.4.3	システムフォント	1.2.1
tcltk	4.4.2	テストする	3.2.3	テキストシェーピング	1.0.0
ティブル	3.2.1	ティディル	1.3.1	きちんとしたセレクト	1.2.1
整頓されたバース	2.0.0	時間変更	0.3.0	時刻日付	4041.110
タイニーテックス	0.56	ツール	4.4.2	tzdb	0.5.0
URLチェッカー	1.0.1	使用方法	3.1.0	UTF8	1.2.4
ユーティリティ	4.4.2	uuid	1.2-1	V8	6.0.2
vctrs	0.6.5	ビリディスライト	0.4.2	ブーーン	1.6.5
ワルド	0.6.1	ひげ	0.4.1	ウィザー	3.0.2
xfun	0.51	xml2	1.3.8	xopen	1.0.1
xテーブル	1.8-4	ヤムル	2.3.10	熱狂者	0.1.0
ジップ	2.3.2

インストールされた Java および Scala ライブラリ (Scala 2.13 クラスターバージョン)

グループID	アーティファクトID	バージョン
アリ	アリ	2.7.7
com.amazonaws	Amazon Kinesisクライアント	1.12.0
com.amazonaws	aws-java-sdk-オートスケール	1.12.638
com.amazonaws	aws-java-sdk-cloudformation	1.12.638
com.amazonaws	aws-java-sdk-cloudfront	1.12.638
com.amazonaws	aws-java-sdk-cloudhsm	1.12.638
com.amazonaws	aws-java-sdk-クラウドサーチ	1.12.638
com.amazonaws	aws-java-sdk-cloudtrail	1.12.638
com.amazonaws	aws-java-sdk-cloudwatch	1.12.638
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.638
com.amazonaws	aws-java-sdk-codedeploy	1.12.638
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.638
com.amazonaws	aws-java-sdk-cognitosync	1.12.638
com.amazonaws	aws-java-sdk-config	1.12.638
com.amazonaws	aws-java-sdk-core	1.12.638
com.amazonaws	aws-java-sdk-データパイプライン	1.12.638
com.amazonaws	aws-java-sdk-ダイレクトコネクト	1.12.638
com.amazonaws	aws-java-sdk-ディレクトリ	1.12.638
com.amazonaws	aws-java-sdk-dynamodb	1.12.638
com.amazonaws	aws-java-sdk-ec2	1.12.638
com.amazonaws	aws-java-sdk-ecs	1.12.638
com.amazonaws	aws-java-sdk-efs	1.12.638
com.amazonaws	aws-java-sdk-elasticache	1.12.638
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.638
com.amazonaws	aws-java-sdk-emr	1.12.638
com.amazonaws	aws-java-sdk-glacier	1.12.638
com.amazonaws	aws-java-sdk-glue	1.12.638
com.amazonaws	aws-java-sdk-iam	1.12.638
com.amazonaws	aws-java-sdk-importexport	1.12.638
com.amazonaws	aws-java-sdk-kinesis	1.12.638
com.amazonaws	aws-java-sdk-kms	1.12.638
com.amazonaws	aws-java-sdk-lambda	1.12.638
com.amazonaws	aws-java-sdk-ログ	1.12.638
com.amazonaws	aws-java-sdk-機械学習	1.12.638
com.amazonaws	aws-java-sdk-opsworks	1.12.638
com.amazonaws	aws-java-sdk-rds	1.12.638
com.amazonaws	aws-java-sdk-redshift	1.12.638
com.amazonaws	aws-java-sdk-route53	1.12.638
com.amazonaws	aws-java-sdk-s3	1.12.638
com.amazonaws	aws-java-sdk-ses	1.12.638
com.amazonaws	aws-java-sdk-simpledb	1.12.638
com.amazonaws	aws-java-sdk-シンプルワークフロー	1.12.638
com.amazonaws	aws-java-sdk-sns	1.12.638
com.amazonaws	aws-java-sdk-sqs	1.12.638
com.amazonaws	aws-java-sdk-ssm	1.12.638
com.amazonaws	aws-java-sdk-storagegateway	1.12.638
com.amazonaws	aws-java-sdk-sts	1.12.638
com.amazonaws	aws-java-sdk-サポート	1.12.638
com.amazonaws	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonaws	aws-java-sdk-ワークスペース	1.12.638
com.amazonaws	jmespath-java	1.12.638
com.clearspring.アナリティクス	stream	2.9.8
com.databricks	Rserve	1.8-3
com.databricks	データブリックス SDK Java	0.27.0
com.databricks	ジェッツ3t	0.7.1-0
com.databricks.scalapb	scalapb-runtime_2.13	0.4.15-11
com.esotericsoftware	クリオシェーディング	4.0.3
com.esotericsoftware	最小ログ	1.3.0
com.fasterxml	同級生	1.5.1
com.fasterxml.jackson.core	ジャクソン注釈	2.18.2
com.fasterxml.jackson.core	ジャクソンコア	2.18.2
com.fasterxml.jackson.core	ジャクソンデータバインド	2.18.2
com.fasterxml.jackson.dataformat	ジャクソンデータフォーマットCBO	2.18.2
com.fasterxml.jackson.dataformat	ジャクソンデータフォーマットYAML	2.15.2
com.fasterxml.jackson.データ型	ジャクソンデータ型joda	2.18.2
com.fasterxml.jackson.データ型	ジャクソンデータ型jsr310	2.18.2
com.fasterxml.jackson.モジュール	ジャクソンモジュールパラメータ	2.18.2
com.fasterxml.jackson.モジュール	ジャクソンモジュールscala_2.13	2.18.2
com.github.ben-manes.caffeine	カフェイン	2.9.3
com.github.blemale	カフェイン_2.13	4.1.0
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	ネイティブ参照Java	1.1
com.github.fommil.netlib	ネイティブ参照Java	1.1ネイティブ
com.github.fommil.netlib	ネイティブシステムJava	1.1
com.github.fommil.netlib	ネイティブシステムJava	1.1ネイティブ
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1ネイティブ
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1ネイティブ
com.github.luben	zstd-jni	1.5.6-10
com.github.virtuald	カーブサピ	1.08
com.github.wendykierp	JTransforms	3.1
com.google.api.grpc	proto-google-common-protos	2.5.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.11.0
com.google.crypto.tink	ティンク	1.16.0
com.google.errorprone	エラーが発生しやすい注釈	2.36.0
com.google.flatbuffers	フラットバッファ-Java	24.3.25
com.google.guava	失敗アクセス	1.0.2
com.google.guava	グアバ	33.4.0-jre
com.google.guava	聴ける未来	グアバとの衝突を避けるため、9999.0 を空にする
com.google.j2objc	j2objcアノテーション	3.0.0
com.google.protobuf	プロトコルバッファJava	3.25.5
com.google.protobuf	プロトコルバッファJavaユーティリティ	3.25.5
com.helger	プロファイラー	1.1.1
com.ibm.icu	icu4j	75.1
com.jcraft	jsch	0.1.55
com.lihaoyi	ソースコード_2.13	0.1.9
com.microsoft.azure	azure -データレイク-ストア-sdk	2.3.10
com.microsoft.sqlserver	mssql-JDBC	12.8.0.jre11
com.microsoft.sqlserver	mssql-JDBC	12.8.0.jre8
com.ning	圧縮-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.bind	jaxbコア	2.2.11
com.sun.xml.bind	jaxb実装	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラメータ	2.8
com.trueaccord.lenses	レンズ_2.13	0.4.13
com.Twitter	チルジャバ	0.10.0
com.Twitter	チル_2.13	0.10.0
com.Twitter	ユーティリティアプリ_2.13	19.8.1
com.Twitter	ユーティリティコア_2.13	19.8.1
com.Twitter	ユーティリティ関数_2.13	19.8.1
com.Twitter	ユーティリティ-jvm_2.13	19.8.1
com.Twitter	ユーティリティlint_2.13	19.8.1
com.Twitter	ユーティリティレジストリ_2.13	19.8.1
com.Twitter	ユーティリティ統計_2.13	19.8.1
com.typesafe	設定	1.4.3
com.typesafe. Scala -logging	Scala -logging_2.13	3.9.2
com.uber	h3	3.7.3
com.univocity	単一性パーサー	2.9.1
com.zaxxer	ひかりCP	4.0.3
com.zaxxer	スパースビットセット	1.3
コモンズ CLI	コモンズ CLI	1.9.0
コモンズコーデック	コモンズコーデック	1.17.2
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.5
コモンズhttpクライアント	コモンズhttpクライアント	3.1
コモンズIO	コモンズIO	2.18.0
コモンズランゲージ	コモンズランゲージ	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib	アーパック	3.0.3
dev.ludovic.netlib	ブラス	3.0.3
dev.ludovic.netlib	ラパック	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	エアコンプレッサー	2.0.2
io.デルタ	デルタ共有クライアント_2.13	1.3.0
io.dropwizard.メトリクス	メトリクス注釈	4.2.30
io.dropwizard.メトリクス	メトリクスコア	4.2.30
io.dropwizard.メトリクス	メトリクス-グラファイト	4.2.30
io.dropwizard.メトリクス	メトリクスヘルスチェック	4.2.30
io.dropwizard.メトリクス	メトリクス-jetty9	4.2.30
io.dropwizard.メトリクス	メトリクス-jmx	4.2.30
io.dropwizard.メトリクス	メトリクスJSON	4.2.30
io.dropwizard.メトリクス	メトリクス-JVM	4.2.30
io.dropwizard.メトリクス	メトリクスサーブレット	4.2.30
io.github.java-diff-utils	java-diff-utils	4.15
io.netty	ネットティオール	4.1.118.最終
io.netty	nettyバッファ	4.1.118.最終
io.netty	nettyコーデック	4.1.118.最終
io.netty	netty-codec-http	4.1.118.最終
io.netty	netty-codec-http2	4.1.118.最終
io.netty	netty コーデックソックス	4.1.118.最終
io.netty	ネットティコモン	4.1.118.最終
io.netty	nettyハンドラ	4.1.118.最終
io.netty	nettyハンドラプロキシ	4.1.118.最終
io.netty	nettyリゾルバ	4.1.118.最終
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-linux-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-aarch_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-osx-x86_64
io.netty	netty-tcnative-boringssl-static	2.0.70.Final-db-r0-windows-x86_64
io.netty	netty-tcnative クラス	2.0.70.最終版
io.netty	ネット輸送	4.1.118.最終
io.netty	netty-トランスポートクラス-epoll	4.1.118.最終
io.netty	netty トランスポートクラス kqueue	4.1.118.最終
io.netty	netty-transport-native-epoll	4.1.118.最終
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-riscv64
io.netty	netty-transport-native-epoll	4.1.118.Final-linux-x86_64
io.netty	nettyトランスポートネイティブkqueue	4.1.118.Final-osx-aarch_64
io.netty	nettyトランスポートネイティブkqueue	4.1.118.Final-osx-x86_64
io.netty	nettyトランスポートネイティブUNIX共通	4.1.118.最終
io.プロメテウス	シンプルクライアント	0.16.1-データブリックス
io.プロメテウス	シンプルクライアント共通	0.16.1-データブリックス
io.プロメテウス	シンプルクライアントドロップウィザード	0.16.1-データブリックス
io.プロメテウス	シンプルクライアントプッシュゲートウェイ	0.16.1-データブリックス
io.プロメテウス	シンプルクライアントサーブレット	0.16.1-データブリックス
io.プロメテウス	シンプルクライアントサーブレット共通	0.16.1-データブリックス
io.プロメテウス	シンプルクライアントトレーサーコモン	0.16.1-データブリックス
io.プロメテウス	シンプルクライアントトレーサーホテル	0.16.1-データブリックス
io.プロメテウス	シンプルクライアントトレーサーホテルエージェント	0.16.1-データブリックス
io.prometheus.jmx	コレクタ	0.18.0
ジャカルタ注釈	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
ジャカルタ検証	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.アクティベーション	アクティベーション	1.1.1
javax.アノテーション	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.トランザクション	jta	1.1
javax.トランザクション	トランザクションAPI	1.1
javax.xml.bind	jaxb-api	2.2.11
ジャボリューション	ジャボリューション	5.5.1
jline	jline	2.14.6
ジョダタイム	ジョダタイム	2.13.0
net.java.dev.jna	jna	5.8.0
ネット.razorvine	ピクルス	1.5
net.sf.jpam	jpam	1.1
net.sf.opencsv	オープンCSV	2.3
net.sf.supercsv	スーパーCSV	2.2.0
ネットスノーフレーク	スノーフレークインジェストSDK	0.9.6
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	リモートティーオンcrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-ランタイム	3.5.2
org.antlr	antlr4 ランタイム	4.13.1
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	アリ	1.10.11
org.apache.ant	アリ・ジシュ	1.10.11
org.apache.ant	アリランチャー	1.10.11
org.apache.arrow	arrow-format	18.2.0
org.apache.arrow	arrow-memory-core	18.2.0
org.apache.arrow	arrow-memory-netty	18.2.0
org.apache.arrow	arrow-memory-netty-buffer-patch	18.2.0
org.apache.arrow	arrow-vector	18.2.0
org.apache.avro	AVRO	1.12.0
org.apache.avro	アブロIPC	1.12.0
org.apache.avro	アブロマップレッド	1.12.0
org.apache.commons	コモンズコレクション4	4.4
org.apache.commons	コモンズ圧縮	1.27.1
org.apache.commons	コモンズ暗号	1.1.0
org.apache.commons	コモンズ言語3	3.17.0
org.apache.commons	コモンズ-math3	3.6.1
org.apache.commons	コモンズテキスト	1.13.0
org.apache.curator	キュレーター-クライアント	5.7.1
org.apache.curator	キュレーターフレームワーク	5.7.1
org.apache.curator	キュレーターレシピ	5.7.1
org.apache.datasketches	データスケッチ-Java	6.1.1
org.apache.datasketches	データスケッチメモリ	3.0.2
org.apache.derby	ダービー	10.14.2.0
org.apache.hadoop	hadoopクライアントランタイム	3.4.1
org.apache.hive	ハイブビーライン	2.3.10
org.apache.hive	hive- CLI	2.3.10
org.apache.hive	ハイブJDBC	2.3.10
org.apache.hive	hive-llap-クライアント	2.3.10
org.apache.hive	ハイブラップコモン	2.3.10
org.apache.hive	ハイブ・サーデ	2.3.10
org.apache.hive	ハイブシム	2.3.10
org.apache.hive	ハイブストレージAPI	2.8.1
org.apache.hive.shims	ハイブシム 0.23	2.3.10
org.apache.hive.shims	ハイブシム共通	2.3.10
org.apache.hive.shims	hive-shims-スケジューラ	2.3.10
org.apache.httpコンポーネント	httpクライアント	4.5.14
org.apache.httpコンポーネント	httpcore	4.4.16
org.apache.ivy	Ivy	2.5.3
org.apache.logging.log4j	log4j-1.2-api	2.24.3
org.apache.logging.log4j	log4j-api	2.24.3
org.apache.logging.log4j	log4j-core	2.24.3
org.apache.logging.log4j	log4j-レイアウトテンプレート- JSON	2.24.3
org.apache.logging.log4j	log4j-slf4j2-impl	2.24.3
org.apache.orc	オークコア	2.1.1-シェーディングプロトコルバッファ
org.apache.orc	orc 形式	1.1.0-シェーディングプロトコルバッファ
org.apache.orc	orc-mapreduce	2.1.1-シェーディングプロトコルバッファ
org.apache.orc	オークシム	2.1.1
org.apache.poi	ポイ	5.4.1
org.apache.poi	poi-ooxml	5.4.1
org.apache.poi	poi-ooxml-full	5.4.1
org.apache.poi	poi-ooxml-lite	5.4.1
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	リブスリフト	0.16.0
org.apache.ws.xmlスキーマ	xmlschema-core	2.3.1
org.apache.xbean	xbean-asm9-シェーディング	4.26
org.apache.xmlbeans	XMLBeans	5.3.0
org.apache.yetus	視聴者注釈	0.13.0
org.apache.zookeeper	動物園の飼育員	3.9.3
org.apache.zookeeper	動物園飼育員-ジュート	3.9.3
org.checkerframework	チェッカー資格	3.43.0
org.codehaus.janino	コモンズコンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus	データニュークリアスAPIJDO	4.2.4
org.datanucleus	データニュークリアスコア	4.1.17
org.datanucleus	データニュークリアス-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org. Eclipse .jetty	桟橋クライアント	9.4.53.v20231009
org. Eclipse .jetty	桟橋の延長	9.4.53.v20231009
org. Eclipse .jetty	ジェティ-http	9.4.53.v20231009
org. Eclipse .jetty	ジェティイオ	9.4.53.v20231009
org. Eclipse .jetty	ジェティ・ジャンディ	9.4.53.v20231009
org. Eclipse .jetty	桟橋プラス	9.4.53.v20231009
org. Eclipse .jetty	桟橋プロキシ	9.4.53.v20231009
org. Eclipse .jetty	桟橋のセキュリティ	9.4.53.v20231009
org. Eclipse .jetty	桟橋サーバー	9.4.53.v20231009
org. Eclipse .jetty	jettyサーブレット	9.4.53.v20231009
org. Eclipse .jetty	jettyサーブレット	9.4.53.v20231009
org. Eclipse .jetty	桟橋ユーティリティ	9.4.53.v20231009
org. Eclipse .jetty	jetty-util-ajax	9.4.53.v20231009
org. Eclipse .jetty	jetty-webapp	9.4.53.v20231009
org. Eclipse .jetty	ジェティ-xml	9.4.53.v20231009
org. Eclipse .jetty.websocket	ウェブソケットAPI	9.4.53.v20231009
org. Eclipse .jetty.websocket	Websocketクライアント	9.4.53.v20231009
org. Eclipse .jetty.websocket	websocket-共通	9.4.53.v20231009
org. Eclipse .jetty.websocket	Websocketサーバー	9.4.53.v20231009
org. Eclipse .jetty.websocket	Websocketサーブレット	9.4.53.v20231009
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2ロケーター	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.外部	aopalliance-再パッケージ	2.6.1
org.glassfish.hk2.外部	ジャカルタ.インジェクト	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.41
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.41
org.glassfish.jersey.core	ジャージクライアント	2.41
org.glassfish.jersey.core	ジャージーコモン	2.41
org.glassfish.jersey.core	ジャージサーバー	2.41
org.glassfish.jersey.inject	ジャージー-hk2	2.41
org.hibernate.validator	Hibernateバリデータ	6.2.5.最終
org.ini4j	ini4j	0.5.4
org.javassist	ジャバシスト	3.29.2-GA
org.jboss.logging	jbossロギング	3.4.1.最終
org.jdbi	DBI	2.63.1
org.jetbrains	注釈	17.0.0
org.jline	jline	3.27.1-jdk8
org.joda	joda-convert	1.7
org.jodd	ジョッドコア	3.5.2
org.json4s	json4s-ast_2.13	4.0.7
org.json4s	json4s-core_2.13	4.0.7
org.json4s	json4s-ジャクソン-core_2.13	4.0.7
org.json4s	json4s-jackson_2.13	4.0.7
org.json4s	json4s-scalap_2.13	4.0.7
org.lz4	lz4-java	1.8.0-データブリックス-1
org.mlflow	mlflow-spark_2.13	2.9.1
org.objenesis	オブジェクト	3.3
org.postgresql	PostgreSQL	42.6.1
org.roaringbitmap	ロアリングビットマップ	1.2.1
org.rocksdb	rocksdbjni	9.8.4
org.rosuda.Rエンジン	Rエンジン	2.1.0
org. Scala言語	Scala -compiler_2.13	2.13.16
org. Scala言語	Scala -library_2.13	2.13.16
org. Scala言語	Scala -reflect_2.13	2.13.16
org. Scala -lang.modules	Scala -コレクション-compat_2.13	2.11.0
org. Scala -lang.modules	Scala -java8-compat_2.13	0.9.1
org. Scala -lang.modules	Scala -並列コレクション_2.13	1.2.0
org. Scala -lang.modules	Scala -パーサーコンビネーター_2.13	2.4.0
org. Scala -lang.modules	Scala -xml_2.13	2.3.0
org. Scala -sbt	テストインターフェース	1.0
org.scalacheck	スカラチェック_2.13	1.18.0
org.scalactic	スカルラクティック_2.13	3.2.19
org.scalanlp	breeze-macros_2.13	2.1.0
org.scalanlp	そよ風_2.13	2.1.0
org.scalatest	スケーラテスト互換	3.2.19
org.scalatest	スケーラテストコア_2.13	3.2.19
org.scalatest	スケーラテストダイアグラム_2.13	3.2.19
org.scalatest	スケーラテスト機能スペック_2.13	3.2.19
org.scalatest	スケーラテストフラットスペック_2.13	3.2.19
org.scalatest	スケーラテストフリースペック_2.13	3.2.19
org.scalatest	スケーラテストファンスペック_2.13	3.2.19
org.scalatest	スケーラテストファンスイート_2.13	3.2.19
org.scalatest	スケーラテストマッチャーコア_2.13	3.2.19
org.scalatest	スケーラテスト-マストマッチ_2.13	3.2.19
org.scalatest	スケーラテストプロパティスペック_2.13	3.2.19
org.scalatest	スケーラテスト refspec_2.13	3.2.19
org.scalatest	スケーラテスト-shouldmatchers_2.13	3.2.19
org.scalatest	スケーラテスト-ワードスペック_2.13	3.2.19
org.scalatest	スケーラテスト_2.13	3.2.19
org.slf4j	jcl-over-slf4j	2.0.16
org.slf4j	jul-to-slf4j	2.0.16
org.slf4j	slf4j-api	2.0.16
org.slf4j	slf4j-シンプル	1.7.25
org.threeten	30追加	1.8.0
org.tukaani	xz	1.10
org.typelevel	代数_2.13	2.8.0
org.typelevel	猫カーネル_2.13	2.8.0
org.typelevel	spire-macros_2.13	0.18.0
org.typelevel	尖塔プラットフォーム_2.13	0.18.0
org.typelevel	spire-util_2.13	0.18.0
org.typelevel	尖塔_2.13	0.18.0
org.wildfly.openssl	ワイルドフライ-openssl	1.1.3.最終
org.xerial	sqlite-JDBC	3.42.0.0
org.xerial.snappy	スナッピーJava	1.1.10.3
org.yaml	スネークヤムル	2.0
オロ	オロ	2.0.8
pl.edu.icm	JLargeArrays	1.5
ソフトウェア。 Amazon	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
スタックス	スタックスAPI	1.0.1

ヒント

サポート終了 (EoS) に達したDatabricks Runtimeバージョンのリリースノートを確認するには、「サポート終了Databricks Runtimeノート」を参照してください。 EoS Databricks Runtime バージョンは廃止されており、更新されない可能性があります。

新機能と改善点​

SparkML が標準クラスターでサポートされるようになりました​

SQLプロシージャのサポート​

SQL関数のデフォルトの照合順序を設定する​

再帰共通テーブル式（パブリック プレビュー）​

ANSI SQLがデフォルトで有効​

PySpark と Spark Connect が DataFrames df.mergeInto API をサポートするようになりました​

SHOWスキーマ内のALL CATALOGSサポートします​

液体クラスタリングは、より効率的に削除を圧縮するようになりました​

MERGE操作のUPDATE / INSERT列値に非決定論的な式を許可する​

AutoLoader 取り込み時の空の構造体を無視して救済する (特に Avro)​

Delta MERGE PythonおよびScala APIsを変更して、Unit ではなくDataFrame返すようにしました。​

SQL変数の宣言と削除のためのVARキーワードをサポート​

Apache Parquetライブラリをアップグレードする​

Google Cloud Pub/Sub の Workload Identity フェデレーションをサポート​

挙動の変更​

Databricks File System (DBFS) のカスタム CA 証明書はサポートされなくなりました​

Spark UI の「実際のキャッシュミス」セクションを削除しました​

Spark UIの「キャッシュ メタデータ マネージャーのピーク ディスク使用量」メトリクスを削除しました​

Spark UI の「再スケジュールされたキャッシュミスバイト」セクションを削除しました​

CREATE VIEW列レベルの句は、句がマテリアライズドビューにのみ適用される場合にエラーをスローするようになりました。​

ライブラリのアップグレード​

Apache Spark​

Databricks ODBC/JDBC ドライバーのサポート​

メンテナンスアップデート​

システム環境​

インストールされたPython​

インストールされたRライブラリ​

インストールされた Java および Scala ライブラリ (Scala 2.13 クラスター バージョン)​