Databricks Runtime 16.0 (EoS)

次のリリースノートでは、Databricks Runtime Apache Spark3.5.0 を搭載した 16.0 に関する情報を提供しています。

Databricks は 2024 年 11 月にこのバージョンをリリースしました。

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

ヒント

サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

挙動の変更

互換性に重大な変更 : JDK 17 がデフォルトになりました
重大な変更 : Hosted RStudio の提供終了
互換性に影響する変更 : byte、 short、 int 、 long の各タイプをより広範なタイプに変更するためのサポートの削除
ネストされた文字グループでの否定を使用した正規表現パターンの正しい解析
Delta Lake での重複一致検出を改善する MERGE
クラスターライブラリのインストール方法を上書きできなくなりました
クラスタースコープのライブラリインストールのタイムアウトは 2 時間です。
DBFS からのライブラリのインストールと spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed の設定は無効です
addArtifact()機能は、コンピュートの種類間で一貫性を持つようになりました
特殊文字を含むプリンシパル識別子に適切に適用されるバッククォートルール

互換性に重大な変更 : JDK 17 がデフォルトになりました

Databricks Runtime 16.0 以降では、デフォルト JDK のバージョンが JDK 8 から JDK 17 に切り替わります。この変更は、JDK 8 の廃止とサポート終了が予定されているために行われました。これは、次のものに影響します。

JavaDatabricksコンピュートで実行されるコードは、Java 17 と互換性がある必要があります。
ScalaノートブックまたはDatabricks コンピュートで実行されるコードは、Java 17 と互換性がある必要があります。
コンピュートにインストールされているJavaおよびScalaライブラリは、Java 17に対応している必要があります。
Apache Hive metastore クライアントの 2.x より前のバージョン。Spark構成spark.sql.hive.metastore.versionを 2.x より前のバージョンに設定すると、Java 17 との互換性の問題と Hive metastoreへの接続エラーが発生します。Databricks では、Hive を 2.0.0 より上のバージョンにアップグレードすることをお勧めします。

Java8Spark に戻す必要がある場合は、Databricks コンピュートを設定するときに、環境変数に以下を追加します。

Bash
JNAME=zulu8-ca-amd64

ARM インスタンスを使用している場合は、次を使用します。

JNAME=zulu8-ca-arm64

Databricks コンピュートで JDK バージョンを指定する方法の詳細については、「JDK 17 を使用するクラスターの作成」を参照してください。

Java 8 からのコードの移行については、次のガイドを参照してください。

重大な変更 : Hosted RStudio の提供終了

このリリースでは、Databricks でホストされる RStudio Server はサポートが終了し、Databricks Runtime 16.0 以降を実行しているすべての Databricks ワークスペースでは使用できません。RStudio の代替手段の詳細と一覧については、「ホスト型 RStudio サーバーの非推奨」を参照してください。

破壊的変更 : `byte`、 `short`、 `int` 、 `long` の各タイプをより広範なタイプに変更するためのサポートの削除

Databricks Runtime 15.4.3 以降では、型の拡大機能が有効になっているテーブルに、次のデータ型の変更を適用できなくなりました。

byte、short、int、およびlong``decimal。
byte、 short、および int から double.

この変更は、Delta テーブルと Iceberg テーブル間で一貫した動作を確保するために行われます。タイプの拡大拡大の詳細については、「タイプの拡大」をご参照ください。

ネストされた文字グループでの否定を使用した正規表現パターンの正しい解析

このリリースには、ネストされた文字グループで否定する正規表現パターンの正しい解析をサポートするための変更が含まれています。たとえば、 [^[abc]] は "'abc' の 1 つではない任意の文字" として解析されます。

さらに、Photonの動作は、ネストされたキャラクタークラスのSparkと一貫性がありませんでした。ネストされたキャラクタークラスを含む正規表現パターンは、Photonを使用しなくなり、代わりにSparkを使用します。ネストされた文字クラスは、角括弧内に角括弧を含む任意のパターンです (例: [[a-c][1-3]])。

Delta Lake での重複一致検出を改善する `MERGE`

Databricks Runtime 15.4 LTS 以下では、ON 句で指定されたMERGE条件に基づいて、ソーステーブルの複数の行がターゲットテーブルの同じ行と一致する場合、MERGE操作は失敗します。Databricks Runtime 16.0 以降では、 MERGE 句で指定された条件も WHEN MATCHED 考慮されます。「merge を使用した Delta Lake テーブルへのアップサート」を参照してください。

クラスターライブラリのインストール方法を上書きできなくなりました

Spark 設定 spark.databricks.libraries.enableSparkPyPI、 spark.databricks.libraries.enableMavenResolution、 spark.databricks.libraries.enableCRANResolutionnow がデフォルトで true になり、オーバーライドできなくなります。

クラスタースコープのライブラリインストールのタイムアウトは 2 時間です。

Databricks Runtime 16.0 以降では、クラスタースコープのライブラリインストールのデフォルトタイムアウトは 2 時間です。このタイムアウトより長い時間がかかるライブラリー・インストールは失敗し、インストールは終了します。クラスターを構成するときに、 Spark 構成spark.databricks.driver.clusterLibraryInstallationTimeoutSecを使用してタイムアウト期間を変更できます。

DBFS からのライブラリのインストールと spark conf `spark.databricks.driver.dbfsLibraryInstallationAllowed` の設定は無効です

Databricks Runtime 16.0 以降では、DBFS からのライブラリのインストールは完全に無効になっています。この変更は、Databricks ワークスペース内のライブラリのセキュリティを向上させるために行われます。さらに、Databricks Runtime 16.0 以降では、Spark 構成 . spark.databricks.driver.dbfsLibraryInstallationAllowedを使用できなくなりました。

`addArtifact()`機能は、コンピュートの種類間で一貫性を持つようになりました

このリリースでは、 addArtifact(archive = True) を使用して shared またはサーバレス Databricks コンピュートに依存関係を追加すると、アーカイブは自動的に解凍されます。この変更により、これらのコンピュートタイプでの addArtifact(archive = True) 動作は、アーカイブの自動アンパックを既にサポートしている専用のコンピュート (旧称 Single User コンピュート) と一致するようになります。

特殊文字を含むプリンシパル識別子に適切に適用されるバッククォートルール

このリリースでは、GRANT 、DENY 、およびREVOKE ステートメントに特殊文字が含まれるプリンシパル識別子は、バックティックで囲まれていない場合にエラーをスローするようになりました。

新機能と改善点

Amazon MSK from 構造化ストリーミング: 不適切な依存関係に対するより説明的なエラーメッセージ
変更されたPythonモジュールのより信頼性の高いリロードにより、 autoreload
Avro の再帰スキーマのサポート
to_avroおよびfrom_avro機能
Confluent Schema Registry for Avro のサポートの拡張
リキッドクラスタリングを使用するテーブルでの再クラスタリングの強制
とので ID 列がサポートされるようになりましたDeltaAPIPythonScala
専用のコンピュート(旧シングルユーザーコンピュート)でのきめ細かなアクセス制御が一般提供開始
ストリーミング書き込み中にリキッドクラスターテーブルを作成する
OPTIMIZE FULL 句のサポート
INSERT およびテーブル参照での WITH オプション指定のサポート
新しい SQL 関数
データを Delta テーブルにマージするときに自動スキーマ進化を有効にする

Amazon MSK from 構造化ストリーミング: 正しくない依存関係に対するより説明的なエラーメッセージ

を使用してAmazon Managed ストリーミング forKafka (MSK) に接続する構造化ストリーミングIAM アプリケーションが不適切な依存関係で構成されている場合は、エラーの修正に役立つわかりやすいエラーメッセージが表示されます。「を使用したのための AmazonManaged ストリーミングの使用KafkaIAM 」を参照してください。

変更されたPythonモジュールのより信頼性の高いリロードにより、 `autoreload`

Databricks Runtime 16.0 以降では、 autoreload 拡張機能の更新により、ワークスペースファイルからインポートされた変更された Python モジュールを再読み込みする際の安全性と信頼性が向上します。これらの変更により、 autoreloadは、可能な場合、モジュール全体ではなく、変更されたモジュールの一部のみをリロードします。さらに、Databricks は、モジュールが前回のインポート以降に変更された場合、 autoreload 拡張機能の使用を自動的に提案するようになりました。「Python モジュールの自動再読み込み」を参照してください。

Avro の再帰スキーマのサポート

これで、from_avro 関数と avro データソースで recursiveFieldMaxDepth オプションを使用できるようになりました。このオプションは、 Avro データソースでのスキーマ再帰の最大深度を設定します。ストリーミング Avro データの読み取りと書き込みを参照してください。

to_avroおよびfrom_avro機能

to_avro 関数と from_avro 関数を使用すると、SQL 型と Avro バイナリデータとの間で変換できます。

Confluent Schema Registry for Avro のサポートの拡張

Databricks で Confluent スキーマレジストリを使用した Avro スキーマ参照がサポートされるようになりました。「外部の Confluent Schema Registry への認証」を参照してください。

リキッドクラスタリングを使用するテーブルでの再クラスタリングの強制

Databricks Runtime 16.0 以降では、OPTIMIZE FULL 構文を使用して、リキッドクラスタリングが有効になっているテーブル内のすべてのレコードの再クラスタリングを強制できます。すべてのレコードの再クラスタリングの強制を参照してください。

とので ID 列がサポートされるようになりましたDeltaAPIPythonScala

DeltaAPIPythonこれで、とのScala を使用して、ID カラムを持つテーブルを作成できるようになりました。「Delta Lake での ID 列の使用」を参照してください。

専用のコンピュート(旧シングルユーザーコンピュート)でのきめ細かなアクセス制御が一般提供開始

Databricks Runtime 16.0以降では、専用のコンピュートによるきめ細かなアクセス制御が一般提供されています。サーバレスコンピュートが有効なワークスペースでは、専用のコンピュートなどのサポートされているコンピュートでクエリが実行され、そのクエリが次のいずれかのオブジェクトにアクセスする場合、コンピュートリソースはクエリをサーバレスコンピュートに渡してデータフィルタリングを実行します。

ユーザーが SELECT 権限を持っていないテーブルに対して定義されたビュー。
ダイナミックビュー。
行フィルターまたは列マスクが適用されたテーブル。
マテリアライズドビュー and ストリーミングテーブル

ストリーミング書き込み中にリキッドクラスターテーブルを作成する

clusterBy を使用して、構造化ストリーミング書き込みで新しいテーブルを作成するときにリキッドクラスタリングを有効にできるようになりました。「リキッドクラスタリングを有効にする」を参照してください。

OPTIMIZE FULL 句のサポート

Databricks Runtime 16.0 では、 OPTIMIZE FULL 句がサポートされています。この句は、リキッドクラスタリングを使用するテーブル内のすべてのレコード (以前にクラスタ化されていた可能性のあるデータを含む) を最適化します。

INSERT およびテーブル参照での WITH オプション指定のサポート

Databricks Runtime 16.0 では、データソースの動作を制御するために使用できる INSERT ステートメントのテーブル参照とテーブル名のオプション指定がサポートされています。

新しい SQL 関数

Databricks Runtime 16.0 では、次の SQL 関数が追加されています。

try_url_decode

この関数は、 url_decode のエラー許容バージョンです。この関数は、入力が有効な URL エンコード文字列でない場合、 NULL を返します。
ゼロイフヌル

zeroifnull() 関数への入力式が NULLの場合、関数は 0 を返します。それ以外の場合は、入力式の値が返されます。
nullifzero

入力が 0 の場合は NULL を返し、入力が 0 でない場合は入力を返します。 nullifzero() 関数への入力式が 0 の場合、関数は NULLを返します。入力式が 0 でない場合は、入力式の値が返されます

データを Delta テーブルにマージするときに自動スキーマ進化を有効にする

このリリースでは、DeltaMergeBuilder クラスの withSchemaEvolution() メンバーのサポートが追加されています。withSchemaEvolution() を使用して、MERGE操作中の自動スキーマ進化を有効にします。たとえば、 mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

その他の変更

SparkR は非推奨になりました

Databricks Runtime 16.0 以降では、Databricks の SparkR は、今後の Spark 4 リリースでの非推奨に備えて非推奨になります。Apache Spark の非推奨 SparkR スレッドを参照してください。

Databricks 代わりに Sparklyr を使用することをお勧めします。

Databricks Runtime 16.0 は PVC ではサポートされていません

Databricks Runtime 16.0 は、Databricks Private Virtual Cloud (PVC) ではサポートされていません。Databricks Runtime 15.4 以下をすべての PVC リリースで使用する必要があります。

バグの修正

Auto Loader は、空のスキーマを持つ Avro レコードタイプをレスキューするようになりました

を使用して AvroファイルをDeltaAuto Loader テーブルにロードすると、スキーマが空のファイル内のrecord タイプがレスキューされたデータカラムに追加されるようになりました。空の複合データ型を Delta テーブルに取り込むことはできないため、一部の Avro ファイルの読み込みに関する問題は解決されます。救出されたデータの詳細については、「救出されたデータ列とは」を参照してください。

2 番目のオフセットを含むタイムゾーンでのタイムスタンプの書き込みエラーを修正しました。

このリリースでは、タイムゾーンに 2 番目のオフセットが含まれている一部のタイムスタンプに影響するバグが修正されています。このバグにより、JSON、XML、または CSV への書き込み時に秒が省略され、タイムスタンプ値が正しくなくなります。

以前の動作に戻すには、影響を受ける形式のいずれかに書き込むときに、次のオプションを使用します。 .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]").

ライブラリのアップグレード

アップグレードされた Python ライブラリ:
- azure-core を 1.30.2 から 1.31.0 に変更
- azure-storage-blob を 12.19.1 から 12.23.0 に変更
- azure-storage-file-datalake を 12.14.0 から 12.17.0 に
- 23.3.0 から 24.4.2 までの黒
- 1.4から1.7.0へのウィンカー
- boto3 から 1.34.39 から 1.34.69 まで
- botocore 1.34.39 から 1.34.69
- 2023.7.22 から 2024.6.2 までの認証
- 1.15.1 から 1.16.0 への cffi
- 8.0.4から8.1.7までクリックします
- 0.1.2 からの通信0.2.1 へ
- 1.0.5 から 1.2.0 への contourpy
- 41.0.3 から 42.0.5 までの暗号化
- Cython 0.29.32 から 3.0.11 まで
- Databricks -SDK を 0.20.0 から 0.30.0 に
- dbus- 1.2.18 から 1.3.2 へのPython
- 3.13.4 から 3.15.4 へのファイルロック
- fonttools 4.25.0 から 4.51.0 まで
- 3.1.43 からの GitPython3.1.37 まで
- google-api-core を 2.18.0 から 2.20.0 へ
- google-auth を 2.31.0 から 2.35.0 に変更
- 2.17.0 から 2.18.2 へのGoogle Cloud Storage
- google-crc32c を 1.5.0 から 1.6.0 へ
- google-resumable-media を 2.7.1 から 2.7.2 に変更
- googleapis-common-protos を 1.63.2 から 1.65.0 へ
- httplib2 を 0.20.2 から 0.20.4 に
- IDNA 3.4 から 3.7 へ
- 6.25.1 から 6.28.0 までの ipykernel
- 8.15.0 から 8.25.0 への ipython
- 0.18.1から0.19.1へのJedi
- jmespath 0.10.0 から 1.0.1 へ
- joblib を 1.2.0 から 1.4.2 へ
- 7.4.9 から 8.6.0 へのjupyter_client
- 5.3.0 から 5.7.2 へのjupyter_core
- launchpadlib を 1.10.16 から 1.11.0 へ
- lazr.restfulClient を 0.14.4 から 0.14.6 に変更
- matplotlib を 3.7.2 から 3.8.4 へ
- mlflow-skinny を 2.11.4 から 2.15.1 に変更
- more-itertools を 8.10.0 から 10.3.0 に変更しました。
- mypy-extensions を 0.4.3 から 1.0.0 に更新
- nest-asyncio を 1.5.6 から 1.6.0 へ
- 1.23.5 から 1.26.4 への numpy
- oauthlib を 3.2.0 から 3.2.2 へ
- 23.2 から 24.1 までのパッケージ化
- 0.5.3 から 0.5.6 への Patsy
- pip を 23.2.1 から 24.2 に
- 5.9.0から5.22.0までのplotly
- prompt-toolkit を 3.0.36 から 3.0.43 へ
- pyarrow を 14.0.1 から 15.0.2 へ
- Pydantic 1.10.6 から 2.8.2 へ
- PyGObject 3.42.1 から 3.48.2 へ
- PyJWT 2.3.0 から 2.7.0 へ
- 4.0.38 から 5.0.1 へのpyodbc
- Python-dateutil を 2.8.2 から 2.9.0.post0 に変更
- Python-lsp-jsonrpc を 1.1.1 から 1.1.2 に変更
- 2022.7 から 2024.1 までの Pytz
- PyYAML 6.0 から 6.0.1 まで
- Pyzmq 23.2.0 から 25.1.2 へ
- 2.31.0 から 2.32.2 へのリクエスト
- scikit-learn 1.3.0 から 1.4.2 まで
- scipy 1.11.1 から 1.13.1 へ
- 0.12.2 から 0.13.2 への seaborn
- 68.0.0 から 74.0.0 への setuptools
- smmap 5.0.1 から 5.0.0 へ
- sqlparse を 0.5.0 から 0.5.1 に変更
- statsは 0.14.0 から 0.14.2 までモデル化します。
- 6.3.2から6.4.1への竜巻
- 5.7.1 から 5.14.3 までのトレイトレット
- 4.10.0 から 4.11.0 へのtyping_extensions
- 5.4.0 から 5.10.0 への uJSON
- virtualenv を 20.24.2 から 20.26.2 に変更
- 0.38.4 から 0.43.0 までのホイール
- 3.11.0から3.17.0までのzipp
アップグレードされた R ライブラリ:
- 14.0.0.2 から 16.1.0 までの矢印
- 1.4.1 から 1.5.0 へのバックポート
- 4.3.2 から 4.4.0 へのベース
- BitOps は 1.0-7 から 1.0-8 まで
- 1.3-28 から 1.3-30 まで起動
- Brio(1.1.4 以降)1.1.5 まで
- ほうき 1.0.5 から 1.0.6 まで
- bslib 0.6.1 から 0.8.0 まで
- cachem 1.0.8 から 1.1.0 へ
- 3.7.3 から 3.7.6 への callr
- 3.6.2 から 3.6.3 までの CLI
- 0.7.0 から 0.7.1 までのクロック
- 2.1.4 からのクラスターを 2.1.6 に変更
- 0.2-19 から 0.2-20 までの codetools
- 2.1-0から2.1-1までのカラースペース
- 4.3.2 から 4.4.0 へのコンパイラ
- 1.5.2から1.5.3へのクレヨン
- curl を 5.2.0 から 5.2.1 に変更
- data.table を 1.15.0 から 1.15.4 に
- 4.3.2 から 4.4.0 までのデータセット
- DBI 1.2.1 から 1.2.3 へ
- dbplyr を 2.4.0 から 2.5.0 へ
- 0.6.34 から 0.6.36 までのダイジェスト
- 0.4.3から0.4.4にダウンライト
- 0.23 から 0.24.0 まで評価します
- Farver 2.1.1 から 2.1.2 へ
- 1.1.1から1.2.0へのfastmap
- 0.8-85から0.8-86までの外国
- fs を 1.6.3 から 1.6.4 に
- 1.33.1 から 1.34.0 までの将来
- future.1.11.1から1.11.2まで適用
- gert を 2.0.1 から 2.1.0 へ
- ggplot2 を 3.4.4 から 3.5.1 へ
- gh 1.4.0 から 1.4.1 まで
- 0.16.2 から 0.16.3 までのグローバル
- 4.3.2 から 4.4.0 までのグラフィック
- grDevices 4.3.2 から 4.4.0 まで
- 4.3.2 から 4.4.0 へのグリッド
- 0.10.1 から 0.11.0 までの GT
- 0.3.4 から 0.3.5 まで調整可能
- 1.3.1から1.4.0へのhardhat
- 0.10 から 0.11 までの高値
- 0.5.7 から 0.5.8.1 までの htmltools
- httpuv 1.6.14 から 1.6.15 へ
- HTTR2 の 1.0.0 から 1.0.2 へ
- 0.9-14 から 0.9-15 までの IPRED
- KernSmooth 2.23-21 から 2.23-22 へ
- 1.45から1.48へのknitr
- 0.21-8 から 0.22-5 までの格子
- 1.7.3から1.8.0への溶岩
- 1.12から1.13への値下げ
- 7.3-60 から 7.3-60.0.1 までの MASS
- 1.5-4.1 から 1.6-5 までのマトリックス
- 4.3.2 から 4.4.0 までのメソッド
- 1.8-42から1.9-1までのmgcv
- mlflow を 2.10.0 から 2.14.1 に変更
- 0.5.0 から 0.5.1 への munsell
- NLME 3.1-163 から 3.1-165
- OpenSSL 2.1.1 から 2.2.0 へ
- 4.3.2 から 4.4.0 への並列
- 1.36.0 から 1.38.0 に並行して
- pkgbuild を 1.4.3 から 1.4.4 へ
- pkgdown を 2.0.7 から 2.1.0 に更新
- pkgload を 1.3.4 から 1.4.0 へ
- processx 3.8.3 から 3.8.4 へ
- 2023.08.28から2024.06.25までの製品
- 1.2.1 から 1.3.0 への promise
- PS 1.7.6 から 1.7.7 へ
- ragg を 1.2.7 から 1.3.2 に変更
- 1.0.12 から 1.0.13 への Rcpp
- 0.3.3.9.4 から 0.3.4.0.0 への RcppEigen
- reactR を 0.5.0 から 0.6.0 に変更
- 1.0.9から1.1.0までのレシピ
- 2.4.2.1 から 2.5.0 へのリモート
- 2.1.0からのreprex2.1.1 へ
- 1.1.3 からの rlang1.1.4 まで
- rmarkdown を 2.25 から 2.27 に変更しました
- roxygen2 を 7.3.1 から 7.3.2 へ
- 4.1.21 からの rpart4.1.23まで
- RSQLite 2.3.5 から 2.3.7 へ
- rstudioapi を 0.15.0 から 0.16.0 に変更
- rvest 1.0.3 から 1.0.4 へ
- 0.4.8 から 0.4.9 への sass
- 1.4.6 から 1.4.6.1 までの形状
- 1.8.0から1.9.1までの光沢
- Sparklyr 1.8.4 から 1.8.6 へ
- 7.3-15 から 7.3-17 までの空間
- 4.3.2 から 4.4.0 へのスプライン
- 4.3.2 から 4.4.0 までの統計
- stats4 から 4.3.2 から 4.4.0 まで
- stringi を 1.8.3 から 1.8.4 へ
- 3.5-5から3.6-4までの生存率
- 3.33.1から5.17.14.1へのSwagger
- 1.0.5 から 1.1.0 までのシステムフォント
- 4.3.2 から 4.4.0 への tcltk
- 3.2.1 から 3.2.1.1 への testthat
- 0.3.7 から 0.4.0 までのテキストシェーピング
- 1.2.0から1.2.1へのtidyselect
- 0.49から0.52へのtinytex
- 4.3.2 から 4.4.0 までのツール
- 2.2.2 から 3.0.0 まで Usethis
- 4.3.2 から 4.4.0 までのユーティリティ
- 1.2-0 から 1.2-1 までの UUID
- V8 の 4.4.1 から 4.4.2 まで
- 3.0.0 から 3.0.1 への変更
- 0.41 から 0.46 への xfun
- xopen を 1.0.0 から 1.0.1 へ
- 2.3.8 から 2.3.10 までの YAML
アップグレードされた Java ライブラリ:
- com.amazonaws.aws-java-sdk-オートスケール 1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cloudformation1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cloudfront (英語)1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cloudhsm (英語)1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cloudsearch1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cloudtrail1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cloudwatch1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cloudwatchメトリクス1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-codedeploy1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cognitoidentity1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-cognitosync (英語)1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-configの1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-core1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-datapipeline1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-directconnect1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdkディレクトリ1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-dynamodb1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-ec21.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-ecs1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-efs1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-elasticache1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-elasticbeanstalk1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-elasticloadbalancing1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-elasticトランスコーダー1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-emr1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-glacier1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-glue1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-iam1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-importexport1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-kinesis1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-kmsの1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-ラムダ1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-logs1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-machinelearning1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-opsworks (英語)1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-rds1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-redshift1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-route531.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-s31.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-ses1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-simpledb1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-simpleワークフロー1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-sns1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-sqs1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-ssm1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-storagegateway1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-sts1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-サポート1.12.610 から 1.12.638 まで
- com.amazonaws.aws-java-sdk-ワークスペース1.12.610 から 1.12.638 まで
- com.amazonaws.jmespath-java1.12.610 から 1.12.638 まで
- com.google.protobuf.protobuf-java2.6.1 から 3.25.1 まで
- io.airlift.エアコンプレッサー0.25 から 0.27 まで
- io.delta.delta-sharing-client_2.12 から 1.1.31.2.0 へ
- io.netty.netty-すべて4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-バッファ4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-codec4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-codec-http4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-codec-http24.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-codec-socks4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-共通4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-ハンドラ4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-handler-プロキシ4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-リゾルバ4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-トランスポート4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-transport-classes-epoll4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-transport-classes-kqueue4.1.96.Finalから4.1.108.Finalへ
- io.netty.netty-transport-native-epoll4.1.96.Final-linux-x86_64 から 4.1.108.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue4.1.96.Final-osx-x86_64 から 4.1.108.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common4.1.96.Finalから4.1.108.Finalへ
- org.apache.ivy.ivy を 2.5.1 から 2.5.2 に変更
- org.apache.zookeeper.zookeeper を 3.6.3 から 3.9.2 へ
- org.apache.zookeeper.zookeeper-ジュート3.6.3 から 3.9.2 へ
- org.rocksdb.rocksdbjni を 8.11.4 から 9.2.1 に変更
- org.scalactic.scalactic_2.12 から 3.2.15 から 3.2.16
- org.scalatest.scalatest-compatible3.2.15 から 3.2.16 まで
- org.scalatest.scalatest-core_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-diagrams_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-featurespec_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-flatspec_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-freespec_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-funspec_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-funsuite_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-matchers-core_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-mustmatchers_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-propspec_2.12 を 3.2.15 から 3.2.16 へ
- org.scalatest.scalatest-refspec_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest-shouldmatchers_2.12 を 3.2.15 から 3.2.16 へ
- org.scalatest.scalatest-wordspec_2.12 を 3.2.15 から 3.2.16 に変更
- org.scalatest.scalatest_2.12 から 3.2.15 から 3.2.16 まで

Apache Spark

Databricks Runtime 16.0 には Apache Spark 3.5.0 が含まれています。このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 15.4 LTS に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

[SPARK-49093] [DBRRM-1371] 「[SC-172958][sql] MapType NES...
[SPARK-49898] [DBRRM-1282][sc-178410] SPARK-42204のイベントログタスクメトリクスアキュムレータロギングフラグのドキュメントとデフォルトを修正
[SPARK-49743] [ES-1260022][behave-157][SC-177475][sql] GetArrayStructFieldsのプルーニング時にOptimizeCsvJsonExprがスキーマフィールドを変更しないようにすべき
[SPARK-49816] [SC-177896][sql] 参照される外部CTEリレーションのout-going-ref-countのみを更新すべきです
[SPARK-48939] [SC-177022][sc-172766][AVRO] 再帰的スキーマ参照によるAvroの読み取りをサポート
[SPARK-49688] [SC-177468][es-1242349][CONNECT] 割り込みと実行プラン間のデータ競合を修正
[SPARK-49771] [SC-177466] [Python] 出力行が入力行を上回る場合の Pandas Scalar Iter UDF エラーを改善
[SPARK-48866] [SC-170772][sql] INVALID_PARAMETER_VALUEのエラーメッセージの有効な文字セットのヒントを修正。文字セット
[SPARK-48195] [FIXFORWARD][sc-177267][CORE] SparkPlanによって作成されたRDD/ブロードキャストを保存して再利用する
[SPARK-49585] [CONNECT] SessionHolderの実行マップをoperationIDセットで置き換える
[SPARK-49211] [SC-174257][sql] V2カタログは組み込みデータソースもサポートできます
[SPARK-49684] セッション復元ロックの有効期間を最小化
[SPARK-48059] [SPARK-48145 ][spark-48134][SPARK-48182][spark-48209][SPARK-48291] java側の構造化ログフレームワーク
[SPARK-48857] [SC-170661][sql] CSVOptionsの文字セットを制限する
[SPARK-49152] [SC-173690][sql] V2SessionCatalogはV2Commandを使用すべき
[SPARK-42846] [SC-176588][sql] エラー条件_LEGACY_ERROR_TEMP_2011を削除
[SPARK-48195] [SC-177267][core] SparkPlanによって作成されたRDD/ブロードキャストを保存して再利用する
[SPARK-49630] [SC-177379][ss] 状態データソースリーダーでコレクションタイプを処理するためのフラット化オプションを追加
[SPARK-49699] [SC-177154][ss] ストリーミングワークロードのPruneFiltersを無効にする
[SPARK-48781] [SC-175282][sql] ストアドプロシージャをロードするためのカタログ API を追加
[SPARK-49667] [SC-177068][sql] StringSearchを使用する式を持つCS_AIコレータを禁止
[SPARK-49737] [SC-177207][sql] 複合型の照合列のバケット化を無効にする
[SPARK-48712] [SC-169794][sql] 空の値または UTF-8 文字セットを使用したエンコードのパフォーマンス向上
[SPARK-49038] [SC-173933][sql] SQLMetricはアキュムレータ更新イベントの生の値を報告すべき
[SPARK-48541] [SC-169066][core] TaskReaperによって強制終了されたエグゼキューターの新しい終了コードを追加
[SPARK-48774] [SC-170138][sql] SQLImplicitsでSparkSessionを使用
[SPARK-49719] [SC-177139][sql] UUID と SHUFFLE 整数を受け入れるようにする seed
[SPARK-49713] [SC-177135]Python][CONNECT] 数値引数を受け入れる count_min_sketch 関数を作る
[SPARK-47601] [SC-162499][graphx] Graphx:変数を含むログを構造化ロギングフレームワークに移行
[SPARK-49738] [SC-177219][sql] バグフィックスで終了
[SPARK-48623] [SC-170822][core] 構造化ログの移行 [パート 3]
[SPARK-49677] [SC-177148][ss] コミット時に変更ログファイルが書き込まれ、forceSnapshotフラグもリセットされるようにします
[SPARK-49684] [SC-177040][接続] セッションマネージャーと実行マネージャーからグローバルロックを削除
[SPARK-48302] [SC-168814][Python] PyArrow テーブルのマップ列で null を保持する
[SPARK-48601] [SC-169025][sql] JDBCオプションのnull値を設定する際に、よりユーザーフレンドリーなエラーメッセージを表示するように修正
[SPARK-48635] [SC-169263][sql] 結合タイプエラーと結合時の結合エラーにクラスを割り当てる
[SPARK-49673] [SC-177032][connect] CONNECT_GRPC_ARROW_MAX_BATCH_SIZEを0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZEに増やします
[SPARK-49693] [SC-177071]Python][CONNECT] の文字列表現を絞り込みます。 timedelta
[SPARK-49687] [SC-176901][sql] ソートの遅延 validateAndMaybeEvolveStateSchema
[SPARK-49718] [SC-177112][ps] プロット Scatter サンプリングデータに切り替える
[SPARK-48472] [SC-169044][sql] 照合された文字列でリフレクション式を有効にする
[SPARK-48484] [SC-167484][sql] 修正：V2Writeが異なるタスク試行に対して同じTaskAttemptIdを使用する
[SPARK-48341] [SC-166560][connect] プラグインがテストでQueryTestを使用できるようにする
[SPARK-42252] [SC-168723][core] spark.shuffle.localDisk.file.output.buffer の追加と非推奨 spark.shuffle.unsafe.file.output.buffer
[SPARK-48314] [SC-166565][ss] Trigger.AvailableNowを使用してFileStreamSourceのファイルを二重にキャッシュしない
[SPARK-49567] [SC-176241][Python] PySparkコードベースのvanillaの代わりにclassicを使用
[SPARK-48374] [SC-167596][Python] 追加のPyArrowテーブル列タイプをサポート
[SPARK-48300] [SC-166481] [sql] Codegenのサポート from_xml
[SPARK-49412] [SC-177059][ps] コンピュート all box プロットメトリクス in single ジョブ
[SPARK-49692] [SC-177031]Python][CONNECT] リテラル日付と日時の文字列表現を絞り込む
[SPARK-49392] [ES-1130351][sc-176705][SQL] 外部データソースへの書き込みに失敗するとエラーをキャッチする
[SPARK-48306] [SC-166241][sql] エラーメッセージのUDTを改善
[SPARK-44924] [SC-166379][ss] FileStreamSourceのキャッシュファイルの設定を追加
[SPARK-48176] [SC-165644][sql] エラー条件の名前FIELD_ALREADY_EXISTS調整
[SPARK-49691] [SC-176988] [Python][CONNECT] 関数 substring は列名を受け入れる必要があります
[SPARK-49502] [SC-176077][core] SparkEnv.get.shuffleManager.unregisterShuffleでNPEを回避
[SPARK-49244] [SC-176703][sql] パーサー/インタープリターの例外のさらなる改善
[SPARK-48355] [SC-176684][sql] CASEステートメントのサポート
[SPARK-49355] [SC-175121][sql] すべてのパラメータータイプのcollation値が同じかどうかlevenshtein確認する必要がある
[SPARK-49640] [SC-176953] [ps] リザーバサンプリングの適用 SampledPlotBase
[SPARK-49678] [SC-176857][core] サポートspark.test.master SparkSubmitArguments
[SPARK-49680] [SC-176856] [Python] ビルドの並列処理 Sphinx デフォルトによって 4 に制限
[SPARK-49396] 「[SC-176030][sql] CaseWhen 式の null 可能性チェックを変更」を元に戻す
[SPARK-48419] [SC-167443][sql] 折りたたみ式の伝播が折りたたみ式のカラムを置き換える必要があります。
[SPARK-49556] [SC-176757][sql] SELECT演算子のSQLパイプ構文を追加
[SPARK-49438] [SC-175237][sql] FromAvro & ToAvro 式のきれいな名前を修正
[SPARK-49659] [SC-1229924][sql] VALUES句内のスカラーサブクエリにユーザー向けのエラーを追加
[SPARK-49646] [SC-176778][sql] parentOuterReferences に collectedChildOuterReferences でカバーされていない参照がある場合の、ユニオン/セット操作のサブクエリの相関関係が解消される問題を修正
[SPARK-49354] [SC-175034][sql] すべてのパラメータータイプのcollation値が同じかどうかsplit_part確認すべき
[SPARK-49478] [SC-175914][connect] ConnectProgressExecutionListenerでnullメトリクスを処理
[SPARK-48358] [SC-176374][sql] REPEATステートメントのサポート
[SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTableはPROP_IS_MANAGED_LOCATION
[SPARK-49611] [SC-176791][sql] TVF collations() の導入と SHOW COLLATIONS コマンドの削除
[SPARK-49261] [SC-176589][sql] 集計式のリテラルをグループ化式に置き換えないでください
[SPARK-49099] [SC-173229] [sql] CatalogManager.setCurrentNamespaceカスタムセッションカタログを尊重すべき
[SPARK-49594] [SC-176569][ss] StateSchemaV3ファイルを書き込むためにcolumnFamiliesが追加または削除されたかどうかのチェックを追加
[SPARK-49578] [SC-176385][sql] CAST_INVALID_INPUTおよびCAST_OVERFLOWのANSI設定の提案を削除
[SPARK-48882] [SC-174256][ss] ストリーミング出力モード関連のエラークラスに名前を割り当てる
[SPARK-49155] [SC-176506][sql][SS] より適切なパラメータータイプを使用して構築 GenericArrayData
[SPARK-49519] [SC-176388][sql] FileScanBuilderの構築時にテーブルとリレーションのマージオプションを修正
[SPARK-49591] [SC-176587][sql] バリアントのreadmeに論理型列を追加
[SPARK-49596] [SC-176423][sql] パフォーマンスの改善 FormatString
[SPARK-49525] [SC-176044][ss][CONNECT] サーバー側ストリーミングクエリリスナーBusリスナーのログのマイナーな改善
[SPARK-49583] [SC-176272][sql] 無効な秒の分数パターンのエラーサブ条件 SECONDS_FRACTION を定義します
[SPARK-49536] [SC-176242] Python ストリーミングデータソースレコードのプリフェッチでエラーを処理する
[SPARK-49443] [SC-176273][sql][Python] to_variant_object式を実装し、schema_of_variant式がバリアントオブジェクトに対してOBJECTを出力するようにします。
[SPARK-49544] [SASP-3990][sc-176557][CONNECT] SparkConnectExecutionManagerの粗いロックをConcurrentMapに置き換える
[SPARK-49548] [SASP-3990][sc-176556][CONNECT] SparkConnectSessionManagerの粗いロックをConcurrentMapに置き換えてください
[SPARK-49551] [SC-176218][ss] RocksDBのreplayChangelogのログを改善
[SPARK-49595] [SC-176396][接続][SQL] Spark Connect Scalaクライアントの DataFrame.unpivot/melt を修正
[SPARK-49006] [SC-176162] OperatorStateMetadataV2およびStateSchemaV3ファイルのパージを実装
[SPARK-49600] [SC-176426] [Python] Python 3.6 and older関連のロジックを try_simplify_traceback
[SPARK-49303] [SC-176013][ss] transformWithStateInPandas APIでValueStateのTTLを実装
[SPARK-49191] [SC-176243][ss] 状態データソースリーダーでtransformWithStateマップ状態変数を読み取るためのサポートを追加
[SPARK-49593] [SC-176371][ss] エラーが発生した場合、DBクローズの呼び出し元にRocksDB例外をスローする
[SPARK-49334] [SC-174803][sql] すべてのパラメータータイプのcollation値が同じかどうかstr_to_map確認する必要がある
[SPARK-42204] [SC-176126][core] イベントログのTaskMetrics内部アキュムレータの冗長なログ記録を無効にするオプションを追加
[SPARK-49575] [SC-176256][ss] acquiredThreadInfoがnullでない場合にのみロック解除のログを追加
[SPARK-49539] [SC-176250][ss] 内部のcolファミリーの開始識別子を別のものに更新
[SPARK-49205] [SC-173853][sql] KeyGroupedPartitioningはHashPartitioningLikeを継承すべき
[SPARK-49396] [SC-176030][sql] CaseWhen式のnull可能性チェックを変更
[SPARK-49476] [SC-175700][sql] base64関数のnull可能性を修正
[SPARK-47262] [SC-174829][sql] Parquet 変換のエラー条件に名前を割り当てる
[SPARK-47247] [SC-158349][sql] 爆発結合でパーティションを結合する場合は、より小さいターゲットサイズを使用
[SPARK-49501] [SC-176166][sql] テーブルロケーションのダブルエスケープを修正
[SPARK-49083] [SC-173214][接続] from_xmlとfrom_jsonが JSON スキーマをネイティブに操作できるようにする
[SPARK-49043] [SC-174673][sql] 照合された文字列を含むマップ上のインタープリターコードパスのグループ化を修正
[SPARK-48986] [SC-172265][接続][SQL] ColumnNode中間表現を追加
[SPARK-49326] [SC-176016][ss] Foreachシンクのユーザー関数エラーの分類エラークラス
[SPARK-48348] [SC-175950][spark-48376][SQL] LEAVE 文と ITERATE 文の導入
[SPARK-49523] [SC-175949][connect] 接続サーバーがテストのために起動するまでの最大待ち時間を増やします
[SPARK-49000] [BEHAVE-105][es-1194747][SQL] RewriteDistinctAggregates - DBRバージョン16.xを展開して、tが空のテーブルである「select count(distinct 1) from t」を修正
[SPARK-49311] [SC-175038][sql] 大きな「interval second」値を 10 進数にキャストできるようにしました
[SPARK-49200] [SC-173699][sql] nullタイプの非codegen順序付けの例外を修正
[SPARK-49467] [SC-176051][ss] 状態データソースリーダーとリスト状態のサポートを追加
[SPARK-47307] [SC-170891][sql] オプションで base64 文字列をチャンクする設定を追加
[SPARK-49391] [SC-176032][ps] ボックスプロットはフェンスからの距離で外れ値を選択
[SPARK-49445] [SC-175845][ui] UIのプログレスバーにツールチップを表示するように対応
[SPARK-49451] [SC-175702] parse_jsonで重複するキーを許可する。
[SPARK-49275] [SC-175701][sql] xpath式の戻り値の型のnull性を修正
[SPARK-49021] [SC-175578][ss] 状態データソースリーダーでtransformWithState値の状態変数を読み取るためのサポートを追加
[SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] FlatMapGroupsWithStateユーザー関数エラーの分類エラークラス
[SPARK-49408] [SC-175932][sql] ProjectingInternalRowでIndexedSeqを使用
[SPARK-49509] [SC-175853][core] 代わりに Platform.allocateDirectBuffer を使用してください ByteBuffer.allocateDirect
[SPARK-49382] [SC-175013][ps] フレームのボックスプロットがチラシ/外れ値を適切にレンダリングするようにしました
[SPARK-49002] [SC-172846][sql] ウェアハウス/SCHEMA/TABLE/PARTITION/DIRECTORY内の無効な場所を一貫して処理する
[SPARK-49480] [SC-175699][core] からのNullPointerExceptionを修正 SparkThrowableHelper.isInternalError
[SPARK-49477] [SC-175828][Python] udf の無効な戻り値 Pandas エラーメッセージを改善
[SPARK-48693] [SC-169492][sql] InvokeとStaticInvokeのtoStringを簡素化し、統合
[SPARK-49441] [SC-175716] [ml] エグゼキューターで配列を並べ替えStringIndexer
[SPARK-49347] [SC-175004][r] SparkRの廃止
[SPARK-49357] [SC-175227][接続][Python] 深くネストされたprotobufメッセージを垂直方向に切り捨てる
[SPARK-41982] [SC-120604][sql] 文字列型のパーティションを数値型として扱わないでください
[SPARK-48776] [SC-170452][behave-72] JSON、xml、csvのタイムスタンプのフォーマットを修正
[SPARK-49223] [SC-174800][ml] 組み込み関数を使用してStringIndexer.countByValueを簡略化
【スパーク-49016】「[SC-174663][sql] 破損したレコード列のみを含み、名前を _LEGACY_ERROR_TEMP_1285に割り当てる場合、生の CSV ファイルからのクエリが許可されない動作を復元します」を元に戻します。
[SPARK-49041] [SC-172392][Python][CONNECT] 間違ったsubsetが与えられた場合に、dropDuplicatesの適切なエラーを発生させる
[SPARK-49050] [SC-175235] 仮想列ファミリーを持つTWSでdeleteIfExists演算子を有効にする
[SPARK-49216] [SC-173919][core] Structured Logging confがオフの場合に、明示的に構築されたLogEntryでメッセージコンテキストをログに記録しないように修正
[SPARK-49252] [SC-175596][コア]TaskSetExcludeList と HeathTracker を独立させる
[SPARK-49352] [SC-174971][sql] 同一の式に対する冗長な配列変換を避ける
[SPARK-42307] [SC-173863][sql] エラー_LEGACY_ERROR_TEMP_2232の名前の割り当て
[SPARK-49197] [SC-173732][core] launcherモジュールのSpark Command出力を編集
[SPARK-48913] [SC-173934][sql] インデントXMLStreamWriterの実装
[SPARK-49306] [SC-175363]Python][SQL] 'zeroifnull' と 'nullifzero' の SQL 2 つの関数エイリアスを作成
[SPARK-48344] [SQL] SQLスクリプトの実行(Spark Connectを含む)
[SPARK-49402] [SC-175122][Python] PySpark ドキュメントのBinder統合を修正
[SPARK-49017] [SC-174664][sql] 複数のパラメーターが使用されていると挿入ステートメントが失敗する
[SPARK-49318] [SC-174733][sql] LCAの優先度の低いエラーをチェック分析が終了するまでプリエンプションして、エラーエクスペリエンスを改善します
[SPARK-49016] [SC-174663][sql CSV ] 破損したレコード列のみを含み、名前を _LEGACY_ERROR_TEMP_1285
[SPARK-49387] [SC-175124] [Python] percentile_approxのaccuracyのタイプヒントを修正 approx_percentile
[SPARK-49131] [SC-174666][ss] TransformWithStateは、遅延イテレータでも暗黙的なグループ化キーを適切に設定すべきです。
[SPARK-49301] [SC-174795][ss] チャンク矢印データがワーカーに渡Python
[SPARK-49039] [SC-174651][ui] エグゼキューターメトリクスがStagesタブに読み込まれるときにチェックボックスをリセットする
[SPARK-48428] [SC-169806][sql]:NestedColumnAliasingのIllegalStateExceptionを修正
[SPARK-49353] [SC-174830][sql] UTF-32 のエンコード/デコードに関連するドキュメントを更新
[SPARK-48613] [SC-170966][sql] SPJ:自動シャッフルをサポート:片側+パーティションキーよりも少ない結合キー
[SPARK-47473] [SC-160450][behave-127][SQL] postgres INFINITYタイムスタンプの変換の正確性の問題を修正
[SPARK-49142] [SC-173658][接続][Python] プロトを文字列に戻すためのパフォーマンスコストのフォローアップ
[SPARK-49300] [SC-175008][core] tokenRenewalIntervalが設定されていない場合のHadoop委任トークンリークを修正。
[SPARK-49367] [SC-175012][ps] 複数列のKDE計算を並列化します(plotlyバックエンド)
[SPARK-49365] [SC-175011][ps] ヒストプロットのバケット集約を簡略化
[SPARK-49372] [SC-175003][ss] その後の使用を避けるために、閉じるときにlatestSnapshotがnoneに設定されていることを確認してください
[SPARK-49341] [SC-174785] connector/docker を削除して、 Apache Spark Operator
[SPARK-49344] [SC-174894][ps] Spark上のPandas APIのサポートjson_normalize
[SPARK-49306] [SC-174794][sql] 新しいSQL関数「zeroifnull」と「nullifzero」を作成します
[SPARK-48796] [SC-174668][ss] 再起動時にVCFのRocksDBCheckpointMetadataから列ファミリーIDをロード
[SPARK-49342] [SC-174899][sql] TO_AVRO SQL関数の'jsonFormatSchema'引数をオプションに
[SPARK-48628] [SC-174695][core] タスクピークのオン/オフヒープメモリメトリクスを追加
[SPARK-47407] [SC-159379][behave-126][SQL] サポートの java.sql.Types.NULL を NullType にマッピング
[SPARK-48628] [SC-173407][core] タスクピークのオン/オフヒープメモリメトリクスを追加
[SPARK-49166] [SC-173987][sql] 相関サブクエリでOFFSETをサポート
[SPARK-49269] [SC-174676][sql] AstBuilder で VALUES() リストを熱心に評価する
[SPARK-49281] [SC-174782][sql] ParquetバイナリのgetBytesとgetBytesUnsafeを最適化してコピーコストを回避する
[SPARK-49113] [SC-174734] 翻訳バグをアサートしない - 例外を黙って飲み込む
[SPARK-49098] [SC-173253][sql] INSERTの書き込みオプションを追加
[SPARK-48638] [SC-174694][follow][CONNECT] ExecutionInfoのドキュメントを修正
[SPARK-49250] [ES-1222826][sql] CheckAnalysisのネストされたUnresolvedWindowExpressionのエラーメッセージを改善
[SPARK-48755] [SC-174258][ss][Python] transformWithState PySpark 基本実装と ValueState のサポート
[SPARK-48966] [SC-174329][sql] UDTF呼び出しの無効な未解決の列参照に関するエラーメッセージを改善
[SPARK-46590] [SC-154115][sql] 予期しないパーティションの不一致で合体が失敗した問題を修正
[SPARK-49235] [SC-174159][sql] ResolveInlineTablesルールをリファクタリングして、ツリー全体をトラバースしないように
[SPARK-49060] [SC-173107][connect] SQL-Connectバイナリ互換性チェックのMimaルールをクリーンアップ
[SPARK-48762] [SC-172525][sql] Python用のclusterBy データフレームWriter APIを導入
[SPARK-49207] [SC-173852][sql] SplitPartおよびStringSplitSQLの1対多のケースマッピングを修正
[SPARK-49204] [SC-173850][sql] StringInstrおよびStringLocateのサロゲートペアの処理を修正
[SPARK-36680] [SC-170640][sql] Spark SQLの動的テーブルオプションをサポート
[SPARK-49204] [SC-173849][sql] SubstringIndexのサロゲートペアの処理を修正
[SPARK-49204] [SC-173848][sql] StringTrimのサロゲートペア処理を修正
[SPARK-48967] [SC-173993] OPTIMIZE_INSERT_INTO_VALUES_PARSERのSparkConfigOwnershipSuiteテストを修正
[SPARK-49204] [SC-173851][sql] StringReplaceのサロゲートペアの処理を修正
[SPARK-48967] [SC-173993][sql][16.x] 「INSERT INTO ...VALUES" ステートメント
【スパーク-49099】「[SC-173229][sql] CatalogManager.setCurrent...
[SPARK-48347] [SC-173812][sql] WHILE文のサポート
[SPARK-49128] [SC-173344][core] カスタム履歴サーバーのUIタイトルをサポート
[SPARK-49146] [SC-173825][ss] 追加モードのストリーミングクエリでウォーターマークが欠落しているに関連するアサーションエラーをエラーフレームワークに移動
[SPARK-45787] [SC-172197][sql] クラスタリング列のCatalog.listColumnsをサポート
[SPARK-49099] [SC-173229] [sql] CatalogManager.setCurrentNamespaceカスタムセッションカタログを尊重すべき
[SPARK-49138] [SC-173483][sql] 複数の式の CollationTypeCasts を修正
[SPARK-49163] [SC-173666][sql] 壊れたParquetパーティションデータの結果に基づいてテーブルを作成しようとすると、ユーザー向けのエラーが返される問題を修正
[SPARK-49201] [SC-173793][ps][Python][connect] Spark SQLを使用してhistプロットを再実装
[SPARK-49188] [SC-173682][sql] 文字列の配列の配列で呼び出されたconcat_wsの内部エラー
[SPARK-49137] [SC-173677][sql] if statementのBoolean条件が無効な場合、例外をスローする必要があります
[SPARK-49193] [SC-173672][sql] RowSetUtils.toColumnBasedSetのパフォーマンスを改善
[SPARK-49078] [SC-173078][sql] v2テーブルで列の表示構文をサポート
[SPARK-49141] [SC-173388][sql] バリアントをハイブと互換性のないデータ型としてマークする
[SPARK-49059] [チェリーピック][15.x][SC-172528][接続]SessionHolder.forTesting(...)をテストパッケージに移動する
[SPARK-49111] [SC-173661][sql] withProjectAndFilterをDataSourceV2Strategyのコンパニオンオブジェクトに移動
[SPARK-49185] [SC-173688][ps][Python][connect] Spark SQLを使用してkdeプロットを再実装
[SPARK-49178] [SC-173673][sql] Spark 3.5 と Scala 2.12 を併用する際のパフォーマンスに合わせて Row#getSeq のパフォーマンスを最適化
[SPARK-49093] [SC-172958][sql] MapTypeが複合型内にネストされたグループ BY
[SPARK-49142] [SC-173469][接続][Python] デバッグする Spark Connectクライアントのログレベルを下げる
[SPARK-48761] [SC-172048][sql] Scala用のclusterBy データフレームWriter APIを導入
[SPARK-48346] [SC-173083][sql] SQLスクリプトでのIF ELSEステートメントのサポート
[SPARK-48338] [SC-173112][sql] パーサー/インタープリターからスローされる例外を改善
[SPARK-48658] [SC-169474][sql] エンコード/デコード関数が、マッピングできない文字に対してもじばっぷの代わりにコーディングエラーを報告する
[SPARK-49071] [SC-172954][sql] ArraySortLike トレイトを削除
[スパーク-49107] 元に戻す "[SC-173103][sql] ROUTINE_ALREADY_EXISTS は RoutineType をサポートします。""
[SPARK-49070] [SC-172907][ss][SQL] TransformWithStateExec.initialStateが誤って書き換えられ、無効なクエリプランが生成される
[SPARK-49114] [SC-173217] サブカテゴリが状態ストアのエラーを読み込めない
[スパーク-49107] 「[SC-173103][sql] ROUTINE_ALREADY_EXISTS supports RoutineType」を元に戻す
[SPARK-49048] [SC-173223][ss] 特定のバッチIDで関連するオペレーターメタデータを読み取るためのサポートを追加
[SPARK-49094] [SC-173049][sql] mergeSchemaがオフのhive orc implでignoreCorruptFilesが機能しない問題を修正
[SPARK-49108] [SC-173102][例] REST APIの例 submit_pi.sh を追加
[SPARK-49107] [SC-173103][sql] ROUTINE_ALREADY_EXISTS RoutineType をサポート
[SPARK-48997] [SC-172484][ss] メンテナンススレッドプールのスレッド障害に対する個々のアンロードを実装
[SPARK-49063] [SC-173094][sql] ScalarSubqueriesとの間を修正
[SPARK-45891] [SC-172305][sql][Python][variant] バリアント仕様にインターバルタイプのサポートを追加
[SPARK-49074] [BEHAVE-110][sc-172815][SQL] バリアントを修正 df.cache()
[SPARK-49003] [SC-172613][sql] インタープリターコードパスのハッシュ化が照合対応になるように修正
[SPARK-48740] [SC-172430][sql] ウィンドウ指定の欠落エラーを早期にキャッチ
[SPARK-48999] [SC-172245][ss] PythonStreamingDataSourceSimpleSuiteを分割
[SPARK-49031] [SC-172602] OperatorStateMetadataV2を使用してTransformWithStateExec演算子の検証を実装
[SPARK-49053] [SC-172494]Python][ML] モデルの保存/ロードヘルパー関数がスパークセッションを受け入れるようにする
[SPARK-49032] [バックポート][15.x][SS]メタデータテーブルエントリにスキーマパスを追加し、必要なバージョンを確認し、オペレーターメタデータ形式 v2 のオペレーターメタデータ関連のテストを追加します
[SPARK-49034] [SC-172306][core] REST Submission APIでサーバー側の sparkProperties の置換をサポート
[SPARK-48931] [SC-171895][ss] 状態ストアメンテナンスタスクのクラウドストアリスト API コストを削減
[SPARK-48849] [SC-172068][ss] TransformWithStateExec 演算子の OperatorStateMetadataV2 を作成
[SPARK-49013] [SC-172322] Scalaのマップおよび配列タイプの照合マップのキーを変更する
[SPARK-48414] [ SC-171884][Python] Pythonの破壊的変更を修正 fromJson
[SPARK-48910] [SC-171001][sql] HashSet/HashMapを使用して、PreprocessTableCreationでの線形検索を回避します
[SPARK-49007] [SC-172204][core] カスタムタイトルをサポートするように MasterPage を改善
[SPARK-49009] [SC-172263][sql][Python] 列 API と関数が列挙型を受け入れるように
[SPARK-49033] [SC-172303][core] REST Submission APIでサーバー側の environmentVariables 置換をサポート
[SPARK-48363] [SC-166470][sql] 一部の冗長なコードをクリーンアップ from_xml
[SPARK-46743] [SC-170867][sql][BEHAVE-84] 空のリレーションがある場合、ScalarSubqeryが折りたたまれた後のカウントバグを修正
[SPARK-49040] [SC-172351][sql] ドキュメントの修正 sql-ref-syntax-aux-exec-imm.md
[SPARK-48998] [SC-172212][ml] メタアルゴリズムがSparkSessionを使用してモデルを保存/ロード
[SPARK-48959] [SC-171708][sql] 例外処理を復元するためにNoSuchDatabaseExceptionを拡張するようにNoSuchNamespaceException
[SPARK-48996] [SC-172130][sql][Python] 列 および およびまたは のベアリテラルを許可
[SPARK-48990] [SC-171936] #101759 - テスト修正のフォローアップ
[SPARK-48338] [SC-171912][sql] 変数宣言の確認
[SPARK-48990] [SC-171936][sql] 統合変数関連のSQL構文キーワード
[SPARK-48988] [SC-171915][ml] sparkセッションでメタデータを処理DefaultParamsReader/Writer
[SPARK-48974] [SC-171978][sql][SS][ml][MLlib] の代わりに SparkSession.implicits を使用します。 SQLContext.implicits
[SPARK-48760] [SC-170870][sql] CatalogV2Util.applyClusterByChangesを修正
[SPARK-48928] [SC-171956] ローカルチェックポイントが設定されたRDDで.unpersist()を呼び出すとログ警告が表示される
[SPARK-48760] [SC-170139][sql] 導入 ALTER TABLE ...クラスタリング BY SQL 構文を使用してクラスタリング列を変更する
【スパーク-48844】「[SC-170669][sql] パスが空の場合はUNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYの代わりにINVALID_EMPTY_LOCATIONを使用する」を元に戻します
[SPARK-48833] [SC-171914][sql][VARIANT] サポートバリアント InMemoryTableScan
[SPARK-48975] [SC-171894][protobuf] から不要な ScalaReflectionLock 定義を削除 protobuf
[SPARK-48970] [SC-171800]][]Python MLSparkSessionSpark リーダー/ライターで.getActiveSessionを使用しないようにするML
[SPARK-48844] [SC-170669][sql] パスが空の場合は、UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYの代わりにINVALID_EMPTY_LOCATIONを使用します
[SPARK-48714] [SC-170136] PySparkおよびUCでdf.mergeIntoテストが失敗する問題を修正
[SPARK-48957] [SC-171797][ss] HDFS およびrocksdbプロバイダの状態ストアロードでサブ分類されたエラークラスを返す
[SPARK-48891] [バックポート][15x][SC-171677][ss] StateSchemaCompatibilityCheckerをリファクタリングして、すべての状態スキーマ形式を統一
[SPARK-48972] [SC-171795][Python] 関数内のリテラル文字列処理を統一
[SPARK-48388] [SC-171337][sql] SQLスクリプトのSETステートメントの動作を修正
[SPARK-48743] [SC-170552][sql][SS] getStructがnullを返す場合のMergingSessionIteratorの処理を改善してね
[SPARK-48623] [15.x] [sc-171322] [コア]FileAppender ログを構造化ログに移行する
[SPARK-36680] [DBRRM-1123] 「[SC-170640][sql] Spark SQLの動的テーブルオプションをサポート」を元に戻す
[SPARK-48841] [SC-170868][behave-83][SQL] sql() へのcollationNameを含める Collate
[SPARK-48941] [SC-171703]Python][ML] RDDの読み取り/書き込みAPI呼び出しをデータフレームの読み取り/書き込みAPIに置き換える
[SPARK-48938] [ SC-171577][Python] UDTF Python 登録する際のエラーメッセージを改善
[SPARK-48350] [SC-171040][sql] SQLスクリプトのカスタム例外の導入
[SPARK-48907] [SC-171158][sql] explicitTypes COLLATION_MISMATCH.EXPLICIT
[SPARK-48945] [SC-171658] [Python] 正規表現関数を次のように簡略化します。 lit
[SPARK-48944] [SC-171576][connect] Connect ServerでのJSON形式のスキーマ処理を統一
[SPARK-48836] [SC-171569] SQLスキーマを状態スキーマ/メタデータと統合
[SPARK-48946] [SC-171504][sql] セッションがnullの場合、NPEが墨消し方式の場合
[SPARK-48921] [SC-171412][sql] サブクエリの ScalaUDF エンコーダーを MergeInto で解決する必要があります
[SPARK-45155] [SC-171048][connect] Spark Connect JVM/ScalaクライアントのAPIドキュメントを追加
[SPARK-48900] [SC-171319] cancelJobGroup``reasonフィールドを追加し、 cancelJobsWithTag
[SPARK-48865] [SC-171154][sql] try_url_decode機能を追加
[SPARK-48851] [SC-170767][sql] SCHEMA_NOT_FOUND の値を namespace から catalog.namespace
[SPARK-48510] [SC-170893][2/2] Spark ConnectでUDAF toColumn APIをサポート
[SPARK-45190] [SC-171055][spark-48897] [Python][ connect] StructTypeスキーマをサポートしfrom_xml
[SPARK-48930] [SC-171304][core] accesskeyパターンを含めてawsAccessKeyIdを編集
[SPARK-48909] [SC-171080][ml][MLlib] メタデータの書き込み時にSparkContextよりも SparkSession を使用する
[SPARK-48883] [SC-171133][ml][R] RDD読み取り/書き込みAPI呼び出しをデータフレーム読み取り/書き込みAPIに置き換え
[SPARK-48924] [SC-171313][ps] パンダのような make_interval ヘルパー機能を追加
[SPARK-48884] [SC-171051] [Python] 未使用のヘルパー機能を削除 PythonSQLUtils.makeInterval
[SPARK-48817] [SC-170636][sql] union multi コマンドを一緒に熱心に実行する
[SPARK-48896] [SC-171079][ml][MLlib] メタデータを書き出すときに再パーティション化を避ける
[SPARK-48892] [SC-171127][ml] 行ごとのパラメーターの読み取りを回避 Tokenizer
[SPARK-48927] [SC-171227][core] キャッシュされたRDDの数を表示 StoragePage
[SPARK-48886] [15.x][バックポート][SC-171039][ss]changelog v2 にバージョン情報を追加して、進化を容易にします
[SPARK-48903] [SC-171136][ss] リモートロード時にRocksDBの最新のスナップショットバージョンを正しく設定するようにしました
[SPARK-48742] [SC-170538][ss] RocksDBの仮想カラムファミリー
[SPARK-48726] [15.x] [sc-170753] [SS]StateSchemaV3 ファイル形式を作成し、これを TransformWithStateExec 演算子に書き出します
[SPARK-48794] [SC-170882][connect][15.x] Spark Connect(ScalaおよびPython)のdf.mergeIntoサポート
[SPARK-48714] [ SC-170136]Python] PySparkにDataFrame.mergeIntoを実装
[SPARK-48772] [SC-170642][ss][SQL] State データソース Change Feed Reader Mode
[SPARK-48666] [SC-170887][sql] PythonUDFを含むフィルターを押し下げないでください
[SPARK-48845] [SC-170889][sql] GenericUDFは子からの例外をキャッチします
[SPARK-48880] [SC-170974][core] ドライバープラグインの初期化に失敗した場合、NullPointerExceptionのスローを回避
[SPARK-48888] [バックポート][15x][SC-170973][ss] changelog操作サイズに基づくスナップショット作成を削除
[SPARK-48871] [SC-170876] INVALID_NON_DETERMINISTIC_EXPRESSIONSの検証を修正
[SPARK-48883] [SC-170894][ml][R] RDD読み取り/書き込みAPI呼び出しをデータフレーム読み取り/書き込みAPIに置き換え
[SPARK-36680] [SC-170640][sql] Spark SQLの動的テーブルオプションをサポート
[SPARK-48804] [SC-170558][sql] classIsLoadable と OutputCommitter.isAssignableFrom を追加出力コミッタークラス構成の確認
[SPARK-46738] [SC-170791] [Python] doctests のグループを再度有効にします
[SPARK-48858] [SC-170756][Python] Threadの非推奨のsetDaemonメソッド呼び出しを削除 log_communication.py
[SPARK-48639] [SC-169801][接続][Python] RelationCommonにオリジンを追加
[SPARK-48863] [SC-170770][es-1133940][SQL] JSON を「spark.sql.JSON.enablePartialResults」有効
[SPARK-48343] [SC-170450][sql] SQLスクリプティングインタプリタの導入
[SPARK-48529] [SC-170755][sql] SQLスクリプトでのラベルの導入
[SPARK-45292] 「[SC-151609][sql][HIVE] IsolatedClientLoader から共有クラスから Guava を削除」を元に戻す
[SPARK-48037] [SC-165330][core][3.5] SortShuffleWriterにシャッフル書き込み関連のメトリクスがないため、データが不正確になる可能性がある問題を修正
[SPARK-48720] [SC-170551][sql] v1 と v2 でコマンド ALTER TABLE ... UNSET TBLPROPERTIES ... を揃える
[SPARK-48485] [SC-167825][接続][SS] ストリーミングクエリでinterruptTagとinterruptAllをサポート
[SPARK-45292] [SC-151609][sql][HIVE] IsolatedClientLoaderから共有クラスからGuavaを削除
[SPARK-48668] [SC-169815][sql] ALTER NAMESPACEをサポート...v2 でプロパティの設定を解除
[SPARK-47914] [SC-165313][sql] Rangeにsplitsパラメーターを表示しない
[SPARK-48807] [SC-170643][sql] CSVデータソースのバイナリサポート
[SPARK-48220] [SC-167592][Python][15.X] PyArrow テーブルを createデータフレーム() に渡すことを許可します。
[SPARK-48545] [SC-169543][sql] データフレームと同等の関数に一致するように to_avro および from_avro SQL 関数を作成
[SPARK-47577] [SC-168875][spark-47579] ログキー TASK_IDの誤解を招く使用を修正

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。最近リリースされたドライバーをダウンロードして、アップグレード (ODBC のダウンロード、 JDBC のダウンロード)。

システム環境

オペレーティングシステム :Ubuntu 24.04.1 LTS
Java : ズールー17.50+19-CA
Scala : 2.12.15
Python の:3.12.3
R の:4.4.0
Delta Lake : 3.2.1

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
注釈付きタイプ	0.7.0	アストトークンズ	2.0.5	アストゥンパース	1.6.3
自動コマンド	2.2.2	azure-core	1.31.0	azure-storage-blob	12.23.0
azure-storage-file-datalake	12.17.0	backports.tarファイル	1.2.0	黒い	24.4.2
ウィンカー	1.7.0	ボト3	1.34.69	ボトコア	1.34.69
cachetools	5.3.3	認証	2024.6.2	cffi	1.16.0
chardet	4.0.0	charset-normalizer	2.0.4	クリック	8.1.7
クラウドピクルス	2.2.1	通信	0.2.1	コントルピー	1.2.0
cryptography	42.0.5	サーマルサイクラー	0.11.0	シトン	3.0.11
databricks-sdk	0.30.0	DBUSPython	1.3.2	デバッグ	1.6.7
デコレータ	5.1.1	非推奨	1.2.14	ディストリビューション	0.3.8
docstring-to-markdown	0.11	エントリポイント	0.4	実行	0.8.3
facets-概要	1.1.1	ファイルロック	3.15.4	fonttools	4.51.0
ギットDB	4.0.11	ギットパイソン	3.1.37	グーグルAPIコア	2.20.0
グーグル認証	2.35.0	グーグルクラウドコア	2.4.1	Google Cloud Storage	2.18.2
グーグル-CRC32C	1.6.0	Googleの再開可能なメディア	2.7.2	googleapis-common-protos	1.65.0
grpcio	1.60.0	grpcio-status	1.60.0	httplib2の	0.20.4
イドナ	3.7	importlib-metadata	6.0.0	importlib_resources	6.4.0
活用	7.3.1	ipyflow-コア	0.0.198	ipykernel(英語)	6.28.0
アイパイソン	8.25.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
イソデート	0.6.1	jaraco.context	5.3.0	jaraco.functoolsの	4.0.1
jaraco.text	3.12.1	ジェダイ	0.19.1	jmespath	1.0.1
joblib	1.4.2	jupyter_client	8.6.0	jupyter_core	5.7.2
キウイソルバー	1.4.4	ローンチパッドリブ	1.11.0	lazr.restfulクライアント	0.14.6
lazr.uri です。	1.0.6	Matplotlib	3.8.4	matplotlib-インライン	0.1.6
マッケイブ	0.7.0	mlflow-skinny	2.15.1	もっと-itertools	10.3.0
マイピー	1.10.0	mypy-extensions	1.0.0	ネスト-アシンシオ	1.6.0
ノードenv	1.9.1	numpy	1.26.4	OAuthlib	3.2.2
opentelemetry-api	1.27.0	opentelemetry-sdkの	1.27.0	opentelemetry-セマンティック規約	0.48b0
packaging	24.1	pandas	1.5.3	パルソ	0.8.3
パススペック	0.10.3	patsy	0.5.6	pexpect	4.8.0
枕	10.3.0	種	24.2	プラットフォームディレクトリ	3.10.0
Plotly	5.22.0	プラギー	1.0.0	プロンプトツールキット	3.0.43
プロトプラス	1.24.0	protobuf	4.24.1	psutil の	5.9.0
サイコップ2	2.9.3	PTYPROCESSの	0.7.0	ピュア評価	0.2.2
pyarrow	15.0.2	pyasn1	0.4.8	pyasn1モジュール	0.2.8
ピッコロ	0.0.52	pycparser	2.21	ピダンティック	2.8.2
pydantic_core	2.20.1	パイフレーク	3.2.0	ピグメント	2.15.1
PyGObject	3.48.2	PyJWTの	2.7.0	pyodbc	5.0.1
pyparsing	3.0.9	パイライト	1.1.294	Python-dateutil	2.9.0.投稿0
Python-lsp-jsonrpc	1.1.2	Python-lsp-server	1.10.0	pytoolconfig(ピーツールコンフィグ)	1.2.6
pytz	2024.1	PyYAML (英語)	6.0.1	ピズム	25.1.2
要求	2.32.2	縄	1.12.0	rsa	4.9
S3トランスファー	0.10.2	scikit-learn	1.4.2	scipy	1.13.1
シーボーン	0.13.2	setuptools	74.0.0	six	1.16.0
SMMAPの	5.0.0	sqlparse	0.5.1	ssh-import-id	5.11
スタックデータ	0.2.0	statsmodels	0.14.2	持久力	8.2.2
threadpoolctl	2.2.0	トークン化-RT	4.2.1	トムリ	2.0.1
竜巻	6.4.1	トレイトレット	5.14.3	タイプガード	4.3.0
タイプ-protobuf	3.20.3	タイプ-psutil	5.9.0	タイプ-pytz	2023.3.1.1
タイプ-PyYAML	6.0.0	タイプ-リクエスト	2.31.0.0	types-setuptools	68.0.0.0
タイプ-6	1.16.0	タイプ-urllib3	1.26.25.14	typing_extensions	4.11.0
ujson	5.10.0	無人アップグレード	0.1	urllib3 の	1.26.16
virtualenv	20.26.2	ワドリブ	1.3.6	WC幅	0.2.5
パッチ	1.0.2	輪	0.43.0	ラッピング	1.14.1
ヤップ	0.33.0	ジップ	3.17.0

インストールされている R ライブラリ

R ライブラリは、2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
矢	16.1.0	アスクパス	1.2.0	assertthat	0.2.1
バックポート	1.5.0	基	4.4.0	base64enc	0.1-3
bigDの	0.2.0	bit	4.0.5	ビット64	4.0.5
ビットプス	1.0-8	ブロッブ	1.2.4	ブート	1.3-30
醸成	1.0-10	ブリオ	1.1.5	箒	1.0.6
bslibの	0.8.0	カケム	1.1.0	コール	3.7.6
キャレット	6.0-94	セルレンジャー	1.1.0	クロン	2.3-61
クラス	7.3-22	CLI	3.6.3	clipr	0.8.0
時計	0.7.1	クラスター	2.1.6	コードツール	0.2-20
カラースペース	2.1-1	コモンマーク	1.9.1	コンパイラ	4.4.0
コンフィグ	0.3.2	競合	1.2.0	CPP11の	0.4.7
クレヨン	1.5.3	credentials	2.0.1	Curl	5.2.1
データ.テーブル	1.15.4	データセット	4.4.0	DBI	1.2.3
dbplirの	2.5.0	DESC	1.4.3	開発ツール	2.4.5
ダイアグラム	1.6.5	ディフobj	0.3.5	ダイジェスト	0.6.36
ダウンライト	0.4.4	dplyrの	1.1.4	DTPLyr	1.3.1
E1071	1.7-14	省略記号	0.3.2	評	0.24.0
ファンシ	1.0.6	ファーバー	2.1.2	ファストマップ	1.2.0
フォントオーサム	0.5.2	フォーキャッツ	1.0.0	For each	1.5.2
外部	0.8-86	鍛える	0.2.0	fs	1.6.4
未来	1.34.0	future.お申込み	1.11.2	嗽	1.5.2
ジェネリック	0.1.3	ゲルト	2.1.0	ggplot2の	3.5.1
gh	1.4.1	ギット2R	0.33.0	ギットレッズ	0.1.2
glmnet	4.1-8	グローバル	0.16.3	膠	1.7.0
グーグルドライブ	2.1.1	グーグルシート4	1.1.1	ガウアー	1.0.1
グラフィックス	4.4.0	grDevicesの	4.4.0	グリッド	4.4.0
グリッドエクストラ	2.3	gsubfnの	0.7	GT	0.11.0
GTABLE(GTABLE)	0.3.5	ヘルメット	1.4.0	避難所	2.5.4
高い	0.11	HMSの	1.1.3	htmlツール[htmltools]	0.5.8.1
htmlウィジェット	1.6.4	httpuv	1.6.15	httr	1.4.7
HTTR2	1.0.2	ids	1.0.1	イニ	0.3.1
イプレッド	0.9-15	アイソバンド	0.2.7	反復子	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	ジューシージュース	0.1.0
カーンスムース	2.23-22	ニット	1.48	ラベリング	0.4.3
あとで	1.3.2	格子	0.22-5	溶岩	1.8.0
ライフサイクル	1.0.4	リッスン	0.9.1	ルブリデート	1.9.3
マグリット	2.0.3	Markdown	1.13	質量	7.3-60.0.1
マトリックス	1.6-5	メモ	2.0.1	メソッド	4.4.0
mgcv	1.9-1	マイム	0.12	ミニUI	0.1.1.1
MLflow	2.14.1	モデルメトリクス	1.2.2.2	モデラー	0.1.11
マンセル	0.5.1	nlme	3.1-165	ネット	7.3-19
numDerivの	2016.8-1.1	オープンSSL	2.2.0	並列	4.4.0
並行して	1.38.0	柱	1.9.0	pkgbuild の	1.4.4
pkgconfig	2.0.3	pkgdown (英語)	2.1.0	pkgload(パッケージロード)	1.4.0
plogrの	0.2.0	プライル	1.8.9	褒める	1.0.0
プリティユニット	1.2.0	pROC	1.18.5	プロセスX	3.8.4
製品	2024.06.25	プロヴィス	0.3.8	経過	1.2.3
プログレッサー	0.14.0	約束	1.3.0	プロト	1.0.0
プロキシ	0.4-27	PS	1.7.7	ゴロゴロ	1.0.2
R6の	2.5.1	ラグ	1.3.2	ランダムフォレスト	4.7-1.1
ラプディレクトリ	0.3.3	rcmdcheckの	1.4.0	RColorブリューワー	1.1-3
Rcpp	1.0.13	RcppEigen	0.3.4.0.0	反応可能	0.4.4
リアクターR	0.6.0	読み取り	2.1.5	readxlの	1.4.3
レシピ	1.1.0	再戦	2.0.0	再戦2	2.1.2
リモコン	2.5.0	レプレックス	2.1.1	形状変更2	1.4.4
ラン	1.1.4	rmarkdown	2.27	RODBC	1.3-23
リオキシジェン2	7.3.2	rpart	4.1.23	rprojroot さん	2.0.4
サーブ	1.8-13	RSQLite (英語)	2.3.7	rstudioapi	0.16.0
rversions	2.1.2	アヴェスト	1.0.4	サス	0.4.9
秤	1.3.0	セレクタ	0.4-2	セッション情報	1.2.2
形	1.4.6.1	shiny	1.9.1	ソースツール	0.1.7-1
sparklyr	1.8.6	SparkR	3.5.0	空間的	7.3-17
スプライン	4.4.0	sqldf	0.4-1	スクエアム	2021.1
統計	4.4.0	統計4	4.4.0	ストリンギ	1.8.4
ストリンガー	1.5.1	生存	3.6-4	闊歩	5.17.14.1
SYSの	3.4.2	システムフォント	1.1.0	tcltk	4.4.0
テストを	3.2.1.1	テキストシェーピング	0.4.0	ティブル	3.2.1
ティディル	1.3.1	ティディセレクト	1.2.1	ティディバース	2.0.0
時間変更	0.3.0	日時	4032.109	タイニーテックス	0.52
ツール	4.4.0	tzdb	0.4.0	urlchecker(英語)	1.0.1
usethisさん	3.0.0	UTF8	1.2.4	ユーティリティ	4.4.0
UUIDの	1.2-1	V8の	4.4.2	vctrs	0.6.5
viridisライト	0.4.2	ブルーム	1.6.5	ワルド	0.5.2
ウイスカー	0.4.1	ウィザー	3.0.1	xfun	0.46
XML2の	1.3.6	xopen(オーペン)	1.0.1	エクステーブル	1.8-4
ヤムラ	2.3.10	ジーロット	0.1.0	郵便番号	2.3.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.12.638
com.amazonawsの	aws-java-sdk-cloudformation	1.12.638
com.amazonawsの	aws-java-sdk-cloudfront	1.12.638
com.amazonawsの	aws-java-sdk-cloudhsm	1.12.638
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.12.638
com.amazonawsの	aws-java-sdk-cloudtrail	1.12.638
com.amazonawsの	aws-java-sdk-cloudwatch	1.12.638
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.12.638
com.amazonawsの	aws-java-sdk-コードデプロイ	1.12.638
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.12.638
com.amazonawsの	aws-java-sdk-cognitosync	1.12.638
com.amazonawsの	aws-java-sdk-configの	1.12.638
com.amazonawsの	aws-java-sdk-コア	1.12.638
com.amazonawsの	aws-java-sdk-データパイプライン	1.12.638
com.amazonawsの	aws-java-sdk-directconnectの	1.12.638
com.amazonawsの	aws-java-sdkディレクトリ	1.12.638
com.amazonawsの	aws-java-sdk-ダイナモDB	1.12.638
com.amazonawsの	aws-java-sdk-ec2 の	1.12.638
com.amazonawsの	aws-java-sdk-ecsの	1.12.638
com.amazonawsの	aws-java-sdk-efs	1.12.638
com.amazonawsの	aws-java-sdk-elasticache	1.12.638
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.12.638
com.amazonawsの	aws-java-sdk-emr	1.12.638
com.amazonawsの	aws-java-sdk-glacier	1.12.638
com.amazonawsの	aws-java-sdk-グルー	1.12.638
com.amazonawsの	aws-java-sdk-iam	1.12.638
com.amazonawsの	aws-java-sdk-importexport	1.12.638
com.amazonawsの	aws-java-sdk-キネシス	1.12.638
com.amazonawsの	aws-java-sdk-kmsの	1.12.638
com.amazonawsの	aws-java-sdk-ラムダ	1.12.638
com.amazonawsの	aws-java-sdk-logs	1.12.638
com.amazonawsの	aws-java-sdk-機械学習	1.12.638
com.amazonawsの	aws-java-sdk-opsworks	1.12.638
com.amazonawsの	aws-java-sdk-rds	1.12.638
com.amazonawsの	aws-java-sdk-レッドシフト	1.12.638
com.amazonawsの	aws-java-sdk-ルート53	1.12.638
com.amazonawsの	aws-java-sdk-s3 の	1.12.638
com.amazonawsの	aws-java-sdk-ses	1.12.638
com.amazonawsの	aws-java-sdk-simpledb	1.12.638
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.12.638
com.amazonawsの	aws-java-sdk-snsの	1.12.638
com.amazonawsの	aws-java-sdk-sqs	1.12.638
com.amazonawsの	aws-java-sdk-ssm	1.12.638
com.amazonawsの	aws-java-sdk-storagegateway	1.12.638
com.amazonawsの	aws-java-sdk-sts	1.12.638
com.amazonawsの	aws-java-sdk-サポート	1.12.638
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.12.638
com.amazonawsの	jmespath-java	1.12.638
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	Databricks の SDK の java	0.27.0
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.15.2
com.fasterxml.jackson.core	ジャクソンコア	2.15.2
com.fasterxml.jackson.core	ジャクソン-データバインド	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-yaml	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JSR310	2.16.0
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.15.2
com.fasterxml.jackson.module	ジャクソンモジュール-scala_2.12	2.15.2
com.github.ben-manes.caffeine	カフェイン	2.9.3
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1-ネイティブ
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64	1.1-ネイティブ
com.github.luben	ZSTD-JNI	1.5.5-4
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.10.1
com.google.crypto.tink	ティンク	1.9.0
com.google.errorが発生しやすい	error_prone_annotations	2.10.0
com.google.flatbuffers	フラットバッファ-Java	23.5.26
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	3.25.1
com.helger	プロファイラー	1.1.1
com.ibm.icu	ICU4Jの	75.1
com.jcraftの	jsch	0.1.55
com.jolboxの	ボーンカップ	0.8.0.リリース
com.lihaoyi	sourcecode_2月12日	0.1.9
com.microsoft.azure	azure-データレイク-store-sdk	2.3.9
com.microsoft.sqlserver	mssqlの-JDBC	11.2.2.JRE8
com.ningの	圧縮-LZF	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.バインド	jaxb-コア	2.2.11
com.sun.xml.バインド	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.10.0
コム。囀る	chill_2.12	0.10.0
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.4.3
Scala-logging	Scala-logging_2.12	3.7.2
com.uberの	H3	3.7.3
com.univocityの	univocity-パーサー	2.9.1
com.zaxxerの	ひかりCP	4.0.3
コモンズCLI	コモンズCLI	1.5.0
コモンズコーデック	コモンズコーデック	1.16.0
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.5
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.13.0
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib さん	アーパック	3.0.3
dev.ludovic.netlib さん	ブラス	3.0.3
dev.ludovic.netlib さん	ラパック	3.0.3
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.27
io.delta	デルタシェアリング-client_2.12	1.2.0
io.dropwizard.メトリクス	メトリクスアノテーション	4.2.19
io.dropwizard.メトリクス	メトリクスコア	4.2.19
io.dropwizard.メトリクス	メトリクス-グラファイト	4.2.19
io.dropwizard.メトリクス	メトリクス-healthchecks	4.2.19
io.dropwizard.メトリクス	メトリクス-jetty9	4.2.19
io.dropwizard.メトリクス	メトリクス-JMX	4.2.19
io.dropwizard.メトリクス	メトリクス-JSON	4.2.19
io.dropwizard.メトリクス	メトリクス-JVM	4.2.19
io.dropwizard.メトリクス	メトリクスサーブレット	4.2.19
io.nettyの	netty-すべて	4.1.108.最終版
io.nettyの	netty-buffer	4.1.108.最終版
io.nettyの	netty-codec (英語)	4.1.108.最終版
io.nettyの	netty-codec-http	4.1.108.最終版
io.nettyの	netty-codec-http2	4.1.108.最終版
io.nettyの	netty-codec-socksの	4.1.108.最終版
io.nettyの	netty-共通	4.1.108.最終版
io.nettyの	netty-ハンドラ	4.1.108.最終版
io.nettyの	netty-handler-proxy	4.1.108.最終版
io.nettyの	netty-リゾルバ	4.1.108.最終版
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-OSX-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナルOSX-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.nettyの	netty-tcnative-クラス	2.0.61.ファイナル
io.nettyの	netty-トランスポート	4.1.108.最終版
io.nettyの	netty-transport-classes-epoll	4.1.108.最終版
io.nettyの	netty-transport-classes-kqueue	4.1.108.最終版
io.nettyの	netty-transport-native-epoll	4.1.108.最終版
io.nettyの	netty-transport-native-epoll	4.1.108.最終版-linux-aarch_64
io.nettyの	netty-transport-native-epoll	4.1.108.最終版-linux-riscv64
io.nettyの	netty-transport-native-epoll	4.1.108.最終版-linux-x86_64
io.nettyの	netty-transport-native-kqueue	4.1.108.最終版 - OSX - aarch_64
io.nettyの	netty-transport-native-kqueue	4.1.108.ファイナル-OSX-x86_64
io.nettyの	netty-transport-native-unix-common	4.1.108.最終版
io.プロメテウス	シンプルクライアント	0.7.0
io.プロメテウス	simpleclient_common	0.7.0
io.プロメテウス	simpleclient_dropwizard	0.7.0
io.プロメテウス	simpleclient_pushgateway	0.7.0
io.プロメテウス	simpleclient_servlet	0.7.0
io.prometheus.jmx	収集家	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet (英語)	jakarta.servlet-api	4.0.3
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.11
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	漬ける	1.3
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.9.3
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.10.11
org.apache.ant	アントJSCH	1.10.11
org.apache.ant	アントランチャー	1.10.11
org.apache.arrow(アパッチ・アロー)	arrow-format	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-core	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-netty	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-vector	15.0.0
org.apache.avro	AVRO	1.11.3
org.apache.avro	アブロIPC	1.11.3
org.apache.avro	アブロマップド	1.11.3
org.apache.commonsの	コモンズコレクション4	4.4
org.apache.commonsの	コモンズ圧縮	1.23.0
org.apache.commonsの	コモンズ-クリプト	1.1.0
org.apache.commonsの	コモンズ-LANG3	3.12.0
org.apache.commonsの	コモンズ-数学3	3.6.1
org.apache.commonsの	コモンズテキスト	1.10.0
org.apache.curator (英語)	キュレーター・クライアント	2.13.0
org.apache.curator (英語)	キュレーターフレームワーク	2.13.0
org.apache.curator (英語)	キュレーターレシピ	2.13.0
org.apache.datasketches (英語)	データスケッチ-Java	3.1.0
org.apache.datasketches (英語)	datasketches-memory	2.0.0
org.apache.derbyの	ダービー	10.14.2.0
org.apache.hadoop です。	hadoop クライアントランタイム	3.3.6
org.apache.hive です。	ハイブビーライン	2.3.9
org.apache.hive です。	ハイブ CLI	2.3.9
org.apache.hive です。	ハイブ-JDBC	2.3.9
org.apache.hive です。	ハイブ - llap クライアント	2.3.9
org.apache.hive です。	ハイブ - llap - 共通	2.3.9
org.apache.hive です。	ハイブセルデ	2.3.9
org.apache.hive です。	ハイブシム	2.3.9
org.apache.hive です。	ハイブストレージAPI	2.8.1
org.apache.hive.shims	ハイブシム-0.23	2.3.9
org.apache.hive.shims	ハイブシム-共通	2.3.9
org.apache.hive.shims	ハイブシムススケジューラ	2.3.9
org.apache.httpコンポーネント	httpクライアント	4.5.14
org.apache.httpコンポーネント	httpコア	4.4.16
org.apache.ivy	蔦	2.5.2
org.apache.logging.log4j	ログ4J-1.2-API	2.22.1
org.apache.logging.log4j	ログ4J-API	2.22.1
org.apache.logging.log4j	log4j-コア	2.22.1
org.apache.logging.log4j	log4j-layout-template-JSON	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	オークコア	1.9.2-シェード-protobuf
org.apache.orc	orc-mapreduce	1.9.2-シェード-protobuf
org.apache.orc	オークシム	1.9.2
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.ws.xmlスキーマ	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded (英語)	4.23
org.apache.yetus (英語)	オーディエンスアノテーション	0.13.0
org.apache.zookeeper	動物園の飼育係	3.9.2
org.apache.zookeeper	動物園の飼育係ジュート	3.9.2
org.checkerフレームワーク	チェッカークォール	3.31.0
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
org.Eclipse.collections	Eclipseコレクション	11.1.0
org.Eclipse.collections	Eclipse-collections-api	11.1.0
組織Eclipse.jetty	桟橋クライアント	9.4.52.v20230823
組織Eclipse.jetty	桟橋の続き	9.4.52.v20230823
組織Eclipse.jetty	桟橋-HTTP	9.4.52.v20230823
組織Eclipse.jetty	桟橋-IO	9.4.52.v20230823
組織Eclipse.jetty	桟橋-JNDI	9.4.52.v20230823
組織Eclipse.jetty	桟橋プラス	9.4.52.v20230823
組織Eclipse.jetty	桟橋プロキシ	9.4.52.v20230823
組織Eclipse.jetty	桟橋警備	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーバー	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util-ajax	9.4.52.v20230823
組織Eclipse.jetty	桟橋-webapp	9.4.52.v20230823
組織Eclipse.jetty	桟橋XML	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-クライアント	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-共通	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーバー	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーブレット	9.4.52.v20230823
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.40
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.40
org.glassfish.jersey.coreの	ジャージークライアント	2.40
org.glassfish.jersey.coreの	ジャージー共通	2.40
org.glassfish.jersey.coreの	ジャージーサーバー	2.40
org.glassfish.jersey.inject	ジャージ-HK2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.ファイナル
org.ini4jの	ini4j(イニ4J)	0.5.4
org.javassist	ジャバス奏者	3.29.2-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.jetbrainsの	注釈	17.0.0
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.7.0-M11
org.json4sの	json4s-core_2.12	3.7.0-M11
org.json4sの	json4s-jackson_2.12	3.7.0-M11
org.json4sの	json4s-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Javaの	1.8.0
org.mlflowの	mlflow-spark_2.12	2.9.1
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.6.1
org.roaringbitmap	ロアリングビットマップ	0.9.45-データブリック
org.roaringbitmap	シム	0.9.45-データブリック
org.rocksdbの	ロックスDBJNI	9.2.1
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.15
組織Scala-lang	Scala-library_2.12	2.12.15
組織Scala-lang	Scala-reflect_2.12	2.12.15
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.11.0
組織Scala-lang.modules	Scala-java8-compat_2.12	0.9.1
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.16
org.scalanlp	そよ風-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatestの	scalatest対応	3.2.16
org.scalatestの	scalatest-core_2.12	3.2.16
org.scalatestの	scalatest-diagrams_2.12	3.2.16
org.scalatestの	scalatest-featurespec_2.12	3.2.16
org.scalatestの	scalatest-flatspec_2.12	3.2.16
org.scalatestの	scalatest-freespec_2.12	3.2.16
org.scalatestの	scalatest-funspec_2.12	3.2.16
org.scalatestの	scalatest-funsuite_2.12	3.2.16
org.scalatestの	scalatest-matchers-core_2.12	3.2.16
org.scalatestの	scalatest-mustmatchers_2.12	3.2.16
org.scalatestの	scalatest-propspec_2.12	3.2.16
org.scalatestの	scalatest-refspec_2.12	3.2.16
org.scalatestの	scalatest-shouldmatchers_2.12	3.2.16
org.scalatestの	scalatest-wordspec_2.12	3.2.16
org.scalatestの	scalatest_2.12	3.2.16
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	7月-slf4j	2.0.7
org.slf4j	SLF4J-APIの	2.0.7
org.slf4j	SLF4J-シンプル	1.7.25
org.threetenさん	スリーテンエクストラ	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	スパイア-macros_2.12	0.17.0
org.typelevel	スパイア-platform_2.12	0.17.0
org.typelevel	スパイア-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	ワイルドフライ-openssl	1.1.3.ファイナル
org.xerial	sqlite-JDBC の	3.42.0.0
org.xerial.snappy(英語)	スナッピージャワ	1.1.10.3
org.yaml の	スネークヤム	2.0
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.2-linux-x86_64
スタックス	スタックス-API	1.0.1

挙動の変更​

互換性に重大な変更 : JDK 17 がデフォルトになりました​

重大な変更 : Hosted RStudio の提供終了​

破壊的変更 : byte、 short、 int 、 long の各タイプをより広範なタイプに変更するためのサポートの削除​

ネストされた文字グループでの否定を使用した正規表現パターンの正しい解析​

Delta Lake での重複一致検出を改善する MERGE​

クラスター ライブラリのインストール方法を上書きできなくなりました​

クラスター スコープのライブラリ インストールのタイムアウトは 2 時間です。​

DBFS からのライブラリのインストールと spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed の設定は無効です​

addArtifact()機能は、コンピュートの種類間で一貫性を持つようになりました​

特殊文字を含むプリンシパル識別子に適切に適用されるバッククォート ルール​

新機能と改善点​

Amazon MSK from 構造化ストリーミング: 正しくない依存関係に対するより説明的なエラー メッセージ​

変更されたPythonモジュールのより信頼性の高いリロードにより、 autoreload​

Avro の再帰スキーマのサポート​

to_avroおよびfrom_avro機能​

Confluent Schema Registry for Avro のサポートの拡張​

リキッドクラスタリングを使用するテーブルでの再クラスタリングの強制​

と の で ID 列がサポートされるようになりましたDeltaAPIPythonScala​

専用のコンピュート(旧シングルユーザーコンピュート)でのきめ細かなアクセス制御が一般提供開始​

ストリーミング書き込み中にリキッド クラスター テーブルを作成する​

OPTIMIZE FULL 句のサポート​

INSERT およびテーブル参照での WITH オプション指定のサポート​

新しい SQL 関数​

データを Delta テーブルにマージするときに自動スキーマ進化を有効にする​

その他の変更​

SparkR は非推奨になりました​

Databricks Runtime 16.0 は PVC ではサポートされていません​

バグの修正​

Auto Loader は、空のスキーマを持つ Avro レコードタイプをレスキューするようになりました​

2 番目のオフセットを含むタイムゾーンでのタイムスタンプの書き込みエラーを修正しました。​

ライブラリのアップグレード​

Apache Spark​

Databricks ODBC/JDBC ドライバーのサポート​

システム環境​

インストール済み Python ライブラリ​

インストールされている R ライブラリ​

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)​