Databricks Runtime 15.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートでは、Databricks Runtime Apache Spark3.5.0 を搭載した 15.0 に関する情報を提供しています。

Databricks は 2024 年 3 月にこのバージョンをリリースしました。

破壊的変更

PySpark spark.sql() 関数が無効な引数型で失敗するようになりました

Databricks Runtime 15.0 以降では、spark.sql() 関数に渡される名前付きパラメーターまたは位置指定パラメーターの args パラメーターは、ディクショナリまたはリストである必要があります。他のオブジェクト・タイプが渡された場合は、 PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>エラーが発生します。 .

DBFSルートへのライブラリの保存は非推奨であり、デフォルトによって無効にされています

Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.0 以降のデフォルトによって非推奨になり、無効になりました。Databricks では、Python ライブラリ、JAR ファイル、Spark コネクタを含むすべてのライブラリをワークスペース ファイル、Unity Catalog ボリュームにアップロードするか、パッケージ リポジトリを使用することをお勧めします。 ライブラリのアップロードに関する推奨事項を参照してください。

DBFSルートへのライブラリの保存を再度有効にするには、Spark構成パラメーター (spark.databricks.driver.dbfsLibraryInstallationAllowed true) を設定します。

デフォルトのPythonバージョンが3.10から3.11にアップグレードされました

Databricks Runtime 15.0 では、デフォルトの Python バージョンは 3.11.0 です。アップグレードされた Python ライブラリの一覧については、「 ライブラリのアップグレード」を参照してください。

JDK 11 の削除

以前に 発表したように、JDK 11 は Databricks Runtime 15.0 以降から削除されました。 Databricks では、Databricks Runtime 15.0 以降にアップグレードする場合は、JDK 17 にアップグレードすることをお勧めします。 「Databricks SDK for Java」を参照してください。

Python REPL が正常に終了するようになりました

Databricks Runtime 15.0 では、ノートブックの Python REPL プロセスが終了時に正常に終了するようになりました。 これにより、すべての atexit フックが尊重されます。 たとえば、複数の Python ノートブック タスクを含むワークフローでは、最初のタスクに登録された atexit フックは、2 番目の Python ノートブック タスクの実行前に実行されます。

新機能と改善点

• * (スター) 句が WHERE 句でサポートされるようになりました
• spark.sql.json.enablePartialResults設定がデフォルトで有効になりました
• クラスター ライブラリが requirements.txt ファイルに対応
• Databricks CLI Webターミナルで利用可能になりました
• デフォルト Python リポジトリをクラスター構成に追加する

* (スター) 句が WHERE 句でサポートされるようになりました

これで、WHERE 句のスター (*) 句を使用して、SELECT リストのすべての列を参照できるようになりました。たとえば、 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

spark.sql.json.enablePartialResults設定がデフォルトで有効になりました

Spark 構成 spark.sql.json.enablePartialResults がデフォルトで有効になったため、JSON パーサーは、残りのフィールドをドロップすることなく、struct、map、array などの複合型の解析エラーを正しく処理できるようになりました。 この変更により、カラムプルーニングを使用した JSON データソースの一貫性の問題が修正されます。

クラスター ライブラリが requirements.txt ファイルに対応

ワークスペース ファイルまたは Unity Catalog ボリュームに格納されている requirements.txt ファイルを使用して、クラスター ライブラリをインストールできるようになりました。 専用 アクセス モードと 標準 アクセス モードのクラスターでは、requirements.txt ファイルは他のファイルを参照できます。 分離なし共有 アクセス モードのクラスターでは、PyPI パッケージのみがサポートされます。クラスター ライブラリを参照してください。

Databricks CLI Webターミナルで利用可能になりました

これで、ノートブックのWebターミナルから Databricks CLI を使用できるようになりました。 ノートブックは、 専用 または 分離なしの共有 アクセス モードでクラスターにアタッチする必要があります。 詳しくは、WebターミナルとDatabricks CLIを使用するを参照してください。

デフォルト Python リポジトリをクラスター構成に追加する

Databricks Runtime 15.0 以降では、クラスターの構成時またはクラスターポリシーの定義時に、クラスターおよびノートブック スコープのライブラリのインストールにグローバル pip index-url パラメーターと extra-index-url パラメーターを構成できます。これを行うには、環境変数 DATABRICKS_PIP_INDEX_URL と DATABRICKS_PIP_EXTRA_INDEX_URLを設定します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:

  • 22.6.0 から 23.3.0 までの黒
  • boto3 1.24.28 から 1.34.39 まで
  • Botocore 1.27.96 から 1.34.39 へ
  • 2022.12.7から2023.7.22まで認証取得
  • 39.0.1 から 41.0.3 までの暗号化
  • 0.1.6 からの Databricks SDK 0.20.0 まで
  • distlib を 0.3.7 から 0.3.8 に変更
  • googleapis-common-protos を 1.62.0 から 1.63.0 へ
  • grpcio 1.48.2 から 1.60.0 へ
  • grpcio-status を 1.48.1 から 1.60.0 へ
  • importlib-metadata を 4.6.4 から 6.0.0 に変更
  • ipykernel 6.25.0 から 6.25.1 まで
  • 8.14.0 から 8.15.0 への ipython
  • ipywidgets 7.7.2 から 8.0.4 へ
  • 5.2.0 から 5.3.0 へのjupyter_core
  • jupyterlab-widgets を 1.0.0 から 3.0.5 に変更
  • matplotlib を 3.7.0 から 3.7.2 へ
  • 1.5.3 から 2.0.3 へのPandas
  • pip を 22.3.1 から 23.2.1 へ
  • platform2.5.2 から 3.10.0 までのディレクトリ
  • protobuf 4.24.0 から 4.24.1 へ
  • pyarrow を 8.0.0 から 14.0.1 へ
  • 2.11.2 から 2.15.1 への変更
  • 4.0.32 から 4.0.38 へのpyodbc
  • 2.28.1 から 2.31.0 へのリクエスト
  • s3 0.6.2 から 0.10.0 への転送
  • scikit-learn 1.1.1 から 1.3.0 まで
  • scipy 1.10.0 から 1.11.1 へ
  • 65.6.3 から 68.0.0 への setuptools
  • statsは 0.13.5 から 0.14.0 までモデル化します。
  • 8.1.0 からの粘り強さ 8.2.2 へ
  • トルネード 6.1 から 6.3.2 へ
  • 4.4.0 から 4.7.1 へのtyping_extensions
  • urllib3 を 1.26.14 から 1.26.16 に変更
  • virtualenv を 20.16.7 から 20.24.2 に変更
  • widgetsnb拡張子を 3.6.1 から 4.0.5 に変更
  • 1.0.0から3.11.0までのzipp

• アップグレードされた R ライブラリ:

  • 12.0.1 から 14.0.0.2 への矢印
  • 1.1から1.2.0へのaskpass
  • 4.3.1 から 4.3.2 へのベース
  • 1.0-8から1.0-10まで醸造
  • 1.1.3 からの Brio 1.1.4 まで
  • bslib を 0.5.0 から 0.6.1 に変更
  • 3.6.1 から 3.6.2 への CLI
  • commonmark 1.9.0 から 1.9.1 へ
  • 4.3.1 から 4.3.2 へのコンパイラ
  • 0.3.1 から 0.3.2 までの設定
  • cpp11 を 0.4.4 から 0.4.7 に
  • 1.3.2 から 2.0.1 までの認証情報
  • curl を 5.0.1 から 5.2.0 に変更
  • data.table を 1.14.8 から 1.15.0 に
  • 4.3.1 から 4.3.2 までのデータセット
  • 1.1.3 からの DBI 1.2.1 へ
  • dbplyr を 2.3.3 から 2.4.0 へ
  • 1.4.2 から 1.4.3 への DESC
  • 0.6.33 から 0.6.34 までのダイジェスト
  • dplyr 1.1.2 以降 1.1.4 まで
  • E1071 1.7-13 から 1.7-14
  • 0.21から0.23まで評価します
  • 1.0.4 から 1.0.6 への fansi
  • 0.5.1 から 0.5.2 への fontawesome
  • fs を 1.6.2 から 1.6.3 へ
  • 1.33.0 から 1.33.1 までの将来
  • future.1.11.0から1.11.1への適用
  • 1.5.1 から 1.5.2 へのうがい
  • gert 1.9.2 から 2.0.1 へ
  • ggplot2 を 3.4.2 から 3.4.4 へ
  • glmnet 4.1-7 から 4.1-8 へ
  • 1.6.2から1.7.0までの接着剤
  • 4.3.1 から 4.3.2 までのグラフィック
  • grDevices 4.3.1 から 4.3.2 へ
  • 4.3.1 から 4.3.2 へのグリッド
  • 0.3.3 から 0.3.4 まで調整可能
  • 1.3.0から1.3.1へのhardhat
  • 2.5.3 から 2.5.4 への haven
  • 0.5.5 から 0.5.7 までの htmltools
  • htmlwidgets 1.6.2 から 1.6.4 まで
  • httpuv 1.6.11 から 1.6.14 まで
  • HTTR 1.4.6 から 1.4.7 へ
  • 0.2.3 から 1.0.0 への HTTR2
  • jsonlite 1.8.7 から 1.8.8 へ
  • Knitr 1.43 から 1.45 へ
  • 0.4.2 から 0.4.3 までのラベル付け
  • 1.3.1 から 1.3.2 まで
  • 溶岩 1.7.2.1 から 1.7.3 へ
  • 1.0.3 から 1.0.4 までのライフサイクル
  • 0.9.0 から 0.9.1 までの listenv
  • lubridate 1.9.2 から 1.9.3 まで
  • 1.7 から 1.12 への値下げ
  • 4.3.1 から 4.3.2 までのメソッド
  • OpenSSL 2.0.6 から 2.1.1 へ
  • 4.3.1 から 4.3.2 への並列
  • pkgbuild を 1.4.2 から 1.4.3 に更新
  • pkgload を 1.3.2.1 から 1.3.4 へ
  • プライア 1.8.8 から 1.8.9 へ
  • prettyunits を 1.1.1 から 1.2.0 に更新
  • pROC 1.18.4 から 1.18.5 へ
  • processx 3.8.2 から 3.8.3 へ
  • 2023.03.31から2023.08.28までの製品
  • 1.2.2 から 1.2.3 への進捗
  • 0.13.0 から 0.14.0 へのプログレッサー
  • 1.2.0.1 から 1.2.1 までの promise
  • 1.7.5 から 1.7.6 への PS
  • 1.0.1 から 1.0.2 への purrr
  • ragg を 1.2.5 から 1.2.7 に変更
  • 1.0.11 から 1.0.12 への rcpp
  • 0.3.3.9.3 から 0.3.3.9.4 への RcppEigen
  • 2.1.4 からの読み取り 2.1.5 へ
  • 1.0.6から1.0.9までのレシピ
  • 1.0.1 から 2.0.0 への再戦
  • 2.4.2 から 2.4.2.1 へのリモート
  • 2.0.2 から 2.1.0 への reprex
  • rlang を 1.1.1 から 1.1.3 へ
  • rmarkdown を 2.23 から 2.25 に変更
  • RODBC 1.3-20 から 1.3-23 へ
  • roxygen2 を 7.2.3 から 7.3.1 に変更
  • rprojroot を 2.0.3 から 2.0.4 へ
  • 1.8-11 から 1.8-13 までの Rserve
  • RSQLite 2.3.1 から 2.3.5 へ
  • 0.4.6 から 0.4.8 への sass
  • 1.2.1 から 1.3.0 までスケール
  • 1.7.4.1 から 1.8.0 までの光沢
  • Sparklyr 1.8.1 から 1.8.4 へ
  • 4.3.1 から 4.3.2 へのスプライン
  • 4.3.1 から 4.3.2 までの統計
  • stats4 を 4.3.1 から 4.3.2 に
  • stringi を 1.7.12 から 1.8.3 へ
  • stringr を 1.5.0 から 1.5.1 へ
  • 1.0.4 から 1.0.5 までのシステムフォント
  • 4.3.1 から 4.3.2 への tcltk
  • 3.1.10 からの testthat 3.2.1 へ
  • 0.3.6 から 0.3.7 までのテキストシェーピング
  • Tidyr 1.3.0 から 1.3.1 へ
  • time0.2.0 から 0.3.0 への変更
  • time日付 4022.108 から 4032.109 まで
  • 0.45から0.49へのtinytex
  • 4.3.1 から 4.3.2 までのツール
  • utf8 を 1.2.3 から 1.2.4 へ
  • 4.3.1 から 4.3.2 までのユーティリティ
  • UUID 1.1-0 から 1.2-0
  • 0.6.3 から 0.6.5 までの VCTRS
  • vroom 1.6.3 から 1.6.5 へ
  • 0.5.1から0.5.2へのwaldo
  • 2.5.0 から 3.0.0 への変更
  • 0.39から0.41へのxfun
  • xml2 から 1.3.5 から 1.3.6 まで
  • 2.3.7 から 2.3.8 までの YAML
  • 2.3.0から2.3.1までのzip圧縮

• アップグレードされた Java ライブラリ:

  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.15.1 から 2.16.0 まで
  • com.google.flatbuffers.flatbuffers-java 1.12.0 から 23.5.26 まで
  • com.typesafe.config を 1.2.1 から 1.4.3 へ
  • org.apache.ant.ant を 1.9.16 から 1.10.11 に変更
  • org.apache.ant.ant-jsch 1.9.16 から 1.10.11 まで
  • org.apache.ant.ant-launcher 1.9.16 から 1.10.11 まで
  • org.apache.arrow.arrow-format 12.0.1 から 15.0.0 まで
  • org.apache.arrow.arrow-memory-core 12.0.1 から 15.0.0 まで
  • org.apache.arrow.arrow-memory-netty 12.0.1 から 15.0.0 まで
  • org.apache.arrow.arrow-ベクター 12.0.1 から 15.0.0 まで
  • org.apache.avro.avro を 1.11.2 から 1.11.3 に変更
  • org.apache.avro.avro-ipc 1.11.2 から 1.11.3 まで
  • org.apache.avro.avro-mapred 1.11.2 から 1.11.3 まで
  • org.apache.logging.log4j.log4j-1.2-api 2.20.0 から 2.22.1 まで
  • org.apache.logging.log4j.log4j-api 2.20.0 から 2.22.1 まで
  • org.apache.logging.log4j.log4j-core 2.20.0 から 2.22.1 まで
  • org.apache.logging.log4j.log4j-slf4j2-impl 2.20.0 から 2.22.1 まで
  • org.postgresql.postgresql 42.6.0 から 42.6.1 へ

Apache Spark

Databricks Runtime 15.0 には Apache Spark 3.5.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 14.3 LTS に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

• [SPARK-45527] [DBRRM-805][es-1073714] 「[SC-151626][core] 分数を使用してリソース計算を行う」を元に戻す
• [SPARK-47102] [DBRRM-803][sc-158253][SQL] COLLATION_ENABLED 設定フラグを追加
• [SPARK-46973] [SC-158140][dbrrm-777][SQL] テーブルがV1テーブルキャッシュにある場合、V2テーブルルックアップをスキップします
• [SPARK-46808] [SC-154113] [Python] 自動ソート機能で Python のエラークラスを絞り込む
• [SPARK-47251] [SC-158291][Python] sqlコマンドのargs引数から無効なタイプをブロック
• [SPARK-47251] [SC-158121][Python] sqlコマンドのargs引数から無効なタイプをブロック
• [SPARK-47108] [SC-157204][core] CLIで derby.connection.requireAuthentication を明示的に false するように設定
• [SPARK-45599] [SC-157537][core] OpenHashSetでオブジェクトの等価性を使用
• [SPARK-47099] [SC-157352][sql] ordinalNumber を使用して、エラークラスの paramIndex の値を一様に設定する UNEXPECTED_INPUT_TYPE
• [SPARK-46558] [SC-151363][connect] ヘルパー関数を抽出して、ErrorParamsからMessageParametersを取得する重複コードを削除 GrpcExceptionConverter
• [SPARK-43117] [SC-156177][接続] 繰り返しフィールドをサポートする ProtoUtils.abbreviate を作成
• [SPARK-46342] [SC-150283][sql] SQLで IllegalStateException を SparkException.internalError に置き換える
• [SPARK-47123] [SC-157412][core] JDBCRDDがgetQueryOutputSchemaのエラーを正しく処理しない
• [SPARK-47189] [SC-157667][sql] 列のエラー名とテキストを微調整
• [SPARK-45789] [SC-157101][sql] クラスタリング列のDESCRIBE TABLEをサポート
• [SPARK-43256] [SC-157699][sql] エラークラスを削除 _LEGACY_ERROR_TEMP_2021
• [SPARK-47201] [SC-157782] [Python][CONNECT] sameSemantics入力タイプをチェックします
• [SPARK-47183] [ SC-157660] [Python] のエラークラスを修正 sameSemantics
• [SPARK-47179] [SC-157663][sql] SparkThrowableSuiteからのエラーメッセージを改善し、デバッグ性を向上させる
• [SPARK-46965] [SC-155791][core] チェックインlogType Utils.getLog
• [SPARK-46832] [SC-156774][sql] 照合式と照合式の導入
• [SPARK-46946] [SC-155721][sql] DynamicPruningで複数のフィルタリングキーのブロードキャストをサポート
• [SPARK-47079] [VARIANT-22][sc-157598][Python][sql][CONNECT] バリアントタイプ情報をPySparkに追加
• [SPARK-47101] [SC-157360][sql] 最上位の列名にカンマの使用を許可し、 HiveExternalCatalog.verifyDataSchema
• [SPARK-47173] [SC-157571][ss][UI] ストリーミングUIの説明のタイプミスを修正
• [SPARK-47113] [SC-157348][core] SPARK-35878のS3Aエンドポイント修正ロジックを元に戻す
• [SPARK-47130] [SC-157462][core] ドライバーログのクリーニング時にlistStatusを使用してブロック位置情報をバイパス
• [SPARK-43259] [SC-157368][sql] エラークラスに名前を割り当てる _LEGACY_ERROR_TEMP_2024
• [SPARK-47104] [SC-157355][sql] 安全でないプロジェクションを初期化TakeOrderedAndProjectExec
• [SPARK-47137] [SC-157463]Python][CONNECT] getAllをspark.confに追加して、Scalaとの機能パリティを実現
• [SPARK-46924] [SC-154905][core] ログUIのLoad Newボタンを修正Master/HistoryServer
• [SPARK-47069] [SC-157370] [Python][CONNECT] SparkSessionベースのプロファイリングにspark.profile.show/dumpを導入
• [SPARK-46812] [SC-157075][sql][Python] mapInPandas / mapInArrow が ResourceProfile をサポートするようにする
• [SPARK-46833] [SC-155866][sql] 照合 - サポートされている照合の比較ルールとハッシュルールを提供するCollationFactoryの紹介
• [SPARK-47057] [SC-157036] [Python] Reeanble MyPy データテスト
• [SPARK-46934] [SC-157084][sql] HMSを使用した特殊文字を含む構造体タイプの読み取り/書き込みラウンドトリップ
• [SPARK-46727] [SC-153472][sql] エラークラスのJDBCダイアレクトのポートclassifyException()
• [SPARK-46964] [SC-155740][sql] hllInvalidLgKクエリ実行エラーのシグネチャを変更して、4番目の引数として整数を取るように変更
• [SPARK-46949] [SC-155719][sql] ResolveDefaultColumnsによるCHAR/VARCHARのサポート
• [SPARK-46972] [SC-155888][sql] V2SessionCatalog.createTableのchar/varcharの非対称置換を修正
• [SPARK-47014] [SC-156778]Python][CONNECT] SparkSessionのメソッドdumpPerfProfilesおよびdumpMemoryProfilesを実装する
• [SPARK-46689] [SC-156221][spark-46690][Python][connect] グループ/cogroup applyInPandas/applyInArrow で v2 プロファイリングをサポート
• [SPARK-47040] [SC-156773][connect] Spark Connectサーバースクリプトの待機を許可
• [SPARK-46688] [SC-156113][spark-46691][Python][connect] UDFs Pandas 集約したv2プロファイリングをサポート
• [SPARK-47004] [SC-156499][connect] Scalaクライアントのテストカバレッジを拡大するために、ClientStreamingQuerySuiteにテストを追加
• [SPARK-46994] [SC-156169] [Python] PythonWrite をリファクタリングして、 Python データソース ストリーミング書き込みをサポートする準備をする
• [SPARK-46979] [SC-156587][ss] キーと値のエンコーダーを個別に指定するためのサポートを追加し、 RocksDB 状態ストアプロバイダーの各colファミリーにも指定するためのサポートを追加
• [SPARK-46960] [SC-155940][ss] TransformWithState演算子を使用した複数の入力ストリームのテスト
• [SPARK-46966] [SC-156112] [Python] 「analyze」メソッドのUDTF API を追加して、選択する入力テーブル列のサブセットを示すように修正
• [SPARK-46895] [SC-155950][core] タイマーをシングルスレッドのスケジュールされたエグゼキューターに置き換えてください
• [SPARK-46967] [SC-155815][core][UI] Executors UIでDeadエグゼキューターのThread DumpとHeap Histogramを非表示にする
• [SPARK-46512] [SC-155826][core] ソートとコンバインの両方が使用されている場合にシャッフル読み取りを最適化します。
• [SPARK-46958] [SC-155942][sql] デフォルト値を強制するために欠落しているタイムゾーンを追加
• [SPARK-46754] [SC-153830][sql][AVRO] avroテーブル定義および書き込みオプションの圧縮コード解決を修正
• [SPARK-46728] [ SC-154207 ]Python] Pandas 取り付けを正しく確認してください
• [SPARK-43403] [SC-154216][ui] 新しいSparkUIをロードする前に、HistoryServerの古いSparkUIが切り離されていることを確認
• [SPARK-39910] [SC-156203][sql] データソースファイルパスグロビング中にファイルシステムへのパス修飾を委任します
• [SPARK-47000] [SC-156123] 「[SC-156123][core] getTotalMemorySize...
• [SPARK-46819] [SC-154560][core] エラーカテゴリと状態をJSONに移動
• [SPARK-46997] [SC-156175][core] デフォルトで spark.worker.cleanup.enabled を有効にする
• [SPARK-46865] [SC-156168][ss] TransformWithState演算子のバッチサポートを追加
• [SPARK-46987] [SC-156040][接続] 不要なsetField操作を避けるProtoUtils.abbreviate
• [SPARK-46970] [SC-155816][core] OpenHashSet#hasher を pattern matching
• [SPARK-46984] [SC-156024] [Python] PySpark.copy_funcを削除
• [SPARK-47000] [SC-156123] [コア] getTotalMemorySize WorkerArguments
• [SPARK-46980] [SC-155914][sql][MINOR] データフレームのエンドツーエンドテストで内部 APIs を使用しないようにしました
• [スパーク-46931] 「[SC-155661][ps] {Frame, Series}.to_hdfを実装」を差し戻します
• [SPARK-46618] [SC-153828][sql] DATA_SOURCE_NOT_FOUNDエラーのエラーメッセージを改善
• [SPARK-46849] [SC-154586][sql] CREATE TABLE列のデフォルトに対してオプティマイザーを実行する
• [SPARK-46911] [SC-155724][ss] StatefulProcessorHandleImplにdeleteIfExists演算子を追加
• [SPARK-43273] [SQL] Parquet の lz4raw 圧縮コーデックをサポート
• [SPARK-47002] [SC-156223][Python] UDTF の「analyze」メソッド「orderBy」フィールドが誤って文字列のリストを返す場合、より適切なエラーメッセージを返す
• [SPARK-46890] [SC-155802][sql] 存在のデフォルト値と列のプルーニングに関するCSV解析のバグを修正
• [SPARK-46977] [SC-155892][core] 1つのNameNodeからトークンを取得するリクエストが失敗した場合に、後続のトークンリクエストをスキップしないように修正
• [SPARK-46608] [SC-151806][sql] の後方互換性を復元 JdbcDialect.classifyException
• [SPARK-46908] [SC-155702][sql] WHERE句でスター句をサポート
• [SPARK-46908] [SC-155702][sql] WHERE句でスター句をサポート
• [SPARK-46852] [SC-155665][ss] 明示的なキーエンコーダーの使用を削除し、transformWithState演算子の演算子に暗黙的に渡す
• [SPARK-46864] [SC-155669][ss] 任意のStateV2を新しいエラークラスフレームワークにオンボード
• [SPARK-45807] [SC-155706][sql] replaceView(..) を呼び出した後にビューを返す
• [SPARK-46899] [SC-154651][coreMasterWebUI``POST APIs ] spark.ui.killEnabledが false
• [SPARK-46868] [SC-154539][core] ワーカー Spark ログUIをサポート
• [SPARK-46931] [SC-155661] [ps] インプリメント {Frame, Series}.to_hdf
• [SPARK-46940] [SC-155667][core] 未使用の updateSparkConfigFromProperties と isAbsoluteURI を削除 o.a.s.u.Utils
• [SPARK-46929] [SC-155659][core][CONNECT][ss] ThreadUtils.shutdownを使用してスレッドプールを閉じる
• [SPARK-46400] [SC-155658][core][SQL] ローカルの Maven リポジトリに破損したファイルがある場合は、このキャッシュをスキップして再試行してください
• [SPARK-46932] [SC-155655] インポートをクリーンアップ pyspark.pandas.test_*
• [SPARK-46683] [SC-154120] サブクエリの順列を生成するサブクエリジェネレータを作成して、テストカバレッジを拡大
• [SPARK-46914] [SC-154776][ui] 履歴ページの概要表のアプリ名を短くする
• [SPARK-46831] [SC-154699][sql] 照合順序 - collationIdフィールドを使用したStringTypeおよびPhysicalStringTypeの拡張
• [SPARK-46816] [SC-154415][ss] 新しい任意の状態管理演算子、単一のvalueStateタイプ、複数の状態変数の基本サポートを追加し、変更ログのチェックポイントあり/なしにかかわらずRocksDBStateStoreProviderの列ファミリーの基本サポートを追加
• [SPARK-46925] [SC-154890][Python][CONNECT] メモリプロファイリング用のmemory_profilerをインストールするように指示する警告を追加
• [SPARK-46927] [SC-154904] [Python] PyArrow なしで assertDataFrameEqual を正常に動作させる
• [SPARK-46021] [SC-148987][core] ジョブグループに属する将来のジョブのキャンセルをサポート
• [SPARK-46747] [SC-154789][sql] JDBC ダイアレクトの getTableExistsQuery でのスキャンを避ける
• [SPARK-46904] [SC-154704][ui] 履歴UIの概要の表示の問題を修正
• [SPARK-46870] [SC-154541][core] Spark Master Log UIをサポート
• [SPARK-46893] [SC-154780][ui] UIの説明からインラインスクリプトを削除
• [SPARK-46910] [SC-154760][Python] PySpark インストールでのJDK要件の排除
• [SPARK-46907] [SC-154736][core] Spark History Serverにドライバーログの場所を表示する
• [SPARK-46902] [SC-154661][ui] エクスポートされていないsetAppLimitを使用するためのSpark History ServerのUIを修正
• [SPARK-46687] [SC-154725]Python][CONNECT] SparkSessionベースのメモリプロファイラーの基本サポート
• [SPARK-46623] [SC-153831][core][MLlib][sql] SimpleDateFormatをDateTimeFormatterに置き換えてください
• [SPARK-46875] [SC-154627][sql] modeがnullの場合、NullPointException``notスローされるべきです
• [SPARK-46872] [SC-154543][core] 非モジュールに log-view.js を回復する
• [SPARK-46883] [SC-154629][core] API /json/clusterutilization をサポート
• [SPARK-46886] [SC-154630][core] デフォルトで spark.ui.prometheus.enabled を有効にする
• [SPARK-46873] [SC-154638][ss] 同じSparkセッションに対して新しいStreamingQueryManagerを再作成しない
• [SPARK-46829] [SC-154419][core] SparkEnvからcreateExecutorEnvを削除
• [SPARK-46827] [SC-154280][core] シンボリックリンクをサポートするように RocksDBPersistenceEngine を作成
• [SPARK-46903] [SC-154662][core] Spark History Server Log UIをサポート
• [SPARK-46874] [SC-154646]Python] pyspark.pandas依存関係の削除 assertDataFrameEqual
• [SPARK-46889] [SC-154639][core] spark.master.ui.decommission.allow.mode 設定の検証
• [SPARK-46850] [SC-154443][sql] _LEGACY_ERROR_TEMP_2102 を UNSUPPORTED_DATATYPE
• [SPARK-46704] [SC-153323][core][UI] テーブルをDuration列ごとに正しく並べ替えるようにMasterPageを修正Running Drivers
• [SPARK-46796] [SC-154279][ss] 正しいリモートファイルを確認します（metadata.zipに記載) RocksDB バージョンの読み込みで使用されます
• [SPARK-46888] [SC-154636][core] デコミッションが無効になっている場合に/workers/kill/リクエストを拒否するようにMasterを修正
• [SPARK-46818] [SC-154422][sql] 折り畳み式でない入力を持つRangeのエラーメッセージを改善
• [SPARK-46898] [SC-154649][接続] Planner での protobuf 関数変換の簡略化
• [SPARK-46828] [SC-154413][sql] spark sql シェルの無効なリモートモードのアサーションを削除
• [SPARK-46733] [SC-154274][core] 割り込みスレッドのみに依存する終了操作により、BlockManagerを簡素化します。
• [SPARK-46777] [SC-154016][ss] 触媒構造 StreamingDataSourceV2Relation バッチバージョンと同等にリファクタリング
• [SPARK-46515] [SC-151716] MONTHNAME関数を追加
• [SPARK-46823] [SC-154276][接続][Python] LocalDataToArrowConversion null 可能性を確認する必要があります
• [SPARK-46787] [SC-154404][connect] bloomFilter 関数は無効な入力に対して AnalysisException をスローする必要があります
• [SPARK-46779] [SC-154045][sql] 同じキャッシュされたプランの InMemoryRelation インスタンスは、セマンティック的に同等であるべき
• [SPARK-45827] [SC-153973] バリアント列のパーティション分割を許可しない
• [SPARK-46797] [SC-154085][core] spark.deploy.spreadOut の名前を次のように変更 spark.deploy.spreadOutApps
• [SPARK-46094] [SC-153421] エグゼキューターの JVM プロファイリングをサポート
• [SPARK-46746] [SC-153557][sql][AVRO] コーデック拡張子をavroデータソースファイルに添付
• [SPARK-46698] [SC-153288][core] ConsoleProgressBarのタイマーをシングルスレッドのスケジュールされたエグゼキューターに置き換えます。
• [SPARK-46629] [SC-153835] STRUCTタイプのDDLがnullabilityとコメントを取得しない問題を修正
• [SPARK-46750] [SC-153772][接続][Python] DataFrame APIs コードのクリーンアップ
• [SPARK-46769] [SC-153979][sql] タイムスタンプ関連のスキーマ推論を絞り込む
• [SPARK-46765] [SC-153904]Python][CONNECT] shuffleデータ型を指定させる seed
• [SPARK-46579] [SC-151481][sql] エラーとログのJDBC URLを編集
• [SPARK-46686] [SC-153875]Python][CONNECT] SparkSession ベースの Python UDF プロファイラーの基本サポート
• [スパーク-46748] 「[SC-153800][core] *sla***.sh scri...
• [SPARK-46707] [SC-153833][sql] プレディケートのプッシュダウンを改善するために、式にスロー可能なフィールドを追加
• [SPARK-46519] [SC-151278][sql] error-classes.json ファイルから未使用のエラークラスをクリアする
• [SPARK-46677] [SC-153426][sql][CONNECT] dataframe["*"] の解像度を修正
• [SPARK-46317] [SC-150184]Python][CONNECT] SparkSession 内のマイナーな動作のマッチングをフルテストカバレッジで一致させる
• [SPARK-46748] [SC-153800][core] *sla***.sh スクリプトの削除
• [SPARK-46663] [SC-153490] [Python] イテレータを持つ Pandas UDF のメモリプロファイラを無効にします。
• [SPARK-46410] [SC-150776][sql] エラークラス/サブクラスをJdbcUtils.classifyExceptionに割り当てる
• [SPARK-46277] [SC-150126][Python] 設定が設定された状態でスタートアップURLを検証する
• [SPARK-46612] [SC-153536][sql] JDBCドライバーから取得した配列型文字列を変換しない
• [SPARK-46254] [SC-149788][Python] 古い Python の削除 3.8/3.7 バージョンチェック
• [SPARK-46490] [SC-151335][sql] SparkThrowable サブクラスにエラークラスが必要
• [SPARK-46383] [SC-153274][sc-147443][WARMFIX] ドライバーのヒープ使用量を削減し、 TaskInfo.accumulables()
• [SPARK-46541] [SC-153109][sql][CONNECT] 自己結合のあいまいな列参照を修正
• [SPARK-46381] [SC-150495][sql] AnalysisException のサブクラスをエラークラスに移行
• [SPARK-46351] [SC-150335][sql] エラークラスを AnalysisException
• [SPARK-46220] [SC-149689][sql] 文字セットを制限 decode()
• [SPARK-46369] [SC-150340][core] killドライバーからリンクを削除RELAUNCHING MasterPage
• [SPARK-46052] [SC-153284][core] 関数TaskScheduler.killAllTaskAttemptsを削除
• [SPARK-46536] [SC-153164][sql] サポートグループ BY calendar_interval_type
• [SPARK-46675] [SC-153209][sql] ParquetReadSupportの未使用のinferTimestampNTZを削除
• [SPARK-46717] [SC-153423][core] 割り込みスレッドのみに依存する終了操作により、 ReloadingX509TrustManager を簡素化します。
• [SPARK-46722] [SC-153438][connect] Spark Connect(Scala/PySpark)のStreamingQueryListenerの後方互換性チェックに関するテストを追加
• [SPARK-46187] [SC-149580][sql] codegen と non codegen の実装を揃える StringDecode
• [SPARK-46258] [SC-149799][core] 追加 RocksDBPersistenceEngine
• [SPARK-46216] [SC-149676][core] 圧縮をサポートするように FileSystemPersistenceEngine を改善
• [SPARK-46189] [SC-149567][ps][SQL] さまざまなPandas集計関数で同じタイプ間で比較と演算を実行し、インタープリターモードエラーを回避します
• [SPARK-46184] [SC-149563][core][SQL][ connect][MLlib] Option.isDefinedをOption.isEmptyに置き換えることにより、スタックの深さを削減
• [SPARK-46700] [SC-153329][core] Count the last spilling for the shuffle disk spilling bytes メトリクス
• [SPARK-45642] [SC-150286][core][SQL] 修正 FileSystem.isFile & FileSystem.isDirectory is deprecated
• [SPARK-46640] [SC-153272][sql] サブクエリ属性を除外してRemoveRedundantAliasを修正
• [SPARK-46681] [SC-153287][core] MAX_EXECUTOR_FAILURESが構成されているときにdefaultMaxNumExecutorFailuresを計算しないようにExecutorFailureTracker#maxNumExecutorFailuresをリファクタリング
• [SPARK-46695] [SC-153289][sql][HIVE] 常にhive.execution.engineをmrに設定する
• [SPARK-46325] [SC-150228][connect] WrappedCloseableIterator を構築する際の不要なオーバーライド関数を削除 ResponseValidator#wrapIterator
• [SPARK-46232] [SC-149699] [Python] 残りのすべての ValueError をエラーフレームワークに移行 PySpark 。
• [SPARK-46547] [SC-153174][ss] メンテナンスタスクで致命的でない例外を飲み込むことで、メンテナンススレッドとストリーミング集約オペレーター間のデッドロックを回避する
• [SPARK-46169] [SC-149373][ps] DataFrame API から欠落しているパラメーターに適切な JIRA 番号を割り当てます。
• [SPARK-45857] [SC-148096][sql] のサブクラスでエラークラスを強制します。 AnalysisException

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。 最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロード、 JDBC のダウンロード)。

メンテナンスの更新

「Databricks Runtime 15.0 メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティングシステム :Ubuntu 22.04.4 LTSの
• Java の:Zulu 8.74.0.17-CA-linux64
• Scala : 2.12.15
• Python : 3.11.0
• R :4.3.2
• Delta Lake : 3.1.0

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アストトークンズ	2.0.5	アストゥンパース	1.6.3	azure-core	1.30.1
azure-storage-blob	12.19.1	azure-storage-file-datalake	12.14.0	バックコール	0.2.0
黒い	23.3.0	ウィンカー	1.4	ボト3	1.34.39
ボトコア	1.34.39	cachetools	5.3.3	認証	2023.7.22
cffi	1.15.1	シャルデ	4.0.0	文字セット・ノーマライザー	2.0.4
クリック	8.0.4	クラウドピクルス	2.2.1	通信	0.1.2
コントルピー	1.0.5	暗号化手法	41.0.3	サーマルサイクラー	0.11.0
シトン	0.29.32	Databricks の SDK	0.20.0	DBUSPython	1.2.18
デバッグ	1.6.7	デコレータ	5.1.1	ディストリビューション	0.3.8
エントリポイント	0.4	実行	0.8.3	facets-概要	1.1.1
ファイルロック	3.13.1	fonttools	4.25.0	ギットDB	4.0.11
ギットパイソン	3.1.42	グーグルAPIコア	2.17.1	グーグル認証	2.28.2
グーグルクラウドコア	2.4.1	Google Cloud Storage	2.15.0	グーグル-CRC32C	1.5.0
Googleの再開可能なメディア	2.7.0	googleapis-common-protos	1.63.0	grpcio	1.60.0
grpcio-ステータス	1.60.0	httplib2の	0.20.2	イドナ	3.4
importlib-metadata	6.0.0	ipyflow-コア	0.0.198	ipykernel(英語)	6.25.1
アイパイソン	8.15.0	ipywidgets	8.0.4	イソデート	0.6.1
ジェダイ	0.18.1	ジープニー	0.7.1	jmespathの	0.10.0
ジョブリブ	1.2.0	jupyter_client	7.4.9	jupyter_core	5.3.0
jupyterlab-widgetsの	3.0.5	キーリング	23.5.0	キウイソルバー	1.4.4
ローンチパッドリブ	1.10.16	lazr.restfulクライアント	0.14.4	lazr.uri です。	1.0.6
Matplotlib	3.7.2	matplotlib-インライン	0.1.6	mlflow-skinny	2.11.1
もっと-itertools	8.10.0	mypy-extensions	0.4.3	ネスト-アシンシオ	1.5.6
ナムピー	1.23.5	OAuthlib	3.2.0	包装	23.2
pandas	2.0.3	パルソ	0.8.3	パススペック	0.10.3
パッツィ	0.5.3	pexpect	4.8.0	ピクルシェア	0.7.5
枕	9.4.0	種	23.2.1	プラットフォームディレクトリ	3.10.0
Plotly	5.9.0	プロンプトツールキット	3.0.36	プロトブフ	4.24.1
psutil の	5.9.0	サイコップ2	2.9.3	PTYPROCESSの	0.7.0
ピュア評価	0.2.2	ピアロー	14.0.1	pyasn1	0.4.8
pyasn1モジュール	0.2.8	ピッコロ	0.0.52	pycparser	2.21
ピダンティック	1.10.6	ピグメント	2.15.1	PyGObject	3.42.1
PyJWTの	2.3.0	pyodbc	4.0.38	pyparsing (英語)	3.0.9
Python-dateutil	2.8.2	Python-lsp-jsonrpc	1.1.1	ピッツ	2022.7
PyYAML (英語)	6.0	ピズム	23.2.0	要求	2.31.0
rsa	4.9	S3トランスファー	0.10.0	Scikit-Learn	1.3.0
scipy(サイピー)	1.11.1	シーボーン	0.12.2	シークレットストレージ	3.3.1
セットアップツール	68.0.0	6	1.16.0	SMMAPの	5.0.1
sqlparse	0.4.4	ssh-import-id	5.11	スタックデータ	0.2.0
統計モデル	0.14.0	持久力	8.2.2	スレッドプールctl	2.2.0
トークン化-RT	4.2.1	竜巻	6.3.2	トレイトレット	5.7.1
typing_extensions	4.7.1	tzdata (英語)	2022.1	ujson	5.4.0
無人アップグレード	0.1	urllib3 の	1.26.16	virtualenv	20.24.2
ワドリブ	1.3.6	WC幅	0.2.5	輪	0.38.4
widgetsnb拡張機能	4.0.5	ジップ	3.11.0

インストールされている R ライブラリ

R ライブラリは、 2023-02-10 の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
矢	14.0.0.2	アスクパス	1.2.0	assertthat	0.2.1
バックポート	1.4.1	基	4.3.2	base64enc	0.1-3
bigDの	0.2.0	bit	4.0.5	ビット64	4.0.5
ビットプス	1.0-7	ブロッブ	1.2.4	ブート	1.3-28
醸成	1.0-10	ブリオ	1.1.4	箒	1.0.5
bslibの	0.6.1	カケム	1.0.8	コール	3.7.3
キャレット	6.0-94	セルレンジャー	1.1.0	クロン	2.3-61
クラス	7.3-22	CLI	3.6.2	clipr	0.8.0
時計	0.7.0	クラスター	2.1.4	コードツール	0.2-19
カラースペース	2.1-0	コモンマーク	1.9.1	コンパイラ	4.3.2
コンフィグ	0.3.2	競合	1.2.0	CPP11の	0.4.7
クレヨン	1.5.2	資格情報	2.0.1	Curl	5.2.0
データ.テーブル	1.15.0	データセット	4.3.2	DBI	1.2.1
dbplirの	2.4.0	DESC	1.4.3	開発ツール	2.4.5
ダイアグラム	1.6.5	ディフobj	0.3.5	ダイジェスト	0.6.34
ダウンライト	0.4.3	dplyrの	1.1.4	DTPLyr	1.3.1
E1071	1.7-14	省略記号	0.3.2	評	0.23
ファンシ	1.0.6	ファーバー	2.1.1	ファストマップ	1.1.1
フォントオーサム	0.5.2	フォーキャッツ	1.0.0	For each	1.5.2
外国の	0.8-85	鍛える	0.2.0	FSの	1.6.3
未来	1.33.1	future.お申込み	1.11.1	嗽	1.5.2
ジェネリック	0.1.3	ゲルト	2.0.1	ggplot2の	3.4.4
gh	1.4.0	ギット2R	0.33.0	ギットレッズ	0.1.2
glmnet	4.1-8	グローバル	0.16.2	膠	1.7.0
グーグルドライブ	2.1.1	グーグルシート4	1.1.1	ガウアー	1.0.1
グラフィックス	4.3.2	grDevicesの	4.3.2	グリッド	4.3.2
グリッドエクストラ	2.3	gsubfnの	0.7	GT	0.10.1
GTABLE(GTABLE)	0.3.4	ヘルメット	1.3.1	避難所	2.5.4
高い	0.10	HMSの	1.1.3	htmlツール[htmltools]	0.5.7
htmlウィジェット	1.6.4	httpuv	1.6.14	httr	1.4.7
HTTR2	1.0.0	ids	1.0.1	イニ	0.3.1
イプレッド	0.9-14	アイソバンド	0.2.7	反復 子	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	ジューシージュース	0.1.0
カーンスムース	2.23-21	ニット	1.45	ラベリング	0.4.3
あとで	1.3.2	格子	0.21-8	溶岩	1.7.3
ライフサイクル	1.0.4	リッスン	0.9.1	ルブリデート	1.9.3
マグリット	2.0.3	Markdown	1.12	質量	7.3-60
マトリックス	1.5-4.1	メモ	2.0.1	メソッド	4.3.2
mgcv	1.8-42	マイム	0.12	ミニUI	0.1.1.1
MLflow	2.10.0	モデルメトリクス	1.2.2.2	モデラー	0.1.11
マンセル	0.5.0	nlme	3.1-163	ネット	7.3-19
numDerivの	2016.8-1.1	オープンSSL	2.1.1	並列	4.3.2
並行して	1.36.0	柱	1.9.0	pkgbuild の	1.4.3
pkgconfig	2.0.3	pkgdown (英語)	2.0.7	pkgload(パッケージロード)	1.3.4
plogrの	0.2.0	プライル	1.8.9	褒める	1.0.0
プリティユニット	1.2.0	pROC	1.18.5	プロセスX	3.8.3
製品	2023.08.28	プロヴィス	0.3.8	経過	1.2.3
プログレッサー	0.14.0	約束	1.2.1	プロト	1.0.0
プロキシ	0.4-27	PS	1.7.6	ゴロゴロ	1.0.2
R6の	2.5.1	ラグ	1.2.7	ランダムフォレスト	4.7-1.1
ラプディレクトリ	0.3.3	rcmdcheckの	1.4.0	RColorブリューワー	1.1-3
Rcpp	1.0.12	RcppEigen	0.3.3.9.4	反応可能	0.4.4
リアクターR	0.5.0	読み取り	2.1.5	readxlの	1.4.3
レシピ	1.0.9	再戦	2.0.0	再戦2	2.1.2
リモコン	2.4.2.1	レプレックス	2.1.0	形状変更2	1.4.4
ラン	1.1.3	rmarkdown	2.25	RODBC	1.3-23
リオキシジェン2	7.3.1	rpart	4.1.21	rprojroot さん	2.0.4
サーブ	1.8-13	RSQLite (英語)	2.3.5	rstudioapi	0.15.0
rversions	2.1.2	アヴェスト	1.0.3	サス	0.4.8
秤	1.3.0	セレクタ	0.4-2	セッション情報	1.2.2
形	1.4.6	shiny	1.8.0	ソースツール	0.1.7-1
sparklyr	1.8.4	空間的	7.3-15	スプライン	4.3.2
sqldf	0.4-11	スクエアム	2021.1	統計	4.3.2
統計4	4.3.2	ストリンギ	1.8.3	ストリンガー	1.5.1
生存	3.5-5	闊歩	3.33.1	SYSの	3.4.2
システムフォント	1.0.5	tcltk	4.3.2	テストを	3.2.1
テキストシェーピング	0.3.7	ティブル	3.2.1	ティディル	1.3.1
ティディセレクト	1.2.0	ティディバース	2.0.0	時間変更	0.3.0
日時	4032.109	タイニーテックス	0.49	ツール	4.3.2
tzdb	0.4.0	urlchecker(英語)	1.0.1	usethisさん	2.2.2
UTF8	1.2.4	ユーティリティ	4.3.2	UUIDの	1.2-0
V8の	4.4.1	vctrs	0.6.5	viridisライト	0.4.2
ブルーム	1.6.5	ワルド	0.5.2	ウイスカー	0.4.1
ウィザー	3.0.0	xfun	0.41	XML2の	1.3.6
xopen(オーペン)	1.0.0	エクステーブル	1.8-4	ヤムラ	2.3.8
ジーロット	0.1.0	郵便番号	2.3.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.12.390
com.amazonawsの	aws-java-sdk-cloudformation	1.12.390
com.amazonawsの	aws-java-sdk-cloudfront	1.12.390
com.amazonawsの	aws-java-sdk-cloudhsm	1.12.390
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.12.390
com.amazonawsの	aws-java-sdk-cloudtrail	1.12.390
com.amazonawsの	aws-java-sdk-cloudwatch	1.12.390
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.12.390
com.amazonawsの	aws-java-sdk-コードデプロイ	1.12.390
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.12.390
com.amazonawsの	aws-java-sdk-cognitosync	1.12.390
com.amazonawsの	aws-java-sdk-configの	1.12.390
com.amazonawsの	aws-java-sdk-コア	1.12.390
com.amazonawsの	aws-java-sdk-データパイプライン	1.12.390
com.amazonawsの	aws-java-sdk-directconnectの	1.12.390
com.amazonawsの	aws-java-sdkディレクトリ	1.12.390
com.amazonawsの	aws-java-sdk-ダイナモDB	1.12.390
com.amazonawsの	aws-java-sdk-ec2 の	1.12.390
com.amazonawsの	aws-java-sdk-ecsの	1.12.390
com.amazonawsの	aws-java-sdk-efs	1.12.390
com.amazonawsの	aws-java-sdk-elasticache	1.12.390
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.12.390
com.amazonawsの	aws-java-sdk-emr	1.12.390
com.amazonawsの	aws-java-sdk-glacier	1.12.390
com.amazonawsの	aws-java-sdk-グルー	1.12.390
com.amazonawsの	aws-java-sdk-iam	1.12.390
com.amazonawsの	aws-java-sdk-importexport	1.12.390
com.amazonawsの	aws-java-sdk-キネシス	1.12.390
com.amazonawsの	aws-java-sdk-kmsの	1.12.390
com.amazonawsの	aws-java-sdk-ラムダ	1.12.390
com.amazonawsの	aws-java-sdk-logs	1.12.390
com.amazonawsの	aws-java-sdk-機械学習	1.12.390
com.amazonawsの	aws-java-sdk-opsworks	1.12.390
com.amazonawsの	aws-java-sdk-rds	1.12.390
com.amazonawsの	aws-java-sdk-レッドシフト	1.12.390
com.amazonawsの	aws-java-sdk-ルート53	1.12.390
com.amazonawsの	aws-java-sdk-s3 の	1.12.390
com.amazonawsの	aws-java-sdk-ses	1.12.390
com.amazonawsの	aws-java-sdk-simpledb	1.12.390
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.12.390
com.amazonawsの	aws-java-sdk-snsの	1.12.390
com.amazonawsの	aws-java-sdk-sqs	1.12.390
com.amazonawsの	aws-java-sdk-ssm	1.12.390
com.amazonawsの	aws-java-sdk-storagegateway	1.12.390
com.amazonawsの	aws-java-sdk-sts	1.12.390
com.amazonawsの	aws-java-sdk-サポート	1.12.390
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.12.390
com.amazonawsの	jmespath-java	1.12.390
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	Databricks の SDK の java	0.17.1
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.15.2
com.fasterxml.jackson.core	ジャクソンコア	2.15.2
com.fasterxml.jackson.core	ジャクソン-データバインド	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-yaml	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JSR310	2.16.0
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.15.2
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.12	2.15.2
com.github.ben-manes.caffeine	カフェイン	2.9.3
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1-ネイティブ
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64	1.1-ネイティブ
com.github.luben	ZSTD-JNI	1.5.5-4
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.10.1
com.google.crypto.tink	ティンク	1.9.0
com.google.errorが発生しやすい	error_prone_annotations	2.10.0
com.google.flatbuffers	フラットバッファ-Java	23.5.26
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.helger	プロファイラー	1.1.1
com.jcraftの	jsch	0.1.55
com.jolboxの	ボーンカップ	0.8.0.リリース
com.lihaoyi	sourcecode_2月12日	0.1.9
com.microsoft.azure	azure-データレイク-store-sdk	2.3.9
com.microsoft.sqlserver	mssqlの-JDBC	11.2.2.JRE8
com.ningの	圧縮-LZF	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.バインド	jaxb-コア	2.2.11
com.sun.xml.バインド	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.10.0
コム。囀る	chill_2.12	0.10.0
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.4.3
Scala-logging	Scala-logging_2.12	3.7.2
com.uberの	H3	3.7.3
com.univocityの	univocity-パーサー	2.9.1
com.zaxxerの	ひかりCP	4.0.3
コモンズCLI	コモンズCLI	1.5.0
コモンズコーデック	コモンズコーデック	1.16.0
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.5
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.13.0
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib さん	アーパック	3.0.3
dev.ludovic.netlib さん	ブラス	3.0.3
dev.ludovic.netlib さん	ラパック	3.0.3
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.25
io.delta	デルタシェアリング-client_2.12	1.0.4
io.dropwizard.メトリクス	メトリクスアノテーション	4.2.19
io.dropwizard.メトリクス	メトリクスコア	4.2.19
io.dropwizard.メトリクス	メトリクス-グラファイト	4.2.19
io.dropwizard.メトリクス	メトリクス-healthchecks	4.2.19
io.dropwizard.メトリクス	メトリクス-jetty9	4.2.19
io.dropwizard.メトリクス	メトリクス-JMX	4.2.19
io.dropwizard.メトリクス	メトリクス-JSON	4.2.19
io.dropwizard.メトリクス	メトリクス-JVM	4.2.19
io.dropwizard.メトリクス	メトリクスサーブレット	4.2.19
io.nettyの	netty-すべて	4.1.96.ファイナル
io.nettyの	netty-buffer	4.1.96.ファイナル
io.nettyの	netty-codec (英語)	4.1.96.ファイナル
io.nettyの	netty-codec-http	4.1.96.ファイナル
io.nettyの	netty-codec-http2	4.1.96.ファイナル
io.nettyの	netty-codec-socksの	4.1.96.ファイナル
io.nettyの	netty-共通	4.1.96.ファイナル
io.nettyの	netty-ハンドラ	4.1.96.ファイナル
io.nettyの	netty-handler-proxy	4.1.96.ファイナル
io.nettyの	netty-リゾルバ	4.1.96.ファイナル
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-OSX-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナルOSX-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.nettyの	netty-tcnative-クラス	2.0.61.ファイナル
io.nettyの	netty-トランスポート	4.1.96.ファイナル
io.nettyの	netty-transport-classes-epoll	4.1.96.ファイナル
io.nettyの	netty-transport-classes-kqueue	4.1.96.ファイナル
io.nettyの	netty-transport-native-epoll	4.1.96.ファイナル
io.nettyの	netty-transport-native-epoll	4.1.96.最終版 linux-aarch_64
io.nettyの	netty-transport-native-epoll	4.1.96.最終版 linux-x86_64
io.nettyの	netty-transport-native-kqueue	4.1.96.ファイナルOSX-aarch_64
io.nettyの	netty-transport-native-kqueue	4.1.96.ファイナルOSX-x86_64
io.nettyの	netty-transport-native-unix-common	4.1.96.ファイナル
io.プロメテウス	シンプルクライアント	0.7.0
io.プロメテウス	simpleclient_common	0.7.0
io.プロメテウス	simpleclient_dropwizard	0.7.0
io.プロメテウス	simpleclient_pushgateway	0.7.0
io.プロメテウス	simpleclient_servlet	0.7.0
io.prometheus.jmx	収集家	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet (英語)	jakarta.servlet-api	4.0.3
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.11
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	漬ける	1.3
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.9.3
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.10.11
org.apache.ant	アントJSCH	1.10.11
org.apache.ant	アントランチャー	1.10.11
org.apache.arrow(アパッチ・アロー)	arrow-format	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-core	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-netty	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-vector	15.0.0
org.apache.avro	AVRO	1.11.3
org.apache.avro	アブロIPC	1.11.3
org.apache.avro	アブロマップド	1.11.3
org.apache.commonsの	コモンズコレクション4	4.4
org.apache.commonsの	コモンズ圧縮	1.23.0
org.apache.commonsの	コモンズ-クリプト	1.1.0
org.apache.commonsの	コモンズ-LANG3	3.12.0
org.apache.commonsの	コモンズ-数学3	3.6.1
org.apache.commonsの	コモンズテキスト	1.10.0
org.apache.curator (英語)	キュレーター・クライアント	2.13.0
org.apache.curator (英語)	キュレーターフレームワーク	2.13.0
org.apache.curator (英語)	キュレーターレシピ	2.13.0
org.apache.datasketches (英語)	データスケッチ-Java	3.1.0
org.apache.datasketches (英語)	datasketches-memory	2.0.0
org.apache.derbyの	ダービー	10.14.2.0
org.apache.hadoop です。	hadoop クライアント ランタイム	3.3.6
org.apache.hive です。	ハイブビーライン	2.3.9
org.apache.hive です。	ハイブ CLI	2.3.9
org.apache.hive です。	ハイブ-JDBC	2.3.9
org.apache.hive です。	ハイブ - llap クライアント	2.3.9
org.apache.hive です。	ハイブ - llap - 共通	2.3.9
org.apache.hive です。	ハイブセルデ	2.3.9
org.apache.hive です。	ハイブシム	2.3.9
org.apache.hive です。	ハイブストレージAPI	2.8.1
org.apache.hive.shims	ハイブシム-0.23	2.3.9
org.apache.hive.shims	ハイブシム-共通	2.3.9
org.apache.hive.shims	ハイブシムススケジューラ	2.3.9
org.apache.httpコンポーネント	httpクライアント	4.5.14
org.apache.httpコンポーネント	httpコア	4.4.16
org.apache.ivy	蔦	2.5.1
org.apache.logging.log4j	ログ4J-1.2-API	2.22.1
org.apache.logging.log4j	ログ4J-API	2.22.1
org.apache.logging.log4j	log4j-コア	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	オークコア	1.9.2-シェード-protobuf
org.apache.orc	orc-mapreduce	1.9.2-シェード-protobuf
org.apache.orc	オークシム	1.9.2
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.ws.xmlスキーマ	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded (英語)	4.23
org.apache.yetus (英語)	オーディエンスアノテーション	0.13.0
org.apache.zookeeper	動物園の飼育係	3.6.3
org.apache.zookeeper	動物園の飼育係ジュート	3.6.3
org.checkerフレームワーク	チェッカークォール	3.31.0
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
org.Eclipse.collections	Eclipseコレクション	11.1.0
org.Eclipse.collections	Eclipse-collections-api	11.1.0
組織Eclipse.jetty	桟橋クライアント	9.4.52.v20230823
組織Eclipse.jetty	桟橋の続き	9.4.52.v20230823
組織Eclipse.jetty	桟橋-HTTP	9.4.52.v20230823
組織Eclipse.jetty	桟橋-IO	9.4.52.v20230823
組織Eclipse.jetty	桟橋-JNDI	9.4.52.v20230823
組織Eclipse.jetty	桟橋プラス	9.4.52.v20230823
組織Eclipse.jetty	桟橋プロキシ	9.4.52.v20230823
組織Eclipse.jetty	桟橋警備	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーバー	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util-ajax	9.4.52.v20230823
組織Eclipse.jetty	桟橋-webapp	9.4.52.v20230823
組織Eclipse.jetty	桟橋XML	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-クライアント	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-共通	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーバー	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーブレット	9.4.52.v20230823
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.40
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.40
org.glassfish.jersey.coreの	ジャージークライアント	2.40
org.glassfish.jersey.coreの	ジャージー共通	2.40
org.glassfish.jersey.coreの	ジャージーサーバー	2.40
org.glassfish.jersey.inject	ジャージ-HK2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.ファイナル
org.ini4jの	ini4j(イニ4J)	0.5.4
org.javassist	ジャバス奏者	3.29.2-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.jetbrainsの	注釈	17.0.0
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.7.0-M11
org.json4sの	json4s-core_2.12	3.7.0-M11
org.json4sの	json4s-jackson_2.12	3.7.0-M11
org.json4sの	json4s-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Javaの	1.8.0
org.mlflowの	mlflow-spark_2.12	2.9.1
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.6.1
org.roaringbitmap	ロアリングビットマップ	0.9.45
org.roaringbitmap	シム	0.9.45
org.rocksdbの	ロックスDBJNI	8.3.2
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.15
組織Scala-lang	Scala-Library.12	2.12.15
組織Scala-lang	Scala-reflect_2.12	2.12.15
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.11.0
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	そよ風-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatestの	scalatest対応	3.2.15
org.scalatestの	scalatest-core_2.12	3.2.15
org.scalatestの	scalatest-diagrams_2.12	3.2.15
org.scalatestの	scalatest-featurespec_2.12	3.2.15
org.scalatestの	scalatest-flatspec_2.12	3.2.15
org.scalatestの	scalatest-freespec_2.12	3.2.15
org.scalatestの	scalatest-funspec_2.12	3.2.15
org.scalatestの	scalatest-funsuite_2.12	3.2.15
org.scalatestの	scalatest-matchers-core_2.12	3.2.15
org.scalatestの	scalatest-mustmatchers_2.12	3.2.15
org.scalatestの	scalatest-propspec_2.12	3.2.15
org.scalatestの	scalatest-refspec_2.12	3.2.15
org.scalatestの	scalatest-shouldmatchers_2.12	3.2.15
org.scalatestの	scalatest-wordspec_2.12	3.2.15
org.scalatestの	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	7月-slf4j	2.0.7
org.slf4j	SLF4J-APIの	2.0.7
org.slf4j	SLF4J-シンプル	1.7.25
org.threetenさん	スリーテンエクストラ	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	スパイア-macros_2.12	0.17.0
org.typelevel	スパイア-platform_2.12	0.17.0
org.typelevel	スパイア-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	ワイルドフライ-openssl	1.1.3.ファイナル
org.xerial	sqlite-JDBC の	3.42.0.0
org.xerial.snappy(英語)	スナッピージャワ	1.1.10.3
org.yaml の	スネークヤム	2.0
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1