メインコンテンツまでスキップ

Databricks Runtime 15.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートでは、Databricks Runtime Apache Spark3.5.0 を搭載した 15.0 に関する情報を提供しています。

Databricks は 2024 年 3 月にこのバージョンをリリースしました。

破壊的変更

PySpark spark.sql() 関数が無効な引数型で失敗するようになりました

Databricks Runtime 15.0 以降では、spark.sql() 関数に渡される名前付きパラメーターまたは位置指定パラメーターの args パラメーターは、ディクショナリまたはリストである必要があります。他のオブジェクト・タイプが渡された場合は、 PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>エラーが発生します。 .

DBFSルートへのライブラリの保存は非推奨であり、デフォルトによって無効にされています

Databricksワークスペースでのライブラリのセキュリティを向上させるために、DBFSルートへのライブラリファイルの保存は、Databricks Runtime 15.0 以降のデフォルトによって非推奨になり、無効になりました。Databricks では、Python ライブラリ、JAR ファイル、Spark コネクタを含むすべてのライブラリをワークスペース ファイル、Unity Catalog ボリュームにアップロードするか、パッケージ リポジトリを使用することをお勧めします。 ライブラリのアップロードに関する推奨事項を参照してください。

DBFSルートへのライブラリの保存を再度有効にするには、Spark構成パラメーター (spark.databricks.driver.dbfsLibraryInstallationAllowed true) を設定します。

デフォルトのPythonバージョンが3.10から3.11にアップグレードされました

Databricks Runtime 15.0 では、デフォルトの Python バージョンは 3.11.0 です。アップグレードされた Python ライブラリの一覧については、「 ライブラリのアップグレード」を参照してください。

JDK 11 の削除

以前に 発表したように、JDK 11 は Databricks Runtime 15.0 以降から削除されました。 Databricks では、Databricks Runtime 15.0 以降にアップグレードする場合は、JDK 17 にアップグレードすることをお勧めします。 「Databricks SDK for Java」を参照してください。

Python REPL が正常に終了するようになりました

Databricks Runtime 15.0 では、ノートブックの Python REPL プロセスが終了時に正常に終了するようになりました。 これにより、すべての atexit フックが尊重されます。 たとえば、複数の Python ノートブック タスクを含むワークフローでは、最初のタスクに登録された atexit フックは、2 番目の Python ノートブック タスクの実行前に実行されます。

新機能と改善点

* (スター) 句が WHERE 句でサポートされるようになりました

これで、WHERE 句のスター (*) 句を使用して、SELECT リストのすべての列を参照できるようになりました。たとえば、 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

spark.sql.json.enablePartialResults設定がデフォルトで有効になりました

Spark 構成 spark.sql.json.enablePartialResults がデフォルトで有効になったため、JSON パーサーは、残りのフィールドをドロップすることなく、struct、map、array などの複合型の解析エラーを正しく処理できるようになりました。 この変更により、カラムプルーニングを使用した JSON データソースの一貫性の問題が修正されます。

クラスター ライブラリが requirements.txt ファイルに対応

ワークスペース ファイルまたは Unity Catalog ボリュームに格納されている requirements.txt ファイルを使用して、クラスター ライブラリをインストールできるようになりました。 専用 アクセス モードと 標準 アクセス モードのクラスターでは、requirements.txt ファイルは他のファイルを参照できます。 分離なし共有 アクセス モードのクラスターでは、PyPI パッケージのみがサポートされます。クラスター ライブラリを参照してください。

Databricks CLI Webターミナルで利用可能になりました

これで、ノートブックのWebターミナルから Databricks CLI を使用できるようになりました。 ノートブックは、 専用 または 分離なしの共有 アクセス モードでクラスターにアタッチする必要があります。 詳しくは、WebターミナルとDatabricks CLIを使用するを参照してください。

デフォルト Python リポジトリをクラスター構成に追加する

Databricks Runtime 15.0 以降では、クラスターの構成時またはクラスターポリシーの定義時に、クラスターおよびノートブック スコープのライブラリのインストールにグローバル pip index-url パラメーターと extra-index-url パラメーターを構成できます。これを行うには、環境変数 DATABRICKS_PIP_INDEX_URLDATABRICKS_PIP_EXTRA_INDEX_URLを設定します。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:

    • 22.6.0 から 23.3.0 までの黒
    • boto3 1.24.28 から 1.34.39 まで
    • Botocore 1.27.96 から 1.34.39 へ
    • 2022.12.7から2023.7.22まで認証取得
    • 39.0.1 から 41.0.3 までの暗号化
    • 0.1.6 からの Databricks SDK 0.20.0 まで
    • distlib を 0.3.7 から 0.3.8 に変更
    • googleapis-common-protos を 1.62.0 から 1.63.0 へ
    • grpcio 1.48.2 から 1.60.0 へ
    • grpcio-status を 1.48.1 から 1.60.0 へ
    • importlib-metadata を 4.6.4 から 6.0.0 に変更
    • ipykernel 6.25.0 から 6.25.1 まで
    • 8.14.0 から 8.15.0 への ipython
    • ipywidgets 7.7.2 から 8.0.4 へ
    • 5.2.0 から 5.3.0 へのjupyter_core
    • jupyterlab-widgets を 1.0.0 から 3.0.5 に変更
    • matplotlib を 3.7.0 から 3.7.2 へ
    • 1.5.3 から 2.0.3 へのPandas
    • pip を 22.3.1 から 23.2.1 へ
    • platform2.5.2 から 3.10.0 までのディレクトリ
    • protobuf 4.24.0 から 4.24.1 へ
    • pyarrow を 8.0.0 から 14.0.1 へ
    • 2.11.2 から 2.15.1 への変更
    • 4.0.32 から 4.0.38 へのpyodbc
    • 2.28.1 から 2.31.0 へのリクエスト
    • s3 0.6.2 から 0.10.0 への転送
    • scikit-learn 1.1.1 から 1.3.0 まで
    • scipy 1.10.0 から 1.11.1 へ
    • 65.6.3 から 68.0.0 への setuptools
    • statsは 0.13.5 から 0.14.0 までモデル化します。
    • 8.1.0 からの粘り強さ 8.2.2 へ
    • トルネード 6.1 から 6.3.2 へ
    • 4.4.0 から 4.7.1 へのtyping_extensions
    • urllib3 を 1.26.14 から 1.26.16 に変更
    • virtualenv を 20.16.7 から 20.24.2 に変更
    • widgetsnb拡張子を 3.6.1 から 4.0.5 に変更
    • 1.0.0から3.11.0までのzipp
  • アップグレードされた R ライブラリ:

    • 12.0.1 から 14.0.0.2 への矢印
    • 1.1から1.2.0へのaskpass
    • 4.3.1 から 4.3.2 へのベース
    • 1.0-8から1.0-10まで醸造
    • 1.1.3 からの Brio 1.1.4 まで
    • bslib を 0.5.0 から 0.6.1 に変更
    • 3.6.1 から 3.6.2 への CLI
    • commonmark 1.9.0 から 1.9.1 へ
    • 4.3.1 から 4.3.2 へのコンパイラ
    • 0.3.1 から 0.3.2 までの設定
    • cpp11 を 0.4.4 から 0.4.7 に
    • 1.3.2 から 2.0.1 までの認証情報
    • curl を 5.0.1 から 5.2.0 に変更
    • data.table を 1.14.8 から 1.15.0 に
    • 4.3.1 から 4.3.2 までのデータセット
    • 1.1.3 からの DBI 1.2.1 へ
    • dbplyr を 2.3.3 から 2.4.0 へ
    • 1.4.2 から 1.4.3 への DESC
    • 0.6.33 から 0.6.34 までのダイジェスト
    • dplyr 1.1.2 以降 1.1.4 まで
    • E1071 1.7-13 から 1.7-14
    • 0.21から0.23まで評価します
    • 1.0.4 から 1.0.6 への fansi
    • 0.5.1 から 0.5.2 への fontawesome
    • fs を 1.6.2 から 1.6.3 へ
    • 1.33.0 から 1.33.1 までの将来
    • future.1.11.0から1.11.1への適用
    • 1.5.1 から 1.5.2 へのうがい
    • gert 1.9.2 から 2.0.1 へ
    • ggplot2 を 3.4.2 から 3.4.4 へ
    • glmnet 4.1-7 から 4.1-8 へ
    • 1.6.2から1.7.0までの接着剤
    • 4.3.1 から 4.3.2 までのグラフィック
    • grDevices 4.3.1 から 4.3.2 へ
    • 4.3.1 から 4.3.2 へのグリッド
    • 0.3.3 から 0.3.4 まで調整可能
    • 1.3.0から1.3.1へのhardhat
    • 2.5.3 から 2.5.4 への haven
    • 0.5.5 から 0.5.7 までの htmltools
    • htmlwidgets 1.6.2 から 1.6.4 まで
    • httpuv 1.6.11 から 1.6.14 まで
    • HTTR 1.4.6 から 1.4.7 へ
    • 0.2.3 から 1.0.0 への HTTR2
    • jsonlite 1.8.7 から 1.8.8 へ
    • Knitr 1.43 から 1.45 へ
    • 0.4.2 から 0.4.3 までのラベル付け
    • 1.3.1 から 1.3.2 まで
    • 溶岩 1.7.2.1 から 1.7.3 へ
    • 1.0.3 から 1.0.4 までのライフサイクル
    • 0.9.0 から 0.9.1 までの listenv
    • lubridate 1.9.2 から 1.9.3 まで
    • 1.7 から 1.12 への値下げ
    • 4.3.1 から 4.3.2 までのメソッド
    • OpenSSL 2.0.6 から 2.1.1 へ
    • 4.3.1 から 4.3.2 への並列
    • pkgbuild を 1.4.2 から 1.4.3 に更新
    • pkgload を 1.3.2.1 から 1.3.4 へ
    • プライア 1.8.8 から 1.8.9 へ
    • prettyunits を 1.1.1 から 1.2.0 に更新
    • pROC 1.18.4 から 1.18.5 へ
    • processx 3.8.2 から 3.8.3 へ
    • 2023.03.31から2023.08.28までの製品
    • 1.2.2 から 1.2.3 への進捗
    • 0.13.0 から 0.14.0 へのプログレッサー
    • 1.2.0.1 から 1.2.1 までの promise
    • 1.7.5 から 1.7.6 への PS
    • 1.0.1 から 1.0.2 への purrr
    • ragg を 1.2.5 から 1.2.7 に変更
    • 1.0.11 から 1.0.12 への rcpp
    • 0.3.3.9.3 から 0.3.3.9.4 への RcppEigen
    • 2.1.4 からの読み取り 2.1.5 へ
    • 1.0.6から1.0.9までのレシピ
    • 1.0.1 から 2.0.0 への再戦
    • 2.4.2 から 2.4.2.1 へのリモート
    • 2.0.2 から 2.1.0 への reprex
    • rlang を 1.1.1 から 1.1.3 へ
    • rmarkdown を 2.23 から 2.25 に変更
    • RODBC 1.3-20 から 1.3-23 へ
    • roxygen2 を 7.2.3 から 7.3.1 に変更
    • rprojroot を 2.0.3 から 2.0.4 へ
    • 1.8-11 から 1.8-13 までの Rserve
    • RSQLite 2.3.1 から 2.3.5 へ
    • 0.4.6 から 0.4.8 への sass
    • 1.2.1 から 1.3.0 までスケール
    • 1.7.4.1 から 1.8.0 までの光沢
    • Sparklyr 1.8.1 から 1.8.4 へ
    • 4.3.1 から 4.3.2 へのスプライン
    • 4.3.1 から 4.3.2 までの統計
    • stats4 を 4.3.1 から 4.3.2 に
    • stringi を 1.7.12 から 1.8.3 へ
    • stringr を 1.5.0 から 1.5.1 へ
    • 1.0.4 から 1.0.5 までのシステムフォント
    • 4.3.1 から 4.3.2 への tcltk
    • 3.1.10 からの testthat 3.2.1 へ
    • 0.3.6 から 0.3.7 までのテキストシェーピング
    • Tidyr 1.3.0 から 1.3.1 へ
    • time0.2.0 から 0.3.0 への変更
    • time日付 4022.108 から 4032.109 まで
    • 0.45から0.49へのtinytex
    • 4.3.1 から 4.3.2 までのツール
    • utf8 を 1.2.3 から 1.2.4 へ
    • 4.3.1 から 4.3.2 までのユーティリティ
    • UUID 1.1-0 から 1.2-0
    • 0.6.3 から 0.6.5 までの VCTRS
    • vroom 1.6.3 から 1.6.5 へ
    • 0.5.1から0.5.2へのwaldo
    • 2.5.0 から 3.0.0 への変更
    • 0.39から0.41へのxfun
    • xml2 から 1.3.5 から 1.3.6 まで
    • 2.3.7 から 2.3.8 までの YAML
    • 2.3.0から2.3.1までのzip圧縮
  • アップグレードされた Java ライブラリ:

    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.15.1 から 2.16.0 まで
    • com.google.flatbuffers.flatbuffers-java 1.12.0 から 23.5.26 まで
    • com.typesafe.config を 1.2.1 から 1.4.3 へ
    • org.apache.ant.ant を 1.9.16 から 1.10.11 に変更
    • org.apache.ant.ant-jsch 1.9.16 から 1.10.11 まで
    • org.apache.ant.ant-launcher 1.9.16 から 1.10.11 まで
    • org.apache.arrow.arrow-format 12.0.1 から 15.0.0 まで
    • org.apache.arrow.arrow-memory-core 12.0.1 から 15.0.0 まで
    • org.apache.arrow.arrow-memory-netty 12.0.1 から 15.0.0 まで
    • org.apache.arrow.arrow-ベクター 12.0.1 から 15.0.0 まで
    • org.apache.avro.avro を 1.11.2 から 1.11.3 に変更
    • org.apache.avro.avro-ipc 1.11.2 から 1.11.3 まで
    • org.apache.avro.avro-mapred 1.11.2 から 1.11.3 まで
    • org.apache.logging.log4j.log4j-1.2-api 2.20.0 から 2.22.1 まで
    • org.apache.logging.log4j.log4j-api 2.20.0 から 2.22.1 まで
    • org.apache.logging.log4j.log4j-core 2.20.0 から 2.22.1 まで
    • org.apache.logging.log4j.log4j-slf4j2-impl 2.20.0 から 2.22.1 まで
    • org.postgresql.postgresql 42.6.0 から 42.6.1 へ

Apache Spark

Databricks Runtime 15.0 には Apache Spark 3.5.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 14.3 LTS に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

  • [SPARK-45527] [DBRRM-805][es-1073714] 「[SC-151626][core] 分数を使用してリソース計算を行う」を元に戻す
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] COLLATION_ENABLED 設定フラグを追加
  • [SPARK-46973] [SC-158140][dbrrm-777][SQL] テーブルがV1テーブルキャッシュにある場合、V2テーブルルックアップをスキップします
  • [SPARK-46808] [SC-154113] [Python] 自動ソート機能で Python のエラークラスを絞り込む
  • [SPARK-47251] [SC-158291][Python] sqlコマンドのargs引数から無効なタイプをブロック
  • [SPARK-47251] [SC-158121][Python] sqlコマンドのargs引数から無効なタイプをブロック
  • [SPARK-47108] [SC-157204][core] CLIで derby.connection.requireAuthentication を明示的に false するように設定
  • [SPARK-45599] [SC-157537][core] OpenHashSetでオブジェクトの等価性を使用
  • [SPARK-47099] [SC-157352][sql] ordinalNumber を使用して、エラークラスの paramIndex の値を一様に設定する UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][connect] ヘルパー関数を抽出して、ErrorParamsからMessageParametersを取得する重複コードを削除 GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][接続] 繰り返しフィールドをサポートする ProtoUtils.abbreviate を作成
  • [SPARK-46342] [SC-150283][sql] SQLで IllegalStateExceptionSparkException.internalError に置き換える
  • [SPARK-47123] [SC-157412][core] JDBCRDDがgetQueryOutputSchemaのエラーを正しく処理しない
  • [SPARK-47189] [SC-157667][sql] 列のエラー名とテキストを微調整
  • [SPARK-45789] [SC-157101][sql] クラスタリング列のDESCRIBE TABLEをサポート
  • [SPARK-43256] [SC-157699][sql] エラークラスを削除 _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782] [Python][CONNECT] sameSemantics入力タイプをチェックします
  • [SPARK-47183] [ SC-157660] [Python] のエラークラスを修正 sameSemantics
  • [SPARK-47179] [SC-157663][sql] SparkThrowableSuiteからのエラーメッセージを改善し、デバッグ性を向上させる
  • [SPARK-46965] [SC-155791][core] チェックインlogType Utils.getLog
  • [SPARK-46832] [SC-156774][sql] 照合式と照合式の導入
  • [SPARK-46946] [SC-155721][sql] DynamicPruningで複数のフィルタリングキーのブロードキャストをサポート
  • [SPARK-47079] [VARIANT-22][sc-157598][Python][sql][CONNECT] バリアントタイプ情報をPySparkに追加
  • [SPARK-47101] [SC-157360][sql] 最上位の列名にカンマの使用を許可し、 HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] ストリーミングUIの説明のタイプミスを修正
  • [SPARK-47113] [SC-157348][core] SPARK-35878のS3Aエンドポイント修正ロジックを元に戻す
  • [SPARK-47130] [SC-157462][core] ドライバーログのクリーニング時にlistStatusを使用してブロック位置情報をバイパス
  • [SPARK-43259] [SC-157368][sql] エラークラスに名前を割り当てる _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] 安全でないプロジェクションを初期化TakeOrderedAndProjectExec
  • [SPARK-47137] [SC-157463]Python][CONNECT] getAllをspark.confに追加して、Scalaとの機能パリティを実現
  • [SPARK-46924] [SC-154905][core] ログUIのLoad Newボタンを修正Master/HistoryServer
  • [SPARK-47069] [SC-157370] [Python][CONNECT] SparkSessionベースのプロファイリングにspark.profile.show/dumpを導入
  • [SPARK-46812] [SC-157075][sql][Python] mapInPandas / mapInArrow が ResourceProfile をサポートするようにする
  • [SPARK-46833] [SC-155866][sql] 照合 - サポートされている照合の比較ルールとハッシュルールを提供するCollationFactoryの紹介
  • [SPARK-47057] [SC-157036] [Python] Reeanble MyPy データテスト
  • [SPARK-46934] [SC-157084][sql] HMSを使用した特殊文字を含む構造体タイプの読み取り/書き込みラウンドトリップ
  • [SPARK-46727] [SC-153472][sql] エラークラスのJDBCダイアレクトのポートclassifyException()
  • [SPARK-46964] [SC-155740][sql] hllInvalidLgKクエリ実行エラーのシグネチャを変更して、4番目の引数として整数を取るように変更
  • [SPARK-46949] [SC-155719][sql] ResolveDefaultColumnsによるCHAR/VARCHARのサポート
  • [SPARK-46972] [SC-155888][sql] V2SessionCatalog.createTableのchar/varcharの非対称置換を修正
  • [SPARK-47014] [SC-156778]Python][CONNECT] SparkSessionのメソッドdumpPerfProfilesおよびdumpMemoryProfilesを実装する
  • [SPARK-46689] [SC-156221][spark-46690][Python][connect] グループ/cogroup applyInPandas/applyInArrow で v2 プロファイリングをサポート
  • [SPARK-47040] [SC-156773][connect] Spark Connectサーバースクリプトの待機を許可
  • [SPARK-46688] [SC-156113][spark-46691][Python][connect] UDFs Pandas 集約したv2プロファイリングをサポート
  • [SPARK-47004] [SC-156499][connect] Scalaクライアントのテストカバレッジを拡大するために、ClientStreamingQuerySuiteにテストを追加
  • [SPARK-46994] [SC-156169] [Python] PythonWrite をリファクタリングして、 Python データソース ストリーミング書き込みをサポートする準備をする
  • [SPARK-46979] [SC-156587][ss] キーと値のエンコーダーを個別に指定するためのサポートを追加し、 RocksDB 状態ストアプロバイダーの各colファミリーにも指定するためのサポートを追加
  • [SPARK-46960] [SC-155940][ss] TransformWithState演算子を使用した複数の入力ストリームのテスト
  • [SPARK-46966] [SC-156112] [Python] 「analyze」メソッドのUDTF API を追加して、選択する入力テーブル列のサブセットを示すように修正
  • [SPARK-46895] [SC-155950][core] タイマーをシングルスレッドのスケジュールされたエグゼキューターに置き換えてください
  • [SPARK-46967] [SC-155815][core][UI] Executors UIでDeadエグゼキューターのThread DumpHeap Histogramを非表示にする
  • [SPARK-46512] [SC-155826][core] ソートとコンバインの両方が使用されている場合にシャッフル読み取りを最適化します。
  • [SPARK-46958] [SC-155942][sql] デフォルト値を強制するために欠落しているタイムゾーンを追加
  • [SPARK-46754] [SC-153830][sql][AVRO] avroテーブル定義および書き込みオプションの圧縮コード解決を修正
  • [SPARK-46728] [ SC-154207 ]Python] Pandas 取り付けを正しく確認してください
  • [SPARK-43403] [SC-154216][ui] 新しいSparkUIをロードする前に、HistoryServerの古いSparkUIが切り離されていることを確認
  • [SPARK-39910] [SC-156203][sql] データソースファイルパスグロビング中にファイルシステムへのパス修飾を委任します
  • [SPARK-47000] [SC-156123] 「[SC-156123][core] getTotalMemorySize...
  • [SPARK-46819] [SC-154560][core] エラーカテゴリと状態をJSONに移動
  • [SPARK-46997] [SC-156175][core] デフォルトで spark.worker.cleanup.enabled を有効にする
  • [SPARK-46865] [SC-156168][ss] TransformWithState演算子のバッチサポートを追加
  • [SPARK-46987] [SC-156040][接続] 不要なsetField操作を避けるProtoUtils.abbreviate
  • [SPARK-46970] [SC-155816][core] OpenHashSet#hasherpattern matching
  • [SPARK-46984] [SC-156024] [Python] PySpark.copy_funcを削除
  • [SPARK-47000] [SC-156123] [コア] getTotalMemorySize WorkerArguments
  • [SPARK-46980] [SC-155914][sql][MINOR] データフレームのエンドツーエンドテストで内部 APIs を使用しないようにしました
  • [スパーク-46931] 「[SC-155661][ps] {Frame, Series}.to_hdfを実装」を差し戻します
  • [SPARK-46618] [SC-153828][sql] DATA_SOURCE_NOT_FOUNDエラーのエラーメッセージを改善
  • [SPARK-46849] [SC-154586][sql] CREATE TABLE列のデフォルトに対してオプティマイザーを実行する
  • [SPARK-46911] [SC-155724][ss] StatefulProcessorHandleImplにdeleteIfExists演算子を追加
  • [SPARK-43273] [SQL] Parquet の lz4raw 圧縮コーデックをサポート
  • [SPARK-47002] [SC-156223][Python] UDTF の「analyze」メソッド「orderBy」フィールドが誤って文字列のリストを返す場合、より適切なエラーメッセージを返す
  • [SPARK-46890] [SC-155802][sql] 存在のデフォルト値と列のプルーニングに関するCSV解析のバグを修正
  • [SPARK-46977] [SC-155892][core] 1つのNameNodeからトークンを取得するリクエストが失敗した場合に、後続のトークンリクエストをスキップしないように修正
  • [SPARK-46608] [SC-151806][sql] の後方互換性を復元 JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] WHERE句でスター句をサポート
  • [SPARK-46908] [SC-155702][sql] WHERE句でスター句をサポート
  • [SPARK-46852] [SC-155665][ss] 明示的なキーエンコーダーの使用を削除し、transformWithState演算子の演算子に暗黙的に渡す
  • [SPARK-46864] [SC-155669][ss] 任意のStateV2を新しいエラークラスフレームワークにオンボード
  • [SPARK-45807] [SC-155706][sql] replaceView(..) を呼び出した後にビューを返す
  • [SPARK-46899] [SC-154651][coreMasterWebUI``POST APIs ] spark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539][core] ワーカー Spark ログUIをサポート
  • [SPARK-46931] [SC-155661] [ps] インプリメント {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] 未使用の updateSparkConfigFromPropertiesisAbsoluteURI を削除 o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][core][CONNECT][ss] ThreadUtils.shutdownを使用してスレッドプールを閉じる
  • [SPARK-46400] [SC-155658][core][SQL] ローカルの Maven リポジトリに破損したファイルがある場合は、このキャッシュをスキップして再試行してください
  • [SPARK-46932] [SC-155655] インポートをクリーンアップ pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] サブクエリの順列を生成するサブクエリジェネレータを作成して、テストカバレッジを拡大
  • [SPARK-46914] [SC-154776][ui] 履歴ページの概要表のアプリ名を短くする
  • [SPARK-46831] [SC-154699][sql] 照合順序 - collationIdフィールドを使用したStringTypeおよびPhysicalStringTypeの拡張
  • [SPARK-46816] [SC-154415][ss] 新しい任意の状態管理演算子、単一のvalueStateタイプ、複数の状態変数の基本サポートを追加し、変更ログのチェックポイントあり/なしにかかわらずRocksDBStateStoreProviderの列ファミリーの基本サポートを追加
  • [SPARK-46925] [SC-154890][Python][CONNECT] メモリプロファイリング用のmemory_profilerをインストールするように指示する警告を追加
  • [SPARK-46927] [SC-154904] [Python] PyArrow なしで assertDataFrameEqual を正常に動作させる
  • [SPARK-46021] [SC-148987][core] ジョブグループに属する将来のジョブのキャンセルをサポート
  • [SPARK-46747] [SC-154789][sql] JDBC ダイアレクトの getTableExistsQuery でのスキャンを避ける
  • [SPARK-46904] [SC-154704][ui] 履歴UIの概要の表示の問題を修正
  • [SPARK-46870] [SC-154541][core] Spark Master Log UIをサポート
  • [SPARK-46893] [SC-154780][ui] UIの説明からインラインスクリプトを削除
  • [SPARK-46910] [SC-154760][Python] PySpark インストールでのJDK要件の排除
  • [SPARK-46907] [SC-154736][core] Spark History Serverにドライバーログの場所を表示する
  • [SPARK-46902] [SC-154661][ui] エクスポートされていないsetAppLimitを使用するためのSpark History ServerのUIを修正
  • [SPARK-46687] [SC-154725]Python][CONNECT] SparkSessionベースのメモリプロファイラーの基本サポート
  • [SPARK-46623] [SC-153831][core][MLlib][sql] SimpleDateFormatをDateTimeFormatterに置き換えてください
  • [SPARK-46875] [SC-154627][sql] modeがnullの場合、NullPointException``notスローされるべきです
  • [SPARK-46872] [SC-154543][core] 非モジュールに log-view.js を回復する
  • [SPARK-46883] [SC-154629][core] API /json/clusterutilization をサポート
  • [SPARK-46886] [SC-154630][core] デフォルトで spark.ui.prometheus.enabled を有効にする
  • [SPARK-46873] [SC-154638][ss] 同じSparkセッションに対して新しいStreamingQueryManagerを再作成しない
  • [SPARK-46829] [SC-154419][core] SparkEnvからcreateExecutorEnvを削除
  • [SPARK-46827] [SC-154280][core] シンボリックリンクをサポートするように RocksDBPersistenceEngine を作成
  • [SPARK-46903] [SC-154662][core] Spark History Server Log UIをサポート
  • [SPARK-46874] [SC-154646]Python] pyspark.pandas依存関係の削除 assertDataFrameEqual
  • [SPARK-46889] [SC-154639][core] spark.master.ui.decommission.allow.mode 設定の検証
  • [SPARK-46850] [SC-154443][sql] _LEGACY_ERROR_TEMP_2102UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] テーブルをDuration列ごとに正しく並べ替えるようにMasterPageを修正Running Drivers
  • [SPARK-46796] [SC-154279][ss] 正しいリモートファイルを確認します(metadata.zipに記載) RocksDB バージョンの読み込みで使用されます
  • [SPARK-46888] [SC-154636][core] デコミッションが無効になっている場合に/workers/kill/リクエストを拒否するようにMasterを修正
  • [SPARK-46818] [SC-154422][sql] 折り畳み式でない入力を持つRangeのエラーメッセージを改善
  • [SPARK-46898] [SC-154649][接続] Planner での protobuf 関数変換の簡略化
  • [SPARK-46828] [SC-154413][sql] spark sql シェルの無効なリモートモードのアサーションを削除
  • [SPARK-46733] [SC-154274][core] 割り込みスレッドのみに依存する終了操作により、BlockManagerを簡素化します。
  • [SPARK-46777] [SC-154016][ss] 触媒構造 StreamingDataSourceV2Relation バッチバージョンと同等にリファクタリング
  • [SPARK-46515] [SC-151716] MONTHNAME関数を追加
  • [SPARK-46823] [SC-154276][接続][Python] LocalDataToArrowConversion null 可能性を確認する必要があります
  • [SPARK-46787] [SC-154404][connect] bloomFilter 関数は無効な入力に対して AnalysisException をスローする必要があります
  • [SPARK-46779] [SC-154045][sql] 同じキャッシュされたプランの InMemoryRelation インスタンスは、セマンティック的に同等であるべき
  • [SPARK-45827] [SC-153973] バリアント列のパーティション分割を許可しない
  • [SPARK-46797] [SC-154085][core] spark.deploy.spreadOut の名前を次のように変更 spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] エグゼキューターの JVM プロファイリングをサポート
  • [SPARK-46746] [SC-153557][sql][AVRO] コーデック拡張子をavroデータソースファイルに添付
  • [SPARK-46698] [SC-153288][core] ConsoleProgressBarのタイマーをシングルスレッドのスケジュールされたエグゼキューターに置き換えます。
  • [SPARK-46629] [SC-153835] STRUCTタイプのDDLがnullabilityとコメントを取得しない問題を修正
  • [SPARK-46750] [SC-153772][接続][Python] DataFrame APIs コードのクリーンアップ
  • [SPARK-46769] [SC-153979][sql] タイムスタンプ関連のスキーマ推論を絞り込む
  • [SPARK-46765] [SC-153904]Python][CONNECT] shuffleデータ型を指定させる seed
  • [SPARK-46579] [SC-151481][sql] エラーとログのJDBC URLを編集
  • [SPARK-46686] [SC-153875]Python][CONNECT] SparkSession ベースの Python UDF プロファイラーの基本サポート
  • [スパーク-46748] 「[SC-153800][core] *sla***.sh scri...
  • [SPARK-46707] [SC-153833][sql] プレディケートのプッシュダウンを改善するために、式にスロー可能なフィールドを追加
  • [SPARK-46519] [SC-151278][sql] error-classes.json ファイルから未使用のエラークラスをクリアする
  • [SPARK-46677] [SC-153426][sql][CONNECT] dataframe["*"] の解像度を修正
  • [SPARK-46317] [SC-150184]Python][CONNECT] SparkSession 内のマイナーな動作のマッチングをフルテストカバレッジで一致させる
  • [SPARK-46748] [SC-153800][core] *sla***.sh スクリプトの削除
  • [SPARK-46663] [SC-153490] [Python] イテレータを持つ Pandas UDF のメモリプロファイラを無効にします。
  • [SPARK-46410] [SC-150776][sql] エラークラス/サブクラスをJdbcUtils.classifyExceptionに割り当てる
  • [SPARK-46277] [SC-150126][Python] 設定が設定された状態でスタートアップURLを検証する
  • [SPARK-46612] [SC-153536][sql] JDBCドライバーから取得した配列型文字列を変換しない
  • [SPARK-46254] [SC-149788][Python] 古い Python の削除 3.8/3.7 バージョンチェック
  • [SPARK-46490] [SC-151335][sql] SparkThrowable サブクラスにエラークラスが必要
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] ドライバーのヒープ使用量を削減し、 TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][sql][CONNECT] 自己結合のあいまいな列参照を修正
  • [SPARK-46381] [SC-150495][sql] AnalysisException のサブクラスをエラークラスに移行
  • [SPARK-46351] [SC-150335][sql] エラークラスを AnalysisException
  • [SPARK-46220] [SC-149689][sql] 文字セットを制限 decode()
  • [SPARK-46369] [SC-150340][core] killドライバーからリンクを削除RELAUNCHING MasterPage
  • [SPARK-46052] [SC-153284][core] 関数TaskScheduler.killAllTaskAttemptsを削除
  • [SPARK-46536] [SC-153164][sql] サポートグループ BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] ParquetReadSupportの未使用のinferTimestampNTZを削除
  • [SPARK-46717] [SC-153423][core] 割り込みスレッドのみに依存する終了操作により、 ReloadingX509TrustManager を簡素化します。
  • [SPARK-46722] [SC-153438][connect] Spark Connect(Scala/PySpark)のStreamingQueryListenerの後方互換性チェックに関するテストを追加
  • [SPARK-46187] [SC-149580][sql] codegen と non codegen の実装を揃える StringDecode
  • [SPARK-46258] [SC-149799][core] 追加 RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][core] 圧縮をサポートするように FileSystemPersistenceEngine を改善
  • [SPARK-46189] [SC-149567][ps][SQL] さまざまなPandas集計関数で同じタイプ間で比較と演算を実行し、インタープリターモードエラーを回避します
  • [SPARK-46184] [SC-149563][core][SQL][ connect][MLlib] Option.isDefinedをOption.isEmptyに置き換えることにより、スタックの深さを削減
  • [SPARK-46700] [SC-153329][core] Count the last spilling for the shuffle disk spilling bytes メトリクス
  • [SPARK-45642] [SC-150286][core][SQL] 修正 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][sql] サブクエリ属性を除外してRemoveRedundantAliasを修正
  • [SPARK-46681] [SC-153287][core] MAX_EXECUTOR_FAILURESが構成されているときにdefaultMaxNumExecutorFailuresを計算しないようにExecutorFailureTracker#maxNumExecutorFailuresをリファクタリング
  • [SPARK-46695] [SC-153289][sql][HIVE] 常にhive.execution.engineをmrに設定する
  • [SPARK-46325] [SC-150228][connect] WrappedCloseableIterator を構築する際の不要なオーバーライド関数を削除 ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699] [Python] 残りのすべての ValueError をエラーフレームワークに移行 PySpark 。
  • [SPARK-46547] [SC-153174][ss] メンテナンスタスクで致命的でない例外を飲み込むことで、メンテナンススレッドとストリーミング集約オペレーター間のデッドロックを回避する
  • [SPARK-46169] [SC-149373][ps] DataFrame API から欠落しているパラメーターに適切な JIRA 番号を割り当てます。
  • [SPARK-45857] [SC-148096][sql] のサブクラスでエラークラスを強制します。 AnalysisException

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。 最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロードJDBC のダウンロード)。

メンテナンスの更新

「Databricks Runtime 15.0 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 22.04.4 LTSの
  • Java:Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.11.0
  • R :4.3.2
  • Delta Lake : 3.1.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

アストトークンズ

2.0.5

アストゥンパース

1.6.3

azure-core

1.30.1

azure-storage-blob

12.19.1

azure-storage-file-datalake

12.14.0

バックコール

0.2.0

黒い

23.3.0

ウィンカー

1.4

ボト3

1.34.39

ボトコア

1.34.39

cachetools

5.3.3

認証

2023.7.22

cffi

1.15.1

シャルデ

4.0.0

文字セット・ノーマライザー

2.0.4

クリック

8.0.4

クラウドピクルス

2.2.1

通信

0.1.2

コントルピー

1.0.5

暗号化手法

41.0.3

サーマルサイクラー

0.11.0

シトン

0.29.32

Databricks の SDK

0.20.0

DBUSPython

1.2.18

デバッグ

1.6.7

デコレータ

5.1.1

ディストリビューション

0.3.8

エントリポイント

0.4

実行

0.8.3

facets-概要

1.1.1

ファイルロック

3.13.1

fonttools

4.25.0

ギットDB

4.0.11

ギットパイソン

3.1.42

グーグルAPIコア

2.17.1

グーグル認証

2.28.2

グーグルクラウドコア

2.4.1

Google Cloud Storage

2.15.0

グーグル-CRC32C

1.5.0

Googleの再開可能なメディア

2.7.0

googleapis-common-protos

1.63.0

grpcio

1.60.0

grpcio-ステータス

1.60.0

httplib2の

0.20.2

イドナ

3.4

importlib-metadata

6.0.0

ipyflow-コア

0.0.198

ipykernel(英語)

6.25.1

アイパイソン

8.15.0

ipywidgets

8.0.4

イソデート

0.6.1

ジェダイ

0.18.1

ジープニー

0.7.1

jmespathの

0.10.0

ジョブリブ

1.2.0

jupyter_client

7.4.9

jupyter_core

5.3.0

jupyterlab-widgetsの

3.0.5

キーリング

23.5.0

キウイソルバー

1.4.4

ローンチパッドリブ

1.10.16

lazr.restfulクライアント

0.14.4

lazr.uri です。

1.0.6

Matplotlib

3.7.2

matplotlib-インライン

0.1.6

mlflow-skinny

2.11.1

もっと-itertools

8.10.0

mypy-extensions

0.4.3

ネスト-アシンシオ

1.5.6

ナムピー

1.23.5

OAuthlib

3.2.0

包装

23.2

pandas

2.0.3

パルソ

0.8.3

パススペック

0.10.3

パッツィ

0.5.3

pexpect

4.8.0

ピクルシェア

0.7.5

9.4.0

23.2.1

プラットフォームディレクトリ

3.10.0

Plotly

5.9.0

プロンプトツールキット

3.0.36

プロトブフ

4.24.1

psutil の

5.9.0

サイコップ2

2.9.3

PTYPROCESSの

0.7.0

ピュア評価

0.2.2

ピアロー

14.0.1

pyasn1

0.4.8

pyasn1モジュール

0.2.8

ピッコロ

0.0.52

pycparser

2.21

ピダンティック

1.10.6

ピグメント

2.15.1

PyGObject

3.42.1

PyJWTの

2.3.0

pyodbc

4.0.38

pyparsing (英語)

3.0.9

Python-dateutil

2.8.2

Python-lsp-jsonrpc

1.1.1

ピッツ

2022.7

PyYAML (英語)

6.0

ピズム

23.2.0

要求

2.31.0

rsa

4.9

S3トランスファー

0.10.0

Scikit-Learn

1.3.0

scipy(サイピー)

1.11.1

シーボーン

0.12.2

シークレットストレージ

3.3.1

セットアップツール

68.0.0

6

1.16.0

SMMAPの

5.0.1

sqlparse

0.4.4

ssh-import-id

5.11

スタックデータ

0.2.0

統計モデル

0.14.0

持久力

8.2.2

スレッドプールctl

2.2.0

トークン化-RT

4.2.1

竜巻

6.3.2

トレイトレット

5.7.1

typing_extensions

4.7.1

tzdata (英語)

2022.1

ujson

5.4.0

無人アップグレード

0.1

urllib3 の

1.26.16

virtualenv

20.24.2

ワドリブ

1.3.6

WC幅

0.2.5

0.38.4

widgetsnb拡張機能

4.0.5

ジップ

3.11.0

インストールされている R ライブラリ

R ライブラリは、 2023-02-10 の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

14.0.0.2

アスクパス

1.2.0

assertthat

0.2.1

バックポート

1.4.1

4.3.2

base64enc

0.1-3

bigDの

0.2.0

bit

4.0.5

ビット64

4.0.5

ビットプス

1.0-7

ブロッブ

1.2.4

ブート

1.3-28

醸成

1.0-10

ブリオ

1.1.4

1.0.5

bslibの

0.6.1

カケム

1.0.8

コール

3.7.3

キャレット

6.0-94

セルレンジャー

1.1.0

クロン

2.3-61

クラス

7.3-22

CLI

3.6.2

clipr

0.8.0

時計

0.7.0

クラスター

2.1.4

コードツール

0.2-19

カラースペース

2.1-0

コモンマーク

1.9.1

コンパイラ

4.3.2

コンフィグ

0.3.2

競合

1.2.0

CPP11の

0.4.7

クレヨン

1.5.2

資格情報

2.0.1

Curl

5.2.0

データ.テーブル

1.15.0

データセット

4.3.2

DBI

1.2.1

dbplirの

2.4.0

DESC

1.4.3

開発ツール

2.4.5

ダイアグラム

1.6.5

ディフobj

0.3.5

ダイジェスト

0.6.34

ダウンライト

0.4.3

dplyrの

1.1.4

DTPLyr

1.3.1

E1071

1.7-14

省略記号

0.3.2

0.23

ファンシ

1.0.6

ファーバー

2.1.1

ファストマップ

1.1.1

フォントオーサム

0.5.2

フォーキャッツ

1.0.0

For each

1.5.2

外国の

0.8-85

鍛える

0.2.0

FSの

1.6.3

未来

1.33.1

future.お申込み

1.11.1

1.5.2

ジェネリック

0.1.3

ゲルト

2.0.1

ggplot2の

3.4.4

gh

1.4.0

ギット2R

0.33.0

ギットレッズ

0.1.2

glmnet

4.1-8

グローバル

0.16.2

1.7.0

グーグルドライブ

2.1.1

グーグルシート4

1.1.1

ガウアー

1.0.1

グラフィックス

4.3.2

grDevicesの

4.3.2

グリッド

4.3.2

グリッドエクストラ

2.3

gsubfnの

0.7

GT

0.10.1

GTABLE(GTABLE)

0.3.4

ヘルメット

1.3.1

避難所

2.5.4

高い

0.10

HMSの

1.1.3

htmlツール[htmltools]

0.5.7

htmlウィジェット

1.6.4

httpuv

1.6.14

httr

1.4.7

HTTR2

1.0.0

ids

1.0.1

イニ

0.3.1

イプレッド

0.9-14

アイソバンド

0.2.7

反復 子

1.0.14

jquerylib

0.1.4

jsonlite

1.8.8

ジューシージュース

0.1.0

カーンスムース

2.23-21

ニット

1.45

ラベリング

0.4.3

あとで

1.3.2

格子

0.21-8

溶岩

1.7.3

ライフサイクル

1.0.4

リッスン

0.9.1

ルブリデート

1.9.3

マグリット

2.0.3

Markdown

1.12

質量

7.3-60

マトリックス

1.5-4.1

メモ

2.0.1

メソッド

4.3.2

mgcv

1.8-42

マイム

0.12

ミニUI

0.1.1.1

MLflow

2.10.0

モデルメトリクス

1.2.2.2

モデラー

0.1.11

マンセル

0.5.0

nlme

3.1-163

ネット

7.3-19

numDerivの

2016.8-1.1

オープンSSL

2.1.1

並列

4.3.2

並行して

1.36.0

1.9.0

pkgbuild の

1.4.3

pkgconfig

2.0.3

pkgdown (英語)

2.0.7

pkgload(パッケージロード)

1.3.4

plogrの

0.2.0

プライル

1.8.9

褒める

1.0.0

プリティユニット

1.2.0

pROC

1.18.5

プロセスX

3.8.3

製品

2023.08.28

プロヴィス

0.3.8

経過

1.2.3

プログレッサー

0.14.0

約束

1.2.1

プロト

1.0.0

プロキシ

0.4-27

PS

1.7.6

ゴロゴロ

1.0.2

R6の

2.5.1

ラグ

1.2.7

ランダムフォレスト

4.7-1.1

ラプディレクトリ

0.3.3

rcmdcheckの

1.4.0

RColorブリューワー

1.1-3

Rcpp

1.0.12

RcppEigen

0.3.3.9.4

反応可能

0.4.4

リアクターR

0.5.0

読み取り

2.1.5

readxlの

1.4.3

レシピ

1.0.9

再戦

2.0.0

再戦2

2.1.2

リモコン

2.4.2.1

レプレックス

2.1.0

形状変更2

1.4.4

ラン

1.1.3

rmarkdown

2.25

RODBC

1.3-23

リオキシジェン2

7.3.1

rpart

4.1.21

rprojroot さん

2.0.4

サーブ

1.8-13

RSQLite (英語)

2.3.5

rstudioapi

0.15.0

rversions

2.1.2

アヴェスト

1.0.3

サス

0.4.8

1.3.0

セレクタ

0.4-2

セッション情報

1.2.2

1.4.6

shiny

1.8.0

ソースツール

0.1.7-1

sparklyr

1.8.4

空間的

7.3-15

スプライン

4.3.2

sqldf

0.4-11

スクエアム

2021.1

統計

4.3.2

統計4

4.3.2

ストリンギ

1.8.3

ストリンガー

1.5.1

生存

3.5-5

闊歩

3.33.1

SYSの

3.4.2

システムフォント

1.0.5

tcltk

4.3.2

テストを

3.2.1

テキストシェーピング

0.3.7

ティブル

3.2.1

ティディル

1.3.1

ティディセレクト

1.2.0

ティディバース

2.0.0

時間変更

0.3.0

日時

4032.109

タイニーテックス

0.49

ツール

4.3.2

tzdb

0.4.0

urlchecker(英語)

1.0.1

usethisさん

2.2.2

UTF8

1.2.4

ユーティリティ

4.3.2

UUIDの

1.2-0

V8の

4.4.1

vctrs

0.6.5

viridisライト

0.4.2

ブルーム

1.6.5

ワルド

0.5.2

ウイスカー

0.4.1

ウィザー

3.0.0

xfun

0.41

XML2の

1.3.6

xopen(オーペン)

1.0.0

エクステーブル

1.8-4

ヤムラ

2.3.8

ジーロット

0.1.0

郵便番号

2.3.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.12.0

com.amazonawsの

aws-java-sdk-オートスケール

1.12.390

com.amazonawsの

aws-java-sdk-cloudformation

1.12.390

com.amazonawsの

aws-java-sdk-cloudfront

1.12.390

com.amazonawsの

aws-java-sdk-cloudhsm

1.12.390

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.12.390

com.amazonawsの

aws-java-sdk-cloudtrail

1.12.390

com.amazonawsの

aws-java-sdk-cloudwatch

1.12.390

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.12.390

com.amazonawsの

aws-java-sdk-コードデプロイ

1.12.390

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.12.390

com.amazonawsの

aws-java-sdk-cognitosync

1.12.390

com.amazonawsの

aws-java-sdk-configの

1.12.390

com.amazonawsの

aws-java-sdk-コア

1.12.390

com.amazonawsの

aws-java-sdk-データパイプライン

1.12.390

com.amazonawsの

aws-java-sdk-directconnectの

1.12.390

com.amazonawsの

aws-java-sdkディレクトリ

1.12.390

com.amazonawsの

aws-java-sdk-ダイナモDB

1.12.390

com.amazonawsの

aws-java-sdk-ec2 の

1.12.390

com.amazonawsの

aws-java-sdk-ecsの

1.12.390

com.amazonawsの

aws-java-sdk-efs

1.12.390

com.amazonawsの

aws-java-sdk-elasticache

1.12.390

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.12.390

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.12.390

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.12.390

com.amazonawsの

aws-java-sdk-emr

1.12.390

com.amazonawsの

aws-java-sdk-glacier

1.12.390

com.amazonawsの

aws-java-sdk-グルー

1.12.390

com.amazonawsの

aws-java-sdk-iam

1.12.390

com.amazonawsの

aws-java-sdk-importexport

1.12.390

com.amazonawsの

aws-java-sdk-キネシス

1.12.390

com.amazonawsの

aws-java-sdk-kmsの

1.12.390

com.amazonawsの

aws-java-sdk-ラムダ

1.12.390

com.amazonawsの

aws-java-sdk-logs

1.12.390

com.amazonawsの

aws-java-sdk-機械学習

1.12.390

com.amazonawsの

aws-java-sdk-opsworks

1.12.390

com.amazonawsの

aws-java-sdk-rds

1.12.390

com.amazonawsの

aws-java-sdk-レッドシフト

1.12.390

com.amazonawsの

aws-java-sdk-ルート53

1.12.390

com.amazonawsの

aws-java-sdk-s3 の

1.12.390

com.amazonawsの

aws-java-sdk-ses

1.12.390

com.amazonawsの

aws-java-sdk-simpledb

1.12.390

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.12.390

com.amazonawsの

aws-java-sdk-snsの

1.12.390

com.amazonawsの

aws-java-sdk-sqs

1.12.390

com.amazonawsの

aws-java-sdk-ssm

1.12.390

com.amazonawsの

aws-java-sdk-storagegateway

1.12.390

com.amazonawsの

aws-java-sdk-sts

1.12.390

com.amazonawsの

aws-java-sdk-サポート

1.12.390

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.12.390

com.amazonawsの

jmespath-java

1.12.390

com.clearspring.アナリティクス

stream

2.9.6

com.databricksの

サーブ

1.8-3

com.databricksの

Databricks の SDK の java

0.17.1

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapbのruntime_2.12

0.4.15-10

com.esotericソフトウェア

kryo-shaded(クリョシェード)

4.0.2

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.3.4

com.fasterxml.jackson.core

ジャクソン-注釈

2.15.2

com.fasterxml.jackson.core

ジャクソンコア

2.15.2

com.fasterxml.jackson.core

ジャクソン-データバインド

2.15.2

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.15.2

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-yaml

2.15.2

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.15.2

com.fasterxml.jackson.datatype

ジャクソン-データ型-JSR310

2.16.0

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.15.2

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.12

2.15.2

com.github.ben-manes.caffeine

カフェイン

2.9.3

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1-ネイティブ

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1-ネイティブ

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64

1.1-ネイティブ

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64

1.1-ネイティブ

com.github.luben

ZSTD-JNI

1.5.5-4

com.github.wendykierp (英語)

JTransformsの

3.1

com.google.code.findbugs

JSR305

3.0.0

com.google.code.gson(英語)

gson

2.10.1

com.google.crypto.tink

ティンク

1.9.0

com.google.errorが発生しやすい

error_prone_annotations

2.10.0

com.google.flatbuffers

フラットバッファ-Java

23.5.26

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.helger

プロファイラー

1.1.1

com.jcraftの

jsch

0.1.55

com.jolboxの

ボーンカップ

0.8.0.リリース

com.lihaoyi

sourcecode_2月12日

0.1.9

com.microsoft.azure

azure-データレイク-store-sdk

2.3.9

com.microsoft.sqlserver

mssqlの-JDBC

11.2.2.JRE8

com.ningの

圧縮-LZF

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.バインド

jaxb-コア

2.2.11

com.sun.xml.バインド

jaxb-impl

2.2.11

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.12

0.4.12

コム。囀る

チルジャワ

0.10.0

コム。囀る

chill_2.12

0.10.0

コム。囀る

util-app_2.12

7.1.0

コム。囀る

util-core_2.12

7.1.0

コム。囀る

util-function_2.12

7.1.0

コム。囀る

util-jvm_2.12

7.1.0

コム。囀る

util-lint_2.12

7.1.0

コム。囀る

util-registry_2.12

7.1.0

コム。囀る

util-stats_2.12

7.1.0

com.タイプセーフ

コンフィグ

1.4.3

Scala-logging

Scala-logging_2.12

3.7.2

com.uberの

H3

3.7.3

com.univocityの

univocity-パーサー

2.9.1

com.zaxxerの

ひかりCP

4.0.3

コモンズCLI

コモンズCLI

1.5.0

コモンズコーデック

コモンズコーデック

1.16.0

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズファイルアップロード

コモンズファイルアップロード

1.5

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.13.0

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズプール

コモンズプール

1.5.4

dev.ludovic.netlib さん

アーパック

3.0.3

dev.ludovic.netlib さん

ブラス

3.0.3

dev.ludovic.netlib さん

ラパック

3.0.3

info.ganglia.gmetric4j

gmetric4jの

1.0.10

io.エアリフト

エアコンプレッサー

0.25

io.delta

デルタシェアリング-client_2.12

1.0.4

io.dropwizard.メトリクス

メトリクスアノテーション

4.2.19

io.dropwizard.メトリクス

メトリクスコア

4.2.19

io.dropwizard.メトリクス

メトリクス-グラファイト

4.2.19

io.dropwizard.メトリクス

メトリクス-healthchecks

4.2.19

io.dropwizard.メトリクス

メトリクス-jetty9

4.2.19

io.dropwizard.メトリクス

メトリクス-JMX

4.2.19

io.dropwizard.メトリクス

メトリクス-JSON

4.2.19

io.dropwizard.メトリクス

メトリクス-JVM

4.2.19

io.dropwizard.メトリクス

メトリクスサーブレット

4.2.19

io.nettyの

netty-すべて

4.1.96.ファイナル

io.nettyの

netty-buffer

4.1.96.ファイナル

io.nettyの

netty-codec (英語)

4.1.96.ファイナル

io.nettyの

netty-codec-http

4.1.96.ファイナル

io.nettyの

netty-codec-http2

4.1.96.ファイナル

io.nettyの

netty-codec-socksの

4.1.96.ファイナル

io.nettyの

netty-共通

4.1.96.ファイナル

io.nettyの

netty-ハンドラ

4.1.96.ファイナル

io.nettyの

netty-handler-proxy

4.1.96.ファイナル

io.nettyの

netty-リゾルバ

4.1.96.ファイナル

io.nettyの

netty-tcnative-boringssl-static

2.0.61.最終版-linux-aarch_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.最終版-linux-x86_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.ファイナル-OSX-aarch_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.ファイナルOSX-x86_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.Final-windows-x86_64

io.nettyの

netty-tcnative-クラス

2.0.61.ファイナル

io.nettyの

netty-トランスポート

4.1.96.ファイナル

io.nettyの

netty-transport-classes-epoll

4.1.96.ファイナル

io.nettyの

netty-transport-classes-kqueue

4.1.96.ファイナル

io.nettyの

netty-transport-native-epoll

4.1.96.ファイナル

io.nettyの

netty-transport-native-epoll

4.1.96.最終版 linux-aarch_64

io.nettyの

netty-transport-native-epoll

4.1.96.最終版 linux-x86_64

io.nettyの

netty-transport-native-kqueue

4.1.96.ファイナルOSX-aarch_64

io.nettyの

netty-transport-native-kqueue

4.1.96.ファイナルOSX-x86_64

io.nettyの

netty-transport-native-unix-common

4.1.96.ファイナル

io.プロメテウス

シンプルクライアント

0.7.0

io.プロメテウス

simpleclient_common

0.7.0

io.プロメテウス

simpleclient_dropwizard

0.7.0

io.プロメテウス

simpleclient_pushgateway

0.7.0

io.プロメテウス

simpleclient_servlet

0.7.0

io.prometheus.jmx

収集家

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet (英語)

jakarta.servlet-api

4.0.3

jakarta.validation(ジャカルタ検証)

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activationの

アクティベーション

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

トランザクションAPI

1.1

javax.xml.バインド

ヤックスビーAPI

2.2.11

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.14.6

ジョダタイム

ジョダタイム

2.12.1

net.java.dev.jna

jna

5.8.0

net.razorvine

漬ける

1.3

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

snowflake-ingest-sdk

0.9.6

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt.remoteteaの

リモートTEA-ONCRPC

1.1.2

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.5.2

org.antlr

antlr4ランタイム

4.9.3

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.10.11

org.apache.ant

アントJSCH

1.10.11

org.apache.ant

アントランチャー

1.10.11

org.apache.arrow(アパッチ・アロー)

arrow-format

15.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-core

15.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-netty

15.0.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

15.0.0

org.apache.avro

AVRO

1.11.3

org.apache.avro

アブロIPC

1.11.3

org.apache.avro

アブロマップド

1.11.3

org.apache.commonsの

コモンズコレクション4

4.4

org.apache.commonsの

コモンズ圧縮

1.23.0

org.apache.commonsの

コモンズ-クリプト

1.1.0

org.apache.commonsの

コモンズ-LANG3

3.12.0

org.apache.commonsの

コモンズ-数学3

3.6.1

org.apache.commonsの

コモンズテキスト

1.10.0

org.apache.curator (英語)

キュレーター・クライアント

2.13.0

org.apache.curator (英語)

キュレーターフレームワーク

2.13.0

org.apache.curator (英語)

キュレーターレシピ

2.13.0

org.apache.datasketches (英語)

データスケッチ-Java

3.1.0

org.apache.datasketches (英語)

datasketches-memory

2.0.0

org.apache.derbyの

ダービー

10.14.2.0

org.apache.hadoop です。

hadoop クライアント ランタイム

3.3.6

org.apache.hive です。

ハイブビーライン

2.3.9

org.apache.hive です。

ハイブ CLI

2.3.9

org.apache.hive です。

ハイブ-JDBC

2.3.9

org.apache.hive です。

ハイブ - llap クライアント

2.3.9

org.apache.hive です。

ハイブ - llap - 共通

2.3.9

org.apache.hive です。

ハイブセルデ

2.3.9

org.apache.hive です。

ハイブシム

2.3.9

org.apache.hive です。

ハイブストレージAPI

2.8.1

org.apache.hive.shims

ハイブシム-0.23

2.3.9

org.apache.hive.shims

ハイブシム-共通

2.3.9

org.apache.hive.shims

ハイブシムススケジューラ

2.3.9

org.apache.httpコンポーネント

httpクライアント

4.5.14

org.apache.httpコンポーネント

httpコア

4.4.16

org.apache.ivy

2.5.1

org.apache.logging.log4j

ログ4J-1.2-API

2.22.1

org.apache.logging.log4j

ログ4J-API

2.22.1

org.apache.logging.log4j

log4j-コア

2.22.1

org.apache.logging.log4j

log4j-slf4j2-impl

2.22.1

org.apache.orc

オークコア

1.9.2-シェード-protobuf

org.apache.orc

orc-mapreduce

1.9.2-シェード-protobuf

org.apache.orc

オークシム

1.9.2

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.12.0

org.apache.ws.xmlスキーマ

xmlschema-core

2.3.0

org.apache.xbean

xbean-asm9-shaded (英語)

4.23

org.apache.yetus (英語)

オーディエンスアノテーション

0.13.0

org.apache.zookeeper

動物園の飼育係

3.6.3

org.apache.zookeeper

動物園の飼育係ジュート

3.6.3

org.checkerフレームワーク

チェッカークォール

3.31.0

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.16

org.codehaus.janino

ジャニーノ

3.0.16

org.datanucleus (英語)

データ核-API-JDO

4.2.4

org.datanucleus (英語)

データ核コア

4.1.17

org.datanucleus (英語)

データ核-RDBMS

4.1.19

org.datanucleus (英語)

javax.jdo

3.2.0-m3

org.Eclipse.collections

Eclipseコレクション

11.1.0

org.Eclipse.collections

Eclipse-collections-api

11.1.0

組織Eclipse.jetty

桟橋クライアント

9.4.52.v20230823

組織Eclipse.jetty

桟橋の続き

9.4.52.v20230823

組織Eclipse.jetty

桟橋-HTTP

9.4.52.v20230823

組織Eclipse.jetty

桟橋-IO

9.4.52.v20230823

組織Eclipse.jetty

桟橋-JNDI

9.4.52.v20230823

組織Eclipse.jetty

桟橋プラス

9.4.52.v20230823

組織Eclipse.jetty

桟橋プロキシ

9.4.52.v20230823

組織Eclipse.jetty

桟橋警備

9.4.52.v20230823

組織Eclipse.jetty

桟橋サーバー

9.4.52.v20230823

組織Eclipse.jetty

桟橋サーブレット

9.4.52.v20230823

組織Eclipse.jetty

桟橋サーブレット

9.4.52.v20230823

組織Eclipse.jetty

桟橋-util

9.4.52.v20230823

組織Eclipse.jetty

桟橋-util-ajax

9.4.52.v20230823

組織Eclipse.jetty

桟橋-webapp

9.4.52.v20230823

組織Eclipse.jetty

桟橋XML

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-api

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-クライアント

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-共通

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-サーバー

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-サーブレット

9.4.52.v20230823

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.6.1

org.glassfish.hk2

HK2ロケーター

2.6.1

org.glassfish.hk2

hk2-utilsの

2.6.1

org.glassfish.hk2

osgi-リソースロケーター

1.0.3

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.6.1

org.glassfish.hk2.external (英語)

jakarta.inject です。

2.6.1

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.40

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.40

org.glassfish.jersey.coreの

ジャージークライアント

2.40

org.glassfish.jersey.coreの

ジャージー共通

2.40

org.glassfish.jersey.coreの

ジャージーサーバー

2.40

org.glassfish.jersey.inject

ジャージ-HK2

2.40

org.hibernate.validator

hibernate-validator

6.1.7.ファイナル

org.ini4jの

ini4j(イニ4J)

0.5.4

org.javassist

ジャバス奏者

3.29.2-GAの

org.jboss.logging

jboss-ロギング

3.3.2.ファイナル

org.jdbi

DBI

2.63.1

org.jetbrainsの

注釈

17.0.0

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.12

3.7.0-M11

org.json4sの

json4s-core_2.12

3.7.0-M11

org.json4sの

json4s-jackson_2.12

3.7.0-M11

org.json4sの

json4s-scalap_2.12

3.7.0-M11

org.lz4

LZ4-Javaの

1.8.0

org.mlflowの

mlflow-spark_2.12

2.9.1

org.objenesis

オブジェネシス

2.5.1

org.postgresql

PostgreSQL

42.6.1

org.roaringbitmap

ロアリングビットマップ

0.9.45

org.roaringbitmap

シム

0.9.45

org.rocksdbの

ロックスDBJNI

8.3.2

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.12

2.12.15

組織Scala-lang

Scala-Library.12

2.12.15

組織Scala-lang

Scala-reflect_2.12

2.12.15

組織Scala-lang.modules

Scalaコレクションcompat_2.12

2.11.0

組織Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

組織Scala-lang.modules

Scala-xml_2.12

1.2.0

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.2.15

org.scalanlp

そよ風-macros_2.12

2.1.0

org.scalanlp

breeze_2.12

2.1.0

org.scalatestの

scalatest対応

3.2.15

org.scalatestの

scalatest-core_2.12

3.2.15

org.scalatestの

scalatest-diagrams_2.12

3.2.15

org.scalatestの

scalatest-featurespec_2.12

3.2.15

org.scalatestの

scalatest-flatspec_2.12

3.2.15

org.scalatestの

scalatest-freespec_2.12

3.2.15

org.scalatestの

scalatest-funspec_2.12

3.2.15

org.scalatestの

scalatest-funsuite_2.12

3.2.15

org.scalatestの

scalatest-matchers-core_2.12

3.2.15

org.scalatestの

scalatest-mustmatchers_2.12

3.2.15

org.scalatestの

scalatest-propspec_2.12

3.2.15

org.scalatestの

scalatest-refspec_2.12

3.2.15

org.scalatestの

scalatest-shouldmatchers_2.12

3.2.15

org.scalatestの

scalatest-wordspec_2.12

3.2.15

org.scalatestの

scalatest_2.12

3.2.15

org.slf4j

jcl-over-slf4j

2.0.7

org.slf4j

7月-slf4j

2.0.7

org.slf4j

SLF4J-APIの

2.0.7

org.slf4j

SLF4J-シンプル

1.7.25

org.threetenさん

スリーテンエクストラ

1.7.1

org.tukaani

xz

1.9

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

スパイア-macros_2.12

0.17.0

org.typelevel

スパイア-platform_2.12

0.17.0

org.typelevel

スパイア-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

ワイルドフライ-openssl

1.1.3.ファイナル

org.xerial

sqlite-JDBC の

3.42.0.0

org.xerial.snappy(英語)

スナッピージャワ

1.1.10.3

org.yaml の

スネークヤム

2.0

オロ

オロ

2.0.8

pl.edu.icm

JLarge配列

1.5

ソフトウェア.Amazon.cryptools

AmazonCorrettoCryptoProvider

1.6.1-linux-x86_64

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1