メインコンテンツまでスキップ

Databricks Runtime 12.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートは、Databricks Runtime Apache Spark3.3.1 を搭載した 12.0 に関する情報を提供します。

Databricks は 2022 年 12 月にこのバージョンをリリースしました。

新機能と改善点

予測I/OはGAです

予測 I/O の一般提供が開始されました。 詳細については、「 予測 I/O とは」を参照してください。

Photon Writer は zstd 圧縮をサポートしています

Photon Native Writer は、 spark.sql.parquet.compression.codeczstdに設定することで zstd が有効になっている場合、zstd 圧縮コーデックをサポートするようになりました。

スタンドアロンクラスターのステージレベルのタスクリソースプロファイルのサポート

動的割り当てが無効になっている場合に、スタンドアロンクラスターでステージレベルのスケジューリングを使用できるようになりました。 この機能を使用するには、ステージごとにタスクリソースを ResourceProfileBuilder で指定します。

選択的上書きの SQL サポート REPLACE WHERE

次のパターンを使用して、Delta テーブル内の任意の式に一致するデータを選択的に上書きできるようになりました。

SQL
INSERT INTO table_name REPLACE WHERE predicate append_relation

replaceWhereによる任意の選択的上書きを参照してください。

ウォーターマークが SQL でサポートされるようになりました

DLT SQL インターフェイスを使用して、ストリーミング に対する SQL クエリでウォーターマークを指定できるようになりました DataFrames。 WATERMARK 句を参照してください。

PySpark メモリプロファイリング

メモリプロファイリングが PySpark ユーザー定義関数で有効になりました。 これにより、ユーザー定義関数の各コード行のメモリ増分、メモリ使用量、および出現回数に関する情報が提供されます。

DELETE と UPDATE の動的プルーニング

Photon対応のコンピュートを使用する場合、 DELETEUPDATE は動的ファイルとパーティションのプルーニングを使用するようになり、パフォーマンスが向上しました。 たとえば、動的プルーニングは、小さなソース テーブルを使用して大きなテーブルの行を更新または削除する場合に有効になります。

Row-level delete メトリクス for partitioned data manipulation language operations

パーティション化された述語を使用すると、 DELETETRUNCATEreplaceWhereなどのデータ操作言語 (DML) 操作の実行時に削除される行数を監査できるようになりました。

バグの修正

JSONでのAuto Loader 解析で、すべての列が文字列として残される問題を修正しました。以前は、 cloudFiles.inferColumnTypes が設定されていないか、 false に設定されておらず、JSON にはネストされたオブジェクトが含まれていました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:

    • argon2-cffi 20.1.0 以降 21.3.0 へ
    • 21.2.0 から 21.4.0 までの属性
    • backports.entry-points-selectable 1.1.1 から 1.2.0 へ
    • 4.0.0から4.1.0までの漂白剤
    • boto3 1.21.18 から 1.21.32 まで
    • 1.24.18から1.24.32へのbotocore
    • CFFI 1.14.6 から 1.15.0 へ
    • 8.0.3から8.0.4までクリックします
    • 0.10.0 から 0.11.0 までのサイクラー
    • Cython 0.29.24 から 0.29.28
    • debugpy 1.4.1 から 1.5.1 まで
    • 5.1.0 からのデコレータ 5.1.1 へ
    • 0.3 から 0.4 までのエントリポイント
    • IDNA 3.2 から 3.3 へ
    • 6.12.1 から 6.15.3 までの ipykernel
    • 7.32.0 から 8.5.0 への ipython
    • ipywidgets 7.7.0 から 7.7.2 まで
    • 0.18.0 から 0.18.1 への Jedi
    • joblib を 1.0.1 から 1.1.0 へ
    • 3.2.0 から 4.4.0 までの jsonschema
    • Kiwisolver 1.3.1 から 1.3.2 へ
    • matplotlib を 3.4.3 から 3.5.1 へ
    • nbclient を 0.5.3 から 0.5.13 に変更
    • nbconvert 6.1.0 から 6.4.4 まで
    • nbformat 5.1.3 以降 5.3.0 まで
    • nest-asyncio を 1.5.1 から 1.5.5 に変更
    • ノートブック 6.4.5 から 6.4.8 へ
    • 1.20.3 から 1.21.5 までの numpy
    • 21.0 から 21.3 までのパッケージ
    • 1.3.4 から 1.4.2 へのPandas
    • pandoc1.4.3 から 1.5.0 へのフィルタ
    • parso を 0.8.2 から 0.8.3 に変更
    • 8.4.0から9.0.1までの枕
    • platform2.5.2 から 2.5.4 へのディレクトリ
    • 5.9.0から5.6.0へのplotly
    • prometheus-client を 0.11.0 から 0.13.1 に変更
    • 4.21.5 から 3.19.4 への protobuf
    • pycparser を 2.20 から 2.21 に変更
    • 2.10.0 から 2.11.2 までの画像
    • 4.0.31 から 4.0.32 へのpyodbc
    • Pyzmq 22.2.1 から 22.3.0 へ
    • 2.26.0 から 2.27.1 へのリクエスト
    • s3 0.5.2 から 0.5.0 への転送
    • scikit-learn 0.24.2 から 1.0.2 まで
    • scipy 1.7.1 から 1.7.3 へ
    • statsは 0.12.2 から 0.13.2 までモデル化します。
    • 0.9.4 から 0.13.1 までのターミナル
    • tomli を 2.0.1 から 1.2.2 へ
    • 5.1.0 からの特性 5.1.1 へ
    • urllib3 を 1.26.7 から 1.26.9 に変更
    • widgetsnb拡張子を 3.6.0 から 3.6.1 に変更
  • アップグレードされた R ライブラリ:

    • 4.1.3 からのベース 4.2.2 へ
    • 1.0-7から1.0-8まで醸造
    • bslib を 0.4.0 から 0.4.1 へ
    • 3.7.2 から 3.7.3 への callr
    • 2.3-57 から 2.3-58 までの chron
    • 3.3.0 から 3.4.1 までの CLI
    • 2.1.3 からのクラスター 2.1.4 へ
    • commonmark を 1.8.0 から 1.8.1 に変更
    • 4.1.3 からのコンパイラ 4.2.2 へ
    • cpp11 を 0.4.2 から 0.4.3 に
    • Crayon 1.5.1 から 1.5.2 へ
    • curl を 4.3.2 から 4.3.3 に変更
    • data.table を 1.14.2 から 1.14.4 に
    • 4.1.3 からのデータセット 4.2.2 へ
    • 1.4.1 から 1.4.2 への DESC
    • devtools を 2.4.4 から 2.4.5 に
    • 0.6.29 から 0.6.30 までのダイジェスト
    • E1071 1.7-11 から 1.7-12
    • 0.16から0.18まで評価します
    • 0.3.0 から 0.4.0 への fontawesome
    • 1.28.0 から 1.29.0 までの将来
    • future.apply を 1.9.1 から 1.10.0 に変更
    • 1.2.0から1.2.1へのうがい
    • gert 1.8.0 から 1.9.1 へ
    • ggplot2 を 3.3.6 から 3.4.0 へ
    • gh を 1.3.0 から 1.3.1 に
    • 0.1.1 から 0.1.2 への gitcreds
    • 4.1.3 からのグラフィック 4.2.2 へ
    • grDevices 4.1.3 から 4.2.2 へ
    • 4.1.3 からのグリッド 4.2.2 へ
    • httpuv 1.6.5 から 1.6.6 へ
    • 0.2.5 から 0.2.6 までの等帯域
    • jsonlite 1.8.0 から 1.8.3 へ
    • 溶岩 1.6.10 から 1.7.0 へ
    • 1.0.1 から 1.0.3 までのライフサイクル
    • lubridate 1.8.0 から 1.9.0 へ
    • 1.1から1.3への値下げ
    • 7.3-56から7.3-58までのMASS
    • 1.4-1から1.5-1までの行列
    • 4.1.3 からのメソッド 4.2.2 へ
    • 1.8-40から1.8-41までのMGCV
    • 3.1-157から3.1-160までのNLME
    • nnet 7.3-17 から 7.3-18
    • openssl 2.0.2 から 2.0.4 へ
    • 4.1.3 からの並列 4.2.2 へ
    • pkgload を 1.3.0 から 1.3.1 へ
    • processx 3.7.0 から 3.8.0 へ
    • PS 1.7.1 から 1.7.2 へ
    • 0.3.4 から 0.3.5 への purrr
    • ragg を 1.2.2 から 1.2.4 に更新
    • 0.3.3.9.2 から 0.3.3.9.3 への RcppEigen
    • 2.1.2 からの読み取り から 2.1.3
    • 1.0.1から1.0.3までのレシピ
    • rlang を 1.0.5 から 1.0.6 へ
    • rmarkdown を 2.16 から 2.18 に変更しました。
    • rpart 4.1.16 から 4.1.19 まで
    • RSQLite の 2.2.16 から 2.2.18 へ
    • 1.7.2から1.7.3までの光沢
    • SparkR 3.3.0 から 3.3.1 へ
    • 4.1.3 からのスプライン 4.2.2 へ
    • 4.1.3 からのステータス 4.2.2 へ
    • 4.1.3 からの stats4 4.2.2 へ
    • sys を 3.4 から 3.4.1 へ
    • 4.1.3 からの tcltk 4.2.2 へ
    • 3.1.4 からの testthat 3.1.5 まで
    • tidyr 1.2.0 から 1.2.1 へ
    • 1.1.2からのtidyselect 1.2.0 へ
    • time日付 4021.104 から 4021.106 まで
    • 0.41から0.42へのtinytex
    • 4.1.3 のツール 4.2.2 へ
    • 4.1.3 からのユーティリティ 4.2.2 へ
    • 0.4.1 から 0.5.0 までの VCTRS
    • vroom 1.5.7 から 1.6.0 へ
    • 0.32から0.34へのxfun
    • 2.3.5 から 2.3.6 までの YAML
    • 2.2.0 から 2.2.2 までの zip
  • アップグレードされた Java ライブラリ:

    • com.fasterxml.jackson.core.jackson-databind 2.13.4 から 2.13.4.2 へ
    • org.apache.parquet.parquet-column 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
    • org.apache.parquet.parquet-common 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
    • org.apache.parquet.parquet-エンコーディング 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
    • org.apache.parquet.parquet-format-structures 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
    • org.apache.parquet.parquet-hadoop 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
    • org.apache.parquet.parquet-jackson 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
    • org.apache.yetus.audience-annotations(英語) 0.5.0 から 0.13.0 まで

Apache Spark

Databricks Runtime 12.0 には Apache Spark 3.3.1 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 11.3 LTS に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] 「[SC-113542][ss] Kafka オフセットフェッチ設定のデフォルト値を反転する」を元に戻す
  • [SPARK-40646] [SC-116061] 「[SC-113379][sql] JSON データソースおよび JSON 関数で部分的な結果を返す問題を修正」を元に戻す
  • [SPARK-41195] [SC-116305][sql] 結合子でPIVOT/UNPIVOTをサポート
  • [SPARK-41178] [SC-116139][sql] JOINとカンマの間のパーサールールの優先順位を修正
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] エラークラスを STREAM_FAILED に追加します StreamingQueryException
  • 【スパーク-40921】「[SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY ソース 句を MERGE INTO に戻します
  • [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張します
  • [SPARK-41055] [SC-115582][sql] _LEGACY_ERROR_TEMP_2424 の名前を GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849]Python[PROTOBUF] PySpark-PROTOBUFのメッセージクラス名のサポート
  • [SPARK-40956] [SC-115867] データフレームの上書きコマンドに同等のSQLを設定
  • [SPARK-41095] [SC-115659][sql] 未解決の演算子を内部エラーに変換する
  • [SPARK-41144] [SC-115866][sql] 未解決のヒントでクエリが失敗しないようにする
  • [SPARK-41137] [SC-115858][sql] LATERAL_JOIN_OF_TYPE の名前を INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] エラークラスの名前を _LEGACY_ERROR_TEMP_0040 に変更 INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] データジェネレータのUnitTestヌルチェック
  • [SPARK-40769] [SC-114923][core][SQL] 集約式のタイプチェック失敗をエラークラスに移行
  • [SPARK-41043] [SC-115183][sql] エラークラスの名前を _LEGACY_ERROR_TEMP_2429 に変更 NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobufのインポートサポートと移動エラークラス。
  • [SPARK-41019] [SC-114987][sql] クエリコンテキストを failAnalysis()
  • [SPARK-41027] [SC-115131][sql] 代わりに UNEXPECTED_INPUT_TYPE を使用してください MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] ALSのシャッフルサイズを縮小
  • [SPARK-41134] [SC-115851][sql] 内部エラーのエラーメッセージを改善
  • [スパーク-37980] Revert " [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張します
  • [SPARK-41109] [SC-115788][sql] エラークラスの名前を_LEGACY_ERROR_TEMP_1216をINVALID_LIKE_PATTERNに変更
  • [SPARK-40984] [SC-115844][core][SQL] 代わりに NON_FOLDABLE_INPUT を使用 FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Scala 2.13の GenericArrayData のコンストラクタ使用を最適化
  • [SPARK-40697] [SC-113648][sql] 外部データファイルをカバーするために読み取り側のcharパディングを追加
  • [SPARK-40978] [SC-114574][sql] コンテキストのない failAnalysis() をエラークラスに移行
  • [SPARK-40663] [SC-114586][sql] 実行エラーをエラークラスに移行:_LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2:行レベルのコマンドでランタイムグループフィルタリングをサポート
  • [SPARK-40372] [SC-115668][sql] 配列型チェックの失敗をエラークラスに移行
  • [SPARK-41038] [SC-115371][sql] MULTI_VALUE_SUBQUERY_ERROR の名前を SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] エラークラスの名前を _LEGACY_ERROR_TEMP_1208 に変更 FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] 条件のタイプチェック失敗をエラークラスに移行
  • [SPARK-40371] [SC-114557][sql] NthValueとNTileのタイプチェック失敗をエラークラスに移行
  • [SPARK-41092] [SC-115547][sql] 間隔の単位を一致させるために識別子を使用しない
  • [SPARK-41009] [SC-115360][sql] エラークラスの名前を _LEGACY_ERROR_TEMP_1070 に変更 LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張します
  • [SPARK-40967] [SC-114448][sql] failAnalysis() をエラークラスに移行
  • [SPARK-34265] [SC-115486][sc-113788][][sql]Python PythonSQLメトリクスを使用した UDF インストゥルメント
  • [SPARK-41012] [SC-114873][sql] _LEGACY_ERROR_TEMP_1022 の名前を次のように変更 ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] PARSE_CHAR_MISSING_LENGTH の名前を DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] その他の式のタイプチェック失敗をエラークラスに移行
  • [SPARK-37945] [SC-115534][sql][CORE] 算術演算の実行エラーでエラークラスを使用
  • [SPARK-40374] [SC-114705][sql] タイプ作成者のタイプチェックの失敗をエラークラスに移行
  • [SPARK-41056] [SC-115354][r] R 4.2で導入された新しいR_LIBS_SITEの動作を修正
  • [SPARK-41041] [SC-115357][sql] _LEGACY_ERROR_TEMP_1279TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] 実行エラーをエラークラスに移行:_LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] エラークラスの名前を _LEGACY_ERROR_TEMP_1019 に変更 STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] 集計関数の折り畳み可能な子にパッチを適用しない RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] エラークラスとメッセージの改善
  • [SPARK-40798] [SC-113782][sql] パーティションの変更はstoreAssignmentPolicyに従って値を確認する必要があります
  • [SPARK-40810] [SC-113533][sql] CreateDatabaseCommand および AlterDatabaseSetLocationCommand で IllegalArgumentException の代わりに SparkIllegalArgumentException を使用
  • [SPARK-40921] [SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY ソース句を MERGE INTO に追加
  • [SPARK-40360] [SC-114965] ALREADY_EXISTSおよびNOT_FOUNDの例外
  • [SPARK-41007] [SC-115085][sql] java.math.BigIntegerに欠落しているシリアライザーを追加
  • [SPARK-40751] [SC-114254][sql] 高次関数のタイプチェック失敗をエラークラスに移行
  • [SPARK-40248] [SC-114704][sql] より多くのビットを使用してブルームフィルターを構築
  • [SPARK-41040] [SC-115145][ss] readStream.table使用時の自己結合ストリーミングクエリの失敗を修正
  • [SPARK-32380] [SC-114966][sql] SparkからHive経由でのHBaseテーブルへのアクセスの修正
  • [SPARK-40749] [SC-114860][sql] ジェネレータのタイプチェック失敗をエラークラスに移行
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] ステートフルな演算子の遅延再を修正...
  • [SPARK-40654] [SC-112783] 一時的なログ行の削除
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] ジェネリックタイプに関連するJavaコンパイルの警告を修正
  • [SPARK-40657] [SC-113642][cherry-pick] ProtobのJavaクラスのサポートを追加...
  • [SPARK-40898] [SC-113932][sql] データ型の引用符関数名の不一致エラー
  • [SPARK-40760] [SC-113750][sql] インターバル式のタイプチェック失敗をエラークラスに移行
  • [SPARK-36114] [SC-113771][sql] 相関する非等価述語を持つサブクエリをサポート
  • [SPARK-40856] [SC-113738][sql] WRONG_NUM_PARAMSのエラーテンプレートを更新
  • [SPARK-40759] [SC-114251][sql] タイムウィンドウのタイプチェック失敗をエラークラスに移行
  • [SPARK-40750] [SC-113812][sql] 数式のタイプチェック失敗をエラークラスに移行
  • [SPARK-40756] [SC-113749][sql] 文字列式のタイプチェック失敗をエラークラスに移行
  • [SPARK-40768] [SC-113640][sql] bloom_filter_agg() のタイプチェック失敗をエラークラスに移行
  • [SPARK-40369] [SC-113402][core][SQL] リフレクションによる呼び出しのタイプチェック失敗をエラークラスに移行
  • [SPARK-39445] [SQL] 列のプルーニングでwindowExpressionsが空の場合にウィンドウを削除する
  • [SPARK-40761] [SC-113245][sql] パーセンタイル式のタイプチェック失敗をエラークラスに移行
  • [SPARK-40361] [SC-112789][sql] 算術型チェックの失敗をエラークラスに移行
  • [SPARK-40714] [SC-112576][sql] 削除 PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] パーティションの仕様を修正 PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] コレクション型チェックの失敗をエラークラスに移行
  • [SPARK-40910] [SC-114259][sql] UnsupportedOperationExceptionをSparkUnsupportedOperationExceptionに置き換えてください。
  • [SPARK-39876] [SC-112429][sql] SQL構文にUNPIVOTを追加
  • [SPARK-39783] [SC-113389][sql] エラーメッセージの列候補のバッククォートを修正するために、qualifiedNameを引用符で囲むように修正
  • [SPARK-40663] [SC-112520][sql] 実行エラーをエラークラス_LEGACY_ERROR_TEMP_2026-2282に移行
  • [SPARK-40975] [SC-114555][sql] エラークラス _LEGACY_ERROR_TEMP_0021 の名前を次のように変更 UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] 個別のエラーサブクラスフィールドを削除
  • [SPARK-40944 ] [SC-114530] [SQL] CREATE TABLE 列オプションの順序制約を緩和します
  • [SPARK-40815] [SC-114528][sql] 回避策に DelegateSymlinkTextInputFormat を追加 SymlinkTextInputSplit バグ
  • [SPARK-40933] [SC-114441][sql] df.statを再実装します。{cov、 corr} と組み込み SQL 関数
  • [SPARK-40932] [SC-114439][core] allGatherのメッセージが上書きされる問題を修正
  • [SPARK-39312] [SQL] フィルターのプッシュダウンにネイティブのParquet In述語を使用
  • [SPARK-40862] [SC-114352][sql] RewriteCorrelatedScalarSubquery で非集約サブクエリをサポート
  • [SPARK-40963] [SC-114446][sql] によって作成されたプロジェクトでnull許容値を正しく設定 ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] 実行エラーをエラークラスに移行:_LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] window_timeルールの要件を緩和 - 複数のwindow_time呼び出しを許可する
  • [SPARK-40540] [SC-111639][sql] コンパイルエラーをエラークラスに移行:_LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] 入力に奇数のシンボルがある場合のUnhexの修正
  • [SPARK-40821] [SC-113754] [sql][CORE][Python][SS] ウィンドウ列からイベント時間を抽出するwindow_time機能を導入しました
  • [SPARK-40800] [SC-113772][sql] OptimizeOneRowRelationSubqueryで常にインライン式
  • [SPARK-40900] [SC-114006][sql] データフレーム操作で frequentItems を再実装
  • [SPARK-40735] [SC-114022][sc-112657] スクリプトで /usr/bin/env bash を使用して bash を一貫して呼び出し、コードの移植性を高める
  • [SPARK-40773] [SC-113091][sql] checkCorrelationsInSubqueryをリファクタリング
  • [SPARK-40615] [SC-113400][sql] サブクエリの関連付けを解除する際に、サポートされていないデータ型を確認してください
  • [SPARK-40660] [SC-112293][core][SQL] XORShiftRandomに切り替えて要素を分散
  • [SPARK-40540] [SC-113926][sc-111331][SQL] コンパイルエラーをエラークラスに移行
  • [SPARK-40551] [SC-113135] [sql] データソースV2:デルタベースの行レベル操作の APIs を追加します
  • [SPARK-39391] [SC-110676][core] パーティショナー クラスの再利用
  • [SPARK-40368] [SC-113396][sql] ブルームフィルタータイプのチェック失敗をエラークラスに移行
  • [SPARK-39146] [SC-111814][core][SQL] 再利用可能な ObjectMapper のローカルシングルトンを導入
  • [SPARK-40357] [SC-113786][sc-111352][SQL] ウィンドウタイプチェックの失敗をエラークラスに移行
  • [SPARK-40874] [SC-113756][Python] 暗号化が有効な場合の Python UDFのブロードキャストを修正
  • [SPARK-40359] [SC-113770][sc-111146][SQL] CSV/JSON式からエラークラスへの移行タイプチェックが失敗する
  • [SPARK-40880] [SC-113764][sql] データフレーム操作で summary を再実装
  • [SPARK-40877] [SC-113763][sql] データフレーム操作で crosstab を再実装
  • [SPARK-40382] [SC-113098][sql] 異なる集計式を、意味的に等価な子ごとにグループ化します。 RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] チェックポイントの名前変更ファイルチェックを追加
  • [SPARK-40829 ] [SC-113426] [SQL] CREATE TABLE LIKE として格納されているのが機能しない
  • [SPARK-40844] [SC-113542][ss] Kafkaオフセットフェッチ設定のデフォルト値を反転
  • [SPARK-40488] [SC-113568][sc-111160] データソースの書き込みが失敗したときにスローされる例外をラップしない
  • [SPARK-40560] [SC-113631][sc-111335][SQL] エラーのSTANDARD形式でmessageの名前をmessageTemplateに変更
  • [SPARK-40618] [SC-113096][sql] 参照追跡を使用するネストされたサブクエリのMergeScalarSubqueriesルールのバグを修正
  • [SPARK-40530] [SC-113528][sc-111332][SQL] エラー関連の開発者APIsを追加
  • [スパーク-40806 ] [SC-113250] [SQL]タイプミスの修正: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] JSON データソースおよび JSON 関数で部分的な結果を返す問題を修正
  • [SPARK-40654] [チェリーピック][sc-112783][SQL] SparkのProtobufサポート - ...
  • [SPARK-40753] [SC-113539][sql] カタログディレクトリ操作のテストケースのバグを修正
  • [SPARK-40765] [SC-113056][sql] CommandUtils#calculateSingleLocationSize#getPathSize メソッドでの冗長なfs操作を最適化
  • [SPARK-40114] [ES-479282][r][11.X] SparkRによるArrow 9.0.0のサポート
  • [SPARK-40479] [SC-110935][sql] 予期しない入力タイプエラーをエラークラスに移行
  • [SPARK-40473] [SC-113388][sc-111141][SQL] 解析エラーをエラークラスに移行
  • [SPARK-39853] [SC-111867][core] 動的割り当てが無効になっている場合に、スタンドアロンクラスターのステージレベルのタスクリソースプロファイルをサポート(PR-47157からのバックポート)
  • [SPARK-40407] [SC-111161][sql] df.repartitionによって引き起こされる潜在的なデータスキューを修正
  • [SPARK-40425] [SC-110840][sql] DROP TABLEでテーブルルックアップを行う必要がない
  • [SPARK-40703] [SC-113242][sql] SinglePartitionにシャッフルを導入し、並列処理を改善
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtilを使用してhadoop/hive設定オプションのオリジンを設定
  • [SPARK-39062] [11.x] [コア] スタンドアロン クラスターのステージ レベルのリソース スケジューリング サポートを追加する
  • [SPARK-33861] [SC-109877] 「[SQL] 述語の条件付きを簡略化」を元に戻す
  • [SPARK-40667] [SC-113136][sql] リファクタリング ファイル データソース オプション
  • [SPARK-40370] [SC-110677][sql] CASTのエラークラスに対して移行タイプチェックが失敗する
  • [SPARK-40611] [SC-113105][sql] setInterval & getInterval のパフォーマンスを改善 UnsafeRow
  • [SPARK-40733] [SC-113126][sql] ShowCreateTableAsSerdeCommandの結果のSERDEPROPERTIESの内容を固定順序にするようにします
  • [SPARK-40585] [SC-112180][sql] 二重引用符で囲まれた識別子をサポート
  • [SPARK-40772] [SC-112992][sql] Double値をサポートするようにspark.sql.adaptive.skewJoin.skewedPartitionFactorを改善
  • [SPARK-40565] [SC-112417][sql] 非決定論的フィルターをV2ファイルソースにプッシュしない
  • [SPARK-8731] [SC-112784] バックグラウンドで開始すると、Beelineが-eオプションと一緒に機能しない
  • [SPARK-35242] [SC-111398][sql] セッションカタログのデフォルトデータベースの変更をサポート
  • [SPARK-40426] [SC-110672][sql] SparkThrowable.getMessageParametersからマップを返す
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][MLlib] keys.zipWithIndex.toMapコードパターンのパフォーマンスを最適化します。
  • [SPARK-40521] [SC-112430][sql] Hiveのパーティション作成から PartitionsAlreadyExistException に存在するパーティションのみを返す
  • [SPARK-40705] [SC-112567][sql] Scala 2.13 の Row を JSON に変換する際に、可変配列を使用するケースを処理
  • [SPARK-39895] [SC-112590][sql][Python] 複数列のドロップをサポート
  • [SPARK-40607] [SC-112296][core][SQL][MLlib][SS] 冗長な文字列補間操作を削除
  • [SPARK-40420] [SC-112604][sc-110569][SQL] エラーメッセージパラメーターを JSON 形式の名前で並べ替える
  • [SPARK-40403] [SC-110564][sql] エラーメッセージで負のサイズが負の値にならないように、longs を使用して安全でない配列サイズを計算します。
  • [SPARK-40482] [SC-110831][sql] 元に戻す SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] エラー メッセージ パラメーターをマップとして例外に渡す
  • [SPARK-40628] [SC-112414][sql] プロジェクトを通じて複雑な左半/アンチ結合条件をプッシュしない
  • [SPARK-40562] [SC-111455][sql] 追加 spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] オプティマイザーにPushProjectionThroughLimitを追加
  • [SPARK-39200] [SC-111244][core] フォールバックストレージをコンテンツに完全に読み込ませる
  • [SPARK-38717] [SC-111241][sql] Hiveのバケット仕様のケース保持動作を処理
  • [SPARK-40385] [SC-111123][sql] コンパニオンオブジェクトコンストラクタのインタープリターパスを修正
  • [SPARK-40216] [SC-112413][sql] 一般的な ParquetUtils.prepareWrite メソッドを抽出して、 ParquetFileFormat のコードの重複を排除 ParquetWrite
  • [SPARK-40636] [SC-112160][core] BlockManagerDecommissionerのログインが間違って残っていた問題を修正
  • [SPARK-40617] [SC-112009] ExecutorMetricsPollerのstageTCMPエントリの処理における競合状態を修正
  • [SPARK-40618] [SC-112046][sql] ネストされたサブクエリのMergeScalarSubqueriesルールのバグを修正
  • [SPARK-40612] [SC-111933][core] 非YARNリソースマネージャーの委任トークンの更新に使用されるプリンシパルの修正
  • [SPARK-40595] [SC-111662][sql] 未使用のCTEリレーションのエラーメッセージを改善
  • [SPARK-40314] [SC-111879][sql][Python] インラインおよびinline_outerの Scala および Python バインディングを追加
  • [SPARK-40416] [SC-110945][sql] 新しいエラーフレームワークを使用するようにサブクエリ式のCheckAnalysisエラーメッセージを移動
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() は、その子から例外をスローする必要があります
  • [SPARK-40509] [SC-111644][ss][Python] applyInPandasWithStateの例を追加
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() は子から例外をスローする必要があります
  • [SPARK-40016] [SQL] try_sum()の実装で不要なTryEvalを削除
  • [SPARK-40527] [SC-111224][sql] CreateStructの構造体フィールド名またはマップキーを保持する
  • [SPARK-38098] [ SC-111178] [Python] ネストされた StructType の ArrayType のサポートを矢印ベースの変換に追加
  • [SPARK-40324] [SC-111359][sc-110293][SQL] AnalysisExceptionでクエリコンテキストを提供
  • [SPARK-40492] [SC-111324][ss] ストリーミングStateStoreのアンロード前にメンテナンスを行う
  • [SPARK-40487] [SC-111124][sql] 並列に実行されているBroadcastNestedLoopJoinExecでデフォルト結合を作成
  • [SPARK-40474] [SC-111273][sql] 日付とタイムスタンプが混在する列でのCSVスキーマ推論とデータ解析の動作を修正
  • [SPARK-40508] [SC-111066][sql] 不明なパーティショニングをUnknownPartitioningとして扱う
  • [SPARK-40496] [SC-111234][sc-111013][SQL] 「enableDateTimeParsingFallback」を制御するための設定を修正
  • [SPARK-40435] [SC-111214][ss][Python] PySpark に applyInPandasWithState のテストスイートを追加
  • [SPARK-40434] [SC-111125][ss][Python] PySparkでapplyInPandasWithStateを実装する

メンテナンスの更新

「Databricks Runtime 12.0 メンテナンスの更新」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 20.04.5 LTS
  • Java の:Zulu 8.64.0.19-CA-linux64
  • Scala : 2.12.14
  • Python : 3.9.5
  • R :4.2.2
  • Delta Lake : 2.2.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

アルゴン2-CFFI

21.3.0

argon2-cffi-結合

21.2.0

アストトークンズ

2.0.5

属性

21.4.0

バックコール

0.2.0

backports.entry-points-selectable

1.2.0

美しいスープ4

4.11.1

黒い

22.3.0

ブリーチ

4.1.0

ボト3

1.21.32

ボトコア

1.24.32

認証

2021.10.8

cffi

1.15.0

シャルデ

4.0.0

文字セット・ノーマライザー

2.0.4

クリック

8.0.4

暗号化手法

3.4.8

サーマルサイクラー

0.11.0

シトン

0.29.28

DBUSPython

1.2.16

デバッグ

1.5.1

デコレータ

5.1.1

デフューズドXML

0.7.1

ディストリビューション

0.3.6

エントリポイント

0.4

実行

0.8.3

facets-概要

1.0.0

fastjsonスキーマ

2.16.2

ファイルロック

3.8.0

fonttools

4.25.0

イドナ

3.3

ipykernel(英語)

6.15.3

アイパイソン

8.5.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

ジェダイ

0.18.1

ジンジャ2

2.11.3

jmespathの

0.10.0

ジョブリブ

1.1.0

jsonschema(jsonschema)

4.4.0

jupyter-クライアント

6.1.12

jupyter_core

4.11.2

jupyterlab-pygmentsの

0.1.2

jupyterlab-widgetsの

1.0.0

キウイソルバー

1.3.2

マークアップセーフ

2.0.1

Matplotlib

3.5.1

matplotlib-インライン

0.1.2

ミスチューン

0.8.4

mypy-extensions

0.4.3

NBクライアント

0.5.13

NBコンバート

6.4.4

NBフォーマット

5.3.0

ネスト-アシンシオ

1.5.5

ノートブック

6.4.8

ナムピー

1.21.5

包装

21.3

pandas

1.4.2

pandocフィルター

1.5.0

パルソ

0.8.3

パススペック

0.9.0

パッツィ

0.5.2

pexpect

4.8.0

ピクルシェア

0.7.5

9.0.1

21.2.4

プラットフォームディレクトリ

2.5.4

Plotly

5.6.0

prometheus-クライアント

0.13.1

プロンプトツールキット

3.0.20

プロトブフ

3.19.4

psutil の

5.8.0

サイコップ2

2.9.3

PTYPROCESSの

0.7.0

ピュア評価

0.2.2

ピアロー

7.0.0

pycparser

2.21

ピグメント

2.11.2

PyGObject

3.36.0

pyodbc

4.0.32

pyparsing (英語)

3.0.4

ピルシステント

0.18.0

Python-dateutil

2.8.2

ピッツ

2021.3

ピズム

22.3.0

要求

2.27.1

リクエスト-unixsocket

0.2.0

S3トランスファー

0.5.0

Scikit-Learn

1.0.2

scipy(サイピー)

1.7.3

シーボーン

0.11.2

Send2Trash(センド2トラッシュ)

1.8.0

セットアップツール

58.0.4

6

1.16.0

スープふるい

2.3.1

ssh-import-id

5.10

スタックデータ

0.2.0

統計モデル

0.13.2

持久力

8.0.1

テルミナド

0.13.1

テストパス

0.5.0

スレッドプールctl

2.2.0

トークン化-RT

4.2.1

トムリ

1.2.2

竜巻

6.1

トレイトレット

5.1.1

typing_extensions

4.1.1

無人アップグレード

0.1

urllib3 の

1.26.9

virtualenv

20.8.0

WC幅

0.2.5

webエンコーディング

0.5.1

0.37.0

widgetsnb拡張機能

3.6.1

インストールされている R ライブラリ

R ライブラリは、2022-11-11 の Microsoft CRAN スナップショットからインストールされます。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

10.0.0

アスクパス

1.1

assertthat

0.2.1

バックポート

1.4.1

4.2.2

base64enc

0.1-3

bit

4.0.4

ビット64

4.0.5

ブロッブ

1.2.3

ブート

1.3-28

醸成

1.0-8

ブリオ

1.1.3

1.0.1

bslibの

0.4.1

カケム

1.0.6

コール

3.7.3

キャレット

6.0-93

セルレンジャー

1.1.0

クロン

2.3-58

クラス

7.3-20

CLI

3.4.1

clipr

0.8.0

時計

0.6.1

クラスター

2.1.4

コードツール

0.2-18

カラースペース

2.0-3

コモンマーク

1.8.1

コンパイラ

4.2.2

コンフィグ

0.3.1

CPP11の

0.4.3

クレヨン

1.5.2

資格情報

1.3.2

Curl

4.3.3

データ.テーブル

1.14.4

データセット

4.2.2

DBI

1.1.3

dbplirの

2.2.1

DESC

1.4.2

開発ツール

2.4.5

ディフobj

0.3.5

ダイジェスト

0.6.30

ダウンライト

0.4.2

dplyrの

1.0.10

DTPLyr

1.2.2

E1071

1.7-12

省略記号

0.3.2

0.18

ファンシ

1.0.3

ファーバー

2.1.1

ファストマップ

1.1.0

フォントオーサム

0.4.0

フォーキャッツ

0.5.2

For each

1.5.2

外国の

0.8-82

鍛える

0.2.0

FSの

1.5.2

未来

1.29.0

future.お申込み

1.10.0

1.2.1

ジェネリック

0.1.3

ゲルト

1.9.1

ggplot2の

3.4.0

gh

1.3.1

ギットレッズ

0.1.2

glmnet

4.1-4

グローバル

0.16.1

1.6.2

グーグルドライブ

2.0.0

グーグルシート4

1.0.1

ガウアー

1.0.0

グラフィックス

4.2.2

grDevicesの

4.2.2

グリッド

4.2.2

グリッドエクストラ

2.3

gsubfnの

0.7

GTABLE(GTABLE)

0.3.1

ヘルメット

1.2.0

避難所

2.5.1

高い

0.9

HMSの

1.1.2

htmlツール[htmltools]

0.5.3

htmlウィジェット

1.5.4

httpuv

1.6.6

httr

1.4.4

ids

1.0.1

イニ

0.3.1

イプレッド

0.9-13

アイソバンド

0.2.6

反復 子

1.0.14

jquerylib

0.1.4

jsonlite

1.8.3

カーンスムース

2.23-20

ニット

1.40

ラベリング

0.4.2

あとで

1.3.0

格子

0.20-45

溶岩

1.7.0

ライフサイクル

1.0.3

リッスン

0.8.0

ルブリデート

1.9.0

マグリット

2.0.3

Markdown

1.3

質量

7.3-58

マトリックス

1.5-1

メモ

2.0.1

メソッド

4.2.2

mgcv

1.8-41

マイム

0.12

ミニUI

0.1.1.1

モデルメトリクス

1.2.2.2

モデラー

0.1.9

マンセル

0.5.0

nlme

3.1-160

ネット

7.3-18

numDerivの

2016.8-1.1

オープンSSL

2.0.4

並列

4.2.2

並行して

1.32.1

1.8.1

pkgbuild の

1.3.1

pkgconfig

2.0.3

pkgdown (英語)

2.0.6

pkgload(パッケージロード)

1.3.1

plogrの

0.2.0

プライル

1.8.7

褒める

1.0.0

プリティユニット

1.1.1

pROC

1.18.0

プロセスX

3.8.0

製品

2019.11.13

プロヴィス

0.3.7

経過

1.2.2

プログレッサー

0.11.0

約束

1.2.0.1

プロト

1.0.0

プロキシ

0.4-27

PS

1.7.2

ゴロゴロ

0.3.5

R2D3の

0.2.6

R6の

2.5.1

ラグ

1.2.4

ランダムフォレスト

4.7-1.1

ラプディレクトリ

0.3.3

rcmdcheckの

1.4.0

RColorブリューワー

1.1-3

Rcpp

1.0.9

RcppEigen

0.3.3.9.3

読み取り

2.1.3

readxlの

1.4.1

レシピ

1.0.3

再戦

1.0.1

再戦2

2.1.2

リモコン

2.4.2

レプレックス

2.0.2

形状変更2

1.4.4

ラン

1.0.6

rmarkdown

2.18

RODBC

1.3-19

リオキシジェン2

7.2.1

rpart

4.1.19

rprojroot さん

2.0.3

サーブ

1.8-11

RSQLite (英語)

2.2.18

rstudioapi

0.14

rversions

2.1.2

アヴェスト

1.0.3

サス

0.4.2

1.2.1

セレクタ

0.4-2

セッション情報

1.2.2

1.4.6

shiny

1.7.3

ソースツール

0.1.7

sparklyr

1.7.8

SparkR

3.3.1

空間的

7.3-11

スプライン

4.2.2

sqldf

0.4-11

スクエアム

2021.1

統計

4.2.2

統計4

4.2.2

ストリンギ

1.7.8

ストリンガー

1.4.1

生存

3.4-0

SYSの

3.4.1

システムフォント

1.0.4

tcltk

4.2.2

テストを

3.1.5

テキストシェーピング

0.3.6

ティブル

3.1.8

ティディル

1.2.1

ティディセレクト

1.2.0

ティディバース

1.3.2

時間変更

0.1.1

日時

4021.106

タイニーテックス

0.42

ツール

4.2.2

tzdb

0.3.0

urlchecker(英語)

1.0.1

usethisさん

2.1.6

UTF8

1.2.2

ユーティリティ

4.2.2

UUIDの

1.1-0

vctrs

0.5.0

viridisライト

0.4.1

ブルーム

1.6.0

ワルド

0.4.0

ウイスカー

0.4

ウィザー

2.5.0

xfun

0.34

XML2の

1.3.3

xopen(オーペン)

1.0.0

エクステーブル

1.8-4

ヤムラ

2.3.6

郵便番号

2.2.2

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.12.0

com.amazonawsの

aws-java-sdk-オートスケール

1.12.189

com.amazonawsの

aws-java-sdk-cloudformation

1.12.189

com.amazonawsの

aws-java-sdk-cloudfront

1.12.189

com.amazonawsの

aws-java-sdk-cloudhsm

1.12.189

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.12.189

com.amazonawsの

aws-java-sdk-cloudtrail

1.12.189

com.amazonawsの

aws-java-sdk-cloudwatch

1.12.189

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.12.189

com.amazonawsの

aws-java-sdk-コードデプロイ

1.12.189

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.12.189

com.amazonawsの

aws-java-sdk-cognitosync

1.12.189

com.amazonawsの

aws-java-sdk-configの

1.12.189

com.amazonawsの

aws-java-sdk-コア

1.12.189

com.amazonawsの

aws-java-sdk-データパイプライン

1.12.189

com.amazonawsの

aws-java-sdk-directconnectの

1.12.189

com.amazonawsの

aws-java-sdkディレクトリ

1.12.189

com.amazonawsの

aws-java-sdk-ダイナモDB

1.12.189

com.amazonawsの

aws-java-sdk-ec2 の

1.12.189

com.amazonawsの

aws-java-sdk-ecsの

1.12.189

com.amazonawsの

aws-java-sdk-efs

1.12.189

com.amazonawsの

aws-java-sdk-elasticache

1.12.189

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.12.189

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.12.189

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.12.189

com.amazonawsの

aws-java-sdk-emr

1.12.189

com.amazonawsの

aws-java-sdk-glacier

1.12.189

com.amazonawsの

aws-java-sdk-グルー

1.12.189

com.amazonawsの

aws-java-sdk-iam

1.12.189

com.amazonawsの

aws-java-sdk-importexport

1.12.189

com.amazonawsの

aws-java-sdk-キネシス

1.12.189

com.amazonawsの

aws-java-sdk-kmsの

1.12.189

com.amazonawsの

aws-java-sdk-ラムダ

1.12.189

com.amazonawsの

aws-java-sdk-logs

1.12.189

com.amazonawsの

aws-java-sdk-機械学習

1.12.189

com.amazonawsの

aws-java-sdk-opsworks

1.12.189

com.amazonawsの

aws-java-sdk-rds

1.12.189

com.amazonawsの

aws-java-sdk-レッドシフト

1.12.189

com.amazonawsの

aws-java-sdk-ルート53

1.12.189

com.amazonawsの

aws-java-sdk-s3 の

1.12.189

com.amazonawsの

aws-java-sdk-ses

1.12.189

com.amazonawsの

aws-java-sdk-simpledb

1.12.189

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.12.189

com.amazonawsの

aws-java-sdk-snsの

1.12.189

com.amazonawsの

aws-java-sdk-sqs

1.12.189

com.amazonawsの

aws-java-sdk-ssm

1.12.189

com.amazonawsの

aws-java-sdk-storagegateway

1.12.189

com.amazonawsの

aws-java-sdk-sts

1.12.189

com.amazonawsの

aws-java-sdk-サポート

1.12.189

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.12.189

com.amazonawsの

jmespath-java

1.12.189

com.chuusai(英語)

shapeless_2.12

2.3.3

com.clearspring.アナリティクス

stream

2.9.6

com.databricksの

サーブ

1.8-3

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapbのruntime_2.12

0.4.15-10

com.esotericソフトウェア

kryo-shaded(クリョシェード)

4.0.2

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.3.4

com.fasterxml.jackson.core

ジャクソン-注釈

2.13.4

com.fasterxml.jackson.core

ジャクソンコア

2.13.4

com.fasterxml.jackson.core

ジャクソン-データバインド

2.13.4.2

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.13.4

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.13.4

com.fasterxml.jackson.datatype

ジャクソン-データ型-JSR310

2.13.4

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.13.4

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.12

2.13.4

com.github.ben-manes.caffeine

カフェイン

2.3.4

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

ZSTD-JNI

1.5.2-1

com.github.wendykierp (英語)

JTransformsの

3.1

com.google.code.findbugs

JSR305

3.0.0

com.google.code.gson(英語)

gson

2.8.6

com.google.crypto.tink

ティンク

1.6.1

com.google.flatbuffers

フラットバッファ-Java

1.12.0

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2データベース

H2

2.0.204

com.helger

プロファイラー

1.1.1

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.lihaoyi

sourcecode_2月12日

0.1.9

com.microsoft.azure

azure-データレイク-store-sdk

2.3.9

com.ningの

圧縮-LZF

1.1

com.sun.mail

javax.mail

1.5.2

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.12

0.4.12

コム。囀る

チルジャワ

0.10.0

コム。囀る

chill_2.12

0.10.0

コム。囀る

util-app_2.12

7.1.0

コム。囀る

util-core_2.12

7.1.0

コム。囀る

util-function_2.12

7.1.0

コム。囀る

util-jvm_2.12

7.1.0

コム。囀る

util-lint_2.12

7.1.0

コム。囀る

util-registry_2.12

7.1.0

コム。囀る

util-stats_2.12

7.1.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging_2.12

3.7.2

com.uberの

H3

3.7.0

com.univocityの

univocity-パーサー

2.9.1

com.zaxxerの

ひかりCP

4.0.3

コモンズCLI

コモンズCLI

1.5.0

コモンズコーデック

コモンズコーデック

1.15

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズファイルアップロード

コモンズファイルアップロード

1.3.3

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.11.0

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズプール

コモンズプール

1.5.4

dev.ludovic.netlib さん

アーパック

2.2.1

dev.ludovic.netlib さん

ブラス

2.2.1

dev.ludovic.netlib さん

ラパック

2.2.1

info.ganglia.gmetric4j

gmetric4jの

1.0.10

io.エアリフト

エアコンプレッサー

0.21

io.delta

デルタシェアリング-spark_2.12

0.5.2

io.dropwizard.メトリクス

メトリクスコア

4.1.1

io.dropwizard.メトリクス

メトリクス-グラファイト

4.1.1

io.dropwizard.メトリクス

メトリクス-healthchecks

4.1.1

io.dropwizard.メトリクス

メトリクス-jetty9

4.1.1

io.dropwizard.メトリクス

メトリクス-JMX

4.1.1

io.dropwizard.メトリクス

メトリクス-JSON

4.1.1

io.dropwizard.メトリクス

メトリクス-JVM

4.1.1

io.dropwizard.メトリクス

メトリクスサーブレット

4.1.1

io.nettyの

netty-すべて

4.1.74.ファイナル

io.nettyの

netty-buffer

4.1.74.ファイナル

io.nettyの

netty-codec (英語)

4.1.74.ファイナル

io.nettyの

netty-共通

4.1.74.ファイナル

io.nettyの

netty-ハンドラ

4.1.74.ファイナル

io.nettyの

netty-リゾルバ

4.1.74.ファイナル

io.nettyの

netty-tcnative-クラス

2.0.48.最終版

io.nettyの

netty-トランスポート

4.1.74.ファイナル

io.nettyの

netty-transport-classes-epoll

4.1.74.ファイナル

io.nettyの

netty-transport-classes-kqueue

4.1.74.ファイナル

io.nettyの

netty-transport-native-epoll-linux-aarch_64

4.1.74.ファイナル

io.nettyの

netty-transport-native-epoll-linux-x86_64

4.1.74.ファイナル

io.nettyの

netty-transport-native-kqueue-osx-aarch_64

4.1.74.ファイナル

io.nettyの

netty-transport-native-kqueue-osx-x86_64

4.1.74.ファイナル

io.nettyの

netty-transport-native-unix-common

4.1.74.ファイナル

io.プロメテウス

シンプルクライアント

0.7.0

io.プロメテウス

simpleclient_common

0.7.0

io.プロメテウス

simpleclient_dropwizard

0.7.0

io.プロメテウス

simpleclient_pushgateway

0.7.0

io.プロメテウス

simpleclient_servlet

0.7.0

io.prometheus.jmx

収集家

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet (英語)

jakarta.servlet-api

4.0.3

jakarta.validation(ジャカルタ検証)

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activationの

アクティベーション

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

トランザクションAPI

1.1

javax.xml.バインド

ヤックスビーAPI

2.2.11

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.14.6

ジョダタイム

ジョダタイム

2.10.13

net.java.dev.jna

jna

5.8.0

net.razorvine

漬ける

1.2

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

snowflake-ingest-sdk

0.9.6

ネット.スノーフレーク

スノーフレーク-JDBC

3.13.22

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt.remoteteaの

リモートTEA-ONCRPC

1.1.2

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.5.2

org.antlr

antlr4ランタイム

4.8

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

7.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-core

7.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-netty

7.0.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

7.0.0

org.apache.avro

AVRO

1.11.0

org.apache.avro

アブロIPC

1.11.0

org.apache.avro

アブロマップド

1.11.0

org.apache.commonsの

コモンズコレクション4

4.4

org.apache.commonsの

コモンズ圧縮

1.21

org.apache.commonsの

コモンズ-クリプト

1.1.0

org.apache.commonsの

コモンズ-LANG3

3.12.0

org.apache.commonsの

コモンズ-数学3

3.6.1

org.apache.commonsの

コモンズテキスト

1.10.0

org.apache.curator (英語)

キュレーター・クライアント

2.13.0

org.apache.curator (英語)

キュレーターフレームワーク

2.13.0

org.apache.curator (英語)

キュレーターレシピ

2.13.0

org.apache.derbyの

ダービー

10.14.2.0

org.apache.hadoop です。

hadoop クライアント API

3.3.4-データブリック

org.apache.hadoop です。

hadoop クライアント ランタイム

3.3.4

org.apache.hive です。

ハイブビーライン

2.3.9

org.apache.hive です。

ハイブ CLI

2.3.9

org.apache.hive です。

ハイブ-JDBC

2.3.9

org.apache.hive です。

ハイブ - llap クライアント

2.3.9

org.apache.hive です。

ハイブ - llap - 共通

2.3.9

org.apache.hive です。

ハイブセルデ

2.3.9

org.apache.hive です。

ハイブシム

2.3.9

org.apache.hive です。

ハイブストレージAPI

2.7.2

org.apache.hive.shims

ハイブシム-0.23

2.3.9

org.apache.hive.shims

ハイブシム-共通

2.3.9

org.apache.hive.shims

ハイブシムススケジューラ

2.3.9

org.apache.httpコンポーネント

httpクライアント

4.5.13

org.apache.httpコンポーネント

httpコア

4.4.14

org.apache.ivy

2.5.0

org.apache.logging.log4j

ログ4J-1.2-API

2.18.0

org.apache.logging.log4j

ログ4J-API

2.18.0

org.apache.logging.log4j

log4j-コア

2.18.0

org.apache.logging.log4j

log4j-slf4j-impl

2.18.0

org.apache.mesos

メソスシェードプロトブ

1.4.0

org.apache.orc

オークコア

1.7.6

org.apache.orc

orc-mapreduce

1.7.6

org.apache.orc

オークシム

1.7.6

org.apache.parquet

parquet-column

1.12.3-データブリックス-0001

org.apache.parquet

parquet-common

1.12.3-データブリックス-0001

org.apache.parquet

parquet-encoding

1.12.3-データブリックス-0001

org.apache.parquet

parquet-format-structures

1.12.3-データブリックス-0001

org.apache.parquet

parquet-hadoop

1.12.3-データブリックス-0001

org.apache.parquet

parquet-jackson

1.12.3-データブリックス-0001

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.12.0

org.apache.xbean

xbean-asm9-shaded (英語)

4.20

org.apache.yetus (英語)

オーディエンスアノテーション

0.13.0

org.apache.zookeeper

動物園の飼育係

3.6.2

org.apache.zookeeper

動物園の飼育係ジュート

3.6.2

org.checkerフレームワーク

チェッカークォール

3.5.0

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.16

org.codehaus.janino

ジャニーノ

3.0.16

org.datanucleus (英語)

データ核-API-JDO

4.2.4

org.datanucleus (英語)

データ核コア

4.1.17

org.datanucleus (英語)

データ核-RDBMS

4.1.19

org.datanucleus (英語)

javax.jdo

3.2.0-m3

組織Eclipse.jetty

桟橋クライアント

9.4.46.v20220331

組織Eclipse.jetty

桟橋の続き

9.4.46.v20220331

組織Eclipse.jetty

桟橋-HTTP

9.4.46.v20220331

組織Eclipse.jetty

桟橋-IO

9.4.46.v20220331

組織Eclipse.jetty

桟橋-JNDI

9.4.46.v20220331

組織Eclipse.jetty

桟橋プラス

9.4.46.v20220331

組織Eclipse.jetty

桟橋プロキシ

9.4.46.v20220331

組織Eclipse.jetty

桟橋警備

9.4.46.v20220331

組織Eclipse.jetty

桟橋サーバー

9.4.46.v20220331

組織Eclipse.jetty

桟橋サーブレット

9.4.46.v20220331

組織Eclipse.jetty

桟橋サーブレット

9.4.46.v20220331

組織Eclipse.jetty

桟橋-util

9.4.46.v20220331

組織Eclipse.jetty

桟橋-util-ajax

9.4.46.v20220331

組織Eclipse.jetty

桟橋-webapp

9.4.46.v20220331

組織Eclipse.jetty

桟橋XML

9.4.46.v20220331

組織Eclipse.jetty.websocket

websocket-api

9.4.46.v20220331

組織Eclipse.jetty.websocket

websocket-クライアント

9.4.46.v20220331

組織Eclipse.jetty.websocket

websocket-共通

9.4.46.v20220331

組織Eclipse.jetty.websocket

websocket-サーバー

9.4.46.v20220331

組織Eclipse.jetty.websocket

websocket-サーブレット

9.4.46.v20220331

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.6.1

org.glassfish.hk2

HK2ロケーター

2.6.1

org.glassfish.hk2

hk2-utilsの

2.6.1

org.glassfish.hk2

osgi-リソースロケーター

1.0.3

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.6.1

org.glassfish.hk2.external (英語)

jakarta.inject です。

2.6.1

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.36

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.36

org.glassfish.jersey.coreの

ジャージークライアント

2.36

org.glassfish.jersey.coreの

ジャージー共通

2.36

org.glassfish.jersey.coreの

ジャージーサーバー

2.36

org.glassfish.jersey.inject

ジャージ-HK2

2.36

org.hibernate.validator

hibernate-validator

6.1.0.ファイナル

org.javassist

ジャバス奏者

3.25.0-GAの

org.jboss.logging

jboss-ロギング

3.3.2.ファイナル

org.jdbi

DBI

2.63.1

org.jetbrainsの

注釈

17.0.0

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.12

3.7.0-M11

org.json4sの

json4s-core_2.12

3.7.0-M11

org.json4sの

json4s-jackson_2.12

3.7.0-M11

org.json4sの

json4s-scalap_2.12

3.7.0-M11

org.lz4

LZ4-Javaの

1.8.0

org.mariadb.JDBC

mariadb-java-クライアント

2.7.4

org.mlflowの

mlflow-spark

1.27.0

org.objenesis

オブジェネシス

2.5.1

org.postgresql

PostgreSQL

42.3.3

org.roaringbitmap

ロアリングビットマップ

0.9.25

org.roaringbitmap

シム

0.9.25

org.rocksdbの

ロックスDBJNI

6.24.2

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.12

2.12.14

組織Scala-lang

Scala-Library.12

2.12.14

組織Scala-lang

Scala-reflect_2.12

2.12.14

組織Scala-lang.modules

Scalaコレクションcompat_2.12

2.4.3

組織Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

組織Scala-lang.modules

Scala-xml_2.12

1.2.0

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

そよ風-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatestの

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.36

org.slf4j

7月-slf4j

1.7.36

org.slf4j

SLF4J-APIの

1.7.36

org.spark-project.spark です。

未使用

1.0.0

org.threetenさん

スリーテンエクストラ

1.5.0

org.tukaani

xz

1.8

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

マクロ-compat_2.12

1.1.1

org.typelevel

スパイア-macros_2.12

0.17.0

org.typelevel

スパイア-platform_2.12

0.17.0

org.typelevel

スパイア-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

ワイルドフライ-openssl

1.0.7.ファイナル

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.8.4

org.yaml の

スネークヤム

1.24

オロ

オロ

2.0.8

pl.edu.icm

JLarge配列

1.5

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1