メインコンテンツまでスキップ

Databricks Runtime 7.3 LTS (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2020 年 9 月にこのバージョンをリリースしました。 2020 年 10 月に長期サポート (LTS) が宣言されました。

次のリリースノートは、Databricks Runtime 3.0 を搭載した 7.3 に関する情報を提供します。LTSApache Spark

Databricks Runtime 6.x からの移行に関するヘルプについては、「 Databricks Runtime 7.x 移行ガイド (EoS)」を参照してください。

新機能

Delta Lake の機能と改善点

このリリースでは、Delta Lake の次の機能と改善点が提供されます。

このセクションの内容

Delta Lake のパフォーマンスの最適化により、オーバーヘッドが大幅に削減されます

このリリースでは、Delta Lake 操作のオーバーヘッドを数ミリ秒から数十ミリ秒に削減する一連の最適化が可能になります。 これらの最適化を有効にするには、 テーブルへの書き込みと読み取りを行うすべてのクラスターをDelta Databricks Runtime7.3LTS 以降 にアップグレードする必要があります。

クローンメトリクスが利用可能に

Clone operation メトリクスが記録され、 DESCRIBE HISTORYを実行すると表示できるようになりました。 詳細については、「 Delta Lake テーブルの詳細を説明詳細と共に確認する」を参照してください。

Delta Lake MERGE INTO の改善

  • Merge は、任意の数の MATCHED 句と NOT MATCHED 句をサポートするようになりました。
  • 一致したローを無条件に削除するマージ クエリで、複数の一致でエラーがスローされなくなりました。

Delta Lake 構造化ストリーミング ソースの初期位置を指定します

Delta Lake 構造化ストリーミング コネクタでは、テーブル全体を処理せずにストリーミング クエリの開始点を指定するための startingVersion オプションと startingTimestamp オプションがサポートされるようになりました。詳細については、「 初期位置の指定」を参照してください。

spark-submitジョブからのマルチクラスター書き込み

これで、複数のクラスターで実行されている並列 spark-submit ジョブから Delta テーブルに書き込むことができ、完全な ACID が保証されます。

アップグレードされた S3 コネクタの一般提供を開始

アップグレードされた S3 コネクタは Hadoop 3.1.3 に基づいています また、S3ディレクトリ構造の深さと息吹に応じて、LISTの大幅なコスト削減につながる可能性のあるLISTの最適化を含む、多くの安定性の改善が含まれています(Hadoopの安定性エピック2、3、4を参照)。 詳細については、「 Amazon S3 に接続する」を参照してください。

アダプティブ クエリ実行

アダプティブ クエリ実行 (AQE) は、収集されたランタイム統計に基づいて、実行中にクエリ プランを動的に調整するクエリ再最適化フレームワークです。 AQE は、 Databricks Runtime 7.3 LTSでデフォルトによって有効になります。 これで、すべてのAQE機能を試すことができます。 詳細については、「 アダプティブ クエリの実行」を参照してください。

改善

Auto Loader

  • ディレクトリ一覧表示モードで Azure Data Lake Storage Gen1 がサポートされるようになりました
  • ファイル形式が text または binaryFile の場合は、スキーマを指定する必要がなくなりました。 2 つのファイル形式には固定スキーマがあるため、 Auto Loader は自動的に固定スキーマを使用できます。

新しい Azure Synapse Analytics コネクタの列の長さコントロール

新しいパラメーター maxbinlength を使用して、 BinaryType 列の列の長さを制御できるようになりました。 このパラメーターは VARBINARY(maxbinlength)と訳されます。

以前の(設定不可能な)デフォルトは VARBINARY(MAX)で、バイナリ列とデフォルトのインデックススキームを持つテーブルを作成する際に問題が発生していました。 具体的には、デフォルト列ストア インデックスは文字列列とバイナリ列の MAX をサポートしていないため、テーブルの作成は失敗します。

の動作 dbutils.credentials.showRoles

  • dbutils.credentials.showRoles() 現在のデフォルトのロールがある場合は、空のリストを表示するのではなく、現在のデフォルトのロールを表示するようになりました。 SAML 2.0 フェデレーションを使用したパススルーの場合、デフォルトのロールは、アルファベット順のすべてのロールの最初のロールです。 Databricks SCIMを使用したパススルーの場合、合計で 1 つのロールがある場合にのみ、デフォルト ロールがあります。
  • RuntimeException: Credential Passthrough は、ユーザーが資格情報のパススルーを有効にせずに dbutils.credentials を使用しようとするとスローされるようになりました。

ストリームの Kinesis 開始位置 at_timestamp

Kinesis コネクタは、単に最も古い値または最新の値から開始するのではなく、 at_timestamp オプションを使用してストリームの開始位置をサポートするようになりました。 設定は、JSON 文字列として initialPosition オプションに渡されます (例: "{"at_timestamp": "06/25/2020 10:23:45 PDT", format: "MM/dd/yyyy HH:mm:ss ZZZ"}")。 「 Amazon Kinesis に接続する」を参照してください。

Pandas から Spark データフレーム への変換が簡素化されました

次の改善を有効にするには、Spark 設定を次のように設定しますspark.databricks.execution.pandasZeroConfConversion.enabled

  • createDataFrame(pandas_df) は Databricks で最適化されています。
  • 変換を効率的に実行できない場合、または変換が不可能な場合は、警告が表示されます。

toPandas()コールの新しいmaxResultSize

新しい構成設定(spark.databricks.driver.localMaxResultSize)を使用すると、df.toPandas()コールのmaxResultSizeを制御できます。制限は一時的に max(spark.driver.maxResultSizespark.databricks.driver.localMaxResultSize) に変更されます。 構成設定のデフォルト値は、物理メモリ サイズを 4 で割った値です。

df.toPandas()結果のサイズが spark.driver.maxResultSize より大きく、spark.databricks.driver.localMaxResultSizeより小さい場合は、警告が表示されます。

この設定は、df.toPandas() 呼び出しによって作成された データフレーム にのみ影響します。

注記

spark.databricks.driver.localMaxResultSize は、 spark.databricks.execution.pandasZeroConfConversion.enabled が true の場合にのみ有効になります。

Pandas UDF と PySpark UDF のデバッグ可能性

Databricks ノートブックでpandasまたは PySpark UDF が失敗すると、エラー メッセージにコードが失敗した行番号と根本原因に関する情報が含まれるようになりました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:

    • コアラは1.1.0からアップグレードされました を 1.2.0 に変更します。
    • Pyarrow を 0.15.1 から 1.0.1 に更新しました。
  • インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。

  • OpenJDK 8 のビルドが Ubuntu OpenJDK 8 から Zulu OpenJDK 8 に変更されました。

Apache Spark

Databricks Runtime 7.3 LTS には Apache Spark 3.0.1 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 7.2 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

  • [SPARK-32302] [SPARK-28169] [SQL] 結合/パーティションを通じて選言述語を部分的にプッシュダウン
  • [SPARK-32337] [SQL] AQEプランツリー文字列に初期プランを表示する
  • [スパーク-30662] HasBlockSize の API の変更を元に戻す
  • [SPARK-32620] [SQL] DPPが有効な場合にnumPartitionsメトリクスをリセット
  • [SPARK-32646] [SQL] ORC述語のプッシュダウンは、大文字と小文字を区別しない分析で機能するべきです
  • [SPARK-32676] [ML] KMeans/BiKMeansのダブルキャッシングを修正
  • [SPARK-32092] [ML][PySpark] foldCol関連コードを削除
  • [SPARK-32594] [SQL] get() を上書きし、ユリウス日を使用 DaysWritable
  • [SPARK-32608] [SQL] スクリプト変換の ROW FORMAT DELIMIT 値は値をフォーマットする必要があります
  • [SPARK-32092] [ML][PySpark] CrossValidatorModel.copy()、read()、write()でパラメーターがコピーされない問題を修正
  • [SPARK-32672] [SQL] ブールビットセット圧縮のデータ破損を修正
  • [SPARK-32663] [CORE] プールのTransportClientsを個別に閉じないようにする(プールを通じて閉じる必要がある)
  • [SPARK-32621] [SQL] path' オプションが CSV/JSON データソースのスキーマ推論中に問題を引き起こす場合がある
  • [SPARK-28863] [SQL] 物理プランを再利用しない
  • [SPARK-32608] [SQL] スクリプト変換の ROW FORMAT DELIMIT 値は値をフォーマットする必要があります
  • [SPARK-28863] [SQL] V1FallbackWriters の再分析を防ぐために AlreadyPlanned を導入
  • [SPARK-32451 ] [R] Apache Arrow 1.0.0 サポート
  • [SPARK-32652] [SQL] RowEncoderのObjectSerializerPruningが失敗する
  • [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks は、あらゆる種類のリソースを考慮するべき
  • [SPARK-32559] [SQL] UTF8String.toInt/toLongのトリムロジックが非ASCII文字を正しく処理していなかった問題を修正
  • [SPARK-32625] [SQL] インタプリタモードに戻るときにエラーメッセージをログに記録する
  • [SPARK-32543 ] [R] SparkRでのarrow::as_tibbleの使用を削除
  • [SPARK-31703] [SQL] ビッグエンディアンプラットフォームでParquet RLE float/doubleが正しく読み取られない
  • [SPARK-32586] [SQL] ansiが有効な場合のNumberFormatExceptionエラーメッセージを修正
  • [SPARK-32456] [SS] 構造化ストリーミングの集計として識別されることを確認します
  • [SPARK-32576] [SQL] PostgreSQL bpchar 型と char 型の配列をサポート
  • [SPARK-32559] [SQL] UTF8String.toInt/toLongのトリムロジックが非ASCII文字を正しく処理していなかった問題を修正
  • [SPARK-32560] [SQL] InsertIntoHiveTable.processInsertの例外メッセージの改善
  • [SPARK-32546] [SQL] Hiveテーブルからテーブル名を直接取得
  • [SPARK-32529] [CORE] アプリケーションのステータス変更によりHistoryserverのログスキャンが中止される問題を修正
  • [SPARK-32003] [CORE] 外部シャッフルサービスを使用すると、エグゼキューターが失われた後のフェッチ失敗時にエグゼキューターの出力を登録解除する
  • [SPARK-32160] [CORE][PySpark] エグゼキューターでSparkContextを許可/禁止に切り替えるように設定名を変更
  • [SPARK-32160] [CORE][PySpark] エグゼキューターでSparkContextを作成するために許可/禁止を切り替える設定を追加
  • [SPARK-32083] [SQL] AQEがSinglePartitionのパーティションを合体させないように修正
  • [SPARK-32509] [SQL] 正規化で未使用のDPP True Filterを無視する
  • [SPARK-32332] [SQL] 列型交換をサポート
  • [スパーク-32227] Spark 3.0.0 を使用した load-spark-env.cmd の回帰バグを修正
  • [SPARK-32478 ] [R] [SQL] Arrowベクトル化を使用したgapplyのスキーマの不一致を示すエラーメッセージ
  • [SPARK-32030] [SQL] SQLパーサーのMERGE INTOで無制限のMATCHED句とNOT MATCHED句をサポート
  • [SPARK-32175] [CORE] ExecutorPluginの初期化とハートビートスレッドの開始の順序を修正
  • [SPARK-32283] [CORE] Kryo は複数のユーザー登録をサポートするべき
  • [SPARK-32424] [SQL] オーバーフローが発生した場合のタイムスタンプ解析のサイレントデータ変更を修正
  • [SPARK-32430] [SQL] SparkSessionExtensionsを拡張して、AQEクエリステージの準備にルールを注入
  • [SPARK-32310] [ML][PySpark] ML params デフォルト値パリティ
  • [SPARK-32237] [SQL] CTEの解決ヒント
  • [SPARK-32280] [SPARK-32372] [SQL] ResolveReferences.dedupRight は、競合プランの祖先ノードの属性のみを書き換えるべきです
  • [SPARK-32364] [SQL] toMapを追加してoriginalMapとドキュメンテーションを返す
  • [SPARK-32364] [SQL] データフレームReader/WriterオプションにCaseInsensitiveMapを使用
  • [SPARK-32377] [SQL] CaseInsensitiveMapは追加のために決定論的であるべきです
  • [SPARK-32365] [SQL] regexp_extractに負のインデックスの境界条件を追加
  • [SPARK-32368] [SQL] pathGlobFilter、recursiveFileLookup、basePath で大文字と小文字を区別しないようにすべき
  • [SPARK-32344] [SQL] 異なる集計で、評価できないexprがFIRST/LASTのignoreNullsExprに設定されている
  • [SPARK-32234] [SQL] Spark sql コマンドが orc テーブルの選択に失敗する

メンテナンスの更新

「Databricks Runtime 7.3 LTS メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 18.04.5 LTS
  • Java :Zulu 8.48.0.53-CA-linux64(ビルド1.8.0_265-b11)
  • Scala : 2.12.10
  • Python : 3.7.5
  • R :Rバージョン3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

ASN1暗号

1.3.0

バックコール

0.1.0

ボト3

1.12.0

ボトコア

1.15.0

認証

2020.6.20

cffi

1.14.0

シャルデ

3.0.4

暗号化手法

2.8

サーマルサイクラー

0.10.0

シトン

0.29.15

デコレータ

4.4.1

docutilsの

0.15.2

エントリポイント

0.3

イドナ

2.8

ipykernel(英語)

5.1.4

アイパイソン

7.12.0

ipython-genutils

0.2.0

ジェダイ

0.14.1

jmespathの

0.10.0

ジョブリブ

0.14.1

jupyter-クライアント

5.3.4

ジュピターコア

4.6.1

キウイソルバー

1.1.0

koalas

1.2.0

Matplotlib

3.1.3

ナムピー

1.18.1

pandas

1.0.1

パルソ

0.5.2

パッツィ

0.5.1

pexpect

4.8.0

ピクルシェア

0.7.5

20.0.2

プロンプトツールキット

3.0.3

サイコップ2

2.8.4

PTYPROCESSの

0.6.0

ピアロー

1.0.1

pycparser

2.19

ピグメント

2.5.2

PyGObject

3.26.1

pyOpenSSLの

19.1.0

pyparsing (英語)

2.4.6

PySocks(パイソックス)

1.7.1

Python-apt

1.6.5+Ubuntu0.3

Python-dateutil

2.8.1

ピッツ

2019.3

ピズム

18.1.1

要求

2.22.0

S3トランスファー

0.3.3

Scikit-Learn

0.22.1

scipy(サイピー)

1.4.1

シーボーン

0.10.0

セットアップツール

45.2.0

6

1.14.0

ssh-import-id

5.7

統計モデル

0.11.0

竜巻

6.0.3

トレイトレット

4.3.3

無人アップグレード

0.1

urllib3 の

1.25.8

virtualenv

16.7.10

WC幅

0.1.8

0.34.2

インストールされている R ライブラリ

R ライブラリは、2020-07-14 の Microsoft CRAN スナップショットからインストールされます。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

アスクパス

1.1

assertthat

0.2.1

バックポート

1.1.8

3.6.3

base64enc

0.1-3

BH

1.72.0-3

bit

1.1-15.2

ビット64

0.9-7

ブロッブ

1.2.1

ブート

1.3-25

醸成

1.0-6

0.7.0

コール

3.4.3

キャレット

6.0-86

セルレンジャー

1.1.0

クロン

2.3-55

クラス

7.3-17

CLI

2.0.2

clipr

0.7.0

クラスター

2.1.0

コードツール

0.2-16

カラースペース

1.4-1

コモンマーク

1.7

コンパイラ

3.6.3

コンフィグ

0.3

COVRの

3.5.0

クレヨン

1.3.4

クロストーク

1.1.0.1

Curl

4.3

データ.テーブル

1.12.8

データセット

3.6.3

DBI

1.1.0

dbplirの

1.4.4

DESC

1.2.0

開発ツール

2.3.0

ダイジェスト

0.6.25

dplyrの

0.8.5

DT

0.14

省略記号

0.3.1

0.14

ファンシ

0.4.1

ファーバー

2.0.3

ファストマップ

1.0.1

フォーキャッツ

0.5.0

For each

1.5.0

外国の

0.8-76

鍛える

0.2.0

FSの

1.4.2

ジェネリック

0.0.2

ggplot2の

3.3.2

gh

1.1.0

ギット2R

0.27.1

glmnet

3.0-2

グローバル

0.12.5

1.4.1

ガウアー

0.2.2

グラフィックス

3.6.3

grDevicesの

3.6.3

グリッド

3.6.3

グリッドエクストラ

2.3

gsubfnの

0.7

GTABLE(GTABLE)

0.3.0

避難所

2.3.1

高い

0.8

HMSの

0.5.3

htmlツール[htmltools]

0.5.0

htmlウィジェット

1.5.1

httpuv

1.5.4

httr

1.4.1

hwriter

1.3.2

hwriterPlusの

1.0-3

イニ

0.3.1

イプレッド

0.9-9

アイソバンド

0.2.2

反復 子

1.0.12

jsonlite

1.7.0

カーンスムース

2.23-17

ニット

1.29

ラベリング

0.3

あとで

1.1.0.1

格子

0.20-41

溶岩

1.6.7

レイジーバル

0.2.2

ライフサイクル

0.2.0

ルブリデート

1.7.9

マグリット

1.5

Markdown

1.1

質量

7.3-52

マトリックス

1.2-18

メモ

1.1.0

メソッド

3.6.3

mgcv

1.8-32

マイム

0.9

モデルメトリクス

1.2.2.2

モデラー

0.1.8

マンセル

0.5.0

nlme

3.1-149

ネット

7.3-14

numDerivの

2016.8-1.1

オープンSSL

1.4.2

並列

3.6.3

1.4.6

pkgbuild の

1.1.0

pkgconfig

2.0.3

pkgload(パッケージロード)

1.1.0

plogrの

0.2.0

プライル

1.8.6

褒める

1.0.0

プリティユニット

1.1.1

pROC

1.16.2

プロセスX

3.4.3

製品

2019.11.13

経過

1.2.2

約束

1.1.1

プロト

1.0.0

PS

1.3.3

ゴロゴロ

0.3.4

R2D3の

0.2.3

R6の

2.4.1

ランダムフォレスト

4.6-14

ラプディレクトリ

0.3.1

rcmdcheckの

1.3.3

RColorブリューワー

1.1-2

Rcpp

1.0.5

読み取り

1.3.1

readxlの

1.3.1

レシピ

0.1.13

再戦

1.0.1

再戦2

2.1.2

リモコン

2.1.1

レプレックス

0.3.0

形状変更2

1.4.4

レックス

1.2.0

rjsonの

0.2.20

ラン

0.4.7

rmarkdown

2.3

RODBC

1.3-16

リオキシジェン2

7.1.1

rpart

4.1-15

rprojroot さん

1.3-2

サーブ

1.8-7

RSQLite (英語)

2.2.0

rstudioapi

0.11

rversions

2.0.2

アヴェスト

0.3.5

1.1.1

セレクタ

0.4-2

セッション情報

1.1.1

1.4.4

shiny

1.5.0

ソースツール

0.1.7

sparklyr

1.3.1

SparkR

3.0.0

空間的

7.3-11

スプライン

3.6.3

sqldf

0.4-11

スクエアム

2020.3

統計

3.6.3

統計4

3.6.3

ストリンギ

1.4.6

ストリンガー

1.4.0

生存

3.1-12

SYSの

3.3

tcltk

3.6.3

ティーチングデモ

2.10

テストを

2.3.2

ティブル

3.0.3

ティディル

1.1.0

ティディセレクト

1.1.0

ティディバース

1.3.0

日時

3043.102

タイニーテックス

0.24

ツール

3.6.3

usethisさん

1.6.1

UTF8

1.1.4

ユーティリティ

3.6.3

UUIDの

0.1-4

vctrs

0.3.1

viridisライト

0.3.0

ウイスカー

0.4

ウィザー

2.2.0

xfun

0.15

XML2の

1.3.2

xopen(オーペン)

1.0.0

エクステーブル

1.8-4

ヤムラ

2.2.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.12.0

com.amazonawsの

aws-java-sdk-オートスケール

1.11.655

com.amazonawsの

aws-java-sdk-cloudformation

1.11.655

com.amazonawsの

aws-java-sdk-cloudfront

1.11.655

com.amazonawsの

aws-java-sdk-cloudhsm

1.11.655

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.11.655

com.amazonawsの

aws-java-sdk-cloudtrail

1.11.655

com.amazonawsの

aws-java-sdk-cloudwatch

1.11.655

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.11.655

com.amazonawsの

aws-java-sdk-コードデプロイ

1.11.655

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.11.655

com.amazonawsの

aws-java-sdk-cognitosync

1.11.655

com.amazonawsの

aws-java-sdk-configの

1.11.655

com.amazonawsの

aws-java-sdk-コア

1.11.655

com.amazonawsの

aws-java-sdk-データパイプライン

1.11.655

com.amazonawsの

aws-java-sdk-directconnectの

1.11.655

com.amazonawsの

aws-java-sdkディレクトリ

1.11.655

com.amazonawsの

aws-java-sdk-ダイナモDB

1.11.655

com.amazonawsの

aws-java-sdk-ec2 の

1.11.655

com.amazonawsの

aws-java-sdk-ecsの

1.11.655

com.amazonawsの

aws-java-sdk-efs

1.11.655

com.amazonawsの

aws-java-sdk-elasticache

1.11.655

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.11.655

com.amazonawsの

aws-java-sdk-emr

1.11.655

com.amazonawsの

aws-java-sdk-glacier

1.11.655

com.amazonawsの

aws-java-sdk-iam

1.11.655

com.amazonawsの

aws-java-sdk-importexport

1.11.655

com.amazonawsの

aws-java-sdk-キネシス

1.11.655

com.amazonawsの

aws-java-sdk-kmsの

1.11.655

com.amazonawsの

aws-java-sdk-ラムダ

1.11.655

com.amazonawsの

aws-java-sdk-logs

1.11.655

com.amazonawsの

aws-java-sdk-機械学習

1.11.655

com.amazonawsの

aws-java-sdk-opsworks

1.11.655

com.amazonawsの

aws-java-sdk-rds

1.11.655

com.amazonawsの

aws-java-sdk-レッドシフト

1.11.655

com.amazonawsの

aws-java-sdk-ルート53

1.11.655

com.amazonawsの

aws-java-sdk-s3 の

1.11.655

com.amazonawsの

aws-java-sdk-ses

1.11.655

com.amazonawsの

aws-java-sdk-simpledb

1.11.655

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.11.655

com.amazonawsの

aws-java-sdk-snsの

1.11.655

com.amazonawsの

aws-java-sdk-sqs

1.11.655

com.amazonawsの

aws-java-sdk-ssm

1.11.655

com.amazonawsの

aws-java-sdk-storagegateway

1.11.655

com.amazonawsの

aws-java-sdk-sts

1.11.655

com.amazonawsの

aws-java-sdk-サポート

1.11.655

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.11.655

com.amazonawsの

jmespath-java

1.11.655

com.chuusai(英語)

shapeless_2.12

2.3.3

com.clearspring.アナリティクス

stream

2.9.6

com.databricksの

サーブ

1.8-3

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapbのruntime_2.12

0.4.15-10

com.esotericソフトウェア

kryo-shaded(クリョシェード)

4.0.2

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.3.4

com.fasterxml.jackson.core

ジャクソン-注釈

2.10.0

com.fasterxml.jackson.core

ジャクソンコア

2.10.0

com.fasterxml.jackson.core

ジャクソン-データバインド

2.10.0

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.10.0

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.10.0

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.10.0

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.12

2.10.0

com.github.ben-manes.caffeine

カフェイン

2.3.4

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-メトリクス-hadoop-metrics2-reporter

0.1.2

com.github.luben

ZSTD-JNI

1.4.4-3

com.github.wendykierp (英語)

JTransformsの

3.1

com.google.code.findbugs

JSR305

3.0.0

com.google.code.gson(英語)

gson

2.2.4

com.google.flatbuffers

フラットバッファ-Java

1.9.0

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2データベース

H2

1.4.195

com.helger

プロファイラー

1.1.1

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.lihaoyi

sourcecode_2月12日

0.1.9

com.microsoft.azure

azure-データレイク-store-sdk

2.2.8

com.microsoft.sqlserver

mssqlの-JDBC

8.2.1.JRE8

com.ningの

圧縮-LZF

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.12

0.4.12

コム。囀る

チルジャワ

0.9.5

コム。囀る

chill_2.12

0.9.5

コム。囀る

util-app_2.12

7.1.0

コム。囀る

util-core_2.12

7.1.0

コム。囀る

util-function_2.12

7.1.0

コム。囀る

util-jvm_2.12

7.1.0

コム。囀る

util-lint_2.12

7.1.0

コム。囀る

util-registry_2.12

7.1.0

コム。囀る

util-stats_2.12

7.1.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging_2.12

3.7.2

com.univocityの

univocity-パーサー

2.8.3

com.zaxxerの

ひかりCP

3.1.0

commons-beanutilsの

commons-beanutilsの

1.9.4

コモンズCLI

コモンズCLI

1.2

コモンズコーデック

コモンズコーデック

1.10

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ構成

コモンズ構成

1.6

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズ消化器

コモンズ消化器

1.8

コモンズファイルアップロード

コモンズファイルアップロード

1.3.3

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.4

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズネット

コモンズネット

3.1

コモンズプール

コモンズプール

1.5.4

info.ganglia.gmetric4j

gmetric4jの

1.0.10

io.エアリフト

エアコンプレッサー

0.10

io.dropwizard.メトリクス

メトリクスコア

4.1.1

io.dropwizard.メトリクス

メトリクス-グラファイト

4.1.1

io.dropwizard.メトリクス

メトリクス-healthchecks

4.1.1

io.dropwizard.メトリクス

メトリクス-jetty9

4.1.1

io.dropwizard.メトリクス

メトリクス-JMX

4.1.1

io.dropwizard.メトリクス

メトリクス-JSON

4.1.1

io.dropwizard.メトリクス

メトリクス-JVM

4.1.1

io.dropwizard.メトリクス

メトリクスサーブレット

4.1.1

io.nettyの

netty-すべて

4.1.47.ファイナル

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation(ジャカルタ検証)

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activationの

アクティベーション

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

JSPのAPI

2.1

javax.transaction

jta

1.1

javax.transaction

トランザクションAPI

1.1

javax.xml.バインド

ヤックスビーAPI

2.2.2

javax.xml.ストリーム

スタックス-API

1.0-2

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.14.6

ジョダタイム

ジョダタイム

2.10.5

log4j(ログ4J)

apache-log4j-extras

1.2.17

log4j(ログ4J)

log4j(ログ4J)

1.2.17

net.razorvine

パイロライト

4.30

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

snowflake-ingest-sdk

0.9.6

ネット.スノーフレーク

スノーフレーク-JDBC

3.12.8

ネット.スノーフレーク

スパーク-snowflake_2.12

2.8.1-spark_3.0

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt.remoteteaの

リモートTEA-ONCRPC

1.1.2

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.5.2

org.antlr

antlr4ランタイム

4.7.1

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

0.15.1

org.apache.arrow(アパッチ・アロー)

arrow-memory

0.15.1

org.apache.arrow(アパッチ・アロー)

arrow-vector

0.15.1

org.apache.avro

AVRO

1.8.2

org.apache.avro

アブロIPC

1.8.2

org.apache.avro

アブロマップド-hadoop2

1.8.2

org.apache.commonsの

コモンズ圧縮

1.8.1

org.apache.commonsの

コモンズ-クリプト

1.0.0

org.apache.commonsの

コモンズ-LANG3

3.9

org.apache.commonsの

コモンズ-数学3

3.4.1

org.apache.commonsの

コモンズテキスト

1.6

org.apache.curator (英語)

キュレーター・クライアント

2.7.1

org.apache.curator (英語)

キュレーターフレームワーク

2.7.1

org.apache.curator (英語)

キュレーターレシピ

2.7.1

org.apache.derbyの

ダービー

10.12.1.1

org.apache.directory.api

API-ASN1-API

1.0.0-M20

org.apache.directory.api

APIのユーティリティ

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop です。

hadoop アノテーション

2.7.4

org.apache.hadoop です。

hadoop認証

2.7.4

org.apache.hadoop です。

hadoop クライアント

2.7.4

org.apache.hadoop です。

hadoop-共通

2.7.4

org.apache.hadoop です。

Hadoop-HDFS

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-アプリ

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-クライアント-共通

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-core

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-ジョブクライアント

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-shuffle

2.7.4

org.apache.hadoop です。

hadoop-yarn-api

2.7.4

org.apache.hadoop です。

hadoop-yarn-クライアント

2.7.4

org.apache.hadoop です。

hadoop-yarn-共通

2.7.4

org.apache.hadoop です。

hadoop-yarn-server-共通

2.7.4

org.apache.hive です。

ハイブビーライン

2.3.7

org.apache.hive です。

ハイブ CLI

2.3.7

org.apache.hive です。

ハイブ共通

2.3.7

org.apache.hive です。

ハイブ実行コア

2.3.7

org.apache.hive です。

ハイブ-JDBC

2.3.7

org.apache.hive です。

ハイブ - llap クライアント

2.3.7

org.apache.hive です。

ハイブ - llap - 共通

2.3.7

org.apache.hive です。

Hive metastore

2.3.7

org.apache.hive です。

ハイブセルデ

2.3.7

org.apache.hive です。

ハイブシム

2.3.7

org.apache.hive です。

ハイブストレージAPI

2.7.1

org.apache.hive です。

ハイブベクトルコード生成

2.3.7

org.apache.hive.shims

ハイブシム-0.23

2.3.7

org.apache.hive.shims

ハイブシム-共通

2.3.7

org.apache.hive.shims

ハイブシムススケジューラ

2.3.7

org.apache.htrace

htrace-コア

3.1.0-インキュベーション

org.apache.httpコンポーネント

httpクライアント

4.5.6

org.apache.httpコンポーネント

httpコア

4.4.12

org.apache.ivy

2.4.0

org.apache.orc

オークコア

1.5.10

org.apache.orc

orc-mapreduce

1.5.10

org.apache.orc

オークシム

1.5.10

org.apache.parquet

parquet-column

1.10.1-データブリックス6

org.apache.parquet

parquet-common

1.10.1-データブリックス6

org.apache.parquet

parquet-encoding

1.10.1-データブリックス6

org.apache.parquet

parquet-format

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1-データブリックス6

org.apache.parquet

parquet-jackson

1.10.1-データブリックス6

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.12.0

org.apache.velocityの

速度

1.5

org.apache.xbean

xbean-asm7-シェード

4.15

org.apache.yetus (英語)

オーディエンスアノテーション

0.5.0

org.apache.zookeeper

動物園の飼育係

3.4.14

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン・ジャクサーズ

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.jackson

ジャクソン-XC

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.16

org.codehaus.janino

ジャニーノ

3.0.16

org.datanucleus (英語)

データ核-API-JDO

4.2.4

org.datanucleus (英語)

データ核コア

4.1.17

org.datanucleus (英語)

データ核-RDBMS

4.1.19

org.datanucleus (英語)

javax.jdo

3.2.0-m3

組織Eclipse.jetty

桟橋クライアント

9.4.18.v20190429

組織Eclipse.jetty

桟橋の続き

9.4.18.v20190429

組織Eclipse.jetty

桟橋-HTTP

9.4.18.v20190429

組織Eclipse.jetty

桟橋-IO

9.4.18.v20190429

組織Eclipse.jetty

桟橋-JNDI

9.4.18.v20190429

組織Eclipse.jetty

桟橋プラス

9.4.18.v20190429

組織Eclipse.jetty

桟橋プロキシ

9.4.18.v20190429

組織Eclipse.jetty

桟橋警備

9.4.18.v20190429

組織Eclipse.jetty

桟橋サーバー

9.4.18.v20190429

組織Eclipse.jetty

桟橋サーブレット

9.4.18.v20190429

組織Eclipse.jetty

桟橋サーブレット

9.4.18.v20190429

組織Eclipse.jetty

桟橋-util

9.4.18.v20190429

組織Eclipse.jetty

桟橋-webapp

9.4.18.v20190429

組織Eclipse.jetty

桟橋XML

9.4.18.v20190429

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.6.1

org.glassfish.hk2

HK2ロケーター

2.6.1

org.glassfish.hk2

hk2-utilsの

2.6.1

org.glassfish.hk2

osgi-リソースロケーター

1.0.3

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.6.1

org.glassfish.hk2.external (英語)

jakarta.inject です。

2.6.1

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.30

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.30

org.glassfish.jersey.coreの

ジャージークライアント

2.30

org.glassfish.jersey.coreの

ジャージー共通

2.30

org.glassfish.jersey.coreの

ジャージーサーバー

2.30

org.glassfish.jersey.inject

ジャージ-HK2

2.30

org.glassfish.jersey.mediaの

ジャージー-メディア-JAXB

2.30

org.hibernate.validator

hibernate-validator

6.1.0.ファイナル

org.javassist

ジャバス奏者

3.25.0-GAの

org.jboss.logging

jboss-ロギング

3.3.2.ファイナル

org.jdbi

DBI

2.63.1

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.12

3.6.6

org.json4sの

json4s-core_2.12

3.6.6

org.json4sの

json4s-jackson_2.12

3.6.6

org.json4sの

json4s-scalap_2.12

3.6.6

org.lz4

LZ4-Javaの

1.7.1

org.mariadb.JDBC

mariadb-java-クライアント

2.1.2

org.objenesis

オブジェネシス

2.5.1

org.postgresql

PostgreSQL

42.1.4

org.roaringbitmap

ロアリングビットマップ

0.7.45

org.roaringbitmap

シム

0.7.45

org.rocksdbの

ロックスDBJNI

6.2.2

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.12

2.12.10

組織Scala-lang

Scala-Library.12

2.12.10

組織Scala-lang

Scala-reflect_2.12

2.12.10

組織Scala-lang.modules

Scalaコレクションcompat_2.12

2.1.1

組織Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

組織Scala-lang.modules

Scala-xml_2.12

1.2.0

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

そよ風-macros_2.12

1.0

org.scalanlp

breeze_2.12

1.0

org.scalatestの

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

7月-slf4j

1.7.30

org.slf4j

SLF4J-APIの

1.7.30

org.slf4j

SLF4J-ログ4J12

1.7.30

org.spark-project.spark です。

未使用

1.0.0

org.springframeworkの

スプリングコア

4.1.4.リリース

org.springframeworkの

スプリングテスト

4.1.4.リリース

org.threetenさん

スリーテンエクストラ

1.5.0

org.tukaani

xz

1.5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

マクロ-compat_2.12

1.1.1

org.typelevel

スパイア-macros_2.12

0.17.0-M1

org.typelevel

スパイア-platform_2.12

0.17.0-M1

org.typelevel

スパイア-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.7.5

org.yaml の

スネークヤム

1.24

オロ

オロ

2.0.8

pl.edu.icm

JLarge配列

1.5

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1

xmlenc

xmlenc

0.52