メインコンテンツまでスキップ

Databricks Runtime 8.4 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートは、Databricks Runtime Databricks RuntimePhotonApache Spark3.1.2を搭載した 8.4および 8.4 に関する情報を提供します。Databricks は 2021 年 7 月にこのバージョンをリリースしました。 Photonパブリック プレビュー段階です。

新機能と改善点

AWS Glue データカタログで資格情報のパススルーを使用してクラスターのセキュリティを向上させる

AWS Glue データカタログを外部Hive metastoreとして使用する場合の資格情報パススルーがサポートされるようになりました。異なる権限を持つ呼び出し元は、同じクラスターから AWS Glue データカタログに書き込むことができます。 詳細については、「 ステップ 6: Glue Catalog インスタンスプロファイルを使用してクラスターを起動する」を参照してください。

Delta Lake の機能と改善点

Delta table チェンジデータフィード (GA)

Delta table チェンジデータフィードが一般公開されました。これは、テーブルの異なるバージョン間の行レベルの変更を表します。 有効にすると、テーブルに対するすべての書き込み操作の行レベルの変更に関する追加情報が記録されます。 でのDelta Lake チェンジデータフィードの使用Databricks を参照してください。

Databricks Runtime で共有 Delta テーブルを簡単に読み込む

Delta Sharing 0.1.0 用の Apache Spark コネクタが Databricks Runtime になりました。 Delta Sharing Spark コネクタをクラスターにアタッチせずに、spark.read.format("deltaSharing").load(uri) を直接使用して共有テーブルをロードできます。

より多くのテーブルが動的ファイルプルーニングの恩恵を受ける

動的ファイルプルーニング機能は、ファイル数が少ないテーブルでトリガーされるように調整されました。 「動的ファイルプルーニング」を参照してください

ターゲット・ファイル・サイズの自動チューニングによるパフォーマンスの向上

Delta テーブルのターゲット ファイル サイズは、テーブル サイズに基づいて自動的に調整されるようになりました。 以前は、 OPTIMIZEOPTIMIZE ZORDER BY のターゲット ファイル サイズは 1 GB でした。 テーブル サイズに基づく自動チューニングでは、最大 2.56 TB の Delta テーブルはターゲット サイズとして 256 MB を使用します。 10 TB を超えるテーブルは、以前と同様に 1 GB を使用します。 これらのサイズの間のテーブルでは、テーブル サイズに比例して増加するターゲット サイズが使用されます。「 データ ファイル サイズを制御するための Delta Lake の構成」を参照してください。

でテーブルを指定するその他の方法 DeltaTable.forName

DeltaTable.forName delta.`<path>` を使用したテーブルの識別がサポートされるようになりました。

堅牢なストリーミングマルチテーブル書き込み foreachBatch

foreachBatch() コマンド内でのべき等 Delta ストリーミング書き込みがサポートされるようになりました。詳細については、 べき等マルチテーブル書き込みを参照してください。

チェックポイントの調整による特定のワークロードでの読み取りクエリのパフォーマンスの向上

Delta Lake では、拡張チェックポイントを実行する頻度が調整されるようになりました。Deltaは、一定の間隔でチェックポイントを設定する代わりに、特定のイベントトリガーに基づいてチェックポイントの頻度を動的に調整するようになりました。これにより、一部のデータスキップ最適化を以前に適用できなかったワークロードでの読み取りクエリのパフォーマンスが向上します。これらの最適化を使用するには、Delta Lake に書き込むジョブを Databricks Runtime 8.4 にアップグレードします。

ユーザー定義の構造化ストリーミング関数をテストするための GroupState を作成する

これまで、構造化ストリーミングエンジンのみが のインスタンスを作成できました GroupState。 そのため、ユーザー定義関数の単体テストでは、Apache Spark でストリーミング クエリを実行する必要がありました。

これで、 TestGroupState.create(…)を使用して GroupState のインスタンスを作成できるようになりました。これにより、Spark の実行を必要としない単純な単体テストでユーザー定義関数をテストできます。 mapGroupsWithState更新機能のテストを参照してください。具体的には、ユーザー定義関数が適用された後に内部状態をイントロスペクトするための追加のメソッドを使用してインターフェイスGroupStateを拡張するTestGroupState型のインスタンスを生成します。

Auto Loader 機能と改善点

欠落したファイルをキャプチャするためのバックフィルの設定

Auto Loader では、ファイル通知で見逃された可能性のあるファイルをキャプチャするためのバックフィルを非同期的に実行できるようになりました。 ファイルストレージシステムと通知システムは、すべてのファイルイベントの100%配信を保証するものではありません。 したがって、 Databricks は、定期的なバックフィルを有効にして、 Auto Loaderですべてのデータをキャプチャすることをお勧めします。 cloudFiles.backfillIntervalオプションを使用して、データに対する定期的なバックフィルをスケジュールします。一般的なAuto Loaderオプションを参照してください。

クロスアカウントファイル通知アクセス

Auto Loader では、ロールを引き受けることによる AWS アカウント間でのデータの読み込みがサポートされるようになりました。 AssumeRole によって作成された一時的なセキュリティ認証情報を設定した後、 Auto Loader にクラウドファイルをクロスアカウント間で読み込むことができます。 「 別の AWS アカウントにデータを安全に取り込む」を参照してください。

大容量ストリームのバインドされたストレージフットプリント

Auto Loader を期限切れにし、RocksDB のエントリを削除して、チェックポイントの場所にストレージフットプリントをバインドするように設定できるようになりました。Databricks では、1 時間に数百万のファイル単位でデータを取り込んでいる場合を除き、使用はお勧めしません。このオプションを誤って設定したり、調整しようとすると、未処理のファイルが無視されたり、一部のファイルが一度だけ処理されるのではなく重複したりするなど、多くのデータ品質の問題が発生する可能性があります。詳細については、「 ファイル イベントの追跡」を参照してください。

パスレスサポートによるシンプルな設定

S3バケット

複数のパスまたは S3 バケットからイベントを受信する SQS キューを提供できるようになりました。SQS キュー URL を指定する場合、このユースケースでは path オプションは必要ありません。Auto Loader は、S3 イベントのバケットとキーを使用してS3パスを構築します。ファイルを読みたい場合 DBFS マウント・ポイントを介して、 cloudFiles.pathRewrites を使用してパス・プレフィックスを DBFS に変更できます。これは、 AssumeRoleを使用して異なるアカウントのデータにアクセスしている場合を除き、必須ではありません。

「ファイル通知オプション」を参照してください。

Azure データレイク Storage containers

複数のコンテナーからイベントを受信する Azure キューを提供できるようになりました。Azure キュー名を指定する場合、 path オプションは必須ではありません。By デフォルト, Auto Loader は、ファイル イベント内のコンテナーとキーを使用して、 Azure データレイク Storage パスを構築します。WASB パスまたは DBFS マウント・ポイントを使用する場合は、 cloudFiles.pathRewrites を使用してパス接頭部を変更できます。

「ファイル通知オプション」を参照してください。

コネクタのアップグレード

  • Snowflake Sparkコネクタがv2.9.0に更新されました。
  • KMS 暗号化が Redshift コネクタの UNLOAD ステートメントでサポートされるようになりました。

バグの修正

  • テーブルアクセスコントロールでクラスターを有効にすると、ユーザーがファイルアクセス権限を持っていない場合でも select * from folder フォルダの内容を表示できる問題を修正しました。
  • 管理者以外のデータベース所有者は、データベース内の所有されていないテーブルを削除できるようになりました。 これにより、所有されていないテーブルがデータベースに存在する場合、データベース所有者がデータベースを削除できない問題が修正されます。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:

    • Certifi を 2020.12.5 から 2021.5.30 にアップグレードしました
    • Distill 0.3.1 から 0.3.2 へのアップグレード
    • コアラが 1.8.0 から 1.8.1 にアップグレードされました
    • protobuf を 3.17.0 から 3.17.3 にアップグレード
  • アップグレードされた R ライブラリ:

    • 4.0.4 から 4.1.0 までのベース
    • 1.3-27 から 1.3-28 へのブート
    • 7.3-18 から 7.3-19 までのクラス
    • 2.1.1 から 2.1.2 へのクラスター
    • 4.0.4 から 4.1.0 までのコンパイラ
    • 4.0.4 から 4.1.0 までのデータセット
    • 4.0.4 から 4.1.0 までのグラフィック
    • grDevices 4.0.4 から 4.1.0 まで
    • 4.0.4 から 4.1.0 へのグリッド
    • KernSmooth 2.23-18 から 2.23-20 へ
    • 0.20-41 から 0.20-44 までの格子
    • 7.3-53.1 から 7.3-54 までの MASS
    • 1.3-2 から 1.3-3 までの行列
    • 4.0.4 から 4.1.0 までのメソッド
    • 1.8-33から1.8-35までのmgcv
    • nnet 7.3-15 から 7.3-16 へ
    • 4.0.4 から 4.1.0 への並列
    • 1.8-7から1.8-8までのRserve
    • 3.1.1 から 3.1.2 への SparkR
    • 4.0.4 から 4.1.0 までのスプライン
    • 4.0.4 から 4.1.0 までの統計
    • stats4 から 4.0.4 から 4.1.0 まで
    • 3.2-7 から 3.2-11 までの生存率
    • 4.0.4 から 4.1.0 への tcltk
    • 4.0.4 から 4.1.0 までのツール
    • 4.0.4 から 4.1.0 までのユーティリティ
  • アップグレードされた Java ライブラリ:

    • snowflake-JDBC から 3.12.8 から 3.13.3 へ
    • spark-snowflake_2.12 から 2.8.1-spark_3.0 から 2.9.0-spark_3.1
    • RoaringBitmap を 0.9.0 から 0.9.14 に変更
    • 0.9.0 から 0.9.14 までの shim
    • rocksdbjni fromm 6.2.2 から 6.20.3

Apache Spark

Databricks Runtime 8.4 には Apache Spark 3.1.2 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 8.3 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

  • [SPARK-35792] [SQL] ビューは、 RelationConversions
  • [SPARK-35700] [SQL] 外部システムによって作成および書き込まれたchar/varchar orcテーブルの読み取り
  • [SPARK-35636] [SQL] Lambda キーをラムダ関数の外部で参照してはならない
  • [SPARK-35800] [チェリーピック] TestGroupStateの導入によるGroupStateのテスト容易性の向上
  • [スパーク-35391] ExecutorAllocationListener のメモリ リークを修正
  • [SPARK-35799] [CherryPick] FlatMapGroupsWithStateExecのallUpdatesTimeMsメトリクス測定を修正
  • [SPARK-35763] [SS] StateStoreCustomMetricサブクラスの列挙依存関係を削除
  • [SPARK-35791 [SQL] NULL 対応 ANTI 結合の進行中のマップを適切にリリース
  • [SPARK-35695] [SQL] キャッシュされた実行サブツリーと適応型実行サブツリーから観測されたメトリクスを収集
  • [SPARK-35767] [SQL] CoalesceExecで子プランを2回実行しないようにする
  • [SPARK-35746] [UI] ステージページのタスクイベントタイムラインのタスクIDを修正
  • [SPARK-35673] [SQL] サブクエリのユーザー定義ヒントと認識されないヒントを修正。
  • [SPARK-35714] [CORE] エグゼキューターのシャットダウン中のデッドロックのバグ修正
  • [SPARK-35689] [SS] keyWithIndexToValue が null 値を返した場合のログ警告を追加
  • [SPARK-35589] [コア][3.1] BlockManagerMasterEndpoint は、更新中にインデックスのみのシャッフル ファイルを無視しないでください
  • [SPARK-35643] [Python] functions.py column()のあいまいな参照を修正
  • [SPARK-35652] [SQL] 同じテーブルから生成された2つのテーブルでjoinWith
  • [SPARK-35679] [SQL] instantToMicrosがオーバーフローする
  • [SPARK-35602] [SS] 長いJSONを受け入れるように状態スキーマを更新
  • [SPARK-35653] [SQL] ケースクラスをキーまたは値とするMapで、CatalystToExternalMapのインタープリターパスが失敗する問題を修正
  • [SPARK-35296] [SQL] タスク内のCollectMetricsExecが複数のパーティションを処理する場合でも、データセット.observeが機能するようにする。
  • [SPARK-35659] [SS] StateStoreへのヌルの書き込みを回避
  • [SPARK-35665] [SQL] CollectMetricsで未解決のエイリアスを解決
  • [スパーク-35558] マルチ分位数検索に最適化
  • [SPARK-35621] [SQL] TypeCoercionルールにルールIDのプルーニングを追加
  • [SPARK-35077] [SQL] 残りのオプティマイザルールのtransformWithPruningに移行
  • [SPARK-35610] [CORE] エグゼキューターの停止シャットダウンフックによって発生するメモリリークを修正
  • [SPARK-35544] [SQL] Analyzerルールにツリーパターンのプルーニングを追加
  • [SPARK-35566] [SS] StateStoreRestoreExecの出力行を修正
  • [SPARK-35454] [SQL][3.1] 1 つの LogicalPlan で複数のデータセット ID を一致させることができる
  • [SPARK-35538] [SQL] transformAllExpressionsWithPruningを使用するようにtransformAllExpressionsコールサイトを移行
  • [SPARK-35106] [Core][sql] 宛先ディレクトリが存在しないことによる名前変更の失敗を回避
  • [SPARK-35287] [SQL] RemoveRedundantProjectsがProjectExecを保持し、DataSourceV2ScanRelationのUnsafeRowを生成するように修正
  • [SPARK-35495] [R] CRANのSparkRメンテナーを変更
  • [SPARK-27991] [CORE] Netty OOMのフェッチリクエストを延期
  • [SPARK-35171] [R] マークダウンパッケージをSparkRパッケージの依存関係として宣言する
  • [SPARK-35454] [SQL] 1つのLogicalPlanが複数のデータセットIDを一致させることができる
  • [SPARK-35298] [SQL] Optimizer のルールを transformWithPruning に移行します。Scala
  • [SPARK-35480] [SQL] ピボットでpercentile_approxを動作させる
  • [SPARK-35093] [SQL] AQEが再利用のためにキャッシュされた交換を検索するためのキーとしてnewQueryStageプランを使用するようになった
  • [SPARK-35146] [SQL] finishAnalysis のルールを transformWithPruning または resolveWithPruning に移行します。Scala
  • [ SPARK-35411] [SQL] TreeNodeをJSONに連載する際に必要な情報を追加
  • [SPARK-35294] [SQL] オプティマイザーの下の専用ファイルを持つルールにツリートラバーサルプルーニングを追加
  • [SPARK-34897] [SQL][3.1] ネストされた列の剪定後のインデックスに基づくスキーマの調整をサポート
  • [SPARK-35144] [SQL] オブジェクトルールのtransformWithPruningへの移行
  • [SPARK-35155] [SQL] AnalyzerルールにルールIDのプルーニングを追加
  • [SPARK-35382] []Python のネストされたデータフレーム PythonAPI関数のラムダ変数名の問題を修正。
  • [SPARK-35359] [SQL] データの長さが長さの制限を超えると、char/varchar データ型のデータ挿入が失敗する
  • [SPARK-35381] [R] R APIでネストされた高階関数のラムダ変数名の問題を修正

システム環境

  • オペレーティングシステム :Ubuntu 18.04.5 LTS
  • Java:Zulu 8.54.0.21-CA-linux64
  • Scala : 2.12.10
  • Python : 3.8.8
  • R :4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

appdirs (英語)

1.4.4

ASN1暗号

1.4.0

バックコール

0.2.0

ボト3

1.16.7

ボトコア

1.19.7

ブロトリピー

0.7.0

認証

2021.5.30

cffi

1.14.3

シャルデ

3.0.4

暗号化手法

3.1.1

サーマルサイクラー

0.10.0

シトン

0.29.21

デコレータ

4.4.2

ディストリビューション

0.3.2

docutilsの

0.15.2

エントリポイント

0.3

facets-概要

1.0.0

ファイルロック

3.0.12

イドナ

2.10

ipykernel(英語)

5.3.4

アイパイソン

7.19.0

ipython-genutils

0.2.0

ジェダイ

0.17.2

jmespathの

0.10.0

ジョブリブ

0.17.0

jupyter-クライアント

6.1.7

ジュピターコア

4.6.3

キウイソルバー

1.3.0

koalas

1.8.1

Matplotlib

3.2.2

ナムピー

1.19.2

pandas

1.1.5

パルソ

0.7.0

パッツィ

0.5.1

pexpect

4.8.0

ピクルシェア

0.7.5

20.2.4

Plotly

4.14.3

プロンプトツールキット

3.0.8

プロトブフ

3.17.3

サイコップ2

2.8.5

PTYPROCESSの

0.6.0

ピアロー

1.0.1

pycparser

2.20

ピグメント

2.7.2

pyOpenSSLの

19.1.0

pyparsing (英語)

2.4.7

PySocks(パイソックス)

1.7.1

Python-dateutil

2.8.1

ピッツ

2020.5

ピズム

19.0.2

要求

2.24.0

再試行

1.3.3

S3トランスファー

0.3.6

Scikit-Learn

0.23.2

scipy(サイピー)

1.5.2

シーボーン

0.10.0

セットアップツール

50.3.1

6

1.15.0

統計モデル

0.12.0

スレッドプールctl

2.1.0

竜巻

6.0.4

トレイトレット

5.0.5

urllib3 の

1.25.11

virtualenv

20.2.1

WC幅

0.2.5

0.35.1

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされます。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

アスクパス

1.1

assertthat

0.2.1

バックポート

1.2.1

4.1.0

base64enc

0.1-3

BH

1.72.0-3

bit

4.0.4

ビット64

4.0.5

ブロッブ

1.2.1

ブート

1.3-28

醸成

1.0-6

ブリオ

1.1.0

0.7.2

コール

3.5.1

キャレット

6.0-86

セルレンジャー

1.1.0

クロン

2.3-56

クラス

7.3-19

CLI

2.2.0

clipr

0.7.1

クラスター

2.1.2

コードツール

0.2-18

カラースペース

2.0-0

コモンマーク

1.7

コンパイラ

4.1.0

コンフィグ

0.3

COVRの

3.5.1

CPP11の

0.2.4

クレヨン

1.3.4

資格情報

1.3.0

クロストーク

1.1.0.1

Curl

4.3

データ.テーブル

1.13.4

データセット

4.1.0

DBI

1.1.0

dbplirの

2.0.0

DESC

1.2.0

開発ツール

2.3.2

ディフobj

0.3.2

ダイジェスト

0.6.27

dplyrの

1.0.2

DT

0.16

省略記号

0.3.1

0.14

ファンシ

0.4.1

ファーバー

2.0.3

ファストマップ

1.0.1

フォーキャッツ

0.5.0

For each

1.5.1

外国の

0.8-81

鍛える

0.2.0

FSの

1.5.0

未来

1.21.0

ジェネリック

0.1.0

ゲルト

1.0.2

ggplot2の

3.3.2

gh

1.2.0

ギットレッズ

0.1.1

glmnet

4.0-2

グローバル

0.14.0

1.4.2

ガウアー

0.2.2

グラフィックス

4.1.0

grDevicesの

4.1.0

グリッド

4.1.0

グリッドエクストラ

2.3

gsubfnの

0.7

GTABLE(GTABLE)

0.3.0

避難所

2.3.1

高い

0.8

HMSの

0.5.3

htmlツール[htmltools]

0.5.0

htmlウィジェット

1.5.3

httpuv

1.5.4

httr

1.4.2

hwriter

1.3.2

hwriterPlusの

1.0-3

イニ

0.3.1

イプレッド

0.9-9

アイソバンド

0.2.3

反復 子

1.0.13

jsonlite

1.7.2

カーンスムース

2.23-20

ニット

1.30

ラベリング

0.4.2

あとで

1.1.0.1

格子

0.20-44

溶岩

1.6.8.1

レイジーバル

0.2.2

ライフサイクル

0.2.0

リッスン

0.8.0

ルブリデート

1.7.9.2

マグリット

2.0.1

Markdown

1.1

質量

7.3-54

マトリックス

1.3-3

メモ

1.1.0

メソッド

4.1.0

mgcv

1.8-35

マイム

0.9

モデルメトリクス

1.2.2.2

モデラー

0.1.8

マンセル

0.5.0

nlme

3.1-152

ネット

7.3-16

numDerivの

2016.8-1.1

オープンSSL

1.4.3

並列

4.1.0

並行して

1.22.0

1.4.7

pkgbuild の

1.1.0

pkgconfig

2.0.3

pkgload(パッケージロード)

1.1.0

plogrの

0.2.0

プライル

1.8.6

褒める

1.0.0

プリティユニット

1.1.1

pROC

1.16.2

プロセスX

3.4.5

製品

2019.11.13

経過

1.2.2

約束

1.1.1

プロト

1.0.0

PS

1.5.0

ゴロゴロ

0.3.4

R2D3の

0.2.3

R6の

2.5.0

ランダムフォレスト

4.6-14

ラプディレクトリ

0.3.1

rcmdcheckの

1.3.3

RColorブリューワー

1.1-2

Rcpp

1.0.5

読み取り

1.4.0

readxlの

1.3.1

レシピ

0.1.15

再戦

1.0.1

再戦2

2.1.2

リモコン

2.2.0

レプレックス

0.3.0

形状変更2

1.4.4

レックス

1.2.0

ラン

0.4.9

rmarkdown

2.6

RODBC

1.3-17

リオキシジェン2

7.1.1

rpart

4.1-15

rprojroot さん

2.0.2

サーブ

1.8-8

RSQLite (英語)

2.2.1

rstudioapi

0.13

rversions

2.0.2

アヴェスト

0.3.6

1.1.1

セレクタ

0.4-2

セッション情報

1.1.1

1.4.5

shiny

1.5.0

ソースツール

0.1.7

sparklyr

1.5.2

SparkR

3.1.1

空間的

7.3-11

スプライン

4.1.0

sqldf

0.4-11

スクエアム

2020.5

統計

4.1.0

統計4

4.1.0

ストリンギ

1.5.3

ストリンガー

1.4.0

生存

3.2-11

SYSの

3.4

tcltk

4.1.0

ティーチングデモ

2.10

テストを

3.0.0

ティブル

3.0.4

ティディル

1.1.2

ティディセレクト

1.1.0

ティディバース

1.3.0

日時

3043.102

タイニーテックス

0.28

ツール

4.1.0

usethisさん

2.0.0

UTF8

1.1.4

ユーティリティ

4.1.0

UUIDの

0.1-4

vctrs

0.3.5

viridisライト

0.3.0

ワルド

0.2.3

ウイスカー

0.4

ウィザー

2.3.0

xfun

0.19

XML2の

1.3.2

xopen(オーペン)

1.0.0

エクステーブル

1.8-4

ヤムラ

2.2.1

郵便番号

2.1.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.12.0

com.amazonawsの

aws-java-sdk-オートスケール

1.11.655

com.amazonawsの

aws-java-sdk-cloudformation

1.11.655

com.amazonawsの

aws-java-sdk-cloudfront

1.11.655

com.amazonawsの

aws-java-sdk-cloudhsm

1.11.655

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.11.655

com.amazonawsの

aws-java-sdk-cloudtrail

1.11.655

com.amazonawsの

aws-java-sdk-cloudwatch

1.11.655

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.11.655

com.amazonawsの

aws-java-sdk-コードデプロイ

1.11.655

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.11.655

com.amazonawsの

aws-java-sdk-cognitosync

1.11.655

com.amazonawsの

aws-java-sdk-configの

1.11.655

com.amazonawsの

aws-java-sdk-コア

1.11.655

com.amazonawsの

aws-java-sdk-データパイプライン

1.11.655

com.amazonawsの

aws-java-sdk-directconnectの

1.11.655

com.amazonawsの

aws-java-sdkディレクトリ

1.11.655

com.amazonawsの

aws-java-sdk-ダイナモDB

1.11.655

com.amazonawsの

aws-java-sdk-ec2 の

1.11.655

com.amazonawsの

aws-java-sdk-ecsの

1.11.655

com.amazonawsの

aws-java-sdk-efs

1.11.655

com.amazonawsの

aws-java-sdk-elasticache

1.11.655

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.11.655

com.amazonawsの

aws-java-sdk-emr

1.11.655

com.amazonawsの

aws-java-sdk-glacier

1.11.655

com.amazonawsの

aws-java-sdk-グルー

1.11.655

com.amazonawsの

aws-java-sdk-iam

1.11.655

com.amazonawsの

aws-java-sdk-importexport

1.11.655

com.amazonawsの

aws-java-sdk-キネシス

1.11.655

com.amazonawsの

aws-java-sdk-kmsの

1.11.655

com.amazonawsの

aws-java-sdk-ラムダ

1.11.655

com.amazonawsの

aws-java-sdk-logs

1.11.655

com.amazonawsの

aws-java-sdk-機械学習

1.11.655

com.amazonawsの

aws-java-sdk-marketplaceメータリングサービス

1.11.655

com.amazonawsの

aws-java-sdk-opsworks

1.11.655

com.amazonawsの

aws-java-sdk-rds

1.11.655

com.amazonawsの

aws-java-sdk-レッドシフト

1.11.655

com.amazonawsの

aws-java-sdk-ルート53

1.11.655

com.amazonawsの

aws-java-sdk-s3 の

1.11.655

com.amazonawsの

aws-java-sdk-ses

1.11.655

com.amazonawsの

aws-java-sdk-simpledb

1.11.655

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.11.655

com.amazonawsの

aws-java-sdk-snsの

1.11.655

com.amazonawsの

aws-java-sdk-sqs

1.11.655

com.amazonawsの

aws-java-sdk-ssm

1.11.655

com.amazonawsの

aws-java-sdk-storagegateway

1.11.655

com.amazonawsの

aws-java-sdk-sts

1.11.655

com.amazonawsの

aws-java-sdk-サポート

1.11.655

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.11.655

com.amazonawsの

jmespath-java

1.11.655

com.chuusai(英語)

shapeless_2.12

2.3.3

com.clearspring.アナリティクス

stream

2.9.6

com.databricksの

サーブ

1.8-3

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapbのruntime_2.12

0.4.15-10

com.esotericソフトウェア

kryo-shaded(クリョシェード)

4.0.2

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.3.4

com.fasterxml.jackson.core

ジャクソン-注釈

2.10.0

com.fasterxml.jackson.core

ジャクソンコア

2.10.0

com.fasterxml.jackson.core

ジャクソン-データバインド

2.10.0

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.10.0

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.10.0

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.10.0

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.12

2.10.0

com.github.ben-manes.caffeine

カフェイン

2.3.4

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-メトリクス-hadoop-metrics2-reporter

0.1.2

com.github.luben

ZSTD-JNI

1.4.8-1

com.github.wendykierp (英語)

JTransformsの

3.1

com.google.code.findbugs

JSR305

3.0.0

com.google.code.gson(英語)

gson

2.2.4

com.google.flatbuffers

フラットバッファ-Java

1.9.0

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2データベース

H2

1.4.195

com.helger

プロファイラー

1.1.1

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.lihaoyi

sourcecode_2月12日

0.1.9

com.microsoft.azure

azure-データレイク-store-sdk

2.3.9

com.microsoft.sqlserver

mssqlの-JDBC

9.2.1.JRE8

com.ningの

圧縮-LZF

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.12

0.4.12

コム。囀る

チルジャワ

0.9.5

コム。囀る

chill_2.12

0.9.5

コム。囀る

util-app_2.12

7.1.0

コム。囀る

util-core_2.12

7.1.0

コム。囀る

util-function_2.12

7.1.0

コム。囀る

util-jvm_2.12

7.1.0

コム。囀る

util-lint_2.12

7.1.0

コム。囀る

util-registry_2.12

7.1.0

コム。囀る

util-stats_2.12

7.1.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging_2.12

3.7.2

com.univocityの

univocity-パーサー

2.9.1

com.zaxxerの

ひかりCP

3.1.0

commons-beanutilsの

commons-beanutilsの

1.9.4

コモンズCLI

コモンズCLI

1.2

コモンズコーデック

コモンズコーデック

1.10

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ構成

コモンズ構成

1.6

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズ消化器

コモンズ消化器

1.8

コモンズファイルアップロード

コモンズファイルアップロード

1.3.3

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.4

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズネット

コモンズネット

3.1

コモンズプール

コモンズプール

1.5.4

ハイブ-2.3__hadoop-2.7

ジェット3T-0.7

liball_deps_2.12

ハイブ-2.3__hadoop-2.7

動物園の飼育係-3.4

liball_deps_2.12

info.ganglia.gmetric4j

gmetric4jの

1.0.10

io.エアリフト

エアコンプレッサー

0.10

io.delta

デルタシェアリング-spark_2.12

0.1.0

io.dropwizard.メトリクス

メトリクスコア

4.1.1

io.dropwizard.メトリクス

メトリクス-グラファイト

4.1.1

io.dropwizard.メトリクス

メトリクス-healthchecks

4.1.1

io.dropwizard.メトリクス

メトリクス-jetty9

4.1.1

io.dropwizard.メトリクス

メトリクス-JMX

4.1.1

io.dropwizard.メトリクス

メトリクス-JSON

4.1.1

io.dropwizard.メトリクス

メトリクス-JVM

4.1.1

io.dropwizard.メトリクス

メトリクスサーブレット

4.1.1

io.nettyの

netty-すべて

4.1.51.最終版

io.プロメテウス

シンプルクライアント

0.7.0

io.プロメテウス

simpleclient_common

0.7.0

io.プロメテウス

simpleclient_dropwizard

0.7.0

io.プロメテウス

simpleclient_pushgateway

0.7.0

io.プロメテウス

simpleclient_servlet

0.7.0

io.prometheus.jmx

収集家

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation(ジャカルタ検証)

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activationの

アクティベーション

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

JSPのAPI

2.1

javax.transaction

jta

1.1

javax.transaction

トランザクションAPI

1.1

javax.xml.バインド

ヤックスビーAPI

2.2.2

javax.xml.ストリーム

スタックス-API

1.0-2

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.14.6

ジョダタイム

ジョダタイム

2.10.5

log4j(ログ4J)

apache-log4j-extras

1.2.17

log4j(ログ4J)

log4j(ログ4J)

1.2.17

Maven-ツリー

ハイブ-2.3__hadoop-2.7

liball_deps_2.12

net.java.dev.jna

jna

5.8.0

net.razorvine

パイロライト

4.30

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

snowflake-ingest-sdk

0.9.6

ネット.スノーフレーク

スノーフレーク-JDBC

3.13.3

ネット.スノーフレーク

スパーク-snowflake_2.12

2.9.0-spark_3.1

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt.remoteteaの

リモートTEA-ONCRPC

1.1.2

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.5.2

org.antlr

antlr4ランタイム

4.8-1

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

2.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-core

2.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-netty

2.0.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

2.0.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

アブロIPC

1.8.2

org.apache.avro

アブロマップド-hadoop2

1.8.2

org.apache.commonsの

コモンズ圧縮

1.20

org.apache.commonsの

コモンズ-クリプト

1.1.0

org.apache.commonsの

コモンズ-LANG3

3.10

org.apache.commonsの

コモンズ-数学3

3.4.1

org.apache.commonsの

コモンズテキスト

1.6

org.apache.curator (英語)

キュレーター・クライアント

2.7.1

org.apache.curator (英語)

キュレーターフレームワーク

2.7.1

org.apache.curator (英語)

キュレーターレシピ

2.7.1

org.apache.derbyの

ダービー

10.12.1.1

org.apache.directory.api

API-ASN1-API

1.0.0-M20

org.apache.directory.api

APIのユーティリティ

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop です。

hadoop アノテーション

2.7.4

org.apache.hadoop です。

hadoop認証

2.7.4

org.apache.hadoop です。

hadoop クライアント

2.7.4

org.apache.hadoop です。

hadoop-共通

2.7.4

org.apache.hadoop です。

Hadoop-HDFS

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-アプリ

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-クライアント-共通

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-core

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-ジョブクライアント

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-shuffle

2.7.4

org.apache.hadoop です。

hadoop-yarn-api

2.7.4

org.apache.hadoop です。

hadoop-yarn-クライアント

2.7.4

org.apache.hadoop です。

hadoop-yarn-共通

2.7.4

org.apache.hadoop です。

hadoop-yarn-server-共通

2.7.4

org.apache.hive です。

ハイブビーライン

2.3.7

org.apache.hive です。

ハイブ CLI

2.3.7

org.apache.hive です。

ハイブ-JDBC

2.3.7

org.apache.hive です。

ハイブ - llap クライアント

2.3.7

org.apache.hive です。

ハイブ - llap - 共通

2.3.7

org.apache.hive です。

ハイブセルデ

2.3.7

org.apache.hive です。

ハイブシム

2.3.7

org.apache.hive です。

ハイブストレージAPI

2.7.2

org.apache.hive.shims

ハイブシム-0.23

2.3.7

org.apache.hive.shims

ハイブシム-共通

2.3.7

org.apache.hive.shims

ハイブシムススケジューラ

2.3.7

org.apache.htrace

htrace-コア

3.1.0-インキュベーション

org.apache.httpコンポーネント

httpクライアント

4.5.6

org.apache.httpコンポーネント

httpコア

4.4.12

org.apache.ivy

2.4.0

org.apache.mesos

メソスシェードプロトブ

1.4.0

org.apache.orc

オークコア

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

オークシム

1.5.12

org.apache.parquet

parquet-column

1.10.1-データブリックス9

org.apache.parquet

parquet-common

1.10.1-データブリックス9

org.apache.parquet

parquet-encoding

1.10.1-データブリックス9

org.apache.parquet

parquet-format

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1-データブリックス9

org.apache.parquet

parquet-jackson

1.10.1-データブリックス9

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.12.0

org.apache.xbean

xbean-asm7-シェード

4.15

org.apache.yetus (英語)

オーディエンスアノテーション

0.5.0

org.apache.zookeeper

動物園の飼育係

3.4.14

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン・ジャクサーズ

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.jackson

ジャクソン-XC

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.16

org.codehaus.janino

ジャニーノ

3.0.16

org.datanucleus (英語)

データ核-API-JDO

4.2.4

org.datanucleus (英語)

データ核コア

4.1.17

org.datanucleus (英語)

データ核-RDBMS

4.1.19

org.datanucleus (英語)

javax.jdo

3.2.0-m3

組織Eclipse.jetty

桟橋クライアント

9.4.36.v20210114

組織Eclipse.jetty

桟橋の続き

9.4.36.v20210114

組織Eclipse.jetty

桟橋-HTTP

9.4.36.v20210114

組織Eclipse.jetty

桟橋-IO

9.4.36.v20210114

組織Eclipse.jetty

桟橋-JNDI

9.4.36.v20210114

組織Eclipse.jetty

桟橋プラス

9.4.36.v20210114

組織Eclipse.jetty

桟橋プロキシ

9.4.36.v20210114

組織Eclipse.jetty

桟橋警備

9.4.36.v20210114

組織Eclipse.jetty

桟橋サーバー

9.4.36.v20210114

組織Eclipse.jetty

桟橋サーブレット

9.4.36.v20210114

組織Eclipse.jetty

桟橋サーブレット

9.4.36.v20210114

組織Eclipse.jetty

桟橋-util

9.4.36.v20210114

組織Eclipse.jetty

桟橋-util-ajax

9.4.36.v20210114

組織Eclipse.jetty

桟橋-webapp

9.4.36.v20210114

組織Eclipse.jetty

桟橋XML

9.4.36.v20210114

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.6.1

org.glassfish.hk2

HK2ロケーター

2.6.1

org.glassfish.hk2

hk2-utilsの

2.6.1

org.glassfish.hk2

osgi-リソースロケーター

1.0.3

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.6.1

org.glassfish.hk2.external (英語)

jakarta.inject です。

2.6.1

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.30

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.30

org.glassfish.jersey.coreの

ジャージークライアント

2.30

org.glassfish.jersey.coreの

ジャージー共通

2.30

org.glassfish.jersey.coreの

ジャージーサーバー

2.30

org.glassfish.jersey.inject

ジャージ-HK2

2.30

org.glassfish.jersey.mediaの

ジャージー-メディア-JAXB

2.30

org.hibernate.validator

hibernate-validator

6.1.0.ファイナル

org.javassist

ジャバス奏者

3.25.0-GAの

org.jboss.logging

jboss-ロギング

3.3.2.ファイナル

org.jdbi

DBI

2.63.1

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.12

3.7.0-M5

org.json4sの

json4s-core_2.12

3.7.0-M5

org.json4sの

json4s-jackson_2.12

3.7.0-M5

org.json4sの

json4s-scalap_2.12

3.7.0-M5

org.lz4

LZ4-Javaの

1.7.1

org.mariadb.JDBC

mariadb-java-クライアント

2.2.5

org.objenesis

オブジェネシス

2.5.1

org.postgresql

PostgreSQL

42.1.4

org.roaringbitmap

ロアリングビットマップ

0.9.14

org.roaringbitmap

シム

0.9.14

org.rocksdbの

ロックスDBJNI

6.20.3

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.12

2.12.10

組織Scala-lang

Scala-Library.12

2.12.10

組織Scala-lang

Scala-reflect_2.12

2.12.10

組織Scala-lang.modules

Scalaコレクションcompat_2.12

2.1.1

組織Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

組織Scala-lang.modules

Scala-xml_2.12

1.2.0

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

そよ風-macros_2.12

1.0

org.scalanlp

breeze_2.12

1.0

org.scalatestの

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

7月-slf4j

1.7.30

org.slf4j

SLF4J-APIの

1.7.30

org.slf4j

SLF4J-ログ4J12

1.7.30

org.spark-project.spark です。

未使用

1.0.0

org.springframeworkの

スプリングコア

4.1.4.リリース

org.springframeworkの

スプリングテスト

4.1.4.リリース

org.threetenさん

スリーテンエクストラ

1.5.0

org.tukaani

xz

1.5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

マクロ-compat_2.12

1.1.1

org.typelevel

スパイア-macros_2.12

0.17.0-M1

org.typelevel

スパイア-platform_2.12

0.17.0-M1

org.typelevel

スパイア-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.wildfly.openssl

ワイルドフライ-openssl

1.0.7.ファイナル

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.8.2

org.yaml の

スネークヤム

1.24

オロ

オロ

2.0.8

pl.edu.icm

JLarge配列

1.5

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1

xmlenc

xmlenc

0.52