Databricks Runtime 7.2 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks は 2020 年 8 月にこのバージョンをリリースしました。
次のリリースノートでは、Databricks Runtime 3.0 を搭載した 7.2 に関する情報を提供しています。Apache Spark
新機能
Databricks Runtime 7.2 には、次の新機能が含まれています。
Auto Loader は一般公開されています
Auto Loader は、多数のファイルを Delta Lakeに段階的に取り込むための効率的な方法です。 現在は GA であり、ディレクトリ リスト、クラウド リソース管理 API、レート制限オプション、およびオプション検証の機能が追加されています。
ディレクトリ・リスト・モード・オプション
Auto Loader 、既存のファイル通知モードに加えて、新しいファイルがあるかどうかを判断するための新しいディレクトリリストモードが追加されています。
- ディレクトリ一覧モード: 一部のシナリオでは、定期的にストリームインする必要があるファイルはごくわずかです。 このような場合、入力ディレクトリを並列にリストして新しいファイルを識別し、それらを取り込むことは、かなり効率的です。 これにより、権限の設定 Auto Loader せずにストリームを開始できます。 ディレクトリ一覧表示モードは、Auto Loader Databricks Runtime7.2 以降の のデフォルト モードです。
- ファイル通知モード:
.option("cloudFiles.useNotifications", "true")ファイル通知モードに明示的にオプトインできます。これにより、大規模な入力ディレクトリに対してパフォーマンスと拡張性が向上しますが、通知サービスがファイルイベントをサブスクライブして を設定するには、アクセス許可を構成する必要があります。Auto Loader Databricks Runtime7.1 以下で開始された既存の ストリームは、Databricks Runtime 7.2 にアップグレードすると自動的にファイル通知モードにオプトインします。
詳細については、「Auto Loaderとは」を参照してください。
クラウドリソース管理API
これで、Scala API を使用して、Auto Loader によって作成されたクラウド リソースを管理できるようになりました。 この API を使用して、通知サービスを一覧表示し、特定の通知サービスを破棄できます。 詳細については、「 ファイル通知リソースを手動で構成または管理する」を参照してください。
レート制限オプション
cloudFiles.maxBytesPerTriggerオプションを使用して、各マイクロバッチで処理されるデータ量を制限できるようになりました。10g などのバイト文字列を指定して、各マイクロバッチのデータを 10 GB に制限できます。これはソフト最大値です。 それぞれ 3 GB のファイルがある場合、Databricks は 12 GB をマイクロバッチで処理します。 このオプションは、 Trigger.Once()と一緒に使用しても効果がありません。 このオプションを指定しない場合、デフォルト値である cloudFiles.maxFilesPerTrigger 1000 個のファイルのうち 1000 個のファイルのデフォルト値が使用されます。 cloudFiles.maxFilesPerTriggerと一緒に使用すると、Databricks は cloudFiles.maxFilesPerTrigger または cloudFiles.maxBytesPerTriggerのいずれか早い方の下限まで消費します。
詳細については、「Auto Loaderとは」を参照してください。
オプションの検証
Auto Loader は、指定したオプションを検証します。 不明なオプションを指定すると、 Auto Loader はオプションを黙って無視するのではなく、エラーを返します。 検証では、指定したオプションの不整合も検出されます。 たとえば、 cloudFiles.useNotifications を false に設定し、同時に AWS SNS サービスと SQS サービスのアクセス許可オプションを提供すると、 validation 失敗します。 オプションの検証をスキップするには、 cloudFiles.validateOptions を falseに設定します。
デフォルトのオプション値と互換性の変更
一部の Auto Loader オプションのデフォルト動作は Databricks Runtime 7.2 で変更されました。 互換性を確保するため、 Databricks Runtime 7.1 以下で開始されたストリームの動作は、7.2 以降で実行されているクラスターでそのようなストリームを実行するようにアップグレードした後でも変更 Databricks Runtime 変わりません。 「Auto Loaderとは」を参照してください。
clone を使用して Delta テーブルを効率的にコピーする (パブリック プレビュー)
clone コマンドを使用して、特定のバージョンの Delta テーブルの浅いクローンまたはディープクローンを効率的に作成できるようになりました。 ディープクローンは、ソース テーブルからターゲット テーブルにファイルを並列にコピーすることによって形成される Delta テーブルのスタンドアロン クローンです。 シャロークローンは、ファイルをターゲットテーブルにコピーせず、元のテーブル内のファイルを指す、低コストで作成されたクローンです。 ディープクローンまたはシャロークローンに加えられた変更は、クローンにのみ影響し、元のテーブルには影響しません。 「Databricks でテーブルを複製する」を参照してください。
アップグレードされた S3 コネクタにより、安定性とパフォーマンスが向上しました (パブリック プレビュー)
アップグレードされたコネクタは Hadoop 3.1.3 に基づいています また、S3ディレクトリ構造の深さと息吹に応じて、LISTの大幅なコスト削減につながる可能性のあるLISTの最適化を含む、多くの安定性の改善が含まれています(Hadoopの安定性エピック2、3、4を参照)。 詳細については、「 Amazon S3 に接続する」を参照してください。
改善
-
Snowflakeコネクタ: コネクタは、Spark 3.0のサポートを含むバージョン2.8.1にアップグレードされました。
-
PySpark ユーザビリティ: PySpark または Pandas UDF が失敗した場合、 Databricks は Python側の例外と最後に実行されたノートブック コードの行 (該当する場合) をエラー メッセージの上部に表示するようになりました。
-
資格情報のパススルー:
- LDA 変換関数をパススルー対応クラスターで使用できるようになりました。
- ストレージ・チェックポイント・ディレクトリをパススルー対応クラスターに設定できるようになりました。
-
クラスター ライブラリ: Databricks は、すべてのクラスター ライブラリを、クラスターにインストールされた順序で処理するようになりました。 Databricks Runtime 7.1 以前では、Maven と CRAN ライブラリのみがクラスターにインストールされた順序で処理されていました。他のライブラリは、非決定論的な順序でインストールされました。
-
TensorBoard:
tensorboard.notebookAPI を使用して TensorBoard プロセスを管理します。- 1 つのクラスターで複数の TensorBoard バックエンドを実行できます。
- Python ノートブックでは、
%tensorboardline マジック コマンドを使用して TensorBoard UI をインラインで表示します。 dbutils.tensorboardは非推奨です。
「TensorBoard」を参照してください。
-
アップグレードされた Python ライブラリ:
- JMESPATH を 0.9.4 から 0.10.0 に更新しました。
- コアラが1.0.1から1.1.0にアップグレードされました。
-
インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。
Apache Spark
Databricks Runtime 7.2 には Apache Spark 3.0.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 7.1 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。
- [SPARK-32234] [SQL] Spark sql コマンドが orc テーブルの選択に失敗する
- [SPARK-30616] [SQL] SQLメタデータキャッシュのTTL設定オプションを導入
- [SPARK-21117] [SQL] 組み込み SQL 関数のサポート - WIDTH_BUCKET
- [SPARK-32168] [SQL] SQL上書きの隠しパーティションの正確性のバグを修正
- [スパーク-31935] Hadoop ファイルシステムの設定は、データソースオプションで効果的である必要があります
- [SPARK-32270] [SQL] CSVのスキーマ推論でTextFileFormatを異なるエンコーディングで使用
- [SPARK-28481] [SQL] より多くの式が NullIntorerantを拡張する必要があります
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NLヒントが非デカルト製品の結合結果を変更しない
- [SPARK-32232] [ML][PySpark] ML が Scala と Python の間で同じデフォルトソルバー値を持つことを確認します
- [SPARK-32238] [SQL] ScalaUDFで不正な形式のクラス名にヒットしないように、Utils.getSimpleNameを使用
- [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NLヒントが非デカルト製品の結合結果を変更しない
- [SPARK-32256] [SQL] HiveExternalCatalogでHadoop VersionInfoを強制的に初期化
- [SPARK-32159] [SQL] Aggregator[Array[_], _, _]とUnresolvedMapObjects間の統合を修正
- [SPARK-32160] [CORE][PySpark] エグゼキューターでSparkContextを作成することを許可しない
- [SPARK-32168] [SQL] SQL上書きの隠しパーティションの正確性のバグを修正
- [SPARK-32024] [WEBUI] HistoryServerDiskManagerの初期化中にApplicationStoreInfo.sizeを更新
- [SPARK-32214] [SQL] makeFromJavaで「その他」の型に対して生成される型変換関数が間違った変数を使用する問題を修正
- [SPARK-30703] [SQL] SqlBase.g4の無効なコメントを更新
- [SPARK-32163] [SQL] ネストされたプルーニングは、外観のバリエーションでも機能するはずです
- [SPARK-32124] [CORE] 古いSparkバージョンからイベントがログに記録されるときに、無効な値Int.MinValueを使用してマップインデックスを埋める
- [SPARK-32167] [SQL] GetArrayStructFieldsを修正して、内部フィールドのnull可能性を一緒に尊重するように修正
- [SPARK-32130] [SQL] JsonBenchmarkでタイムスタンプ推論を有効にする
- [SPARK-32121] [SHUFFLE] ExecutorDiskUtilsでWindows OSをサポート
- [SPARK-32130] [SQL] デフォルトでJSONオプション
inferTimestampを無効にする - [SPARK-31935] [SQL] Hadoopファイルシステムの設定は、データソースオプションで有効であるべき
- [SPARK-32095] [SQL] 更新された統計の使用を反映するようにドキュメントを更新する
- [SPARK-32131] [SQL] UNION / EXCEPT / MINUS操作でのAnalysisExceptionメッセージを修正
- [SPARK-32068] [WEBUI] ステージタブのタイムゾーンによるタスクのlauchtimeショーの問題を修正
- [SPARK-29999] [SS] 実際のメタデータログディレクトリを確認するテストを修正
- [SPARK-32127] [SQL] MERGE INTOのチェックルールでMergeAction.children以外のMergeAction.condiitionを使用すべき
- [SPARK-32038] [SQL] float/double正規化後にエイリアス名をきれいにする
- [SPARK-32126] [SS] IncrementalExecution のスコープ Session.active
- [SPARK-32115] [SQL] 整数オーバーフローを処理するようにSUBSTRINGを修正
- [SPARK-32098] [Python] 矢印付きのcreateDataFrameで直接スライスする代わりに、位置スライスにilocを使用する
- [SPARK-32080] [SPARK-31998] [SQL] ArrowColumnVector ListArray アクセサーの簡略化
- [SPARK-32028] [WEBUI] 履歴サマリーページで複数回の試行アプリのアプリIDリンクを修正
- [SPARK-31918] [R] クロージャクリーニングでSparkR名前空間のS4ジェネリックメソッドを無視して、R 4.0.0+をサポートするように修正
- [SPARK-32038] [SQL] NormalizeFloatingNumbers は個別の集計でも機能するように変更
- [SPARK-32034] [SQL] ポート HIVE-14817: シャットダウン時に SessionManager timeoutChecker スレッドを適切にシャットダウン
- [SPARK-32021] [SQL] 秒と小数部の精度を向上
make_interval - [SPARK-31980] [SQL] 範囲の開始と終了の日付が等しい場合、関数 sequence() が失敗する
- [SPARK-32020] [SQL] SPARK_HOMEまたはspark.test.homeが設定されていない場合のエラーメッセージを改善
- [SPARK-32011] [Python][core] ピン留めスレッドモードに関する警告を削除し、collectWithJobGroupの使用方法を説明。
メンテナンスの更新
「Databricks Runtime 7.2 メンテナンスの更新」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 18.04.4 LTSの
- Java : 1.8.0_252
- Scala : 2.12.10
- Python : 3.7.5
- R :Rバージョン3.6.3 (2020-02-29)
- Delta Lake 0.7.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
ASN1暗号 | 1.3.0 | バックコール | 0.1.0 | ボト3 | 1.12.0 |
ボトコア | 1.15.0 | 認証 | 2020.6.20 | cffi | 1.14.0 |
シャルデ | 3.0.4 | 暗号化手法 | 2.8 | サーマルサイクラー | 0.10.0 |
シトン | 0.29.15 | デコレータ | 4.4.1 | docutilsの | 0.15.2 |
エントリポイント | 0.3 | イドナ | 2.8 | ipykernel(英語) | 5.1.4 |
アイパイソン | 7.12.0 | ipython-genutils | 0.2.0 | ジェダイ | 0.14.1 |
jmespathの | 0.10.0 | ジョブリブ | 0.14.1 | jupyter-クライアント | 5.3.4 |
ジュピターコア | 4.6.1 | キウイソルバー | 1.1.0 | koalas | 1.1.0 |
Matplotlib | 3.1.3 | ナムピー | 1.18.1 | pandas | 1.0.1 |
パルソ | 0.5.2 | パッツィ | 0.5.1 | pexpect | 4.8.0 |
ピクルシェア | 0.7.5 | 種 | 20.0.2 | プロンプトツールキット | 3.0.3 |
サイコップ2 | 2.8.4 | PTYPROCESSの | 0.6.0 | ピアロー | 0.15.1 |
pycparser | 2.19 | ピグメント | 2.5.2 | PyGObject | 3.26.1 |
pyOpenSSLの | 19.1.0 | pyparsing (英語) | 2.4.6 | PySocks(パイソックス) | 1.7.1 |
Python-apt | 1.6.5+Ubuntu0.3 | Python-dateutil | 2.8.1 | ピッツ | 2019.3 |
ピズム | 18.1.1 | 要求 | 2.22.0 | S3トランスファー | 0.3.3 |
Scikit-Learn | 0.22.1 | scipy(サイピー) | 1.4.1 | シーボーン | 0.10.0 |
セットアップツール | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
統計モデル | 0.11.0 | 竜巻 | 6.0.3 | トレイトレット | 4.3.3 |
無人アップグレード | 0.1 | urllib3 の | 1.25.8 | virtualenv | 16.7.10 |
WC幅 | 0.1.8 | 輪 | 0.34.2 |
インストールされている R ライブラリ
R ライブラリは、2020-07-14 の Microsoft CRAN スナップショットからインストールされます。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アスクパス | 1.1 | assertthat | 0.2.1 | バックポート | 1.1.8 |
基 | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
bit | 1.1-15.2 | ビット64 | 0.9-7 | ブロッブ | 1.2.1 |
ブート | 1.3-25 | 醸成 | 1.0-6 | 箒 | 0.7.0 |
コール | 3.4.3 | キャレット | 6.0-86 | セルレンジャー | 1.1.0 |
クロン | 2.3-55 | クラス | 7.3-17 | CLI | 2.0.2 |
clipr | 0.7.0 | クラスター | 2.1.0 | コードツール | 0.2-16 |
カラースペース | 1.4-1 | コモンマーク | 1.7 | コンパイラ | 3.6.3 |
コンフィグ | 0.3 | COVRの | 3.5.0 | クレヨン | 1.3.4 |
クロストーク | 1.1.0.1 | Curl | 4.3 | データ.テーブル | 1.12.8 |
データセット | 3.6.3 | DBI | 1.1.0 | dbplirの | 1.4.4 |
DESC | 1.2.0 | 開発ツール | 2.3.0 | ダイジェスト | 0.6.25 |
dplyrの | 0.8.5 | DT | 0.14 | 省略記号 | 0.3.1 |
評 | 0.14 | ファンシ | 0.4.1 | ファーバー | 2.0.3 |
ファストマップ | 1.0.1 | フォーキャッツ | 0.5.0 | For each | 1.5.0 |
外国の | 0.8-76 | 鍛える | 0.2.0 | FSの | 1.4.2 |
ジェネリック | 0.0.2 | ggplot2の | 3.3.2 | gh | 1.1.0 |
ギット2R | 0.27.1 | glmnet | 3.0-2 | グローバル | 0.12.5 |
膠 | 1.4.1 | ガウアー | 0.2.2 | グラフィックス | 3.6.3 |
grDevicesの | 3.6.3 | グリッド | 3.6.3 | グリッドエクストラ | 2.3 |
gsubfnの | 0.7 | GTABLE(GTABLE) | 0.3.0 | 避難所 | 2.3.1 |
高い | 0.8 | HMSの | 0.5.3 | htmlツール[htmltools] | 0.5.0 |
htmlウィジェット | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
hwriter | 1.3.2 | hwriterPlusの | 1.0-3 | イニ | 0.3.1 |
イプレッド | 0.9-9 | アイソバンド | 0.2.2 | 反復 子 | 1.0.12 |
jsonlite | 1.7.0 | カーンスムース | 2.23-17 | ニット | 1.29 |
ラベリング | 0.3 | あとで | 1.1.0.1 | 格子 | 0.20-41 |
溶岩 | 1.6.7 | レイジーバル | 0.2.2 | ライフサイクル | 0.2.0 |
ルブリデート | 1.7.9 | マグリット | 1.5 | Markdown | 1.1 |
質量 | 7.3-51.6 | マトリックス | 1.2-18 | メモ | 1.1.0 |
メソッド | 3.6.3 | mgcv | 1.8-31 | マイム | 0.9 |
モデルメトリクス | 1.2.2.2 | モデラー | 0.1.8 | マンセル | 0.5.0 |
nlme | 3.1-147 | ネット | 7.3-14 | numDerivの | 2016.8-1.1 |
オープンSSL | 1.4.2 | 並列 | 3.6.3 | 柱 | 1.4.6 |
pkgbuild の | 1.1.0 | pkgconfig | 2.0.3 | pkgload(パッケージロード) | 1.1.0 |
plogrの | 0.2.0 | プライル | 1.8.6 | 褒める | 1.0.0 |
プリティユニット | 1.1.1 | pROC | 1.16.2 | プロセスX | 3.4.3 |
製品 | 2019.11.13 | 経過 | 1.2.2 | 約束 | 1.1.1 |
プロト | 1.0.0 | PS | 1.3.3 | ゴロゴロ | 0.3.4 |
R2D3の | 0.2.3 | R6の | 2.4.1 | ランダムフォレスト | 4.6-14 |
ラプディレクトリ | 0.3.1 | rcmdcheckの | 1.3.3 | RColorブリューワー | 1.1-2 |
Rcpp | 1.0.5 | 読み取り | 1.3.1 | readxlの | 1.3.1 |
レシピ | 0.1.13 | 再戦 | 1.0.1 | 再戦2 | 2.1.2 |
リモコン | 2.1.1 | レプレックス | 0.3.0 | 形状変更2 | 1.4.4 |
レックス | 1.2.0 | rjsonの | 0.2.20 | ラン | 0.4.7 |
rmarkdown | 2.3 | RODBC | 1.3-16 | リオキシジェン2 | 7.1.1 |
rpart | 4.1-15 | rprojroot さん | 1.3-2 | サーブ | 1.8-7 |
RSQLite (英語) | 2.2.0 | rstudioapi | 0.11 | rversions | 2.0.2 |
アヴェスト | 0.3.5 | 秤 | 1.1.1 | セレクタ | 0.4-2 |
セッション情報 | 1.1.1 | 形 | 1.4.4 | shiny | 1.5.0 |
ソースツール | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
空間的 | 7.3-11 | スプライン | 3.6.3 | sqldf | 0.4-11 |
スクエアム | 2020.3 | 統計 | 3.6.3 | 統計4 | 3.6.3 |
ストリンギ | 1.4.6 | ストリンガー | 1.4.0 | 生存 | 3.1-12 |
SYSの | 3.3 | tcltk | 3.6.3 | ティーチングデモ | 2.10 |
テストを | 2.3.2 | ティブル | 3.0.3 | ティディル | 1.1.0 |
ティディセレクト | 1.1.0 | ティディバース | 1.3.0 | 日時 | 3043.102 |
タイニーテックス | 0.24 | ツール | 3.6.3 | usethisさん | 1.6.1 |
UTF8 | 1.1.4 | ユーティリティ | 3.6.3 | UUIDの | 0.1-4 |
vctrs | 0.3.1 | viridisライト | 0.3.0 | ウイスカー | 0.4 |
ウィザー | 2.2.0 | xfun | 0.15 | XML2の | 1.3.2 |
xopen(オーペン) | 1.0.0 | エクステーブル | 1.8-4 | ヤムラ | 2.2.1 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.655 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonawsの | aws-java-sdk-configの | 1.11.655 |
com.amazonawsの | aws-java-sdk-コア | 1.11.655 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.655 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.655 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.655 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.655 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-efs | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.655 |
com.amazonawsの | aws-java-sdk-emr | 1.11.655 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.655 |
com.amazonawsの | aws-java-sdk-iam | 1.11.655 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.655 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.655 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.655 |
com.amazonawsの | aws-java-sdk-logs | 1.11.655 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.655 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.655 |
com.amazonawsの | aws-java-sdk-rds | 1.11.655 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.655 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.655 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ses | 1.11.655 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.655 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.655 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.655 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.655 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonawsの | aws-java-sdk-sts | 1.11.655 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.655 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.655 |
com.amazonawsの | jmespath-java | 1.11.655 |
com.chuusai(英語) | shapeless_2.12 | 2.3.3 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.10.0 |
com.fasterxml.jackson.core | ジャクソンコア | 2.10.0 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.10.0 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.10.0 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.10.0 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.10.0 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.10.0 |
com.github.ben-manes.caffeine | カフェイン | 2.3.4 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-メトリクス-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | ZSTD-JNI | 1.4.4-3 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.flatbuffers | フラットバッファ-Java | 1.9.0 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2データベース | H2 | 1.4.195 |
com.helger | プロファイラー | 1.1.1 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.2.8 |
com.microsoft.sqlserver | mssqlの-JDBC | 8.2.1.JRE8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.9.5 |
コム。囀る | chill_2.12 | 0.9.5 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocityの | univocity-パーサー | 2.8.3 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.9.4 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.3.3 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.dropwizard.メトリクス | メトリクスコア | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.1.1 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.1.1 |
io.nettyの | netty-すべて | 4.1.47.ファイナル |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.10.5 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
net.razorvine | パイロライト | 4.30 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.12.8 |
ネット.スノーフレーク | スパーク-snowflake_2.12 | 2.8.1-spark_3.0 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.7.1 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 0.15.1 |
org.apache.arrow(アパッチ・アロー) | arrow-memory | 0.15.1 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 0.15.1 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.commonsの | コモンズ圧縮 | 1.8.1 |
org.apache.commonsの | コモンズ-クリプト | 1.0.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.9 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.commonsの | コモンズテキスト | 1.6 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.4 |
org.apache.hadoop です。 | hadoop認証 | 2.7.4 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.4 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.4 |
org.apache.hive です。 | ハイブビーライン | 2.3.7 |
org.apache.hive です。 | ハイブ CLI | 2.3.7 |
org.apache.hive です。 | ハイブ共通 | 2.3.7 |
org.apache.hive です。 | ハイブ実行コア | 2.3.7 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.7 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.7 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.7 |
org.apache.hive です。 | Hive metastore | 2.3.7 |
org.apache.hive です。 | ハイブセルデ | 2.3.7 |
org.apache.hive です。 | ハイブシム | 2.3.7 |
org.apache.hive です。 | ハイブストレージAPI | 2.7.1 |
org.apache.hive です。 | ハイブベクトルコード生成 | 2.3.7 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.7 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.7 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.7 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.6 |
org.apache.httpコンポーネント | httpコア | 4.4.12 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.orc | オークコア | 1.5.10 |
org.apache.orc | orc-mapreduce | 1.5.10 |
org.apache.orc | オークシム | 1.5.10 |
org.apache.parquet | parquet-column | 1.10.1.2-データブリックス4 |
org.apache.parquet | parquet-common | 1.10.1.2-データブリックス4 |
org.apache.parquet | parquet-encoding | 1.10.1.2-データブリックス4 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1.2-データブリックス4 |
org.apache.parquet | parquet-jackson | 1.10.1.2-データブリックス4 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.velocityの | 速度 | 1.5 |
org.apache.xbean | xbean-asm7-シェード | 4.15 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.5.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.14 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋の続き | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-IO | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋プラス | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋警備 | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-util | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋XML | 9.4.18.v20190429 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.30 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.30 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.30 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.30 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.30 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.30 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.ファイナル |
org.javassist | ジャバス奏者 | 3.25.0-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.6.6 |
org.json4sの | json4s-core_2.12 | 3.6.6 |
org.json4sの | json4s-jackson_2.12 | 3.6.6 |
org.json4sの | json4s-scalap_2.12 | 3.6.6 |
org.lz4 | LZ4-Javaの | 1.7.1 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.1.2 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.7.45 |
org.roaringbitmap | シム | 0.7.45 |
org.rocksdbの | ロックスDBJNI | 6.2.2 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.10 |
組織Scala-lang | Scala-Library.12 | 2.12.10 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.10 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.1.1 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | そよ風-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatestの | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | 7月-slf4j | 1.7.30 |
org.slf4j | SLF4J-APIの | 1.7.30 |
org.slf4j | SLF4J-ログ4J12 | 1.7.30 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.threetenさん | スリーテンエクストラ | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | マクロ-compat_2.12 | 1.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-platform_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.7.5 |
org.yaml の | スネークヤム | 1.24 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |