Databricks Runtime 9.1 LTS
次のリリースノートは、Databricks Runtime LTSDatabricks RuntimeLTSPhotonApache Spark3.1.2 を搭載した 9.1 および 9.1 に関する情報を提供します。Databricks は 2021 年 9 月にこのバージョンをリリースしました。Photon は パブリック プレビュー段階です。
LTS は、このバージョンが 長期サポート 中であることを意味します。「Databricks Runtime LTS バージョンのライフサイクル」を参照してください。
サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。
新機能と改善点
- Auto Loader スキーマヒントが配列型とマップ型で動作するようになりました
- マージスキーマの Avro ファイルのサポート
- Auto Loader 増分リストのサポート (パブリック プレビュー)
- Delta が任意の置換をサポートしましたWhere
- Google Cloud 用 Auto Loader でファイル通知がサポートされるようになりました (パブリック プレビュー)
- CREATE FUNCTION でテーブル関数の作成がサポートされるようになりました
- Kafka ストリーミング ソース
estimatedTotalBytesBehindLatestメトリクスを報告するようになりました - 配列内の構造体の場合、Delta MERGE INTO は構造体フィールドを名前で解決し、構造体スキーマを進化させるようになりました
Auto Loader スキーマヒントが配列型とマップ型で動作するようになりました
配列型とマップ型は、Auto Loaderの スキーマヒントを使用してスキーマ推論をオーバーライド する でサポートされています。
配列のスキーマヒントの例を次に示します。
arr Array<TYPE>配列の型を変更します。arr.element TYPE配列の型を変更します (elementキーワードを使用)。arr.element.x TYPE構造体の配列内のネストされたフィールドの型を変更します。
最初の 2 つの例は、配列 arr のタイプを TYPEに変更するためのヒントですが、異なる構文を使用しています。3 番目の例では、 arr はフィールド xを持つ構造体の配列です。この例では、 x のタイプを TYPEに変更する方法を示します。
マップのスキーマヒントの例を次に示します。
m Map<KEY-TYPE, VALUE-TYPE>マップのキーと値の型を変更します。m.key TYPEマップキーのタイプを変更します。m.value TYPEマップ値の種類を変更します。m.key.x TYPEマップキーのフィールドタイプを変更します。m.value.x TYPEマップ値のフィールド タイプを変更します。
最初の例では、map m のキーと値の両方のタイプをそれぞれ KEY_TYPE と VALUE_TYPE に変更します。2 番目と 3 番目の例は、キー型のみ、または値型のみを変更する必要がある場合に使用できます。4 番目と 5 番目の例では、 m は、フィールド xを持つ構造体型のキーと値を持つマップです。この例では、 x のタイプを TYPEに変更する方法を示します。
マージスキーマの Avro ファイルのサポート
Avro ファイル形式で、ファイルの読み取り時に mergeSchema オプションがサポートされるようになりました。Avro ファイルを読み取るときに mergeSchema を true に設定すると、スキーマは 1 つのファイルからではなく、一連の Avro ファイルから推論されます。これにより、個々のスキーマが異なる場合でもすべてのファイルを読み取ることができるスキーマを推論することで、使いやすさが向上します。「設定」を参照してください。
Auto Loader の増分リストのサポート (パブリック プレビュー)
辞書式に生成されたファイルの場合、Auto Loaderとは何ですか? 現在は、語彙ファイルの順序付けと既存の最適化された APIs を活用して、ディレクトリ全体をリストするのではなく、以前に取り込んだファイルからリストすることで、ディレクトリの一覧表示をより効率的にします。 Auto Loader は、特定のディレクトリがデフォルトによる増分リストに適しているかどうかを自動的に検出します。 この動作を明示的に制御するには、新しい cloudFiles.useIncrementalListing オプションをオン (true)、オフ (false)、または自動 (auto) に設定します。この動作を trueに設定すると、データに対する定期的なバックフィルをスケジュールする cloudFiles.backfillInterval オプションを設定して、すべてのデータが完全に取り込まれるようにすることもできます。
Delta が任意の replaceWhere をサポートするようになりました
上書きモードと組み合わせた replaceWhere オプションを使用すると、オプションで定義された述部に一致するデータを同時に上書きできます。以前は、 replaceWhere はパーティション列に対してのみ述部をサポートしていましたが、現在は任意の式にすることができます。テーブルへの書き込みを参照してください。
Google Cloud 用 Auto Loader でファイル通知がサポートされるようになりました (パブリック プレビュー)
Auto Loader で Google Cloud のファイル通知モードがサポートされるようになりました。 .option("cloudFiles.useNotifications", "true") を設定すると、Auto Loader が Google Cloud Pub/Sub リソースを自動的に設定できるようになります。ファイル通知モードでは、新しいファイルが到着すると、入力ディレクトリをリストせずに検出され、取り込まれます。「Auto Loaderファイル通知モードとは」を参照してください。
CREATE FUNCTION でテーブル関数の作成がサポートされるようになりました
スカラー値を返すスカラー関数を作成するだけでなく、一連の行を返すテーブル関数を作成できるようになりました。CREATE FUNCTION (SQL と Python)を参照してください。
Kafka ストリーミング ソース estimatedTotalBytesBehindLatest メトリクスを報告するようになりました
Kafka ストリーミングソースは、各バッチ後に、コンシューマーが最新の使用可能なバイト数の背後にある推定バイト数を報告するようになりました。このメトリクスを使用して、ストリームの進行状況を追跡できます。「Kafka メトリクスの取得」を参照してください。
メトリクス出力の例:
StreamingQueryProgress {
"batchId": 0,
.....
"sources": [ {
"description" : "KafkaV2[Subscribe[topic-0]]",
"metrics":{
"avgOffsetsBehindLatest" : "1.0",
"estimatedTotalBytesBehindLatest" : "80.0", // new
"maxOffsetsBehindLatest" : "1",
"minOffsetsBehindLatest" : "1"
} ],
....
}
配列内の構造体の場合、Delta MERGE INTO は構造体フィールドを名前で解決し、構造体スキーマを進化させるようになりました
Delta MERGE INTO では、名前による構造体フィールドの解決と、構造体の配列の自動スキーマ進化がサポートされるようになりました。spark.databricks.delta.schema.autoMerge.enabled を true に設定して自動スキーマ進化を有効にすると、UPDATE 句と INSERT 句は配列内の構造体フィールドを名前で解決し、ターゲット配列で定義されている対応するデータ型にキャストし、ソースまたはターゲットの追加フィールドまたは欠落しているフィールドに null 値を入力します。自動スキーマ進化が無効になっている場合、 UPDATE 句と INSERT 句は配列内の構造体フィールドを名前で解決しますが、追加のフィールドを進化させることはできません。 「Delta Lake テーブル スキーマの更新」を参照してください。
バグの修正
- JVM
DeleteOnExit機能が原因で、長時間実行されるジョブまたはサービスで発生する可能性のある Amazon S3 コネクタのメモリリークを修正しました。
ライブラリのアップグレード
-
アップグレードされた Python ライブラリ:
- 4.14.3から5.1.0までのplotly
-
アップグレードされた R ライブラリ:
- 4.1.0 からのベース4.1.1 まで
- bslib を 0.2.5.1 から 0.3.0 に変更
- cachem 1.0.5 から 1.0.6 へ
- 4.1.0 からのコンパイラ4.1.1 まで
- 4.1.0 からのデータセット4.1.1 まで
- 1.21.0 から 1.22.1 までの将来
- gert 1.3.1 から 1.3.2 へ
- 4.1.0 からのグラフィックス4.1.1 まで
- grDevices 4.1.0 から4.1.1 まで
- 4.1.0 からのグリッド4.1.1 まで
-
アップグレードされた Java ライブラリ:
- 9.4.36.v20210114 から 9.4.42.v20210604 までのEclipse.jetty
Apache Spark
Databricks Runtime 9.1 LTS には Apache Spark 3.1.2 が含まれています。このリリースには、 Databricks Runtime 9.0 (EoS) に含まれるすべての Spark の修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-36674][SQL][CHERRY-PICK] ILIKE のサポート - 大文字と小文字を区別しない LIKE
- [SPARK-36353][SQL][3.1] RemoveNoopOperators は出力スキーマを保持すべき
- [SPARK-35876][SQL][3.1] ArraysZipは、アナライザー/オプティマイザーによって書き換えられるのを避けるために、フィールド名を保持する必要があります
- [SPARK-36398][SQL] Spark Thrift Serverログの機密情報を墨消し
- [SPARK-36498][SQL] byName V2 write の入力クエリの内部フィールドを並べ替える
- [SPARK-36614][CORE][UI] UIのデコミッションによって引き起こされたエグゼキューターの損失の理由を修正
- [SPARK-36012] [SQL] SHOW CREATE TABLEにnullフラグを追加
- [SPARK-36509][CORE] ワーカーがスタンドアロンクラスターで停止した場合、エグゼキューターが再スケジュールされない問題を修正
- [SPARK-36603][CORE] LevelDBでSoftReferenceではなくWeakReferenceを使用
- [SPARK-36564][CORE] LiveRDDDistribution.toApiのNullPointerExceptionを修正
- [SPARK-36086][SQL][3.1] CollapseProject プロジェクトの置換エイリアスは元の列名を使用するべき
- [SPARK-33527][SQL] 主流のデータベースと一貫性を保つようにデコード機能を拡張します
- 【スパーク-36400】[スパーク-36398][SQL][ウェブイ]ThriftServerにspark.sql.redaction.string.regexを認識させる
- [SPARK-34054][CORE] BlockManagerDecommissionerコードのクリーンアップ
- [SPARK-36500][CORE] タスクが中断されたときにtemp_shuffleファイルが漏洩する問題を修正
- [SPARK-36489][SQL] グループ化キーのない集計関数で、単一のバケットを持つテーブルで複数の行を返す
- [SPARK-36464][CORE] 2GBを超えるデータを書き込むためのChunkedByteBufferOutputStreamの基本的なサイズ変数の初期化を修正
- [SPARK-36339][SQL][3.0] 集計の一部ではないグループ化への参照を置き換える必要がある
- [SPARK-36354][CORE] EventLogFileReaderは、ログのないイベントログディレクトリのローリングをスキップする必要があります
- [SPARK-36242][コア][3.1]ExternalSorter.spillMemoryIteratorToDisk で success = true を設定する前に、スピル ファイルが閉じていることを確認します。方式
- [SPARK-36211][Python]
udf戻り値の正しい入力 - [SPARK-34222][SQL] ブール値の簡略化ルールの強化
- [SPARK-35027][CORE] FileAppenderのinputStreamを閉じてください。
- [SPARK-36269][SQL] データ列のみをHive列名の設定に修正
- [SPARK-36213][SQL] PartitionSpecを使用してDescribeテーブルコマンドのPartitionSpecを正規化
- [SPARK-36210] [SQL] データセット.withColumns の列の挿入順序を保持
- [SPARK-36079][SQL] Null ベースのフィルター推定は常に [0, 1] の範囲内にある必要があります
- [SPARK-28266][SQL] convertToLogicalRelationは、Hiveテーブルを読み取るときに
pathプロパティを解釈すべきではない
メンテナンスの更新
「Databricks Runtime 9.1 LTS メンテナンス更新プログラム」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 20.04.4 LTS
- Java の:Zulu 8.56.0.21-CA-linux64
- Scala : 2.12.10
- Pythonの :3.8.10
- R :4.1.1
- Delta Lake : 1.0.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アンテルゴス Linux | 2015.10 (ISOローリング) | appdirs (英語) | 1.4.4 | バックコール | 0.2.0 |
ボト3 | 1.16.7 | ボトコア | 1.19.7 | 認証 | 2020.12.5 |
chardet | 4.0.0 | サーマルサイクラー | 0.10.0 | シトン | 0.29.23 |
DBUSPython | 1.2.16 | デコレータ | 5.0.6 | ディストリビューション | 0.3.2 |
ディストリビューション情報 | 0.23Ubuntuの1 | facets-概要 | 1.0.0 | ファイルロック | 3.0.12 |
イドナ | 2.10 | ipykernel(英語) | 5.3.4 | アイパイソン | 7.22.0 |
ipython-genutils | 0.2.0 | ジェダイ | 0.17.2 | jmespath | 0.10.0 |
joblib | 1.0.1 | jupyter-クライアント | 6.1.12 | ジュピターコア | 4.7.1 |
キウイソルバー | 1.3.1 | koalas | 1.8.1 | Matplotlib | 3.4.2 |
numpy | 1.19.2 | pandas | 1.2.4 | パルソ | 0.7.0 |
patsy | 0.5.1 | pexpect | 4.8.0 | ピクルシェア | 0.7.5 |
枕 | 8.2.0 | 種 | 21.0.1 | Plotly | 5.1.0 |
プロンプトツールキット | 3.0.17 | protobuf | 3.17.2 | サイコップ2 | 2.8.5 |
PTYPROCESSの | 0.7.0 | pyarrow | 4.0.0 | ピグメント | 2.8.1 |
PyGObject | 3.36.0 | pyparsing | 2.4.7 | Python-apt | 2.0.0 + ubuntu0.20.4.5 |
Python-dateutil | 2.8.1 | pytz | 2020.5 | ピズム | 20.0.0 |
要求 | 2.25.1 | リクエスト-unixsocket | 0.2.0 | S3トランスファー | 0.3.7 |
scikit-learn | 0.24.1 | scipy | 1.6.2 | シーボーン | 0.11.1 |
setuptools | 52.0.0 | six | 1.15.0 | ssh-import-id | 5.10 |
statsmodels | 0.12.2 | 持久力 | 8.0.1 | threadpoolctl | 2.1.0 |
竜巻 | 6.1 | トレイトレット | 5.0.5 | 無人アップグレード | 0.1 |
urllib3 の | 1.25.11 | virtualenv | 20.4.1 | WC幅 | 0.2.5 |
輪 | 0.36.2 |
インストールされている R ライブラリ
R ライブラリは、2021 年 9 月 8 日の Microsoft CRAN スナップショットからインストールされます。スナップショットは使用できなくなりました。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アスクパス | 1.1 | assertthat | 0.2.1 | バックポート | 1.2.1 |
基 | 4.1.1 | base64enc | 0.1-3 | bit | 4.0.4 |
ビット64 | 4.0.5 | ブロッブ | 1.2.2 | ブート | 1.3-28 |
醸成 | 1.0-6 | ブリオ | 1.1.2 | 箒 | 0.7.9 |
bslibの | 0.3.0 | カケム | 1.0.6 | コール | 3.7.0 |
キャレット | 6.0-88 | セルレンジャー | 1.1.0 | クロン | 2.3-56 |
クラス | 7.3-19 | CLI | 3.0.1 | clipr | 0.7.1 |
クラスター | 2.1.2 | コードツール | 0.2-18 | カラースペース | 2.0-2 |
コモンマーク | 1.7 | コンパイラ | 4.1.1 | コンフィグ | 0.3.1 |
CPP11の | 0.3.1 | クレヨン | 1.4.1 | credentials | 1.3.1 |
Curl | 4.3.2 | データ.テーブル | 1.14.0 | データセット | 4.1.1 |
DBI | 1.1.1 | dbplirの | 2.1.1 | DESC | 1.3.0 |
開発ツール | 2.4.2 | ディフobj | 0.3.4 | ダイジェスト | 0.6.27 |
dplyrの | 1.0.7 | DTPLyr | 1.1.0 | 省略記号 | 0.3.2 |
評 | 0.14 | ファンシ | 0.5.0 | ファーバー | 2.1.0 |
ファストマップ | 1.1.0 | フォーキャッツ | 0.5.1 | For each | 1.5.1 |
外部 | 0.8-81 | 鍛える | 0.2.0 | fs | 1.5.0 |
未来 | 1.22.1 | future.お申込み | 1.8.1 | 嗽 | 1.2.0 |
ジェネリック | 0.1.0 | ゲルト | 1.3.2 | ggplot2の | 3.3.5 |
gh | 1.3.0 | ギットレッズ | 0.1.1 | glmnet | 4.1-2 |
グローバル | 0.14.0 | 膠 | 1.4.2 | グーグルドライブ | 2.0.0 |
グーグルシート4 | 1.0.0 | ガウアー | 0.2.2 | グラフィックス | 4.1.1 |
grDevicesの | 4.1.1 | グリッド | 4.1.1 | グリッドエクストラ | 2.3 |
gsubfnの | 0.7 | GTABLE(GTABLE) | 0.3.0 | 避難所 | 2.4.3 |
高い | 0.9 | HMSの | 1.1.0 | htmlツール[htmltools] | 0.5.2 |
htmlウィジェット | 1.5.3 | httpuv | 1.6.2 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlusの | 1.0-3 | ids | 1.0.1 |
イニ | 0.3.1 | イプレッド | 0.9-11 | アイソバンド | 0.2.5 |
反復 子 | 1.0.13 | jquerylib | 0.1.4 | jsonlite | 1.7.2 |
カーンスムース | 2.23-20 | ニット | 1.33 | ラベリング | 0.4.2 |
あとで | 1.3.0 | 格子 | 0.20-44 | 溶岩 | 1.6.10 |
ライフサイクル | 1.0.0 | リッスン | 0.8.0 | ルブリデート | 1.7.10 |
マグリット | 2.0.1 | Markdown | 1.1 | 質量 | 7.3-54 |
マトリックス | 1.3-4 | メモ | 2.0.0 | メソッド | 4.1.1 |
mgcv | 1.8-36 | マイム | 0.11 | モデルメトリクス | 1.2.2.2 |
モデラー | 0.1.8 | マンセル | 0.5.0 | nlme | 3.1-152 |
ネット | 7.3-16 | numDerivの | 2016.8-1.1 | オープンSSL | 1.4.5 |
並列 | 4.1.1 | 並行して | 1.27.0 | 柱 | 1.6.2 |
pkgbuild の | 1.2.0 | pkgconfig | 2.0.3 | pkgload(パッケージロード) | 1.2.1 |
plogrの | 0.2.0 | プライル | 1.8.6 | 褒める | 1.0.0 |
プリティユニット | 1.1.1 | pROC | 1.18.0 | プロセスX | 3.5.2 |
製品 | 2019.11.13 | 経過 | 1.2.2 | プログレッサー | 0.8.0 |
約束 | 1.2.0.1 | プロト | 1.0.0 | PS | 1.6.0 |
ゴロゴロ | 0.3.4 | R2D3の | 0.2.5 | R6の | 2.5.1 |
ランダムフォレスト | 4.6-14 | ラプディレクトリ | 0.3.3 | rcmdcheckの | 1.3.3 |
RColorブリューワー | 1.1-2 | Rcpp | 1.0.7 | 読み取り | 2.0.1 |
readxlの | 1.3.1 | レシピ | 0.1.16 | 再戦 | 1.0.1 |
再戦2 | 2.1.2 | リモコン | 2.4.0 | レプレックス | 2.0.1 |
形状変更2 | 1.4.4 | ラン | 0.4.11 | rmarkdown | 2.10 |
RODBC | 1.3-18 | リオキシジェン2 | 7.1.1 | rpart | 4.1-15 |
rprojroot さん | 2.0.2 | サーブ | 1.8-8 | RSQLite (英語) | 2.2.8 |
rstudioapi | 0.13 | rversions | 2.1.1 | アヴェスト | 1.0.1 |
サス | 0.4.0 | 秤 | 1.1.1 | セレクタ | 0.4-2 |
セッション情報 | 1.1.1 | 形 | 1.4.6 | shiny | 1.6.0 |
ソースツール | 0.1.7 | sparklyr | 1.7.1 | SparkR | 3.1.1 |
空間的 | 7.3-11 | スプライン | 4.1.1 | sqldf | 0.4-11 |
スクエアム | 2021.1 | 統計 | 4.1.1 | 統計4 | 4.1.1 |
ストリンギ | 1.7.4 | ストリンガー | 1.4.0 | 生存 | 3.2-13 |
SYSの | 3.4 | tcltk | 4.1.1 | ティーチングデモ | 2.10 |
テストを | 3.0.4 | ティブル | 3.1.4 | ティディル | 1.1.3 |
ティディセレクト | 1.1.1 | ティディバース | 1.3.1 | 日時 | 3043.102 |
タイニーテックス | 0.33 | ツール | 4.1.1 | tzdb | 0.1.2 |
usethisさん | 2.0.1 | UTF8 | 1.2.2 | ユーティリティ | 4.1.1 |
UUIDの | 0.1-4 | vctrs | 0.3.8 | viridisライト | 0.4.0 |
ブルーム | 1.5.4 | ワルド | 0.3.0 | ウイスカー | 0.4 |
ウィザー | 2.4.2 | xfun | 0.25 | XML2の | 1.3.2 |
xopen(オーペン) | 1.0.0 | エクステーブル | 1.8-4 | ヤムラ | 2.2.1 |
郵便番号 | 2.2.0 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.655 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonawsの | aws-java-sdk-configの | 1.11.655 |
com.amazonawsの | aws-java-sdk-コア | 1.11.655 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.655 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.655 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.655 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.655 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-efs | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.655 |
com.amazonawsの | aws-java-sdk-emr | 1.11.655 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.655 |
com.amazonawsの | aws-java-sdk-グルー | 1.11.655 |
com.amazonawsの | aws-java-sdk-iam | 1.11.655 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.655 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.655 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.655 |
com.amazonawsの | aws-java-sdk-logs | 1.11.655 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.655 |
com.amazonawsの | aws-java-sdk-marketplaceコマースアナリティクス | 1.11.655 |
com.amazonawsの | aws-java-sdk-marketplaceメータリングサービス | 1.11.655 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.655 |
com.amazonawsの | aws-java-sdk-rds | 1.11.655 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.655 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.655 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ses | 1.11.655 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.655 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.655 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.655 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.655 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonawsの | aws-java-sdk-sts | 1.11.655 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.655 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.655 |
com.amazonawsの | jmespath-java | 1.11.655 |
com.chuusai(英語) | shapeless_2.12 | 2.3.3 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.10.0 |
com.fasterxml.jackson.core | ジャクソンコア | 2.10.0 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.10.0 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.10.0 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.10.0 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.10.0 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.10.0 |
com.github.ben-manes.caffeine | カフェイン | 2.3.4 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-メトリクス-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | ZSTD-JNI | 1.4.8-1 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.crypto.tink | ティンク | 1.6.0 |
com.google.flatbuffers | フラットバッファ-Java | 1.9.0 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2データベース | H2 | 1.4.195 |
com.helger | プロファイラー | 1.1.1 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssqlの-JDBC | 9.2.1.JRE8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.9.5 |
コム。囀る | chill_2.12 | 0.9.5 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocityの | univocity-パーサー | 2.9.1 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.9.4 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.3.3 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
ハイブ-2.3__hadoop-2.7 | ジェット3T-0.7 | liball_deps_2.12 |
ハイブ-2.3__hadoop-2.7 | 動物園の飼育係-3.4 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.delta | デルタシェアリング-spark_2.12 | 0.1.0 |
io.dropwizard.メトリクス | メトリクスコア | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.1.1 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.1.1 |
io.nettyの | netty-すべて | 4.1.51.最終版 |
io.プロメテウス | シンプルクライアント | 0.7.0 |
io.プロメテウス | simpleclient_common | 0.7.0 |
io.プロメテウス | simpleclient_dropwizard | 0.7.0 |
io.プロメテウス | simpleclient_pushgateway | 0.7.0 |
io.プロメテウス | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 収集家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.10.5 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
Maven-ツリー | ハイブ-2.3__hadoop-2.7 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | パイロライト | 4.30 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.13.3 |
ネット.スノーフレーク | スパーク-snowflake_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.8-1 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-core | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-netty | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 2.0.0 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.commonsの | コモンズ圧縮 | 1.20 |
org.apache.commonsの | コモンズ-クリプト | 1.1.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.10 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.commonsの | コモンズテキスト | 1.6 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.4 |
org.apache.hadoop です。 | hadoop認証 | 2.7.4 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.4 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.4 |
org.apache.hive です。 | ハイブビーライン | 2.3.7 |
org.apache.hive です。 | ハイブ CLI | 2.3.7 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.7 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.7 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.7 |
org.apache.hive です。 | ハイブセルデ | 2.3.7 |
org.apache.hive です。 | ハイブシム | 2.3.7 |
org.apache.hive です。 | ハイブストレージAPI | 2.7.2 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.7 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.7 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.7 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.6 |
org.apache.httpコンポーネント | httpコア | 4.4.12 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.mesos | メソスシェードプロトブ | 1.4.0 |
org.apache.orc | オークコア | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | オークシム | 1.5.12 |
org.apache.parquet | parquet-column | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-common | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-encoding | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-jackson | 1.10.1-データブリックス9 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.xbean | xbean-asm7-シェード | 4.15 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.5.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.14 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋の続き | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋-IO | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋プラス | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋警備 | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋-util | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋-util-ajax | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.42.v20210604 |
組織Eclipse.jetty | 桟橋XML | 9.4.42.v20210604 |
組織Eclipse.jetty.websocket | websocket-api | 9.4.42.v20210604 |
組織Eclipse.jetty.websocket | websocket-クライアント | 9.4.42.v20210604 |
組織Eclipse.jetty.websocket | websocket-共通 | 9.4.42.v20210604 |
組織Eclipse.jetty.websocket | websocket-サーバー | 9.4.42.v20210604 |
組織Eclipse.jetty.websocket | websocket-サーブレット | 9.4.42.v20210604 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.30 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.30 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.30 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.30 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.30 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.30 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.ファイナル |
org.javassist | ジャバス奏者 | 3.25.0-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.7.0-M5 |
org.json4sの | json4s-core_2.12 | 3.7.0-M5 |
org.json4sの | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4sの | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | LZ4-Javaの | 1.7.1 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.2.5 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.9.14 |
org.roaringbitmap | シム | 0.9.14 |
org.rocksdbの | ロックスDBJNI | 6.20.3 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.10 |
組織Scala-lang | Scala-Library.12 | 2.12.10 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.10 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.1.1 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | そよ風-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatestの | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | 7月-slf4j | 1.7.30 |
org.slf4j | SLF4J-APIの | 1.7.30 |
org.slf4j | SLF4J-ログ4J12 | 1.7.30 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.threetenさん | スリーテンエクストラ | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | マクロ-compat_2.12 | 1.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-platform_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | ワイルドフライ-openssl | 1.0.7.ファイナル |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.8.2 |
org.yaml の | スネークヤム | 1.24 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |