Databricks Runtime 7.5 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks は 2020 年 12 月にこのバージョンをリリースしました。
次のリリースノートは、Databricks Runtime 3.0 を搭載した 7.5 に関する情報を提供します。Apache Spark
新機能
Delta Lake の機能と改善点
このリリースでは、Delta Lake の次の機能と改善点が提供されます。
- 非同期チェックポイントにより、ストリーミングのマイクロバッチ期間の急増を排除
- 最新のテーブル情報がカタログに伝播されるようになりました
MERGE INTO操作でネストされた列のスキーマ進化がサポートされるようになりましたMERGE INTO操作で最適化された書き込みが自動的に使用されるようになりましたMERGE INTOまた、UPDATE操作でネストされた構造体列を名前で解決するようになりましたCLONEGA で、テーブル プロパティをオーバーライドできるようになりましたRESTOREGAです- Scala implicits は、読み取りと書き込みSparkAPIを簡素化します
fetchParallelismコネクタオプションによるストリーミングスループットの向上- 新しい Auto Loader メトリクスでストリームの進行状況を追跡する
非同期チェックポイントにより、ストリーミングのマイクロバッチ期間の急増を排除
Delta Lake は、デフォルトによって 10 コミットごとにチェックポイントを実行します。 ストリーミング ワークロードでは、チェックポイント設定によって次のことができます 10 コミットごとにマイクロバッチ期間にマイナーなスパイクが発生します。 非同期チェックポイント これらのスパイクを排除します。
非同期チェックポイント処理は、Trigger Once ストリーミング以外のすべてのワークロードに対して Default によって有効になります。 で 非同期チェックポイント、ストリーミングライターも書き込み拡張 チェックポイント そのため、拡張チェックポイントに明示的にオプトインする必要はありません。
非同期チェックポイント処理を無効にするには、SQL 構成を設定します
spark.databricks.delta.checkpoint.async.enabled false。
バッチ ワークロードは引き続きチェックポイントを同期的に書き込むため、有効にしないことをお勧めします バッチ ワークロードの非同期チェックポイント処理。
最新のテーブル情報がカタログに伝播されるようになりました
Delta Lake は、スキーマやテーブルのプロパティなどの最新のテーブル情報を ベストエフォート方式の Hive metastoreなどのカタログ。 このような情報は、 Delta テーブルのスキーマを理解するためのカタログ化ツール。
Delta Lake は、内部的にはこの情報に依存していませんが、常に最新の状態に保つよう努めています。 で
さらに、Delta Lake にはテーブルのプロパティ ( delta.lastUpdateVersion と delta.lastCommitTimestampが格納されます
最後に変更をメタストアにプッシュしたコミットのバージョンとタイムスタンプを示します。 ザ
メタストアは、テーブルのスキーマまたはテーブル内のプロパティが一致しない場合にのみ更新されます。したがって、前述のテーブル プロパティは、必ずしも最新バージョンの
テーブル。
テーブル情報とメタストア情報が同期していない場合は、 DESCRIBE <table> などのコマンドを実行してメタストアを更新できます。
- Hive ではパーティション列の変更は許可されませんが、Delta テーブルではパーティション分割を変更できるため、Delta テーブルは Hive でパーティション分割済みとして表示されません。
- テーブル情報は、マニフェスト形式のテーブルなど、外部の Delta Lake リーダーでは使用できません。
MERGE INTO 操作で、ネストされた列のスキーマ進化がサポートされるようになりました
入れ子になった列のスキーマ進化は、最上位の列と同じセマンティクスを持つようになりました。 たとえば、新しいネストされた列を StructType 列に自動的に追加できます。 詳細については、 Merge での自動スキーマ進化 を参照してください。
MERGE INTO 操作で最適化された書き込みが自動的に使用されるようになりました
最適化された書き込み は、すぐに使用できる MERGE INTO 、特にパーティション化されたテーブルの MERGE INTO に対して、パフォーマンスを大幅に向上させることができます。 最適化された書き込みを無効にするには、Spark 設定 spark.databricks.delta.optimizeWrite.enabled を falseに設定します。
MERGE INTO 操作と UPDATE 操作で、ネストされた構造体列を名前で解決するようになりました
更新操作の UPDATE コマンドと MERGE INTO コマンドで、ネストされた構造体列が名前で解決されるようになりました。 つまり、StructType 型の列を比較または割り当てるとき、入れ子になった列の順序は重要ではありません (最上位の列の順序とまったく同じです)。 位置による解決に戻すには、Spark 設定 spark.databricks.delta.resolveMergeUpdateStructsByName.enabled を falseに設定します。
CLONE は GA であり、テーブル プロパティをオーバーライドできるようになりました
CLONE コマンドが一般公開されました。CREATE TABLE CLONEを参照してください。また、 CLONEの使用時にテーブルプロパティの上書きを指定できるようになりました。 例については、「 Databricks でテーブルを複製する」を参照してください。
RESTORE はGAです
RESTORE コマンドが一般公開されました。RESTOREを参照してください。
Scala implicits は、読み取りと書き込みの Spark を簡略化 API
io.delta.implicits._をインポートして、 Spark 読み取りおよび書き込み APIで delta メソッドを使用できます。
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
fetchParallelismコネクタオプションによるストリーミングスループットの向上
SQS コネクタでは、キュー サービスからメッセージをフェッチするための並列処理を指定する新しいオプション fetchParallelism がサポートされるようになりました。
新しい Auto Loader メトリクスによるストリームの進行状況の追跡
Auto Loader では、バックログに存在するファイルの数と、各バッチ後のバックログの大きさが報告されるようになりました。 これらのメトリクスを使用して、ストリームの進行状況を追跡できます。 メトリクスの表示方法については、「Auto Loaderとは」を参照してください。
改善
%pipおよび%condaマジックコマンドを使用したノートブックスコープのライブラリの幅広いサポート
ノートブックスコープのライブラリを、テーブルACLまたはクレデンシャルパススルーが有効になっているHigh Concurrencyクラスターで %pip および %conda マジックコマンドを使用してインストールできるようになりました。
正確なSpark SQL DECIMAL 表示
Spark SQL DECIMAL データ型が、精度とスケールを損なうことなくテーブルに表示されるようになりました。
ABFS 用の Hadoop 3.3 に基づく ADLS Gen 2 ストレージ コネクタ
ADLS Gen 2 ストレージ コネクタのアップグレード バージョンは、ABFS の Hadoop 3.3 に基づいています。 アップグレードされたコネクタには、多くの安定性の向上が含まれています ( Hadoop の安定性を参照) と SAS トークン認証。
AWS Redshift コネクタの Spark-S3 接続で、 assumeRole
Amazon Redshift コネクタは、データの読み取りと書き込みの中間ストレージとして S3 を使用します。 できます
次に、S3に対して認証するためにIAMロールを引き受けます。 想定される IAMロールを設定します
既存の構成パラメーター、つまり fs.s3a.stsAssumeRole.arn と
fs.s3a.credentialsType. S3 および Redshift への認証を参照してください。
その他の修正
DatabricksKafkaSparkストリーミングの コネクタが取り外されました。Apache Spark コネクタを使用します。
ライブラリのアップグレード
-
アップグレードされた Python ライブラリ:
- コアラが1.3.0から1.4.0にアップグレードされました。
-
インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。
-
OpenJDK 8 ビルドが Zulu 8.50.0.51-CA-linux64 (ビルド 1.8.0_275-b01) にアップグレードされました。
Apache Spark
Databricks Runtime 7.5 には Apache Spark 3.0.1 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 7.4 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。
- [SPARK-33611] [UI] 書き換えられたプロキシURLのクエリパラメーターで2回エンコードしないようにする
- [SPARK-33587] [CORE] ネストされた致命的なエラーでエグゼキューターを強制終了する (7.x)
- [SPARK-33140] [SQL] SQLConf を取得するために渡された SparkSession を使用しないコードを元に戻します。
- [SPARK-33472] [SQL] RemoveRedundantSortsルールの順序を調整
- [SPARK-33422] [DOC] 左メニュー項目の正しい表示を修正
- [SPARK-27421] [SQL] パーティション列をプルーニングする際の int 列と値クラス java.lang.String のフィルターを修正
- [SPARK-33483] [INFRA ][tests] ラットの除外パターンを修正し、ライセンスを追加
- [SPARK-33464] [INFRA] 不要なキャッシュを追加/削除し、GitHub Actions yamlを再構築
- [SPARK-33407] [Python][7.x] Python UDF からの例外メッセージを簡略化します (デフォルトでは無効)
- [SPARK-33435] [SQL] DSv2: REFRESH TABLE でテーブルを参照するキャッシュを無効にする必要がある
- [SPARK-33358] [SQL] コマンドプロセスが失敗したときのリターンコード
- [SPARK-33183] [DBCONNECT] RemoveRedundantSortsを追加。Scala からALLOW_LIST.txt
- [SPARK-33290] [SQL] REFRESH TABLEは、テーブル自体がキャッシュされていない場合でもキャッシュを無効にするべきである
- [SPARK-33140] [SQL] 差分コンパイルを修正
- [SPARK-33316] [SQL] スキーマレジストリとユーザー提供のnull許容Avroスキーマを使用して、from_avroとto_avroの単体テストを追加
- [SPARK-33404] [SQL]
date_trunc式の誤った結果を修正 - [SPARK-33339] [Python] 非例外エラーにより PySpark アプリケーションがハングアップする
- [SPARK-33412] [SQL] OverwriteByExpressionは、入力クエリではなくテーブルリレーションに基づいて削除条件を解決するべき
- [SPARK-33391] [SQL] CreateArrayのelement_atが1つのベースのインデックスを尊重しない。
- [SPARK-33316] [SQL] サポートユーザーがAvroの記述でnull非null可能なcatalystスキーマに対してnull可能なAvroスキーマを提供
- [SPARK-33372] [SQL] InSetバケットの剪定を修正
- [SPARK-33371] [Python] Python 3.9 の setup.py とテストの更新
- [SPARK-33140] [SQL] Rule[QueryPlan]のすべてのサブクラスのSQLConfとSparkSessionを削除
- [SPARK-33338] [SQL] リテラルマップを使用するグループを失敗しないように修正
- [SPARK-33306] [SQL]日付を文字列にキャストする場合、タイムゾーンが必要です
- [SPARK-33284] [WEB-UI] ストレージUIページで、任意のフィールドをクリックしてテーブルを並べ替えると、ヘッダーの内容が失われる
- [SPARK-33362] [SQL] skipSchemaResolution は、クエリの解決を引き続き要求すべきです
- [SPARK-32257] [SQL] SET/RESET コマンドの無効な使用に対する明示的なエラーを報告する
- [SPARK-32406] [SQL] RESET構文が単一の設定リセットをサポートするようにする
- [SPARK-32376] [SQL] 構造体列でunionByNameのnull入力動作を機能させる
- [SPARK-32308] [SQL] unionByNameの名前による解決ロジックをAPIコードから分析フェーズに移動
- [SPARK-20044] [UI] フロントエンドリバースプロキシの背後で、パスプレフィックスRevert proxy urlを使用してSpark UIをサポート
- [SPARK-33268] [SQL][Python] PythonUserDefinedTypeとの間でデータをキャストする際のバグを修正
- [SPARK-33292] [SQL] リテラルの ArrayBasedMapData 文字列表現を曖昧さなく
- [SPARK-33183] [SQL] オプティマイザールールのEliminateSortsを修正し、冗長なソートを削除する物理ルールを追加
- [SPARK-33272] [SQL] QueryPlan.transformUpWithNewOutput の属性マッピングを削除
- [SPARK-32090] [SQL] UserDefinedType.equal()を改善して対称に
- [SPARK-33267] [SQL] いずれかの値にnullが含まれている場合の「In」フィルターのNPE問題を修正
- [SPARK-33208] [SQL] SparkSession#sqlのドキュメントを更新する
- [SPARK-33260] [SQL] sortOrder がストリームの場合の SortExec からの誤った結果を修正
- [SPARK-33230] [SQL] コミッターが「spark.sql.ソース.writeJobUUID」で一意のジョブIDを取得するようにHadoop
- [SPARK-33197] [SQL] spark.sql.analyzer.maxIterationsに変更を加えます。 ランタイムで有効になる
- [SPARK-33228] [SQL] 同じ論理プランを持つビューを置き換えるときにデータのキャッシュを解除しない
- [SPARK-32557] [CORE] 履歴サーバーのエントリごとに例外をログに記録して飲み込む
- [SPARK-32436] [CORE] HighlyCompressedMapStatus.readExternalのnumNonEmptyBlocksを初期化
- [SPARK-33131] [SQL] having 句を含むグループ化セットが修飾された列名を解決できない問題を修正
- [SPARK-32761] [SQL] 複数の折り畳み可能な個別の式を集約できるようにする
- [SPARK-33094] [SQL] ORC形式がDSオプションから基盤となるHDFSファイルシステムにHadoop設定を伝播するように
メンテナンスの更新
「Databricks Runtime 7.5 メンテナンスの更新」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 18.04.5 LTS
- Java :Zulu 8.50.0.51-CA-linux64(ビルド1.8.0_275-b01)
- Scala : 2.12.10
- Python : 3.7.5
- R :Rバージョン3.6.3 (2020-02-29)
- Delta Lake 0.7.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
ASN1暗号 | 1.3.0 | バックコール | 0.1.0 | ボト3 | 1.12.0 |
ボトコア | 1.15.0 | 認証 | 2020.6.20 | cffi | 1.14.0 |
シャルデ | 3.0.4 | 暗号化手法 | 2.8 | サーマルサイクラー | 0.10.0 |
シトン | 0.29.15 | デコレータ | 4.4.1 | docutilsの | 0.15.2 |
エントリポイント | 0.3 | イドナ | 2.8 | ipykernel(英語) | 5.1.4 |
アイパイソン | 7.12.0 | ipython-genutils | 0.2.0 | ジェダイ | 0.17.2 |
jmespathの | 0.10.0 | ジョブリブ | 0.14.1 | jupyter-クライアント | 5.3.4 |
ジュピターコア | 4.6.1 | キウイソルバー | 1.1.0 | koalas | 1.4.0 |
Matplotlib | 3.1.3 | ナムピー | 1.18.1 | pandas | 1.0.1 |
パルソ | 0.7.0 | パッツィ | 0.5.1 | pexpect | 4.8.0 |
ピクルシェア | 0.7.5 | 種 | 20.0.2 | プロンプトツールキット | 3.0.3 |
サイコップ2 | 2.8.4 | PTYPROCESSの | 0.6.0 | ピアロー | 1.0.1 |
pycparser | 2.19 | ピグメント | 2.5.2 | PyGObject | 3.26.1 |
pyOpenSSLの | 19.1.0 | pyparsing (英語) | 2.4.6 | PySocks(パイソックス) | 1.7.1 |
Python-apt | 1.6.5+Ubuntu0.3 | Python-dateutil | 2.8.1 | ピッツ | 2019.3 |
ピズム | 18.1.1 | 要求 | 2.22.0 | S3トランスファー | 0.3.3 |
Scikit-Learn | 0.22.1 | scipy(サイピー) | 1.4.1 | シーボーン | 0.10.0 |
セットアップツール | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
統計モデル | 0.11.0 | 竜巻 | 6.0.3 | トレイトレット | 4.3.3 |
無人アップグレード | 0.1 | urllib3 の | 1.25.8 | virtualenv | 16.7.10 |
WC幅 | 0.1.8 | 輪 | 0.34.2 |
インストールされている R ライブラリ
R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされます。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アスクパス | 1.1 | assertthat | 0.2.1 | バックポート | 1.1.10 |
基 | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
bit | 4.0.4 | ビット64 | 4.0.5 | ブロッブ | 1.2.1 |
ブート | 1.3-25 | 醸成 | 1.0-6 | ブリオ | 1.1.0 |
箒 | 0.7.2 | コール | 3.5.1 | キャレット | 6.0-86 |
セルレンジャー | 1.1.0 | クロン | 2.3-56 | クラス | 7.3-17 |
CLI | 2.1.0 | clipr | 0.7.1 | クラスター | 2.1.0 |
コードツール | 0.2-18 | カラースペース | 1.4-1 | コモンマーク | 1.7 |
コンパイラ | 3.6.3 | コンフィグ | 0.3 | COVRの | 3.5.1 |
CPP11の | 0.2.3 | クレヨン | 1.3.4 | クロストーク | 1.1.0.1 |
Curl | 4.3 | データ.テーブル | 1.13.2 | データセット | 3.6.3 |
DBI | 1.1.0 | dbplirの | 1.4.4 | DESC | 1.2.0 |
開発ツール | 2.3.2 | ディフobj | 0.3.2 | ダイジェスト | 0.6.27 |
dplyrの | 0.8.5 | DT | 0.16 | 省略記号 | 0.3.1 |
評 | 0.14 | ファンシ | 0.4.1 | ファーバー | 2.0.3 |
ファストマップ | 1.0.1 | フォーキャッツ | 0.5.0 | For each | 1.5.1 |
外国の | 0.8-76 | 鍛える | 0.2.0 | FSの | 1.5.0 |
ジェネリック | 0.1.0 | ggplot2の | 3.3.2 | gh | 1.1.0 |
ギット2R | 0.27.1 | glmnet | 3.0-2 | グローバル | 0.13.1 |
膠 | 1.4.2 | ガウアー | 0.2.2 | グラフィックス | 3.6.3 |
grDevicesの | 3.6.3 | グリッド | 3.6.3 | グリッドエクストラ | 2.3 |
gsubfnの | 0.7 | GTABLE(GTABLE) | 0.3.0 | 避難所 | 2.3.1 |
高い | 0.8 | HMSの | 0.5.3 | htmlツール[htmltools] | 0.5.0 |
htmlウィジェット | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlusの | 1.0-3 | イニ | 0.3.1 |
イプレッド | 0.9-9 | アイソバンド | 0.2.2 | 反復 子 | 1.0.13 |
jsonlite | 1.7.1 | カーンスムース | 2.23-18 | ニット | 1.30 |
ラベリング | 0.4.2 | あとで | 1.1.0.1 | 格子 | 0.20-41 |
溶岩 | 1.6.8 | レイジーバル | 0.2.2 | ライフサイクル | 0.2.0 |
ルブリデート | 1.7.9 | マグリット | 1.5 | Markdown | 1.1 |
質量 | 7.3-53 | マトリックス | 1.2-18 | メモ | 1.1.0 |
メソッド | 3.6.3 | mgcv | 1.8-33 | マイム | 0.9 |
モデルメトリクス | 1.2.2.2 | モデラー | 0.1.8 | マンセル | 0.5.0 |
nlme | 3.1-150 | ネット | 7.3-14 | numDerivの | 2016.8-1.1 |
オープンSSL | 1.4.3 | 並列 | 3.6.3 | 柱 | 1.4.6 |
pkgbuild の | 1.1.0 | pkgconfig | 2.0.3 | pkgload(パッケージロード) | 1.1.0 |
plogrの | 0.2.0 | プライル | 1.8.6 | 褒める | 1.0.0 |
プリティユニット | 1.1.1 | pROC | 1.16.2 | プロセスX | 3.4.4 |
製品 | 2019.11.13 | 経過 | 1.2.2 | 約束 | 1.1.1 |
プロト | 1.0.0 | PS | 1.4.0 | ゴロゴロ | 0.3.4 |
R2D3の | 0.2.3 | R6の | 2.5.0 | ランダムフォレスト | 4.6-14 |
ラプディレクトリ | 0.3.1 | rcmdcheckの | 1.3.3 | RColorブリューワー | 1.1-2 |
Rcpp | 1.0.5 | 読み取り | 1.4.0 | readxlの | 1.3.1 |
レシピ | 0.1.14 | 再戦 | 1.0.1 | 再戦2 | 2.1.2 |
リモコン | 2.2.0 | レプレックス | 0.3.0 | 形状変更2 | 1.4.4 |
レックス | 1.2.0 | rjsonの | 0.2.20 | ラン | 0.4.8 |
rmarkdown | 2.5 | RODBC | 1.3-16 | リオキシジェン2 | 7.1.1 |
rpart | 4.1-15 | rprojroot さん | 1.3-2 | サーブ | 1.8-7 |
RSQLite (英語) | 2.2.1 | rstudioapi | 0.11 | rversions | 2.0.2 |
アヴェスト | 0.3.6 | 秤 | 1.1.1 | セレクタ | 0.4-2 |
セッション情報 | 1.1.1 | 形 | 1.4.4 | shiny | 1.5.0 |
ソースツール | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
空間的 | 7.3-11 | スプライン | 3.6.3 | sqldf | 0.4-11 |
スクエアム | 2020.5 | 統計 | 3.6.3 | 統計4 | 3.6.3 |
ストリンギ | 1.5.3 | ストリンガー | 1.4.0 | 生存 | 3.2-7 |
SYSの | 3.4 | tcltk | 3.6.3 | ティーチングデモ | 2.10 |
テストを | 3.0.0 | ティブル | 3.0.4 | ティディル | 1.1.2 |
ティディセレクト | 1.1.0 | ティディバース | 1.3.0 | 日時 | 3043.102 |
タイニーテックス | 0.27 | ツール | 3.6.3 | usethisさん | 1.6.3 |
UTF8 | 1.1.4 | ユーティリティ | 3.6.3 | UUIDの | 0.1-4 |
vctrs | 0.3.4 | viridisライト | 0.3.0 | ワルド | 0.2.2 |
ウイスカー | 0.4 | ウィザー | 2.3.0 | xfun | 0.19 |
XML2の | 1.3.2 | xopen(オーペン) | 1.0.0 | エクステーブル | 1.8-4 |
ヤムラ | 2.2.1 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.655 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonawsの | aws-java-sdk-configの | 1.11.655 |
com.amazonawsの | aws-java-sdk-コア | 1.11.655 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.655 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.655 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.655 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.655 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-efs | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.655 |
com.amazonawsの | aws-java-sdk-emr | 1.11.655 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.655 |
com.amazonawsの | aws-java-sdk-iam | 1.11.655 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.655 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.655 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.655 |
com.amazonawsの | aws-java-sdk-logs | 1.11.655 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.655 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.655 |
com.amazonawsの | aws-java-sdk-rds | 1.11.655 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.655 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.655 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ses | 1.11.655 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.655 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.655 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.655 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.655 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonawsの | aws-java-sdk-sts | 1.11.655 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.655 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.655 |
com.amazonawsの | jmespath-java | 1.11.655 |
com.chuusai(英語) | shapeless_2.12 | 2.3.3 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.10.0 |
com.fasterxml.jackson.core | ジャクソンコア | 2.10.0 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.10.0 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.10.0 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.10.0 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.10.0 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.10.0 |
com.github.ben-manes.caffeine | カフェイン | 2.3.4 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-メトリクス-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | ZSTD-JNI | 1.4.4-3 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.flatbuffers | フラットバッファ-Java | 1.9.0 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2データベース | H2 | 1.4.195 |
com.helger | プロファイラー | 1.1.1 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.sqlserver | mssqlの-JDBC | 8.2.1.JRE8 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.3.8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.9.5 |
コム。囀る | chill_2.12 | 0.9.5 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocityの | univocity-パーサー | 2.9.0 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.9.4 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.3.3 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.dropwizard.メトリクス | メトリクスコア | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.1.1 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.1.1 |
io.nettyの | netty-すべて | 4.1.47.ファイナル |
io.プロメテウス | シンプルクライアント | 0.7.0 |
io.プロメテウス | simpleclient_common | 0.7.0 |
io.プロメテウス | simpleclient_dropwizard | 0.7.0 |
io.プロメテウス | simpleclient_pushgateway | 0.7.0 |
io.プロメテウス | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 収集家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.10.5 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
net.razorvine | パイロライト | 4.30 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.12.8 |
ネット.スノーフレーク | スパーク-snowflake_2.12 | 2.8.1-spark_3.0 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.7.1 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 0.15.1 |
org.apache.arrow(アパッチ・アロー) | arrow-memory | 0.15.1 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 0.15.1 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.commonsの | コモンズ圧縮 | 1.8.1 |
org.apache.commonsの | コモンズ-クリプト | 1.0.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.9 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.commonsの | コモンズテキスト | 1.6 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.4 |
org.apache.hadoop です。 | hadoop認証 | 2.7.4 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.4 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.4 |
org.apache.hive です。 | ハイブビーライン | 2.3.7 |
org.apache.hive です。 | ハイブ CLI | 2.3.7 |
org.apache.hive です。 | ハイブ共通 | 2.3.7 |
org.apache.hive です。 | ハイブ実行コア | 2.3.7 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.7 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.7 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.7 |
org.apache.hive です。 | Hive metastore | 2.3.7 |
org.apache.hive です。 | ハイブセルデ | 2.3.7 |
org.apache.hive です。 | ハイブシム | 2.3.7 |
org.apache.hive です。 | ハイブストレージAPI | 2.7.1 |
org.apache.hive です。 | ハイブベクトルコード生成 | 2.3.7 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.7 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.7 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.7 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.6 |
org.apache.httpコンポーネント | httpコア | 4.4.12 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.mesos | メソスシェードプロトブ | 1.4.0 |
org.apache.orc | オークコア | 1.5.10 |
org.apache.orc | orc-mapreduce | 1.5.10 |
org.apache.orc | オークシム | 1.5.10 |
org.apache.parquet | parquet-column | 1.10.1-データブリックス6 |
org.apache.parquet | parquet-common | 1.10.1-データブリックス6 |
org.apache.parquet | parquet-encoding | 1.10.1-データブリックス6 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-データブリックス6 |
org.apache.parquet | parquet-jackson | 1.10.1-データブリックス6 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.velocityの | 速度 | 1.5 |
org.apache.xbean | xbean-asm7-シェード | 4.15 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.5.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.14 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋の続き | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-IO | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋プラス | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋警備 | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-util | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.18.v20190429 |
組織Eclipse.jetty | 桟橋XML | 9.4.18.v20190429 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.30 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.30 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.30 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.30 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.30 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.30 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.ファイナル |
org.javassist | ジャバス奏者 | 3.25.0-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.6.6 |
org.json4sの | json4s-core_2.12 | 3.6.6 |
org.json4sの | json4s-jackson_2.12 | 3.6.6 |
org.json4sの | json4s-scalap_2.12 | 3.6.6 |
org.lz4 | LZ4-Javaの | 1.7.1 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.1.2 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.7.45 |
org.roaringbitmap | シム | 0.7.45 |
org.rocksdbの | ロックスDBJNI | 6.2.2 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.10 |
組織Scala-lang | Scala-Library.12 | 2.12.10 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.10 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.1.1 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | そよ風-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatestの | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | 7月-slf4j | 1.7.30 |
org.slf4j | SLF4J-APIの | 1.7.30 |
org.slf4j | SLF4J-ログ4J12 | 1.7.30 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.threetenさん | スリーテンエクストラ | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | マクロ-compat_2.12 | 1.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-platform_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | ワイルドフライ-openssl | 1.0.7.ファイナル |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.7.5 |
org.yaml の | スネークヤム | 1.24 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |