メインコンテンツまでスキップ

Databricks Runtime 4.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2018 年 3 月にこのバージョンをリリースしました。

important

このリリースは 2018 年 11 月 1 日に廃止されました。 Databricks Runtime の廃止ポリシーとスケジュールの詳細については、「Databricks サポート ライフサイクル」を参照してください。

次のリリースノートでは、 Databricks Runtime 4.0, powered by Apache Sparkに関する情報を提供しています。

変更と改善

  • JSON データソースは、エンコーディングを UTF-8 と想定するのではなく、自動検出を試みるようになりました。 自動検出が失敗した場合、ユーザーは charset オプションを指定して特定のエンコーディングを強制できます。 「文字セットの自動検出」を参照してください。

  • 構造化ストリーミングでの Spark MLlib パイプラインを使用したスコアリングと予測は完全にサポートされています。

  • Databricks ML モデルのエクスポートは完全にサポートされています。 この機能を使用すると、Databricks で Spark MLlib モデルをトレーニングし、関数呼び出しでエクスポートし、選択したシステムで Databricks ライブラリを使用してモデルをインポートし、新しいデータをスコアリングできます。

  • 新しい Spark データソースの実装により、 Azure Synapse Analytics. 「Spark - Synapse アナリティクス コネクタ」を参照してください。

  • from_json 関数のスキーマは、常に null 許容スキーマに変換されるようになりました。つまり、ネストされたフィールドを含むすべてのフィールドが null 許容です。 これにより、データがスキーマと互換性を持つようになり、データにフィールドが欠落しており、ユーザー指定のスキーマでフィールドが null 非許容として宣言されている場合に、データを Parquet に書き込んだ後の破損を防ぐことができます。

  • インストールされている Python ライブラリの一部をアップグレードしました。

    • 先物:3.1.1から3.2.0まで
    • Pandas: 0.18.1 から 0.19.2 まで
    • pyarrow: 0.4.1 から 0.8.0 まで
    • setuptools: 38.2.3 から 38.5.1 まで
    • 竜巻:4.5.2から4.5.3
  • インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。

  • AWS Java SDK を 1.11.126 から 1.11.253 にアップグレードしました。

  • SQL Server JDBC ドライバーを 6.1.0.jre8 から 6.2.2.jre8 にアップグレードしました。

  • PostgreSQL JDBC ドライバを 9.4-1204-jdbc41 から 42.1.4 にアップグレードしました。

Apache Spark

Databricks Runtime 4.0 には Apache Spark 2.3.0 が含まれています。

Core、PySpark、および Spark SQL

主な特長

  • ベクトル化されたORCリーダー : [SPARK-16060]: ベクトル化(2-5x)によりORCスキャンのスループットを大幅に向上させる新しいORCリーダーのサポートが追加されました。 リーダーを有効にするために、ユーザーは spark.sql.orc.implnativeに設定できます。
  • Spark History Server V2 : [SPARK-18085]: より効率的なイベント ストレージ メカニズムを使用して、大規模なアプリケーションのスケーラビリティを向上させる新しい Spark 履歴サーバー (SHS) バックエンド。
  • データソースAPI V2:[スパーク-15689][スパーク-22386]: APIで新しいデータソースをプラグインするための実験的なSpark 。新しいAPIは、V1 APIのいくつかの制限に対処しようと試み、高性能で保守が容易で拡張可能な外部データソースの開発を促進することを目的としています。 この API はまだ活発な開発中であり、破壊的変更が予想されます。
  • PySpark のパフォーマンス強化: [スパーク-22216][スパーク-21187]: 高速なデータシリアル化とベクトル化された実行により、Python のパフォーマンスと相互運用性が大幅に向上しました。

パフォーマンスと安定性

その他の注目すべき変更点

構造化ストリーミング

連続処理

  • ユーザーコードを 1 行変更するだけで、ミリ秒未満のエンドツーエンドのレイテンシでストリーミングクエリを実行できる新しい実行エンジンです。 詳細については、プログラミング ガイドを参照してください。

ストリーム-ストリームJOIN

  • データの 2 つのストリームを結合し、一致するタプルが他のストリームに到着するまで行をバッファリングする機能。 述部をイベント時間列に対して使用して、保持する必要がある状態の量を制限できます。

ストリーミング API V2

  • 新しいソースとシンクをプラグインするための実験的な API で、バッチ、マイクロバッチ、および連続実行で機能します。 この API はまだ活発に開発中であり、破壊的変更が予想されます。

MLlib

ハイライト

  • ML Prediction は、更新された APIを使用して、構造化ストリーミングで動作するようになりました。 詳細は以下をご覧ください。

新しく改善された API

  • [SPARK-21866]: データフレーム (Scala/Java/Python) への画像の読み取りに対する組み込みサポート。

  • [SPARK-19634]: ベクトル列に対する記述的要約統計のための データフレーム 関数 (Scala/Java)。

  • [SPARK-14516]: クラスタリング アルゴリズムの調整用ClusteringEvaluator、Cosine シルエットと squared Euclidean silhouette メトリクス (Scala/Java/Python) をサポートします。

  • [SPARK-3181]:Huber損失によるロバストな線形回帰(Scala/Java/Python)。

  • [SPARK-13969]: FeatureHasher トランスフォーマー (Scala/Java/Python)。

  • 複数の機能トランスフォーマーの複数列のサポート:

  • [SPARK-21633] および SPARK-21542]: Python のカスタム パイプライン コンポーネントのサポートが改善されました。

新機能

  • [SPARK-21087]: CrossValidatorTrainValidationSplit は、フィッティング時にすべてのモデルを収集できます (Scala/Java)。 これにより、すべての適合モデルを検査または保存できます。
  • [SPARK-19357]: メタアルゴリズム CrossValidatorTrainValidationSplitOneVsRest は、並列 Spark ジョブで複数のサブモデルを適合させるための並列処理 Param をサポートします。
  • [SPARK-17139]: 多項ロジスティック回帰 (Scala/Java/Python) のモデル概要
  • [SPARK-18710]:GLMにオフセットを追加します。
  • [SPARK-20199]:GBTClassifierGBTRegressorfeatureSubsetStrategyパラメータを追加しました。これを使用して特徴をサブサンプリングすると、トレーニング速度が大幅に向上します。このオプションは、 xgboostの主要な強みです。

その他の注目すべき変更点

  • [SPARK-22156]: num回の反復によるWord2Vec学習率のスケーリングを修正しました。新しい学習率は、元の Word2Vec C コードと一致するように設定されており、トレーニングからより良い結果が得られるはずです。
  • [SPARK-22289]: Matrix パラメーターの JSON サポートを追加 (これにより、係数の境界を使用する際の LogisticRegressionModel での ML 永続性のバグが修正されました。
  • [SPARK-22700]: Bucketizer.transformNaN. Param の handleInvalid が "skip" に設定されている場合、 Bucketizer は、別の (無関係な) 列に NaN 値がある場合、入力列に有効な値を持つ行を削除します。
  • [SPARK-22446]:Catalyst オプティマイザーが「エラー」に設定されている場合StringIndexerModel``handleInvalid誤った「見えないラベル」例外をスローすることがありました。これは、述語のプッシュダウンにより、フィルタリングされたデータで発生する可能性があり、入力データセットから無効な行が既にフィルタリングされた後でもエラーが発生します。
  • [SPARK-21681]: 多項ロジスティック回帰のエッジケースのバグを修正し、一部の機能の分散がゼロの場合に係数が正しくなくなっていました。
  • 主な最適化:
    • [SPARK-22707]:CrossValidatorのメモリ消費量を削減しました。
    • [SPARK-22949]: TrainValidationSplitのメモリ消費量を削減しました。
    • [SPARK-21690]: Imputer 、データに対して 1 回のパスを使用してトレーニングする必要があります。
    • [SPARK-14371]: OnlineLDAOptimizer は、各ミニバッチのドライバーへの統計の収集を回避します。

SparkR

SparkR2.3.0 リリースの の主な焦点は、UDF の安定性を向上させ、既存の にいくつかの新しいSparkR ラッパーを追加することでした。API

主な特長

GraphXの

最適化

  • [SPARK-5484]:Pregelは StackOverflowErrorsを避けるために定期的にチェックポイントを作成するようになりました。
  • [SPARK-21491]:いくつかの場所でパフォーマンスがわずかに改善されました。

非推奨

Python

  • [SPARK-23122]:PySpark の SQLContextCatalog の UDF の register* を廃止

MLlib

  • [SPARK-13030]: OneHotEncoder は非推奨であり、3.0 で削除されます。 新しい OneHotEncoderEstimatorに置き換えられました。 OneHotEncoderEstimator は 3.0 で OneHotEncoder に名前が変更されます (ただし、 OneHotEncoderEstimator エイリアスとして保持されます)。

挙動の変更

Spark SQL

  • [SPARK-22036]:デフォルトでは、小数点間の算術演算は、正確な表現が不可能な場合に丸められた値を返します(以前のバージョンでは NULL を返す代わりに)
  • [SPARK-22937]: すべての入力がバイナリの場合、SQL elt() は出力をバイナリとして返します。 それ以外の場合は、文字列として返されます。 以前のバージョンでは、入力の種類に関係なく、常に文字列として返されていました。
  • [SPARK-22895]: 最初の非決定論的述語の後にある結合/フィルターの決定論的述語も、可能であれば子演算子を通じてプッシュダウンされます。以前のバージョンでは、これらのフィルターは述部プッシュダウンの対象ではありませんでした。
  • [SPARK-22771]: すべての入力がバイナリの場合、 functions.concat() は出力をバイナリとして返します。 それ以外の場合は、文字列として返されます。 以前のバージョンでは、入力の種類に関係なく、常に文字列として返されていました。
  • [SPARK-22489]: いずれかの結合側がブロードキャスト可能な場合、ブロードキャスト ヒントで明示的に指定されているテーブルをブロードキャストすることを好みます。
  • [SPARK-22165]: パーティション列の推論で、以前に異なる推論タイプに対して正しくない共通タイプが見つかりました。 たとえば、以前は、double型とdate型の共通型としてdouble型になっていました。これで、このような競合の正しい共通型が見つかります。 詳細については、移行ガイドを参照してください。
  • [SPARK-22100]: percentile_approx 関数は、以前は numeric タイプの入力を受け入れ、 double タイプの結果を出力していました。 現在は、入力タイプとして date タイプ、 timestamp タイプ、 numeric タイプをサポートしています。 結果の型も入力型と同じに変更され、パーセンタイルにとってより妥当なものになります。
  • [SPARK-21610]: 参照される列に内部の破損したレコード列 (デフォルトによって _corrupt_record という名前) のみが含まれている場合、生の JSON/CSV ファイルからのクエリは許可されません。 代わりに、解析された結果をキャッシュまたは保存してから、同じクエリを送信できます。
  • [SPARK-23421]: Spark 2.2.1 および 2.3.0 以降、データソーステーブルにパーティションスキーマとデータスキーマの両方に存在する列がある場合、スキーマは常にランタイムで推論されます。 推論されたスキーマには、パーティション分割された列がありません。 テーブルを読み取るとき、 Spark は、データソースファイルに格納されている値ではなく、これらの重複する列のパーティション値を尊重します。 2.2.0 および 2.1.x の場合 リリースすると、推論されたスキーマはパーティション分割されますが、テーブルのデータはユーザーに表示されません (つまり、結果セットは空です)。

PySpark

  • [SPARK-19732]: na.fill() または fillna もブール値を受け入れ、null をブール値に置き換えます。 以前のバージョン Spark では、 PySpark はそれを無視して元のデータセット/データフレームを返します。
  • [SPARK-22395]: Pandas0.19.2PandastoPandascreateDataFrame からの など、 関連の機能を使用するには、Pandasデータフレーム 以上が必要です。
  • [SPARK-22395]:Pandas関連機能のタイムスタンプ値の動作が、以前のバージョンで無視されるセッションタイムゾーンを尊重するように変更されました。
  • [SPARK-23328]:df.replaceが辞書でない場合、to_replace``valueを省略できません。以前は、他のケースでは value 省略でき、デフォルトで None されていましたが、これは直感に反し、エラーが発生しやすいものでした。

MLlib

  • API の破壊的変更 : ロジスティック回帰モデルの概要のクラスと特性の階層が変更され、よりクリーンになり、多クラスの概要の追加により適切に対応できるようになりました。 これは、 LogisticRegressionTrainingSummaryBinaryLogisticRegressionTrainingSummaryにキャストするユーザー・コードの破壊的変更です。 代わりに、ユーザーは model.binarySummary メソッドを使用する必要があります。 詳細については 、[SPARK-17139]:を参照してください(これは @Experimental APIであることに注意してください)。 これは Python の要約方法には影響せず、多項式とバイナリの両方のケースで正しく機能します。
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): 最初の点 (0.0, 1.0) は誤解を招くため、精度 p が最低の再現率点と一致する (0.0, p) に置き換えられました。
  • [SPARK-16957]:決定木は、分割値を選択するときに加重された中点を使用するようになりました。 これにより、モデルのトレーニングの結果が変わる可能性があります。
  • [SPARK-14657]: インターセプトのない RFormula は、ネイティブ R の動作と一致するように、文字列用語をエンコードするときに参照カテゴリを出力するようになりました。 これにより、モデルのトレーニングの結果が変わる可能性があります。
  • [SPARK-21027]: OneVsRest で使用されるデフォルトの並列処理が 1 に設定されました (つまり、serial)です。 2.2以前のバージョンでは、並列処理のレベルはScalaのデフォルトのスレッドプールサイズに設定されていました。 これにより、パフォーマンスが変わる可能性があります。
  • [SPARK-21523]:ブリーズを 0.13.2にアップグレードしました。 これには、L-BFGSの強力なWolfeライン検索における重要なバグ修正が含まれていました。
  • [SPARK-15526]:JPMML依存関係がシェーディングされるようになりました。
  • バグの修正による動作の変更については、「バグの修正」セクションも参照してください。

既知の問題

  • [SPARK-23523][SQL]: ルール OptimizeMetadataOnlyQueryが原因で結果が正しくありません。
  • [SPARK-23406]: ストリーム ストリームの自己結合にバグがあります。

メンテナンスの更新

「Databricks Runtime 4.0 メンテナンスの更新」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 16.04.4 LTSの
  • Java の:1.8.0_151
  • Scala : 2.11.8
  • Python :2.7.12(または3.5.2 Python 3を使用している場合)
  • R :Rバージョン3.4.3 (2017-11-30)
  • GPU クラスター : 次の NVIDIA GPU ライブラリがインストールされています。
    • テスラドライバー375.66
    • CUDA 8.0 (英語)
    • CUDNN 6.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

ansi2htmlの

1.1.1

argparse

1.2.1

バックポート-ABC

0.5

Boto

2.42.0

ボト3

1.4.1

ボトコア

1.4.70

ブリューワー2MPL

1.4.1

認証

2016.2.28

cffi

1.7.0

シャルデ

2.3.0

コロラマ州

0.3.7

configobj の

5.0.6

暗号化手法

1.5

サーマルサイクラー

0.10.0

シトン

0.24.1

デコレータ

4.0.10

docutilsの

0.14

列挙型34

1.1.6

et-xmlファイル

1.0.1

フリータイプ-PY

1.0.2

関数

1.0.2

ヒューズピー

2.0.4

先物

3.2.0

ggplotの

0.6.8

html5lib の

0.999

イドナ

2.1

IPアドレス

1.0.16

アイパイソン

2.2.0

ipython-genutils

0.1.0

JDCALの

1.2

ジンジャ2

2.8

jmespathの

0.9.0

LLVMLITEの

0.13.0

lxml の

3.6.4

マークアップセーフ

0.23

Matplotlib

1.5.3

MPLD3の

0.2

msgpack-Python

0.4.7

ndg-httpsクライアント

0.3.3

ナンバ

0.28.1

ナムピー

1.11.1

openpyxlの

2.3.2

pandas

0.19.2

pathlib2 の

2.1.0

パッツィ

0.4.1

pexpect

4.0.1

ピクルシェア

0.7.4

3.3.1

9.0.1

通う

3.9

プロンプトツールキット

1.0.7

サイコップ2

2.6.2

PTYPROCESSの

0.5.1

py4j(ピー4J)

0.10.3

ピアロー

0.8.0

pyasn1

0.1.9

pycparser

2.14

ピグメント

2.1.3

PyGObject

3.20.0

pyOpenSSLの

16.0.0

pyparsing (英語)

2.2.0

pypngの

0.0.18

Python

2.7.12

Python-dateutil

2.5.3

Python-geohash

0.8.5

ピッツ

2016.6.1

要求

2.11.1

S3トランスファー

0.1.9

Scikit-Learn

0.18.1

scipy(サイピー)

0.18.1

磨ぐ

0.32

シーボーン

0.7.1

セットアップツール

38.5.1

シンプルJSON

3.8.2

シンプル3

1.0

シングルディスパッチ

3.4.0.3

6

1.10.0

統計モデル

0.6.1

竜巻

4.5.3

トレイトレット

4.3.0

urllib3 の

1.19.1

virtualenv

15.0.1

WC幅

0.1.7

0.30.0

WSGIREFの

0.1.2

インストールされている R ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

aバインド

1.4-5

assertthat

0.2.0

バックポート

1.1.1

3.4.3

BH

1.65.0-1

バインダー

0.1

bindrcpp

0.2

bit

1.1-12

ビット64

0.9-7

ビットプス

1.0-6

ブロッブ

1.1.0

ブート

1.3-20

醸成

1.0-6

0.4.3

2.1-6

キャレット

6.0-77

クロン

2.3-51

クラス

7.3-14

クラスター

2.0.6

コードツール

0.2-15

カラースペース

1.3-2

コモンマーク

1.4

コンパイラ

3.4.3

クレヨン

1.3.4

Curl

3.0

CVSTの

0.2-1

データ.テーブル

1.10.4-3

データセット

3.4.3

DBI

0.7

DDALPHAの

1.3.1

デオプティマー

1.0-8

DESC

1.1.1

開発ツール

1.13.4

ダイクロマート

2.0-0

ダイジェスト

0.6.12

dimRed(ディムレッド)

0.1.0

ドエムシー

1.3.4

dplyrの

0.7.4

災害リスク軽減

0.0.2

For each

1.4.3

外国の

0.8-69

GBMの

2.1.3

ggplot2の

2.2.1

ギット2R

0.19.0

glmnet

2.0-13

1.2.0

ガウアー

0.1.2

グラフィックス

3.4.3

grDevicesの

3.4.3

グリッド

3.4.3

gsubfnの

0.6-6

GTABLE(GTABLE)

0.2.0

H2O(ヘトヘオ)

3.16.0.1

httr

1.3.1

hwriter

1.3.2

hwriterPlusの

1.0-3

イプレッド

0.9-6

反復 子

1.0.8

jsonlite

1.5

カーンラブ

0.9-25

カーンスムース

2.23-15

ラベリング

0.3

格子

0.20-35

溶岩

1.5.1

レイジーバル

0.2.1

リトル

0.3.2

LME4の

1.1-14

ルブリデート

1.7.1

マグリット

1.5

マッププロジェクト

1.2-5

マップ

3.2.0

質量

7.3-48

マトリックス

1.2-11

マトリックスモデル

0.4-1

メモ

1.1.0

メソッド

3.4.3

mgcv

1.8-23

マイム

0.5

ミンカ

1.2.4

ムノルム

1.5-5

モデルメトリクス

1.1.0

マンセル

0.4.3

mvtnorm

1.0-6

nlme

3.1-131

NLOPTRの

1.0.4

ネット

7.3-12

numDerivの

2016.8-1

オープンSSL

0.9.9

並列

3.4.3

pbkrtestの

0.4-7

pkgconfig

2.0.1

pkg子猫

0.1.4

plogrの

0.1-1

プライル

1.8.4

褒める

1.0.0

pROC

1.10.0

製品

1.6.1

プロト

1.0.0

心理

1.7.8

ゴロゴロ

0.2.4

クォントレグ

5.34

R.メソッドS3

1.7.1

R.oo

1.21.0

R.utilsの

2.6.0

R6の

2.2.2

ランダムフォレスト

4.6-12

RColorブリューワー

1.1-2

Rcpp

0.12.14

RcppEigen

0.3.3.3.1

Rcppロール

0.2.2

RCのURL

1.95-4.8

レシピ

0.1.1

形状変更2

1.4.2

ラン

0.1.4

ロバストベース

0.92-8

RODBC

1.3-15

リオキシジェン2

6.0.1

rpart

4.1-12

rprojroot さん

1.2

サーブ

1.7-3

RSQLite (英語)

2.0

rstudioapi

0.7

0.5.0

sfsmisc さん

1.1-1

SP

1.2-5

SparkR

2.3.0

スパース M

1.77

空間的

7.3-11

スプライン

3.4.3

sqldf

0.4-11

statmod の

1.4.30

統計

3.4.3

統計4

3.4.3

ストリンギ

1.1.6

ストリンガー

1.2.0

生存

2.41-3

tcltk

3.4.3

ティーチングデモ

2.10

テストを

1.0.2

ティブル

1.3.4

ティディル

0.7.2

ティディセレクト

0.2.3

日時

3042.101

ツール

3.4.3

ユーティリティ

3.4.3

viridisライト

0.2.0

ウイスカー

0.3-2

ウィザー

2.1.0

XML2の

1.1.1

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.7.3

com.amazonawsの

aws-java-sdk-オートスケール

1.11.253

com.amazonawsの

aws-java-sdk-cloudformation

1.11.253

com.amazonawsの

aws-java-sdk-cloudfront

1.11.253

com.amazonawsの

aws-java-sdk-cloudhsm

1.11.253

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.11.253

com.amazonawsの

aws-java-sdk-cloudtrail

1.11.253

com.amazonawsの

aws-java-sdk-cloudwatch

1.11.253

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.11.253

com.amazonawsの

aws-java-sdk-コードデプロイ

1.11.253

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.11.253

com.amazonawsの

aws-java-sdk-cognitosync

1.11.253

com.amazonawsの

aws-java-sdk-configの

1.11.253

com.amazonawsの

aws-java-sdk-コア

1.11.253

com.amazonawsの

aws-java-sdk-データパイプライン

1.11.253

com.amazonawsの

aws-java-sdk-directconnectの

1.11.253

com.amazonawsの

aws-java-sdkディレクトリ

1.11.253

com.amazonawsの

aws-java-sdk-ダイナモDB

1.11.253

com.amazonawsの

aws-java-sdk-ec2 の

1.11.253

com.amazonawsの

aws-java-sdk-ecsの

1.11.253

com.amazonawsの

aws-java-sdk-efs

1.11.253

com.amazonawsの

aws-java-sdk-elasticache

1.11.253

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.11.253

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.11.253

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.11.253

com.amazonawsの

aws-java-sdk-emr

1.11.253

com.amazonawsの

aws-java-sdk-glacier

1.11.253

com.amazonawsの

aws-java-sdk-iam

1.11.253

com.amazonawsの

aws-java-sdk-importexport

1.11.253

com.amazonawsの

aws-java-sdk-キネシス

1.11.253

com.amazonawsの

aws-java-sdk-kmsの

1.11.253

com.amazonawsの

aws-java-sdk-ラムダ

1.11.253

com.amazonawsの

aws-java-sdk-logs

1.11.253

com.amazonawsの

aws-java-sdk-機械学習

1.11.253

com.amazonawsの

aws-java-sdk-opsworks

1.11.253

com.amazonawsの

aws-java-sdk-rds

1.11.253

com.amazonawsの

aws-java-sdk-レッドシフト

1.11.253

com.amazonawsの

aws-java-sdk-ルート53

1.11.253

com.amazonawsの

aws-java-sdk-s3 の

1.11.253

com.amazonawsの

aws-java-sdk-ses

1.11.253

com.amazonawsの

aws-java-sdk-simpledb

1.11.253

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.11.253

com.amazonawsの

aws-java-sdk-snsの

1.11.253

com.amazonawsの

aws-java-sdk-sqs

1.11.253

com.amazonawsの

aws-java-sdk-ssm

1.11.253

com.amazonawsの

aws-java-sdk-storagegateway

1.11.253

com.amazonawsの

aws-java-sdk-sts

1.11.253

com.amazonawsの

aws-java-sdk-サポート

1.11.253

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.11.253

com.amazonawsの

jmespath-java

1.11.253

com.carrotsearchの

HPPCの

0.7.2

com.chuusai(英語)

shapeless_2.11

2.3.2

com.clearspring.アナリティクス

stream

2.7.0

com.databricksの

サーブ

1.8-3

com.databricksの

dbml-local_2.11

0.3.0-db1-spark2.3

com.databricksの

dbml-local_2.11-tests

0.3.0-db1-spark2.3

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapbのruntime_2.11

0.4.15-9

com.esotericソフトウェア

kryo-shaded(クリョシェード)

3.0.3

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.0.0

com.fasterxml.jackson.core

ジャクソン-注釈

2.6.7

com.fasterxml.jackson.core

ジャクソンコア

2.6.7

com.fasterxml.jackson.core

ジャクソン-データバインド

2.6.7.1

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.6.7

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.6.7

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.6.7

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.11

2.6.7.1

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

ZSTD-JNI

1.3.2-2

com.github.rwl です。

jトランスフォーム

2.4.0

com.google.code.findbugs

JSR305

2.0.1

com.google.code.gson(英語)

gson

2.2.4

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

ジャワエワ

0.3.2

com.h2データベース

H2

1.3.174

com.jamesmurty.utilsの

java-xmlbuilder

1.1

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.mchangeの

C3P0

0.9.5.1

com.mchangeの

mchange-commons-java

0.2.10

com.microsoft.azure

azure-データレイク-store-sdk

2.0.11

com.microsoft.sqlserver

mssqlの-JDBC

6.2.2.JRE8

com.ningの

圧縮-LZF

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.11

0.3

コム。囀る

チルジャワ

0.8.4

コム。囀る

chill_2.11

0.8.4

コム。囀る

寄木細工の hadoop バンドル

1.6.0

コム。囀る

util-app_2.11

6.23.0

コム。囀る

util-core_2.11

6.23.0

コム。囀る

util-jvm_2.11

6.23.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging-api_2.11

2.1.2

Scala-logging

Scala-logging-slf4j_2.11

2.1.2

com.univocityの

univocity-パーサー

2.5.9

com.vlkan

フラットバッファ

1.2.0から3F79E055

com.zaxxerの

ひかりCP

2.4.1

commons-beanutilsの

commons-beanutilsの

1.7.0

commons-beanutilsの

commons-beanutils-core

1.8.0

コモンズCLI

コモンズCLI

1.2

コモンズコーデック

コモンズコーデック

1.10

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ構成

コモンズ構成

1.6

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズ消化器

コモンズ消化器

1.8

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.4

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズネット

コモンズネット

2.2

コモンズプール

コモンズプール

1.5.4

info.ganglia.gmetric4j

gmetric4jの

1.0.7

io.エアリフト

エアコンプレッサー

0.8

io.dropwizard.メトリクス

メトリクスコア

3.1.5

io.dropwizard.メトリクス

メトリクス-ガングリア

3.1.5

io.dropwizard.メトリクス

メトリクス-グラファイト

3.1.5

io.dropwizard.メトリクス

メトリクス-healthchecks

3.1.5

io.dropwizard.メトリクス

メトリクス-jetty9

3.1.5

io.dropwizard.メトリクス

メトリクス-JSON

3.1.5

io.dropwizard.メトリクス

メトリクス-JVM

3.1.5

io.dropwizard.メトリクス

メトリクス-log4j

3.1.5

io.dropwizard.メトリクス

メトリクスサーブレット

3.1.5

io.nettyの

網状

3.9.9.ファイナル

io.nettyの

netty-すべて

4.1.17.ファイナル

io.プロメテウス

シンプルクライアント

0.0.16

io.プロメテウス

simpleclient_common

0.0.16

io.プロメテウス

simpleclient_dropwizard

0.0.16

io.プロメテウス

simpleclient_servlet

0.0.16

io.prometheus.jmx

収集家

0.7

javax.activationの

アクティベーション

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

JSPのAPI

2.1

javax.transaction

jta

1.1

javax.validationの

検証API

1.1.0.ファイナル

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.バインド

ヤックスビーAPI

2.2.2

javax.xml.ストリーム

スタックス-API

1.0-2

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.11

ジョダタイム

ジョダタイム

2.9.3

log4j(ログ4J)

apache-log4j-extras

1.2.17

log4j(ログ4J)

log4j(ログ4J)

1.2.17

ネット.ハイドロマティック

固有ベースプロパティ

1.1.5

net.iharder

ベース64

2.3.8

net.java.dev.jets3t さん

ジェット3t

0.9.4

net.razorvine

パイロライト

4.13

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt

ONCRPCの

1.0.7

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.4

org.antlr

antlr4ランタイム

4.7

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

0.8.0

org.apache.arrow(アパッチ・アロー)

arrow-memory

0.8.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

0.8.0

org.apache.avro

AVRO

1.7.7

org.apache.avro

アブロIPC

1.7.7

org.apache.avro

AVRO-IPCテスト

1.7.7

org.apache.avro

アブロマップド-hadoop2

1.7.7

org.apache.calcite

方解石-アバチカ

1.2.0-インキュベーション

org.apache.calcite

方解石コア

1.2.0-インキュベーション

org.apache.calcite

方解石-linq4j

1.2.0-インキュベーション

org.apache.commonsの

コモンズ圧縮

1.4.1

org.apache.commonsの

コモンズ-クリプト

1.0.0

org.apache.commonsの

コモンズ-LANG3

3.5

org.apache.commonsの

コモンズ-数学3

3.4.1

org.apache.curator (英語)

キュレーター・クライアント

2.7.1

org.apache.curator (英語)

キュレーターフレームワーク

2.7.1

org.apache.curator (英語)

キュレーターレシピ

2.7.1

org.apache.derbyの

ダービー

10.12.1.1

org.apache.directory.api

API-ASN1-API

1.0.0-M20

org.apache.directory.api

APIのユーティリティ

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop です。

hadoop アノテーション

2.7.3

org.apache.hadoop です。

hadoop認証

2.7.3

org.apache.hadoop です。

hadoop クライアント

2.7.3

org.apache.hadoop です。

hadoop-共通

2.7.3

org.apache.hadoop です。

Hadoop-HDFS

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-アプリ

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-クライアント-共通

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-ジョブクライアント

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop です。

hadoop-yarn-api

2.7.3

org.apache.hadoop です。

hadoop-yarn-クライアント

2.7.3

org.apache.hadoop です。

hadoop-yarn-共通

2.7.3

org.apache.hadoop です。

hadoop-yarn-server-共通

2.7.3

org.apache.htrace

htrace-コア

3.1.0-インキュベーション

org.apache.httpコンポーネント

httpクライアント

4.5.4

org.apache.httpコンポーネント

httpコア

4.4.8

org.apache.ivy

2.4.0

org.apache.orc

オークコアノーハイブ

1.4.1

org.apache.orc

オーク-mapreduce-nohive

1.4.1

org.apache.parquet

parquet-column

1.8.2-データブリックス1

org.apache.parquet

parquet-common

1.8.2-データブリックス1

org.apache.parquet

parquet-encoding

1.8.2-データブリックス1

org.apache.parquet

parquet-format

2.3.1

org.apache.parquet

parquet-hadoop

1.8.2-データブリックス1

org.apache.parquet

parquet-jackson

1.8.2-データブリックス1

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.9.3

org.apache.xbean

xbean-asm5-shaded (英語)

4.4

org.apache.zookeeper

動物園の飼育係

3.4.6

org.バウンシーキャッスル

bcprov-jdk15on

1.58

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン・ジャクサーズ

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.jackson

ジャクソン-XC

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.8

org.codehaus.janino

ジャニーノ

3.0.8

org.datanucleus (英語)

データ核-API-JDO

3.2.6

org.datanucleus (英語)

データ核コア

3.2.10

org.datanucleus (英語)

データ核-RDBMS

3.2.9

組織Eclipse.jetty

桟橋クライアント

9.3.20.v20170531

組織Eclipse.jetty

桟橋の続き

9.3.20.v20170531

組織Eclipse.jetty

桟橋-HTTP

9.3.20.v20170531

組織Eclipse.jetty

桟橋-IO

9.3.20.v20170531

組織Eclipse.jetty

桟橋-JNDI

9.3.20.v20170531

組織Eclipse.jetty

桟橋プラス

9.3.20.v20170531

組織Eclipse.jetty

桟橋プロキシ

9.3.20.v20170531

組織Eclipse.jetty

桟橋警備

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーバー

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋-util

9.3.20.v20170531

組織Eclipse.jetty

桟橋-webapp

9.3.20.v20170531

組織Eclipse.jetty

桟橋XML

9.3.20.v20170531

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.4.0-B34

org.glassfish.hk2

HK2ロケーター

2.4.0-B34

org.glassfish.hk2

hk2-utilsの

2.4.0-B34

org.glassfish.hk2

osgi-リソースロケーター

1.0.1

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.4.0-B34

org.glassfish.hk2.external (英語)

javax.inject

2.4.0-B34

org.glassfish.jersey.bundles.repackaged (英語)

ジャージー-グアバ

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.22.2

org.glassfish.jersey.coreの

ジャージークライアント

2.22.2

org.glassfish.jersey.coreの

ジャージー共通

2.22.2

org.glassfish.jersey.coreの

ジャージーサーバー

2.22.2

org.glassfish.jersey.mediaの

ジャージー-メディア-JAXB

2.22.2

org.hibernate

hibernate-validator

5.1.1.ファイナル

org.iq80.snappyの

てきぱき

0.2

org.javassist

ジャバス奏者

3.18.1-GAの

org.jboss.logging

jboss-ロギング

3.1.3.GA

org.jdbi

DBI

2.63.1

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.11

3.2.11

org.json4sの

json4s-core_2.11

3.2.11

org.json4sの

json4s-jackson_2.11

3.2.11

org.lz4

LZ4-Javaの

1.4.0

org.mariadb.JDBC

mariadb-java-クライアント

2.1.2

org.mockitoの

mockito-すべて

1.9.5

org.objenesis

オブジェネシス

2.1

org.postgresql

PostgreSQL

42.1.4

org.roaringbitmap

ロアリングビットマップ

0.5.11

org.rocksdbの

ロックスDBJNI

5.2.1

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.11

2.11.8

組織Scala-lang

Scala-Library.11

2.11.8

組織Scala-lang

Scala-reflect_2.11

2.11.8

組織Scala-lang

scalap_2.11

2.11.8

組織Scala-lang.modules

Scala-parser-combinators_2.11

1.0.2

組織Scala-lang.modules

Scala-xml_2.11

1.0.5

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalanlp

そよ風-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatestの

scalatest_2.11

2.2.6

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

7月-slf4j

1.7.16

org.slf4j

SLF4J-APIの

1.7.16

org.slf4j

SLF4J-ログ4J12

1.7.16

org.spark-project.hive です。

ハイブビーライン

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ CLI

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-エグゼクティブ

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-JDBC

1.2.1.スパーク2

org.spark-project.hive です。

Hive metastore

1.2.1.スパーク2

org.spark-project.spark です。

未使用

1.0.0

org.spire-math

スパイア-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframeworkの

スプリングコア

4.1.4.リリース

org.springframeworkの

スプリングテスト

4.1.4.リリース

org.tukaani

xz

1.0

org.typelevel

machinist_2.11

0.6.1

org.typelevel

マクロ-compat_2.11

1.1.1

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.2.6

org.yaml の

スネークヤム

1.16

オロ

オロ

2.0.8

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1

xmlenc

xmlenc

0.52