Databricks Runtime 6.0 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks は 2019 年 10 月にこのバージョンをリリースしました。
次のリリースノートでは、 Databricks Runtime 6.0, powered by Apache Sparkに関する情報を提供しています。
新機能
Python環境
Databricks Runtime 6.0 には、Python と Python 環境の構成方法に対する主要な変更が含まれています (Python を 3.7.3 にアップグレードします)。 インストールされている Python パッケージのリストを絞り込み、それらのインストール済みパッケージを新しいバージョンにアップグレードします。 詳細については、「 インストールされている Python ライブラリ」を参照してください。
さらに、以前に 発表されたように、Databricks Runtime 6.0 は Python 2 をサポートしていません。
主な変更点は次のとおりです。
-
Pythonを3.5.2から3.7.3にアップグレードしました。 一部の古いバージョンの Python パッケージは、Python 3.7 と互換性のない古いバージョンの Cython に依存しているため、Python 3.7 と上位互換性がない場合があります。 このようなパッケージをインストールすると、
‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’と同様のエラーが発生する可能性があります (詳細については、 GitHub の問題 1978 を参照してください)。 代わりに、Python 3.7 互換バージョンの Python パッケージをインストールしてください。 -
主なパッケージアップグレード:
- boto3 から 1.9.162
- ipython から 7.4.0 へ
- matplotlib を 3.0.3 に
- numpy を 1.16.2 に
- Pandas から 0.24.2
- pyarrowを0.13.0に変更
-
Databricks Runtime 5.5 LTS (EoS) と比較すると、asn1crypto、backcall、jedi、kiwisolver、parso、PySocks の Python パッケージが新たに追加されました。
-
Databricks Runtime 5.5 LTS (EoS) と比較すると、次の Python パッケージはインストールされていません: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-Python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, Python-geohash, scour, simplejson, singledispatch.
-
displayPythonggplot パッケージは新しいバージョンの g と互換性がないため ggplot オブジェクトのPandas 関数はサポートされなくなりました。 -
Databricks Runtime 6.0 は Python 2 をサポートしていないため、
PYSPARK_PYTHONを/databricks/python2/bin/pythonに設定することはサポートされていません。このような設定のクラスターは、引き続き開始できます。ただし、 Python ノートブックと Python コマンドは機能しません。つまり、 Python コマンドセルは「キャンセル」エラーで失敗し、ドライバーログにPython shell failed to startエラーが表示されます。 -
PYSPARK_PYTHONがPythonVirtualenv によって管理されている環境にある 実行可能ファイルを指している場合、この環境はinitスクリプト 、SSHセッション、およびノートブックに対してアクティブ化されます。アクティブ化された環境で定義されているpythonコマンドとpipコマンドは、これらのコマンドの絶対位置を指定しなくても、直接使用できます。 デフォルトでは、PYSPARK_PYTHONは/databricks/python3/bin/pythonに設定されています。 したがって、デフォルトとは、pythonは/databricks/python3/bin/pythonを指し、pipは initスクリプト、SSH セッション、およびノートブックの/databricks/python3/bin/pipを指します。PYSPARK_PYTHONがVirtualenvによって管理されている環境にない Python 実行可能ファイルを指している場合、またはPYSPARK_PYTHONで指定された Python を作成するためのinitスクリプトを作成している場合は、正しいpythonとpipにアクセスするために絶対パスを使用する必要があります。 Python ライブラリの分離が有効になっている場合 (デフォルトでは有効になっています)、アクティブ化された環境は、PYSPARK_PYTHONが関連付けられている環境のままです。ライブラリ ユーティリティ (dbutils.ライブラリ) (レガシー) を使用して、Python ノートブックに関連付けられた分離環境を変更することをおすすめします。
Scala と Java APIs for Delta Lake DML コマンド
Delta テーブルのデータを、削除、更新、およびマージのプログラムAPIsを使用して変更できるようになりました。これらの APIs は、対応する SQL コマンドの構文とセマンティクスを反映しており、緩やかに変化するディメンション (SCD) 操作、レプリケーションの変更データのマージ、ストリーミング クエリからのアップサートなど、多くのワークロードに最適です。
詳細については、「 Delta Lake とは」を参照してください。
Scala and Java APIs for Delta Lake ユーティリティ コマンド
Databricks Runtime には、vacuum と history ユーティリティ コマンドのプログラムによる APIs が追加されました。 これらの APIs は SQL 、以前のバージョンの Databricks Runtime.
Delta テーブルによって参照されなくなったファイルや、保有期間のしきい値よりも古いファイルをクリーンアップするには、テーブルで vacuum を実行します。 vacuumテーブルに対して コマンドを実行すると、 テーブルに関連付けられているディレクトリが再帰的にvacuum Deltaされます。ファイルのデフォルトの保持しきい値は 7 日です。 保持期間より古いバージョンにタイムトラベルする機能は、 の実行後に失われ vacuum。 vacuum は自動的にトリガーされません。
Delta テーブルへの各書き込みの操作、ユーザー、タイムスタンプなどの情報を取得するには、 history コマンドを実行します。 操作は、時系列の逆順で返されます。 デフォルトでは、テーブル履歴は 30 日間保持されます。
詳細については、「 Delta Lake とは」を参照してください。
ローカルファイルAPIsを使用したストレージの最適化
ローカル ファイル APIs は、基になる分散オブジェクト ストレージからローカル ファイルとしてファイルにアクセスできるため便利です。 Databricks Runtime 6.0 では、FUSE マウントが強化され、ローカル ファイル APIsで主要な制限に対処できるようになりました。Databricks Runtime 6.0 では、読み取りと書き込みの速度が大幅に向上し、2 GB を超えるファイルがサポートされます。 分散モデルのトレーニングなど、より高速で信頼性の高い読み取りと書き込みが必要な場合、この機能強化は特に便利です。 さらに、ワークロードのためにローカルストレージにデータをロードする必要がないため、コストの節約と生産性の向上の両方が可能になります。
詳細については、「 DBFS とは」を参照してください。
ノートブックのセルごとに複数の matplotlib プロット
ノートブックのセルごとに複数の matplotlib プロットを表示できるようになりました。
複数の Azure Data Lake Storage Gen1 アカウントのサービス資格情報
Databricks アカウントから複数の Azure Data Lake Storage Gen1 にアクセスするためのサービス資格情報を、1 つの Apache Spark セッション内で使用できるようになりました。これを行うには、構成キーに account.<account-name> を追加します。 たとえば、 adl://example1.azuredatalakestore.net と adl://example2.azuredatalakestore.netの両方にアクセスするためのアカウントの資格情報を設定する場合は、次のように実行できます。
spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")
spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")
spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")
改善
- AWS SDK を 1.11.596 にアップグレードしました。
- WASB ドライバーの Azure Storage SDK を 7.0 にアップグレードしました。
OPTIMIZE追加されたファイルの数、削除されたファイルの数、最大および最小ファイルサイズなどのメトリクスの概要が提供されるようになりました。 「データファイルレイアウトの最適化」を参照してください。
除去
Databricks ML モデルのエクスポートは削除されました。 代わりに、モデルのインポートとエクスポートには MLeap を使用してください。
Apache Spark
この記事には、Databricks では使用されていない用語である slave という用語への参照が含まれています。 この用語がソフトウェアから削除されると、この記事から削除されます。
Databricks Runtime 6.0 には Apache Spark 2.4.3 が含まれています。 このリリースには、 Databricks Runtime 5.5 LTS (EoS) に含まれるすべての Spark の修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-27992][スパーク-28881][Python] Python が接続スレッドと結合してエラーを伝播することを許可する
- [SPARK-27330][SS]foreach writer (6.0, 5.x) でタスクの中止をサポート
- [SPARK-28642][SQL] SHOW CREATE TABLE で資格情報を非表示に
- [SPARK-28699][CORE] 不確定なステージを中止するコーナーケースを修正
- [SPARK-28647][WEBUI] 追加のメトリクス機能を回復
- [SPARK-28766][R][DOC] 無効なURLに対するCRAN受信フィージビリティ警告を修正
- [SPARK-28486][CORE][Python] PythonBroadcastのデータファイルをBroadcastBlockにマッピングして、GCによる削除を回避する
- [SPARK-25035][CORE] ディスク保管ブロックのレプリケーションでのメモリマッピングの回避
- [SPARK-27234][SS][Python] EpochTrackerの現在のエポックにInheritableThreadLocalを使用（ Python UDFsをサポートしたり
- [SPARK-28638][WEBUI] タスクの概要には、成功したタスク' メトリクスのみを含める必要があります
- [SPARK-28153] [Python] InputFileBlockHolder で AtomicReference を使用 ( Python UDFで input_file_name をサポートするため)
- [SPARK-28564][CORE]アクセス履歴アプリケーションがデフォルトで最後の試行IDに設定される
- [SPARK-28260] thriftserver クエリがまだ結果を取得している間に、クラスターが自動的に終了することがある
- [SPARK-26152][CORE] ワーカーのクリーンアップとワーカーのシャットダウンを同期
- [SPARK-28545][SQL] ObjectAggregationIteratorの方向ログにハッシュマップサイズを追加
- [SPARK-28489][SS] KafkaOffsetRangeCalculator.getRangesがオフセットをドロップする可能性があるバグを修正
- [SPARK-28421] [ML] SparseVector.apply パフォーマンスの最適化
- [SPARK-28156][SQL] 自己結合でキャッシュされたビューを見逃さないようにする
- [SPARK-28152][SQL] MsSqlServerDialectのShortTypeをSMALLINTに、FloatTypeをREALにマッピング
- [SPARK-28054][SQL] パーティション名が大文字の場合にHiveパーティションテーブルを動的に挿入する際のエラーを修正
- [SPARK-27159][SQL] mssql サーバーの方言を更新してバイナリタイプをサポート
- [SPARK-28355][CORE][Python] Spark conf を com...
- [SPARK-27989][CORE] k8sのドライバーへの接続の再試行を追加
- [SPARK-27416][SQL] UnsafeMapData と UnsafeArrayData Kryo のシリアル化 ...
- [SPARK-28430][UI] 一部のタスクのメトリクスが欠落している場合のステージテーブルのレンダリングを修正
- [スパーク-27485] EnsureRequirements.reorder は、重複する式を適切に処理する必要があります
- [SPARK-28404][SS] RateStreamContinuousPartitionReaderの負のタイムアウト値を修正
- [SPARK-28378] [Python] cgi.escape の使用を削除
- [SPARK-28371][SQL] Parquet の "StartsWith" フィルターを null セーフに
- [SPARK-28015][SQL] stringToDate()がyyyyおよびyyyy-[m]m形式の入力全体を消費します
- [SPARK-28302] [CORE] Windows上のSparkLauncherに固有の出力ファイルを生成するようにしてください
- [SPARK-28308][CORE] CalendarIntervalのサブセカンド部分を解析前に埋め込む必要がある
- [SPARK-28170][ML][Python] ユニフォームベクターとマトリックスのドキュメント
- [SPARK-28160][CORE] 未チェックの例外を見逃した場合にコールバック関数がハングするバグを修正
- [SPARK-27839][SQL] UTF8String.replace()を変更してUTF8バイトを操作するように修正
- [SPARK-28157][CORE] SHSがブラックリストに登録されたエントリのKVStore LogInfo をクリアするように修正
- [SPARK-28128][Python][SQL] グループ化されたUDF Pandas 空のパーティションをスキップする
- [SPARK-28012][SQL] Hive UDFが構造体タイプの折り畳み式をサポート
- [スパーク-28164] start-slave.sh の修正使用説明書
- [SPARK-27100][SQL] StackOverflowErrorを防ぐためにFilePartition で Seq の代わりに Array を使用
- [SPARK-28154][ML] GMMがダブルキャッシングを修正
メンテナンスの更新
「Databricks Runtime 6.0 メンテナンス更新プログラム」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 16.04.6 LTSの
- Java の:1.8.0_232
- Scala : 2.11.12
- Python : 3.7.3
- R : R バージョン 3.6.1 (2019-07-05)
- Delta Lake : 0.3.0
Scala 2.12 は Apache Spark 2.4 の試験的な機能として使用できますが、Databricks Runtime 6.0 ではサポートされていません。
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
ASN1暗号 | 0.24.0 | バックコール | 0.1.0 | Boto | 2.49.0 |
ボト3 | 1.9.162 | ボトコア | 1.12.163 | 認証 | 2019.3.9 |
cffi | 1.12.2 | シャルデ | 3.0.4 | 暗号化手法 | 2.6.1 |
サーマルサイクラー | 0.10.0 | シトン | 0.29.6 | デコレータ | 4.4.0 |
docutilsの | 0.14 | イドナ | 2.8 | アイパイソン | 7.4.0 |
ipython-genutils | 0.2.0 | ジェダイ | 0.13.3 | jmespathの | 0.9.4 |
キウイソルバー | 1.1.0 | Matplotlib | 3.0.3 | ナムピー | 1.16.2 |
pandas | 0.24.2 | パルソ | 0.3.4 | パッツィ | 0.5.1 |
pexpect | 4.6.0 | ピクルシェア | 0.7.5 | 種 | 19.0.3 |
プロンプトツールキット | 2.0.9 | サイコップ2 | 2.7.6.1 | PTYPROCESSの | 0.6.0 |
ピアロー | 0.13.0 | pycparser | 2.19 | pycurlの | 7.43.0 |
ピグメント | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSLの | 19.0.0 |
pyparsing (英語) | 2.4.2 | PySocks(パイソックス) | 1.6.8 | Python-apt | 1.1.0.b1 + ubuntu0.16.04.5 |
Python-dateutil | 2.8.0 | ピッツ | 2018.9 | 要求 | 2.21.0 |
S3トランスファー | 0.2.1 | Scikit-Learn | 0.20.3 | scipy(サイピー) | 1.2.1 |
シーボーン | 0.9.0 | セットアップツール | 40.8.0 | 6 | 1.12.0 |
ssh-import-id | 5.5 | 統計モデル | 0.9.0 | トレイトレット | 4.3.2 |
無人アップグレード | 0.1 | urllib3 の | 1.24.1 | virtualenv | 16.4.1 |
WC幅 | 0.1.7 | 輪 | 0.33.1 |
インストールされている R ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
aバインド | 1.4-5 | アスクパス | 1.1 | assertthat | 0.2.1 |
バックポート | 1.1.3 | 基 | 3.6.1 | base64enc | 0.1-3 |
BH | 1.69.0-1 | bit | 1.1-14 | ビット64 | 0.9-7 |
ビットプス | 1.0-6 | ブロッブ | 1.1.1 | ブート | 1.3-23 |
醸成 | 1.0-6 | コール | 3.2.0 | 車 | 3.0-2 |
車データ | 3.0-2 | キャレット | 6.0-82 | セルレンジャー | 1.1.0 |
クロン | 2.3-53 | クラス | 7.3-15 | CLI | 1.1.0 |
clipr | 0.5.0 | clisymbolsの | 1.2.0 | クラスター | 2.1.0 |
コードツール | 0.2-16 | カラースペース | 1.4-1 | コモンマーク | 1.7 |
コンパイラ | 3.6.1 | コンフィグ | 0.3 | クレヨン | 1.3.4 |
Curl | 3.3 | データ.テーブル | 1.12.0 | データセット | 3.6.1 |
DBI | 1.0.0 | dbplirの | 1.3.0 | DESC | 1.2.0 |
開発ツール | 2.0.1 | ダイジェスト | 0.6.18 | ドエムシー | 1.3.5 |
dplyrの | 0.8.0.1 | 省略記号 | 0.1.0 | ファンシ | 0.4.0 |
フォーキャッツ | 0.4.0 | For each | 1.4.4 | 外国の | 0.8-72 |
鍛える | 0.2.0 | FSの | 1.2.7 | GBMの | 2.1.5 |
ジェネリック | 0.0.2 | ggplot2の | 3.1.0 | gh | 1.0.1 |
ギット2R | 0.25.2 | glmnet | 2.0-16 | 膠 | 1.3.1 |
ガウアー | 0.2.0 | グラフィックス | 3.6.1 | grDevicesの | 3.6.1 |
グリッド | 3.6.1 | グリッドエクストラ | 2.3 | gsubfnの | 0.7 |
GTABLE(GTABLE) | 0.3.0 | H2O(ヘトヘオ) | 3.22.1.1 | 避難所 | 2.1.0 |
HMSの | 0.4.2 | htmlツール[htmltools] | 0.3.6 | htmlウィジェット | 1.3 |
httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlusの | 1.0-3 |
イニ | 0.3.1 | イプレッド | 0.9-8 | 反復 子 | 1.0.10 |
jsonlite | 1.6 | カーンスムース | 2.23-15 | ラベリング | 0.3 |
格子 | 0.20-38 | 溶岩 | 1.6.5 | レイジーバル | 0.2.2 |
リトル | 0.3.7 | LME4の | 1.1-21 | ルブリデート | 1.7.4 |
マグリット | 1.5 | マッププロジェクト | 1.2.6 | マップ | 3.3.0 |
マップツール | 0.9-5 | 質量 | 7.3-51.4 | マトリックス | 1.2-17 |
マトリックスモデル | 0.4-1 | メモ | 1.1.0 | メソッド | 3.6.1 |
mgcv | 1.8-28 | マイム | 0.6 | ミンカ | 1.2.4 |
モデルメトリクス | 1.2.2 | マンセル | 0.5.0 | mvtnorm | 1.0-10 |
nlme | 3.1-141 | NLOPTRの | 1.2.1 | ネット | 7.3-12 |
numDerivの | 2016.8-1 | オープンSSL | 1.3 | openxlsxの | 4.1.0 |
並列 | 3.6.1 | pbkrtestの | 0.4-7 | 柱 | 1.3.1 |
pkgbuild の | 1.0.3 | pkgconfig | 2.0.2 | pkg子猫 | 0.1.4 |
pkgload(パッケージロード) | 1.0.2 | plogrの | 0.2.0 | プライル | 1.8.4 |
褒める | 1.0.0 | プリティユニット | 1.0.2 | pROC | 1.14.0 |
プロセスX | 3.3.0 | 製品 | 2018.04.18 | 経過 | 1.2.0 |
プロト | 1.0.0 | PS | 1.3.0 | ゴロゴロ | 0.3.2 |
クォントレグ | 5.38 | R.メソッドS3 | 1.7.1 | R.oo | 1.22.0 |
R.utilsの | 2.8.0 | R2D3の | 0.2.3 | R6の | 2.4.0 |
ランダムフォレスト | 4.6-14 | ラプディレクトリ | 0.3.1 | rcmdcheckの | 1.3.2 |
RColorブリューワー | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
Rcppロール | 0.3.0 | RCのURL | 1.95-4.12 | 読み取り | 1.3.1 |
readxlの | 1.3.1 | レシピ | 0.1.5 | 再戦 | 1.0.1 |
リモコン | 2.0.2 | 形状変更2 | 1.4.3 | リオ | 0.5.16 |
ラン | 0.3.3 | RODBC | 1.3-15 | リオキシジェン2 | 6.1.1 |
rpart | 4.1-15 | rprojroot さん | 1.3-2 | サーブ | 1.8-6 |
RSQLite (英語) | 2.1.1 | rstudioapi | 0.10 | 秤 | 1.0.0 |
セッション情報 | 1.1.1 | SP | 1.3-1 | sparklyr | 1.0.0 |
SparkR | 2.4.4 | スパース M | 1.77 | 空間的 | 7.3-11 |
スプライン | 3.6.1 | sqldf | 0.4-11 | スクエアム | 2017.10-1 |
statmod の | 1.4.30 | 統計 | 3.6.1 | 統計4 | 3.6.1 |
ストリンギ | 1.4.3 | ストリンガー | 1.4.0 | 生存 | 2.44-1.1 |
SYSの | 3.1 | tcltk | 3.6.1 | ティーチングデモ | 2.10 |
テストを | 2.0.1 | ティブル | 2.1.1 | ティディル | 0.8.3 |
ティディセレクト | 0.2.5 | 日時 | 3043.102 | ツール | 3.6.1 |
usethisさん | 1.4.0 | UTF8 | 1.1.4 | ユーティリティ | 3.6.1 |
viridisライト | 0.3.0 | ウイスカー | 0.3-2 | ウィザー | 2.1.2 |
XML2の | 1.2.0 | xopen(オーペン) | 1.0.0 | ヤムラ | 2.2.0 |
郵便番号 | 2.0.1 |
インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.8.10 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.595 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.595 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.595 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.595 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.595 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.595 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.595 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.595 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.595 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.595 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.595 |
com.amazonawsの | aws-java-sdk-configの | 1.11.595 |
com.amazonawsの | aws-java-sdk-コア | 1.11.595 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.595 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.595 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.595 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.595 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.595 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.595 |
com.amazonawsの | aws-java-sdk-efs | 1.11.595 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.595 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.595 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.595 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.595 |
com.amazonawsの | aws-java-sdk-emr | 1.11.595 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.595 |
com.amazonawsの | aws-java-sdk-グルー | 1.11.595 |
com.amazonawsの | aws-java-sdk-iam | 1.11.595 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.595 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.595 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.595 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.595 |
com.amazonawsの | aws-java-sdk-logs | 1.11.595 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.595 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.595 |
com.amazonawsの | aws-java-sdk-rds | 1.11.595 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.595 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.595 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.595 |
com.amazonawsの | aws-java-sdk-ses | 1.11.595 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.595 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.595 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.595 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.595 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.595 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.595 |
com.amazonawsの | aws-java-sdk-sts | 1.11.595 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.595 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.595 |
com.amazonawsの | jmespath-java | 1.11.595 |
com.carrotsearchの | HPPCの | 0.7.2 |
com.chuusai(英語) | shapeless_2.11 | 2.3.2 |
com.clearspring.アナリティクス | stream | 2.7.0 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
com.databricksの | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapbのruntime_2.11 | 0.4.15-9 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.0.0 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.6.7 |
com.fasterxml.jackson.core | ジャクソンコア | 2.6.7 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.6.7.1 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.6.7 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.6.7 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.6.7 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.11 | 2.6.7.1 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | ZSTD-JNI | 1.3.2-2 |
com.github.rwl です。 | jトランスフォーム | 2.4.0 |
com.google.code.findbugs | JSR305 | 2.0.1 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | ジャワエワ | 0.3.2 |
com.h2データベース | H2 | 1.3.174 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.microsoft.azure | azure-データレイク-store-sdk | 2.2.8 |
com.microsoft.azure | azure-ストレージ | 7.0.0 |
com.microsoft.sqlserver | mssqlの-JDBC | 6.2.2.JRE8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.11 | 0.3 |
コム。囀る | チルジャワ | 0.9.3 |
コム。囀る | chill_2.11 | 0.9.3 |
コム。囀る | 寄木細工の hadoop バンドル | 1.6.0 |
コム。囀る | util-app_2.11 | 6.23.0 |
コム。囀る | util-core_2.11 | 6.23.0 |
コム。囀る | util-jvm_2.11 | 6.23.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging-api_2.11 | 2.1.2 |
Scala-logging | Scala-logging-slf4j_2.11 | 2.1.2 |
com.univocityの | univocity-パーサー | 2.7.3 |
com.vlkan | フラットバッファ | 1.2.0から3F79E055 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.9.3 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.7 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.dropwizard.メトリクス | メトリクスコア | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-ガングリア | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-JSON | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-JVM | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-log4j | 3.1.5 |
io.dropwizard.メトリクス | メトリクスサーブレット | 3.1.5 |
io.nettyの | 網状 | 3.9.9.ファイナル |
io.nettyの | netty-すべて | 4.1.17.ファイナル |
javax.activationの | アクティベーション | 1.1.1 |
javax.annotation | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.validationの | 検証API | 1.1.0.ファイナル |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.9.3 |
ジュニット | ジュニット | 4.12 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
ネット.ハイドロマティック | 固有ベースプロパティ | 1.1.5 |
net.razorvine | パイロライト | 4.13 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.5 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.6.15 |
ネット.スノーフレーク | スパーク-snowflake_2.11 | 2.4.10-spark_2.4 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt | ONCRPCの | 1.0.7 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.4 |
org.antlr | antlr4ランタイム | 4.7 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 0.10.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory | 0.10.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 0.10.0 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.calcite | 方解石-アバチカ | 1.2.0-インキュベーション |
org.apache.calcite | 方解石コア | 1.2.0-インキュベーション |
org.apache.calcite | 方解石-linq4j | 1.2.0-インキュベーション |
org.apache.commonsの | コモンズ圧縮 | 1.8.1 |
org.apache.commonsの | コモンズ-クリプト | 1.0.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.5 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.3 |
org.apache.hadoop です。 | hadoop認証 | 2.7.3 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.3 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.3 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.6 |
org.apache.httpコンポーネント | httpコア | 4.4.10 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.orc | オークコアノーハイブ | 1.5.5 |
org.apache.orc | オーク-mapreduce-nohive | 1.5.5 |
org.apache.orc | オークシム | 1.5.5 |
org.apache.parquet | parquet-column | 1.10.1.2-データブリックス3 |
org.apache.parquet | parquet-common | 1.10.1.2-データブリックス3 |
org.apache.parquet | parquet-encoding | 1.10.1.2-データブリックス3 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1.2-データブリックス3 |
org.apache.parquet | parquet-jackson | 1.10.1.2-データブリックス3 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.9.3 |
org.apache.xbean | xbean-asm6-shaded (英語) | 4.8 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.6 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.10 |
org.codehaus.janino | ジャニーノ | 3.0.10 |
org.datanucleus (英語) | データ核-API-JDO | 3.2.6 |
org.datanucleus (英語) | データ核コア | 3.2.10 |
org.datanucleus (英語) | データ核-RDBMS | 3.2.9 |
組織Eclipse.jetty | 桟橋クライアント | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋の続き | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋-HTTP | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋-IO | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋-JNDI | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋プラス | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋プロキシ | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋警備 | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋サーバー | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋サーブレット | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋サーブレット | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋-util | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋-webapp | 9.3.27.v20190418 |
組織Eclipse.jetty | 桟橋XML | 9.3.27.v20190418 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.4.0-B34 |
org.glassfish.hk2 | HK2ロケーター | 2.4.0-B34 |
org.glassfish.hk2 | hk2-utilsの | 2.4.0-B34 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.1 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.4.0-B34 |
org.glassfish.hk2.external (英語) | javax.inject | 2.4.0-B34 |
org.glassfish.jersey.bundles.repackaged (英語) | ジャージー-グアバ | 2.22.2 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.22.2 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.22.2 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.22.2 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.22.2 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.22.2 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.22.2 |
org.hamcrest | ハムクレストコア | 1.3 |
org.hamcrest | ハムクレスト-ライブラリ | 1.3 |
org.hibernate | hibernate-validator | 5.1.1.ファイナル |
org.iq80.snappyの | てきぱき | 0.2 |
org.javassist | ジャバス奏者 | 3.18.1-GAの |
org.jboss.logging | jboss-ロギング | 3.1.3.GA |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.11 | 3.5.3 |
org.json4sの | json4s-core_2.11 | 3.5.3 |
org.json4sの | json4s-jackson_2.11 | 3.5.3 |
org.json4sの | json4s-scalap_2.11 | 3.5.3 |
org.lz4 | LZ4-Javaの | 1.4.0 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.1.2 |
org.mockitoの | mockito-コア | 1.10.19 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.7.45 |
org.roaringbitmap | シム | 0.7.45 |
org.rocksdbの | ロックスDBJNI | 6.2.2 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.11 | 2.11.12 |
組織Scala-lang | Scala-Library.11 | 2.11.12 |
組織Scala-lang | Scala-reflect_2.11 | 2.11.12 |
組織Scala-lang.modules | Scala-parser-combinators_2.11 | 1.1.0 |
組織Scala-lang.modules | Scala-xml_2.11 | 1.0.5 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalactic | scalactic_2.11 | 3.0.3 |
org.scalanlp | そよ風-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatestの | scalatest_2.11 | 3.0.3 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | 7月-slf4j | 1.7.16 |
org.slf4j | SLF4J-APIの | 1.7.16 |
org.slf4j | SLF4J-ログ4J12 | 1.7.16 |
org.spark-project.hive です。 | ハイブビーライン | 1.2.1.スパーク2 |
org.spark-project.hive です。 | ハイブ CLI | 1.2.1.スパーク2 |
org.spark-project.hive です。 | ハイブ-JDBC | 1.2.1.スパーク2 |
org.spark-project.hive です。 | Hive metastore | 1.2.1.スパーク2 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.spire-math | スパイア-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.tukaani | xz | 1.5 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | マクロ-compat_2.11 | 1.1.1 |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.7.3 |
org.yaml の | スネークヤム | 1.16 |
オロ | オロ | 2.0.8 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |