Databricks Runtime 5.0 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks は 2018 年 11 月にこのバージョンをリリースしました。
次のリリースノートでは、 Databricks Runtime 5.0, powered by Apache Sparkに関する情報を提供しています。
新機能
-
Delta Lake
- サブクエリは、
DELETE
コマンドとUPDATE
コマンドのサポートのためにWHERE
句でサポートされるようになりました。 MERGE
コマンド用の新しいスケーラブルな実装。- 挿入と更新の数に制限はありません。
- SCD Type 1 および Type 2 クエリに使用できます。
- "更新" モードでストリーミング クエリからアップサートを実行できます (たとえば、ストリーミング集計出力を Delta テーブルに書き込むなど)。 例: MERGE と foreachBatch ノートブックを使用した Databricks Delta へのストリーミング集計の書き込み を参照してください。
- サブクエリは、
-
構造化ストリーミング
- Azure Blob Storage ファイル通知ベースのストリーミング ソース。 これにより、Azure Blob Storage 内のファイルに対して構造化ストリーミング クエリを実行する際のリストコストを大幅に削減できます。 このストリーミング ソースは、リストを使用して処理する新しいファイルを見つける代わりに、ファイル イベント通知を直接読み取って新しいファイルを見つけることができます。 「 Azure Blob Storage ファイル ソースと Azure Queue Storage (レガシ)」を参照してください。
改善
-
Delta Lake
-
OPTIMIZE
パフォーマンスと安定性。OPTIMIZE
コマンドは、バッチを最後ではなく、できるだけ早くコミットします。- 並列に実行するスレッド
OPTIMIZE
デフォルトの数を減らしました。 これは、大きなテーブルに対しては厳密なパフォーマンスの向上です。 - パーティション テーブルへの書き込み時にデータを不必要に並べ替えることを回避することで、
OPTIMIZE
書き込みを高速化しました。 - インクリメンタルにすることで
OPTIMIZE ZORDER BY
を高速化しました。 つまり、コマンドでは、同じ列によって既に Z-ordered されたデータ ファイルの書き換えが回避されるようになりました。 「Delta Lake のデータのスキップ」を参照してください。
-
Delta テーブルに対してクエリを実行するときのスナップショット分離。 Deltaテーブルへの複数の参照 (自己結合など) を持つクエリは、テーブルに並列更新がある場合でも、同じテーブルスナップショットから読み取ります。
-
ドライバーにメタデータをキャッシュすることで、小さな (< 2000 ファイル) Delta テーブルから読み取るときのクエリの待機時間が改善されました。
-
-
MLlib ロジスティック回帰のパフォーマンスが向上しました。
-
MLlib ツリー アルゴリズムのパフォーマンスが向上しました。
-
いくつかの Java と Scala ライブラリをアップグレードしました。 インストール済み Java と Scala ライブラリ (Scala 2.11 クラスター バージョン) を参照してください。
-
インストールされている Python ライブラリの一部をアップグレードしました。
- pip: 10.0.1 から 18.0
- setuptools: 39.2.0 から 40.4.1
- 竜巻:5.0.2から5.1.1
-
インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。
バグの修正
-
Delta Lake
- SQL conf で設定された構成が、最初に別のノートブックに読み込まれた Delta Lake 操作に正しく適用されるようになりました。
DELETE
コマンドで、条件が null と評価される行を誤って削除するバグを修正しました。- 初期バッチの処理に 2 日以上かかるストリーム (つまり、ストリームの開始時にテーブルにあったデータ) は、チェックポイントからの回復を試みるときに
FileNotFoundException
で失敗しなくなりました。 - 新しいテーブルをロードするときに
NoClassDefError
につながる競合状態を回避します。 - 操作が「ここには削除の絶対パスはありません」という AssertionError で失敗する可能性がある
VACUUM
の修正。 - Hive
SHOW CREATE TABLE
生成されたストレージプロパティが含まれないようにコマンドを修正しました。
-
内部 Spark クラスに対して多くの
NoClassDefFoundError
エラーをスローするエグゼキューターは、問題を修正するために自動的に再起動されるようになりました。
既知の問題
- Delta Lake の
overwrite
モードのreplaceWhere
オプションで指定された列名では、大文字と小文字の区別が有効になっていない (デフォルト) 場合でも、大文字と小文字が区別されます。 - Databricks Runtime 5.0 用の Snowflake コネクタ はプレビュー段階です。
- Databricks Runtime 5.0 クラスターにアタッチされたノートブックで実行中のストリーミング セルをキャンセルした場合、ノートブックの状態をクリアするか、クラスターを再起動しない限り、ノートブックで後続のコマンドを実行できません。回避策については、 ナレッジ ベースを参照してください。
Apache Spark
Databricks Runtime 5.0 には Apache Spark 2.4.0 が含まれています。
Core と Spark SQL
この記事には、Databricks では使用されていない用語である slave という用語への参照が含まれています。この用語がソフトウェアから削除されると、この記事から削除されます。
主な特長
- バリア実行 Mode: [SPARK-24374] ディープラーニングフレームワークとの統合を改善するために、スケジューラでバリア実行の Mode をサポートします。
- Scala 2.12 のサポート: [SPARK-14220] 実験的な Scala 2.12 のサポートを追加。 これで、 2.12 Sparkで をビルドしScalaSparkScala 2.12 でアプリケーションを作成できるようになりました。
- 高階関数: [SPARK-23899] 高階関数を含む多くの新しい組み込み関数を追加して、複雑なデータ型での作業を容易にします。 「Apache Spark 組み込み関数」を参照してください。
- 組み込み Avro データソース: [SPARK-24768] インライン Spark- 論理型をサポートし、パフォーマンスと使いやすさを向上させるAvro パッケージ。
API
- 【スパーク-24035】 Pivot の SQL 構文
- 【スパーク-24940】 SQL クエリの合体と再パーティション化のヒント
- [スパーク-19602] 完全修飾列名の列解決をサポート
- [スパーク-21274] EXCEPT ALL と INTERSECT ALL を実装します
パフォーマンスと安定性
- [スパーク-16406] 多数の列の参照解像度は速くなるはずです
- [スパーク-23486] lookupFunctions の外部カタログから関数名をキャッシュする
- [スパーク-23803] サポートバケットプルーニング
- [スパーク-24802] 最適化ルールの除外
- 【スパーク-4502】 Parquet テーブルのネストされたスキーマのプルーニング
- [スパーク-24296] 2 GB を超えるブロックのレプリケーションをサポート
- [スパーク-24307] メモリから2GBを超えるメッセージの送信をサポート
- 【スパーク-23243】 RDDでのシャッフル+再パーティション化は、誤った回答につながる可能性があります
- 【スパーク-25181】 BlockManagerのマスタースレッドプールとスレーブスレッドプールのサイズを制限し、ネットワークが遅い場合のメモリオーバーヘッドを削減します
コネクタ
- [スパーク-23972] Parquet を 1.8.2 から 1.10.0 に更新します
- [SPARK-25419] Parquet 述語のプッシュダウンの改善
- [スパーク-23456] ネイティブORCリーダーはデフォルトでオンになっています
- 【スパーク-22279】 ネイティブの ORC リーダーを使用して、デフォルトで Hive serde テーブルを読み取ります
- 【スパーク-21783】 ORCフィルターのプッシュダウンをデフォルトでオンにする
- [スパーク-24959] JSONとCSVのcount()を高速化
- [スパーク-24244] 必要な列のみを CSV パーサーに解析する
- [スパーク-23786] CSV スキーマの検証 - 列名はチェックされません
- [スパーク-24423] JDBC から読み取るクエリを指定するためのオプション クエリ
- [スパーク-22814] JDBCパーティション列の日付/タイムスタンプをサポート
- [スパーク-24771] Avro を 1.7.7 から 1.8 に更新
PySpark
- 【スパーク-24215】データフレーム APIの熱心な評価を実装する
- [SPARK-22274] - [SPARK-22239] Pandas udf を使用したユーザー定義の集計関数
- [スパーク-24396] Python 用の構造化ストリーミング ForeachWriter を追加する
- [スパーク-23874] Apache Arrowを0.10.0にアップグレードします
- 【スパーク-25004】 spark.エグゼキューターを追加します。PySpark.memory 制限
- 【スパーク-23030】Arrow ストリーム形式を使用して、Pandas データフレームの作成と収集を行います
- [スパーク-24624]Python UDFとスカラーPandas UDFの混在をサポート
その他の注目すべき変更点
- [スパーク-24596] 非カスケード キャッシュの無効化
- [スパーク-23880] データをキャッシュするためのジョブをトリガーしないでください
- 【スパーク-23510】[スパーク-24312] Hive 2.2 および Hive 2.3 メタストアをサポート
- 【スパーク-23711】 UnsafeProjection のフォールバック ジェネレーターを追加
- [スパーク-24626] [テーブルの解析] コマンドでのロケーション サイズの計算の並列化
構造化ストリーミング
主な特長
- [スパーク-24565] foreachBatch (Python、Scala、Java) を使用して、各マイクロバッチの出力行を データフレーム として公開しました。
- [スパーク-24396] foreach と ForeachWriter の Python API を追加
- 【スパーク-25005】 「Kafka.isolation.level」をサポートして、トランザクション・プロデューサーを使用して書き込まれた Kafka トピックからコミットされたレコードのみを読み取ることができます。
その他の注目すべき変更点
- [SPARK-24662] 追加モードまたは完了モードでのストリームの LIMIT 演算子のサポート
- [スパーク-24763] ストリーミング集約の値から冗長なキーデータを削除する
- 【スパーク-24156】 入力ストリームにデータがない場合のステートフル操作 (mapGroupsWithState、ストリーム-ストリーム join、ストリーミング aggregation、ストリーミング dropDuplicates) による出力結果の生成や状態のクリーンアップの高速化。
- 【スパーク-24730】 クエリに複数の入力ストリームがある場合に最小または最大ウォーターマークを選択するためのサポート
- [スパーク-25399] マイクロバッチストリーミングの連続処理から実行スレッドを再利用すると、正確性の問題が発生する可能性があります。
- 【スパーク-18057】 Kafka クライアントのバージョンを 0.10.0.1 から 2.0.0 にアップグレードしました
MLlib
主な特長
- [スパーク-22666] 画像形式の Spark データソース
その他の注目すべき変更点
- [スパーク-22119]【スパーク-23412】[スパーク-23217] コサイン距離メジャーを KMeans/BisectingKMeans/クラスタリング エバリュエーターに追加する
- [スパーク-10697] アソシエーションルールマイニングでのリフト計算
- [スパーク-14682]【スパーク-24231】 spark.ml GBTに対してevaluateEachIterationメソッドまたは同等のものを提供します
- 【スパーク-7132】[SPARK-24333] 検証を spark.ml GBT に設定してフィットを追加
- [スパーク-15784][スパーク-19826] Power Iteration クラスタリングを spark.ml に追加する
- 【スパーク-15064】 StopWordsRemover でのロケールのサポート
- [スパーク-21741] データフレーム ベースの多変量サマライザ用の Python API
- [スパーク-21898][スパーク-23751] MLlib での KolmogorovSmirnovTest の機能パリティ
- 【スパーク-10884】 回帰および分類関連モデルの単一インスタンスでの予測をサポート
- [SPARK-23783] ML パイプライン用の新しい汎用エクスポート特性を追加する
- 【スパーク-11239】 ML線形回帰のPMMLエクスポート
SparkR
- [スパーク-25393] 新しい関数 from_csv() の追加
- [SPARK-21291] データフレームにR partitionBy APIを追加
- 【スパーク-25007】 SparkRにarray_intersect/array_except/array_union/shuffleを追加
- [SPARK-25234] 並列化での整数オーバーフローを回避
- [スパーク-25117] R に EXCEPT ALL と INTERSECT ALL のサポートを追加します
- [スパーク-24537] array_remove / array_zip / map_from_arrays / array_distinct
- 【スパーク-24187】 SparkRにarray_join機能を追加
- 【スパーク-24331】 SparkRにarrays_overlap、array_repeat、map_entriesを追加する
- [スパーク-24198] SparkRにスライス機能を追加
- [スパーク-24197] SparkR への array_sort 関数の追加
- [SPARK-24185] SparkRにフラット化機能を追加
- [スパーク-24069] array_min/array_max機能の追加
- 【スパーク-24054】 array_position機能追加/element_at機能
- 【スパーク-23770】 SparkR に repartitionByRange API を追加する
GraphXの
- [SPARK-25268] パーソナライズされたPageRankを並行して実行すると、シリアル化の例外がスローされる
非推奨
- 【スパーク-23451】 KMeans computeCost の廃止
- [スパーク-25345] ImageSchema からの readImages API の廃止
挙動の変更
- [スパーク-23549] タイムスタンプと日付を比較するときにタイムスタンプにキャスト
- [SPARK-24324]Pandas グループ化されたマップUDF 結果列を名前で割り当てる必要がある
- 【スパーク-25088】 Rest Server のデフォルトとドキュメントの更新
- [SPARK-23425] ワイルドカードを使用した HDFS ファイルパスのロードデータが正しく機能しない
- [SPARK-23173] from_json非null可能としてマークされているフィールドに対してnullを生成することができる
- [スパーク-24966] セット操作の優先順位ルールを実装する
- 【スパーク-25708】 グループ BY のない HAVING はグローバル集約であるべきです
- [スパーク-24341] 複数値 IN サブクエリを正しく処理する
- [スパーク-19724] 既存のデフォルト ロケーションを使用してマネージドテーブルを作成すると、例外がスローされます
既知の問題
- [SPARK-25793] BisectingKMeansでのモデルの読み込みバグ
- 【スパーク-25271】Hive Parquet テーブルを使用する CTAS では、ネイティブの Parquet ソースを活用する必要があります
- [SPARK-24935] Spark 2.2 以降で Hive UDAF を実行する際の問題
メンテナンスアップデート
「Databricks Runtime 5.0 メンテナンスの更新」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 16.04.5 LTSの
- Java : 1.8.0_162
- Scala : 2.11.8
- Python :2.7.12(Python 2クラスター用、3.5.2用)Python 3 クラスターの場合。
- R :Rバージョン3.4.4 (2018-03-15)
- GPU クラスター : 次の NVIDIA GPU ライブラリがインストールされています。
- テスラドライバー375.66
- CUDA 9.0の
- cuDNN 7.0
Scala 2.12 は Apache Spark 2.4 でサポートされていますが、Databricks Runtime 5.0 ではサポートされていません。
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
ansi2htmlの | 1.1.1 | argparse | 1.2.1 | バックポート-ABC | 0.5 |
Boto | 2.42.0 | ボト3 | 1.4.1 | ボトコア | 1.4.70 |
ブリューワー2MPL | 1.4.1 | 認証 | 2016.2.28 | cffi | 1.7.0 |
シャルデ | 2.3.0 | コロラマ州 | 0.3.7 | configobj の | 5.0.6 |
暗号化手法 | 1.5 | サーマルサイクラー | 0.10.0 | シトン | 0.24.1 |
デコレータ | 4.0.10 | docutilsの | 0.14 | 列挙型34 | 1.1.6 |
et-xmlファイル | 1.0.1 | フリータイプ-PY | 1.0.2 | 関数 | 1.0.2 |
ヒューズピー | 2.0.4 | 先物 | 3.2.0 | ggplotの | 0.6.8 |
html5lib の | 0.999 | イドナ | 2.1 | IPアドレス | 1.0.16 |
アイパイソン | 2.2.0 | ipython-genutils | 0.1.0 | JDCALの | 1.2 |
ジンジャ2 | 2.8 | jmespathの | 0.9.0 | LLVMLITEの | 0.13.0 |
lxml の | 3.6.4 | マークアップセーフ | 0.23 | Matplotlib | 1.5.3 |
MPLD3の | 0.2 | msgpack-Python | 0.4.7 | ndg-httpsクライアント | 0.3.3 |
ナンバ | 0.28.1 | ナムピー | 1.11.1 | openpyxlの | 2.3.2 |
pandas | 0.19.2 | pathlib2 の | 2.1.0 | パッツィ | 0.4.1 |
pexpect | 4.0.1 | ピクルシェア | 0.7.4 | 枕 | 3.3.1 |
種 | 18.0 | 通う | 3.9 | プロンプトツールキット | 1.0.7 |
サイコップ2 | 2.6.2 | PTYPROCESSの | 0.5.1 | py4j(ピー4J) | 0.10.3 |
ピアロー | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
ピグメント | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSLの | 16.0.0 |
pyparsing (英語) | 2.2.0 | pypngの | 0.0.18 | Python | 2.7.12 |
Python-dateutil | 2.5.3 | Python-geohash | 0.8.5 | ピッツ | 2016.6.1 |
要求 | 2.11.1 | S3トランスファー | 0.1.9 | Scikit-Learn | 0.18.1 |
scipy(サイピー) | 0.18.1 | 磨ぐ | 0.32 | シーボーン | 0.7.1 |
セットアップツール | 40.4.1 | シンプルJSON | 3.8.2 | シンプル3 | 1.0 |
シングルディスパッチ | 3.4.0.3 | 6 | 1.10.0 | 統計モデル | 0.6.1 |
竜巻 | 5.1.1 | トレイトレット | 4.3.0 | urllib3 の | 1.19.1 |
virtualenv | 15.0.1 | WC幅 | 0.1.7 | 輪 | 0.31.1 |
WSGIREFの | 0.1.2 |
インストールされている R ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
aバインド | 1.4-5 | assertthat | 0.2.0 | バックポート | 1.1.2 |
基 | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
バインダー | 0.1.1 | bindrcpp | 0.2.2 | bit | 1.1-14 |
ビット64 | 0.9-7 | ビットプス | 1.0-6 | ブロッブ | 1.1.1 |
ブート | 1.3-20 | 醸成 | 1.0-6 | 箒 | 0.5.0 |
コール | 3.0.0 | 車 | 3.0-2 | 車データ | 3.0-1 |
キャレット | 6.0-80 | セルレンジャー | 1.1.0 | クロン | 2.3-52 |
クラス | 7.3-14 | CLI | 1.0.0 | クラスター | 2.0.7-1 |
コードツール | 0.2-15 | カラースペース | 1.3-2 | コモンマーク | 1.5 |
コンパイラ | 3.4.4 | クレヨン | 1.3.4 | Curl | 3.2 |
CVSTの | 0.2-2 | データ.テーブル | 1.11.4 | データセット | 3.4.4 |
DBI | 1.0.0 | DDALPHAの | 1.3.4 | デオプティマー | 1.0-8 |
DESC | 1.2.0 | 開発ツール | 1.13.6 | ダイジェスト | 0.6.16 |
dimRed(ディムレッド) | 0.1.0 | ドエムシー | 1.3.5 | dplyrの | 0.7.6 |
災害リスク軽減 | 0.0.3 | ファンシ | 0.3.0 | フォーキャッツ | 0.3.0 |
For each | 1.4.4 | 外国の | 0.8-70 | GBMの | 2.1.3 |
幾何学 | 0.3-6 | ggplot2の | 3.0.0 | ギット2R | 0.23.0 |
glmnet | 2.0-16 | 膠 | 1.3.0 | ガウアー | 0.1.2 |
グラフィックス | 3.4.4 | grDevicesの | 3.4.4 | グリッド | 3.4.4 |
gsubfnの | 0.7 | GTABLE(GTABLE) | 0.2.0 | H2O(ヘトヘオ) | 3.20.0.2 |
避難所 | 1.1.2 | HMSの | 0.4.2 | httr | 1.3.1 |
hwriter | 1.3.2 | hwriterPlusの | 1.0-3 | イプレッド | 0.9-7 |
反復 子 | 1.0.10 | jsonlite | 1.5 | カーンラブ | 0.9-27 |
カーンスムース | 2.23-15 | ラベリング | 0.3 | 格子 | 0.20-35 |
溶岩 | 1.6.3 | レイジーバル | 0.2.1 | リトル | 0.3.4 |
LME4の | 1.1-18-1 | ルブリデート | 1.7.4 | 魔法 | 1.5-8 |
マグリット | 1.5 | マッププロジェクト | 1.2.6 | マップ | 3.3.0 |
マップツール | 0.9-3 | 質量 | 7.3-50 | マトリックス | 1.2-14 |
マトリックスモデル | 0.4-1 | メモ | 1.1.0 | メソッド | 3.4.4 |
mgcv | 1.8-24 | マイム | 0.5 | ミンカ | 1.2.4 |
モデルメトリクス | 1.2.0 | マンセル | 0.5.0 | mvtnorm | 1.0-8 |
nlme | 3.1-137 | NLOPTRの | 1.0.4 | ネット | 7.3-12 |
numDerivの | 2016.8-1 | オープンSSL | 1.0.2 | openxlsxの | 4.1.0 |
並列 | 3.4.4 | pbkrtestの | 0.4-7 | 柱 | 1.3.0 |
pkgbuild の | 1.0.0 | pkgconfig | 2.0.2 | pkg子猫 | 0.1.4 |
pkgload(パッケージロード) | 1.0.0 | plogrの | 0.2.0 | plsの | 2.7-0 |
プライル | 1.8.4 | 褒める | 1.0.0 | プリティユニット | 1.0.2 |
pROC | 1.12.1 | プロセスX | 3.2.0 | 製品 | 2018.04.18 |
プロト | 1.0.0 | PS | 1.1.0 | ゴロゴロ | 0.2.5 |
クォントレグ | 5.36 | R.メソッドS3 | 1.7.1 | R.oo | 1.22.0 |
R.utilsの | 2.7.0 | R6の | 2.2.2 | ランダムフォレスト | 4.6-14 |
RColorブリューワー | 1.1-2 | Rcpp | 0.12.18 | RcppEigen | 0.3.3.4.0 |
Rcppロール | 0.3.0 | RCのURL | 1.95-4.11 | 読み取り | 1.1.1 |
readxlの | 1.1.0 | レシピ | 0.1.3 | 再戦 | 1.0.1 |
形状変更2 | 1.4.3 | リオ | 0.5.10 | ラン | 0.2.2 |
ロバストベース | 0.93-2 | RODBC | 1.3-15 | リオキシジェン2 | 6.1.0 |
rpart | 4.1-13 | rprojroot さん | 1.3-2 | サーブ | 1.7-3 |
RSQLite (英語) | 2.1.1 | rstudioapi | 0.7 | 秤 | 1.0.0 |
sfsmisc さん | 1.1-2 | SP | 1.3-1 | SparkR | 2.4.0 |
スパース M | 1.77 | 空間的 | 7.3-11 | スプライン | 3.4.4 |
sqldf | 0.4-11 | スクエアム | 2017.10-1 | statmod の | 1.4.30 |
統計 | 3.4.4 | 統計4 | 3.4.4 | ストリンギ | 1.2.4 |
ストリンガー | 1.3.1 | 生存 | 2.42-6 | tcltk | 3.4.4 |
ティーチングデモ | 2.10 | テストを | 2.0.0 | ティブル | 1.4.2 |
ティディル | 0.8.1 | ティディセレクト | 0.2.4 | 日時 | 3043.102 |
ツール | 3.4.4 | UTF8 | 1.1.4 | ユーティリティ | 3.4.4 |
viridisライト | 0.3.0 | ウイスカー | 0.3-2 | ウィザー | 2.1.2 |
XML2の | 1.2.0 | 郵便番号 | 1.0.0 |
インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)
グループID | アーティファクト ID | バージョン |
---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.8.10 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.313 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.313 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.313 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.313 |
com.amazonawsの | aws-java-sdk-configの | 1.11.313 |
com.amazonawsの | aws-java-sdk-コア | 1.11.313 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.313 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.313 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.313 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.313 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.313 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.313 |
com.amazonawsの | aws-java-sdk-efs | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.313 |
com.amazonawsの | aws-java-sdk-emr | 1.11.313 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.313 |
com.amazonawsの | aws-java-sdk-iam | 1.11.313 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.313 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.313 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.313 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.313 |
com.amazonawsの | aws-java-sdk-logs | 1.11.313 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.313 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.313 |
com.amazonawsの | aws-java-sdk-rds | 1.11.313 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.313 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.313 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.313 |
com.amazonawsの | aws-java-sdk-ses | 1.11.313 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.313 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.313 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.313 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.313 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.313 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.313 |
com.amazonawsの | aws-java-sdk-sts | 1.11.313 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.313 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.313 |
com.amazonawsの | jmespath-java | 1.11.313 |
com.carrotsearchの | HPPCの | 0.7.2 |
com.chuusai(英語) | shapeless_2.11 | 2.3.2 |
com.clearspring.アナリティクス | stream | 2.7.0 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | dbml-local_2.11 | 0.5.0-db7-spark2.4 |
com.databricksの | dbml-local_2.11-tests | 0.5.0-db7-spark2.4 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapbのruntime_2.11 | 0.4.15-9 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.0.0 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.6.7 |
com.fasterxml.jackson.core | ジャクソンコア | 2.6.7 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.6.7.1 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.6.7 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.6.7 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.6.7 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.11 | 2.6.7.1 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | ZSTD-JNI | 1.3.2-2 |
com.github.rwl です。 | jトランスフォーム | 2.4.0 |
com.google.code.findbugs | JSR305 | 2.0.1 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | ジャワエワ | 0.3.2 |
com.h2データベース | H2 | 1.3.174 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.mchangeの | C3P0 | 0.9.5.1 |
com.mchangeの | mchange-commons-java | 0.2.10 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.2.8 |
com.microsoft.sqlserver | mssqlの-JDBC | 6.2.2.JRE8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.11 | 0.3 |
コム。囀る | チルジャワ | 0.9.3 |
コム。囀る | chill_2.11 | 0.9.3 |
コム。囀る | 寄木細工の hadoop バンドル | 1.6.0 |
コム。囀る | util-app_2.11 | 6.23.0 |
コム。囀る | util-core_2.11 | 6.23.0 |
コム。囀る | util-jvm_2.11 | 6.23.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging-api_2.11 | 2.1.2 |
Scala-logging | Scala-logging-slf4j_2.11 | 2.1.2 |
com.univocityの | univocity-パーサー | 2.7.3 |
com.vlkan | フラットバッファ | 1.2.0から3F79E055 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.7.0 |
commons-beanutilsの | commons-beanutils-core | 1.8.0 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.7 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.dropwizard.メトリクス | メトリクスコア | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-ガングリア | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-JSON | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-JVM | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-log4j | 3.1.5 |
io.dropwizard.メトリクス | メトリクスサーブレット | 3.1.5 |
io.nettyの | 網状 | 3.9.9.ファイナル |
io.nettyの | netty-すべて | 4.1.17.ファイナル |
io.プロメテウス | シンプルクライアント | 0.0.16 |
io.プロメテウス | simpleclient_common | 0.0.16 |
io.プロメテウス | simpleclient_dropwizard | 0.0.16 |
io.プロメテウス | simpleclient_servlet | 0.0.16 |
io.prometheus.jmx | 収集家 | 0.7 |
javax.activationの | アクティベーション | 1.1.1 |
javax.annotation | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.validationの | 検証API | 1.1.0.ファイナル |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.11 |
ジョダタイム | ジョダタイム | 2.9.3 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
ネット.ハイドロマティック | 固有ベースプロパティ | 1.1.5 |
net.razorvine | パイロライト | 4.13 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.6.3 |
ネット.スノーフレーク | スパーク-snowflake_2.11 | 2.4.1 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt | ONCRPCの | 1.0.7 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.4 |
org.antlr | antlr4ランタイム | 4.7 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 0.10.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory | 0.10.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 0.10.0 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.calcite | 方解石-アバチカ | 1.2.0-インキュベーション |
org.apache.calcite | 方解石コア | 1.2.0-インキュベーション |
org.apache.calcite | 方解石-linq4j | 1.2.0-インキュベーション |
org.apache.commonsの | コモンズ圧縮 | 1.8.1 |
org.apache.commonsの | コモンズ-クリプト | 1.0.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.5 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.3 |
org.apache.hadoop です。 | hadoop認証 | 2.7.3 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.3 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.3 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.4 |
org.apache.httpコンポーネント | httpコア | 4.4.8 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.orc | オークコアノーハイブ | 1.5.2 |
org.apache.orc | オーク-mapreduce-nohive | 1.5.2 |
org.apache.orc | オークシム | 1.5.2 |
org.apache.parquet | parquet-column | 1.10.1-データブリック2 |
org.apache.parquet | parquet-common | 1.10.1-データブリック2 |
org.apache.parquet | parquet-encoding | 1.10.1-データブリック2 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-データブリック2 |
org.apache.parquet | parquet-jackson | 1.10.1-データブリック2 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.9.3 |
org.apache.xbean | xbean-asm6-shaded (英語) | 4.8 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.6 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.9 |
org.codehaus.janino | ジャニーノ | 3.0.9 |
org.datanucleus (英語) | データ核-API-JDO | 3.2.6 |
org.datanucleus (英語) | データ核コア | 3.2.10 |
org.datanucleus (英語) | データ核-RDBMS | 3.2.9 |
組織Eclipse.jetty | 桟橋クライアント | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋の続き | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-HTTP | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-IO | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-JNDI | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋プラス | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋プロキシ | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋警備 | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋サーバー | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋サーブレット | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋サーブレット | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-util | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-webapp | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋XML | 9.3.20.v20170531 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.4.0-B34 |
org.glassfish.hk2 | HK2ロケーター | 2.4.0-B34 |
org.glassfish.hk2 | hk2-utilsの | 2.4.0-B34 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.1 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.4.0-B34 |
org.glassfish.hk2.external (英語) | javax.inject | 2.4.0-B34 |
org.glassfish.jersey.bundles.repackaged (英語) | ジャージー-グアバ | 2.22.2 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.22.2 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.22.2 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.22.2 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.22.2 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.22.2 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.22.2 |
org.hibernate | hibernate-validator | 5.1.1.ファイナル |
org.iq80.snappyの | てきぱき | 0.2 |
org.javassist | ジャバス奏者 | 3.18.1-GAの |
org.jboss.logging | jboss-ロギング | 3.1.3.GA |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.11 | 3.5.3 |
org.json4sの | json4s-core_2.11 | 3.5.3 |
org.json4sの | json4s-jackson_2.11 | 3.5.3 |
org.json4sの | json4s-scalap_2.11 | 3.5.3 |
org.lz4 | LZ4-Javaの | 1.4.0 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.1.2 |
org.mockitoの | mockito-すべて | 1.9.5 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.5.11 |
org.rocksdbの | ロックスDBJNI | 5.2.1 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.11 | 2.11.8 |
組織Scala-lang | Scala-Library.11 | 2.11.8 |
組織Scala-lang | Scala-reflect_2.11 | 2.11.8 |
組織Scala-lang.modules | Scala-parser-combinators_2.11 | 1.0.2 |
組織Scala-lang.modules | Scala-xml_2.11 | 1.0.5 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalactic | scalactic_2.11 | 3.0.3 |
org.scalanlp | そよ風-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatestの | scalatest_2.11 | 3.0.3 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | 7月-slf4j | 1.7.16 |
org.slf4j | SLF4J-APIの | 1.7.16 |
org.slf4j | SLF4J-ログ4J12 | 1.7.16 |
org.spark-project.hive です。 | ハイブビーライン | 1.2.1.スパーク2 |
org.spark-project.hive です。 | ハイブ CLI | 1.2.1.スパーク2 |
org.spark-project.hive です。 | ハイブ-エグゼクティブ | 1.2.1.スパーク2 |
org.spark-project.hive です。 | ハイブ-JDBC | 1.2.1.スパーク2 |
org.spark-project.hive です。 | Hive metastore | 1.2.1.スパーク2 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.spire-math | スパイア-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.tukaani | xz | 1.5 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | マクロ-compat_2.11 | 1.1.1 |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.7.1 |
org.yaml の | スネークヤム | 1.16 |
オロ | オロ | 2.0.8 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |