メインコンテンツまでスキップ

Databricks Runtime 5.3 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2019 年 4 月にこのバージョンをリリースしました。

次のリリースノートでは、 Databricks Runtime 5.3, powered by Apache Sparkに関する情報を提供しています。

新機能

Databricks Delta

タイムトラベルジョージア州

Delta タイムトラベルは一般提供に移行しました。 これにより、タイムスタンプ文字列またはバージョンを使用してテーブルのスナップショットをクエリする機能が追加され、SQL 構文とタイムスタンプ式の DataFrameReader オプションも使用できるようになります。

SQL
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

タイムトラベルには、次のような多くのユースケースがあります。

  • 分析、レポート、または出力 (機械学習モデルの出力など) の再作成は、特に規制された業界でのデバッグや監査に役立ちます。
  • 複雑なテンポラルクエリーを記述する。
  • データの誤りを修正する。
  • 急速に変化するテーブルの一連のクエリーに対してスナップショット分離を提供します。

Delta タイムトラベル

「Delta Lake テーブル履歴の操作」を参照してください。

Delta への MySQL テーブル レプリケーションのパブリック プレビュー

MySQL テーブルからデータを直接 Delta にストリームして、Spark アナリティクスまたはデータサイエンス ワークフローでダウンストリームで使用できます。MySQL が他のインスタンスへのレプリケーションに使用するのと同じ戦略を活用して、binlog を使用して更新を識別し、更新が処理され、次のようにDatabricksにストリームされます。

  • データベース・ログから変更イベントを読み取ります。
  • イベントを Databricks にストリームします。
  • Delta テーブルに同じ順序で書き込みます。
  • ソースから切断された場合に状態を維持します。

プライベート プレビュー機能

このリリースには、Delta Lake の次のプライベート プレビュー機能が含まれています。

  • Presto と Athena が Delta テーブルを直接クエリできるようにする実験的なコマンドを追加しました。
  • 自動最適化は、Delta テーブルへの個々の書き込み中にファイル レイアウトを最適化し、小さなファイルが Delta テーブルに蓄積されるのを防ぎ、超高速のクエリ パフォーマンスを維持します。 さらに、パーティション分割された Delta テーブルへの書き込みとアップサートは、書き込みに導入されたアダプティブ シャッフルのおかげで、大幅な高速化を享受できます。

いずれかのプレビューに参加する場合は、Databricks アカウント チームにお問い合わせください。

改善

  • ノートブック スコープのライブラリ:

    • dbutils.library.installPyPIでのエクストラのサポート。
    • Azure ファイルシステム (wasbsadlsabfss を含む) のノートブックスコープのライブラリインストールのサポート。
    • サポートされていないターゲット上のノートブック スコープのライブラリのエラー メッセージが改善されました。 たとえば、"ライブラリ ユーティリティは Databricks Runtime for Machine Learning では使用できません" などです。
  • Databricks Advisor には、クエリのパフォーマンスを向上させるための追加のヒントがあります。

    • パーティションごとに小さなファイルが多い場合 -> テーブルを Delta に変換してOPTIMIZE実行します。
    • 選択性の高いフィルター->がある場合は、 Delta に変換してZORDER BYを使用します。
    • Hive からのメタデータ フェッチがボトルネックになった場合 -> テーブルを Delta に変換します。
  • S3 Requester Pays: S3 の Requester Pays バケットからの読み取りのサポートが追加されました。

  • Ubuntuを16.04.5からアップグレードしました LTS から 16.04.6 まで LTSの。

  • Scala 2.11 を 2.11.8 から 2.11.12 にアップグレードしました。

  • インストールされている Python ライブラリの一部をアップグレードしました。

    • pip: 18.1 から 19.0.3。
    • setuptools: 40.6.3 から 40.8.0
    • ホイール:0.32.3から0.33.1
  • Rを3.4.4から3.5.2にアップグレードしました。

  • インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。

廃止

  • Apache Kafka 0.8 Connector for StructureStreaming はサポートされなくなりました。 Databricks Runtime 5.3 に含まれていますが、今後の Databricks Runtime リリースからは削除される予定です。
  • Databricks ML モデルのエクスポートは非推奨であり、Databricks Runtime 6.0 で削除されます。 代わりに、モデルのインポートとエクスポートには MLeap を使用してください。
  • 設定オプションとして spark.databricks.pyspark.enableExecutorFsPerms を削除しました。

バグの修正

  • クラスター全体の Python Egg ライブラリのインストールを修正し、テーブル ACL でクラスターを有効にしました。
  • コマンドが実行される前にキャンセルが呼び出される状況を修正することで、 Python コマンドのキャンセルを改善しました。
  • テーブル ACL のバグを修正しました: データベースまたはカタログ内のオブジェクトを一覧表示すると、表示権限のあるオブジェクトのみが表示されるようになりました。

Apache Spark

Databricks Runtime 5.3 には Apache Spark 2.4.0 が含まれています。 このリリースには、 Databricks Runtime 5.2 (EoS) に含まれるすべての Spark の修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-27134][SQL] array_distinct関数が配列の配列を含む列で正しく動作しない
  • [SPARK-24669][SQL] DROP DATABASE CASCADEの場合にテーブルを無効化
  • [SPARK-26572][SQL] 集計コード生成結果の評価を修正
  • [SPARK-27046][DSTREAMS] ドキュメントからSPARK-19185関連の参照を削除
  • [SPARK-26449][Python] データフレーム APIに変換方法を追加
  • [SPARK-26740][SQL] Spark 3.0によって書き込まれたタイムスタンプ/日付列の統計を読み取ります
  • [SPARK-26909][SQL] unsafeRow.hashCode() を使用します。 HashAggregate のハッシュ値として
  • [SPARK-26990][SQL] FileIndex: 可能な場合はユーザー指定のフィールド名を使用してください
  • [SPARK-26851][SQL] CachedRDDBuilderのダブルチェックロックを修正
  • [SPARK-26864][SQL] Python UDFが左半結合条件として使用されている場合、クエリが誤った結果を返す場合がある
  • [SPARK-26887][SQL][Python] 中間データとして datetime64 を作成する代わりに、datetime.dateを直接作成します。
  • [SPARK-26859][SQL] ベクトル化されていないORCデシリアライザーのフィールドライターインデックスのバグを修正
  • [SPARK-26864][SQL] Python UDFが結合条件として使用され、UDFが左半結合の両方のレッグからの属性を使用すると、クエリが誤った結果を返す場合がある
  • 【スパーク-24360】[スパーク-26091][バックポート][SQL]Hive 3.1メタストアをサポート
  • [SPARK-26873][SQL] 一貫したタイムスタンプを使用して、 Hadoop ジョブIDを作成します。
  • [SPARK-26734][ストリーミング] 大きなブロックキューのStackOverflowErrorを修正
  • [SPARK-26758][CORE] spark.dynamiAllocation.executorIdleTimeout後にアイドル状態のエグゼキューターが強制終了されない 価値
  • [SPARK-26751][SQL] ステートメントがバックグラウンドで実行され、HiveSQLExceptionではない例外をスローするときのメモリリークを修正
  • [SPARK-26806][SS] EventTimeStats.mergeがゼロを正しく処理すべき
  • [SPARK-26745][スパーク-24959][SQL]JSONデータソースでのカウントの最適化を元に戻す
  • [SPARK-26757][GRAPHX] 空のエッジ/頂点RDDの カウント に対して0を返す
  • [スパーク-26726] ブロードキャスト変数が使用するメモリ量をUI表示に同期します
  • [SPARK-26718] [SS] SS Kafka rateLimit 計算の整数オーバーフローを修正
  • [SPARK-26708][SQL] SQLキャッシュのキャッシュされたRDDとその物理プランとの間の不整合により、誤った結果が発生する
  • [SPARK-26735][SQL] 特殊式のプランの整合性を検証
  • [SPARK-26619][SQL] SerializeFromObjectから未使用のシリアライザーをプルーニングします。
  • [SPARK-26379][SS] ダミーのTimeZoneIdを使用して、CurrentBatchTimestampのUnresolvedExceptionを回避する
  • [SPARK-26495][SQL] SelectedFieldエクストラクターの簡素化
  • [SPARK-26379][SS] ストリーミングクエリにcurrent_timestamp/current_dateを追加する際の問題を修正
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQueryが空のレコードを正しく処理しない
  • [SPARK-26680][SQL] 条件が適切なうちにinputVarsを熱心に作成
  • [SPARK-26682][SQL] Hadoop で attemptNumber の代わりに taskAttemptID を使用します。
  • [SPARK-26706][SQL] ByteTypeの illegalNumericPrecedence を修正
  • [SPARK-26228][MLlib] グラミアン行列の計算時にOOMの問題が発生しました
  • [SPARK-26665][CORE] BlockTransferService.fetchBlockSyncが永久にハングするバグを修正
  • [SPARK-26549][PySpark] Python ワーカーの再利用が遅延反復可能範囲の並列化に効果がない問題を修正
  • [SPARK-26351][MLlib] MLlib 評価メトリクスのドキュメントと軽微な修正を更新
  • 【スパーク-26450】プロジェクション内のすべての列のスキーマのマップを再構築することを避ける
  • [SPARK-26638] [PySpark][ML] PySpark ベクトルクラスが常に単項否定のエラーを返す
  • [SPARK-26633][REPL] ExecutorClassLoader.getResourceAsStreamを追加
  • [SPARK-26629][SS] クエリで複数のファイルストリームのエラーを修正 + 1つのファイルストリームのデータがないバッチで再起動
  • [SPARK-25992][Python] ドキュメントのSparkContextをマルチプロセッシングで共有できない
  • [SPARK-26615][CORE] コアユニットテストでのトランスポートサーバー/クライアントリソースリークの修正
  • [SPARK-26350][SS] Kafka コンシューマーのグループIDを上書きできるように修正
  • [SPARK-26538][SQL] postgres数値配列の要素にデフォルトの精度とスケールを設定します
  • [SPARK-26586][SS]予期しないconfでストリームが実行される原因となる競合状態を修正
  • [SPARK-26551][SQL] 1つの複合フィールドを選択し、別のフィールドでis not null述語を持つ際のスキーマプルーニングエラーを修正
  • [SPARK-26576][SQL] ブロードキャストヒントがパーティション化されたテーブルに適用されない
  • [SPARK-26571][SQL] Hive SerdeマッピングをParquetおよびOrc FileFormatの正規名で更新
  • [SPARK-26267][SS] Kafka (2.4) からの誤ったオフセットを検出したときに再試行する
  • [SPARK-26559][ML][PySpark] ML 画像は1.9より前のnumpyバージョンでは動作しません
  • [SPARK-26078][SQL] INサブクエリの自己結合属性を重複排除する

メンテナンスの更新

「Databricks Runtime 5.3 メンテナンスの更新」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 16.04.6 LTSの
  • Java の:1.8.0_191
  • Scala : 2.11.12
  • Python :2.7.12(Python 2クラスター用、3.5.2用)Python 3 クラスターの場合。
  • R :Rバージョン3.5.2 (2018-12-20)
  • GPU クラスター : 次の NVIDIA GPU ライブラリがインストールされています。
    • テスラドライバー375.66
    • CUDA 9.0の
    • cuDNN 7.0
注記

Scala 2.12 は Apache Spark 2.4 でサポートされていますが、Databricks Runtime 5.3 ではサポートされていません。

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

ansi2htmlの

1.1.1

argparse

1.2.1

バックポート-ABC

0.5

Boto

2.42.0

ボト3

1.4.1

ボトコア

1.4.70

ブリューワー2MPL

1.4.1

認証

2016.2.28

cffi

1.7.0

シャルデ

2.3.0

コロラマ州

0.3.7

configobj の

5.0.6

暗号化手法

1.5

サーマルサイクラー

0.10.0

シトン

0.24.1

デコレータ

4.0.10

docutilsの

0.14

列挙型34

1.1.6

et-xmlファイル

1.0.1

フリータイプ-PY

1.0.2

関数

1.0.2

ヒューズピー

2.0.4

先物

3.2.0

ggplotの

0.6.8

html5lib の

0.999

イドナ

2.1

IPアドレス

1.0.16

アイパイソン

2.2.0

ipython-genutils

0.1.0

JDCALの

1.2

ジンジャ2

2.8

jmespathの

0.9.0

LLVMLITEの

0.13.0

lxml の

3.6.4

マークアップセーフ

0.23

Matplotlib

1.5.3

MPLD3の

0.2

msgpack-Python

0.4.7

ndg-httpsクライアント

0.3.3

ナンバ

0.28.1

ナムピー

1.11.1

openpyxlの

2.3.2

pandas

0.19.2

pathlib2 の

2.1.0

パッツィ

0.4.1

pexpect

4.0.1

ピクルシェア

0.7.4

3.3.1

19.0.3

通う

3.9

プロンプトツールキット

1.0.7

サイコップ2

2.6.2

PTYPROCESSの

0.5.1

py4j(ピー4J)

0.10.3

ピアロー

0.8.0

pyasn1

0.1.9

pycparser

2.14

ピグメント

2.1.3

PyGObject

3.20.0

pyOpenSSLの

16.0.0

pyparsing (英語)

2.2.0

pypngの

0.0.18

Python

2.7.12

Python-dateutil

2.5.3

Python-geohash

0.8.5

ピッツ

2016.6.1

要求

2.11.1

S3トランスファー

0.1.9

Scikit-Learn

0.18.1

scipy(サイピー)

0.18.1

磨ぐ

0.32

シーボーン

0.7.1

セットアップツール

40.8.0

シンプルJSON

3.8.2

シンプル3

1.0

シングルディスパッチ

3.4.0.3

6

1.10.0

統計モデル

0.6.1

竜巻

5.1.1

トレイトレット

4.3.0

urllib3 の

1.19.1

virtualenv

16.1.0

WC幅

0.1.7

0.33.1

WSGIREFの

0.1.2

インストールされている R ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

aバインド

1.4-5

アスクパス

1.1

assertthat

0.2.0

バックポート

1.1.3

3.5.2

base64enc

0.1-3

BH

1.69.0-1

bit

1.1-14

ビット64

0.9-7

ビットプス

1.0-6

ブロッブ

1.1.1

ブート

1.3-20

醸成

1.0-6

コール

3.1.1

3.0-2

車データ

3.0-2

キャレット

6.0-81

セルレンジャー

1.1.0

クロン

2.3-53

クラス

7.3-15

CLI

1.0.1

clipr

0.5.0

clisymbolsの

1.2.0

クラスター

2.0.7-1

コードツール

0.2-16

カラースペース

1.4-0

コモンマーク

1.7

コンパイラ

3.5.2

コンフィグ

0.3

クレヨン

1.3.4

Curl

3.3

データ.テーブル

1.12.0

データセット

3.5.2

DBI

1.0.0

dbplirの

1.3.0

DESC

1.2.0

開発ツール

2.0.1

ダイジェスト

0.6.18

ドエムシー

1.3.5

dplyrの

0.8.0.1

省略記号

0.1.0

ファンシ

0.4.0

フォーキャッツ

0.4.0

For each

1.4.4

外国の

0.8-71

鍛える

0.2.0

FSの

1.2.6

GBMの

2.1.5

ジェネリック

0.0.2

ggplot2の

3.1.0

gh

1.0.1

ギット2R

0.24.0

glmnet

2.0-16

1.3.0

ガウアー

0.1.2

グラフィックス

3.5.2

grDevicesの

3.5.2

グリッド

3.5.2

グリッドエクストラ

2.3

gsubfnの

0.7

GTABLE(GTABLE)

0.2.0

H2O(ヘトヘオ)

3.22.1.1

避難所

2.1.0

HMSの

0.4.2

htmlツール[htmltools]

0.3.6

htmlウィジェット

1.3

httr

1.4.0

hwriter

1.3.2

hwriterPlusの

1.0-3

イニ

0.3.1

イプレッド

0.9-8

反復 子

1.0.10

jsonlite

1.6

カーンスムース

2.23-15

ラベリング

0.3

格子

0.20-38

溶岩

1.6.5

レイジーバル

0.2.1

リトル

0.3.6

LME4の

1.1-20

ルブリデート

1.7.4

マグリット

1.5

マッププロジェクト

1.2.6

マップ

3.3.0

マップツール

0.9-5

質量

7.3-51.1

マトリックス

1.2-15

マトリックスモデル

0.4-1

メモ

1.1.0

メソッド

3.5.2

mgcv

1.8-27

マイム

0.6

ミンカ

1.2.4

モデルメトリクス

1.2.2

マンセル

0.5.0

mvtnorm

1.0-9

nlme

3.1-137

NLOPTRの

1.2.1

ネット

7.3-12

numDerivの

2016.8-1

オープンSSL

1.2.2

openxlsxの

4.1.0

並列

3.5.2

pbkrtestの

0.4-7

1.3.1

pkgbuild の

1.0.2

pkgconfig

2.0.2

pkg子猫

0.1.4

pkgload(パッケージロード)

1.0.2

plogrの

0.2.0

プライル

1.8.4

褒める

1.0.0

プリティユニット

1.0.2

pROC

1.13.0

プロセスX

3.2.1

製品

2018.04.18

経過

1.2.0

プロト

1.0.0

PS

1.3.0

ゴロゴロ

0.3.0

クォントレグ

5.38

R.メソッドS3

1.7.1

R.oo

1.22.0

R.utilsの

2.8.0

R2D3の

0.2.3

R6の

2.4.0

ランダムフォレスト

4.6-14

ラプディレクトリ

0.3.1

rcmdcheckの

1.3.2

RColorブリューワー

1.1-2

Rcpp

1.0.0

RcppEigen

0.3.3.5.0

Rcppロール

0.3.0

RCのURL

1.95-4.11

読み取り

1.3.1

readxlの

1.3.0

レシピ

0.1.4

再戦

1.0.1

リモコン

2.0.2

形状変更2

1.4.3

リオ

0.5.16

ラン

0.3.1

RODBC

1.3-15

リオキシジェン2

6.1.1

rpart

4.1-13

rprojroot さん

1.3-2

サーブ

1.8-6

RSQLite (英語)

2.1.1

rstudioapi

0.9.0

1.0.0

セッション情報

1.1.1

SP

1.3-1

sparklyr

1.0.0

SparkR

2.4.2

スパース M

1.77

空間的

7.3-11

スプライン

3.5.2

sqldf

0.4-11

スクエアム

2017.10-1

statmod の

1.4.30

統計

3.5.2

統計4

3.5.2

ストリンギ

1.3.1

ストリンガー

1.4.0

生存

2.43-3

SYSの

3.0

tcltk

3.5.2

ティーチングデモ

2.10

テストを

2.0.1

ティブル

2.0.1

ティディル

0.8.3

ティディセレクト

0.2.5

日時

3043.102

ツール

3.5.2

usethisさん

1.4.0

UTF8

1.1.4

ユーティリティ

3.5.2

viridisライト

0.3.0

ウイスカー

0.3-2

ウィザー

2.1.2

XML2の

1.2.0

xopen(オーペン)

1.0.0

ヤムラ

2.2.0

郵便番号

2.0.0

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.8.10

com.amazonawsの

aws-java-sdk-オートスケール

1.11.313

com.amazonawsの

aws-java-sdk-cloudformation

1.11.313

com.amazonawsの

aws-java-sdk-cloudfront

1.11.313

com.amazonawsの

aws-java-sdk-cloudhsm

1.11.313

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.11.313

com.amazonawsの

aws-java-sdk-cloudtrail

1.11.313

com.amazonawsの

aws-java-sdk-cloudwatch

1.11.313

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.11.313

com.amazonawsの

aws-java-sdk-コードデプロイ

1.11.313

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.11.313

com.amazonawsの

aws-java-sdk-cognitosync

1.11.313

com.amazonawsの

aws-java-sdk-configの

1.11.313

com.amazonawsの

aws-java-sdk-コア

1.11.313

com.amazonawsの

aws-java-sdk-データパイプライン

1.11.313

com.amazonawsの

aws-java-sdk-directconnectの

1.11.313

com.amazonawsの

aws-java-sdkディレクトリ

1.11.313

com.amazonawsの

aws-java-sdk-ダイナモDB

1.11.313

com.amazonawsの

aws-java-sdk-ec2 の

1.11.313

com.amazonawsの

aws-java-sdk-ecsの

1.11.313

com.amazonawsの

aws-java-sdk-efs

1.11.313

com.amazonawsの

aws-java-sdk-elasticache

1.11.313

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.11.313

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.11.313

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.11.313

com.amazonawsの

aws-java-sdk-emr

1.11.313

com.amazonawsの

aws-java-sdk-glacier

1.11.313

com.amazonawsの

aws-java-sdk-iam

1.11.313

com.amazonawsの

aws-java-sdk-importexport

1.11.313

com.amazonawsの

aws-java-sdk-キネシス

1.11.313

com.amazonawsの

aws-java-sdk-kmsの

1.11.313

com.amazonawsの

aws-java-sdk-ラムダ

1.11.313

com.amazonawsの

aws-java-sdk-logs

1.11.313

com.amazonawsの

aws-java-sdk-機械学習

1.11.313

com.amazonawsの

aws-java-sdk-opsworks

1.11.313

com.amazonawsの

aws-java-sdk-rds

1.11.313

com.amazonawsの

aws-java-sdk-レッドシフト

1.11.313

com.amazonawsの

aws-java-sdk-ルート53

1.11.313

com.amazonawsの

aws-java-sdk-s3 の

1.11.313

com.amazonawsの

aws-java-sdk-ses

1.11.313

com.amazonawsの

aws-java-sdk-simpledb

1.11.313

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.11.313

com.amazonawsの

aws-java-sdk-snsの

1.11.313

com.amazonawsの

aws-java-sdk-sqs

1.11.313

com.amazonawsの

aws-java-sdk-ssm

1.11.313

com.amazonawsの

aws-java-sdk-storagegateway

1.11.313

com.amazonawsの

aws-java-sdk-sts

1.11.313

com.amazonawsの

aws-java-sdk-サポート

1.11.313

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.11.313

com.amazonawsの

jmespath-java

1.11.313

com.carrotsearchの

HPPCの

0.7.2

com.chuusai(英語)

shapeless_2.11

2.3.2

com.clearspring.アナリティクス

stream

2.7.0

com.databricksの

サーブ

1.8-3

com.databricksの

dbml-local_2.11

0.5.0-db8-spark2.4

com.databricksの

dbml-local_2.11-tests

0.5.0-db8-spark2.4

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapbのruntime_2.11

0.4.15-9

com.esotericソフトウェア

kryo-shaded(クリョシェード)

4.0.2

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.0.0

com.fasterxml.jackson.core

ジャクソン-注釈

2.6.7

com.fasterxml.jackson.core

ジャクソンコア

2.6.7

com.fasterxml.jackson.core

ジャクソン-データバインド

2.6.7.1

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.6.7

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.6.7

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.6.7

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.11

2.6.7.1

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

ZSTD-JNI

1.3.2-2

com.github.rwl です。

jトランスフォーム

2.4.0

com.google.code.findbugs

JSR305

2.0.1

com.google.code.gson(英語)

gson

2.2.4

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

ジャワエワ

0.3.2

com.h2データベース

H2

1.3.174

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.microsoft.azure

azure-データレイク-store-sdk

2.2.8

com.microsoft.azure

azure-ストレージ

5.2.0

com.microsoft.sqlserver

mssqlの-JDBC

6.2.2.JRE8

com.ningの

圧縮-LZF

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.11

0.3

コム。囀る

チルジャワ

0.9.3

コム。囀る

chill_2.11

0.9.3

コム。囀る

寄木細工の hadoop バンドル

1.6.0

コム。囀る

util-app_2.11

6.23.0

コム。囀る

util-core_2.11

6.23.0

コム。囀る

util-jvm_2.11

6.23.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging-api_2.11

2.1.2

Scala-logging

Scala-logging-slf4j_2.11

2.1.2

com.univocityの

univocity-パーサー

2.7.3

com.vlkan

フラットバッファ

1.2.0から3F79E055

com.zaxxerの

ひかりCP

3.1.0

commons-beanutilsの

commons-beanutilsの

1.7.0

commons-beanutilsの

commons-beanutils-core

1.8.0

コモンズCLI

コモンズCLI

1.2

コモンズコーデック

コモンズコーデック

1.10

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ構成

コモンズ構成

1.6

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズ消化器

コモンズ消化器

1.8

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.4

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズネット

コモンズネット

3.1

コモンズプール

コモンズプール

1.5.4

info.ganglia.gmetric4j

gmetric4jの

1.0.7

io.エアリフト

エアコンプレッサー

0.10

io.dropwizard.メトリクス

メトリクスコア

3.1.5

io.dropwizard.メトリクス

メトリクス-ガングリア

3.1.5

io.dropwizard.メトリクス

メトリクス-グラファイト

3.1.5

io.dropwizard.メトリクス

メトリクス-healthchecks

3.1.5

io.dropwizard.メトリクス

メトリクス-jetty9

3.1.5

io.dropwizard.メトリクス

メトリクス-JSON

3.1.5

io.dropwizard.メトリクス

メトリクス-JVM

3.1.5

io.dropwizard.メトリクス

メトリクス-log4j

3.1.5

io.dropwizard.メトリクス

メトリクスサーブレット

3.1.5

io.nettyの

網状

3.9.9.ファイナル

io.nettyの

netty-すべて

4.1.17.ファイナル

io.プロメテウス

シンプルクライアント

0.0.16

io.プロメテウス

simpleclient_common

0.0.16

io.プロメテウス

simpleclient_dropwizard

0.0.16

io.プロメテウス

simpleclient_servlet

0.0.16

io.prometheus.jmx

収集家

0.7

javax.activationの

アクティベーション

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

JSPのAPI

2.1

javax.transaction

jta

1.1

javax.validationの

検証API

1.1.0.ファイナル

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.バインド

ヤックスビーAPI

2.2.2

javax.xml.ストリーム

スタックス-API

1.0-2

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.14.6

ジョダタイム

ジョダタイム

2.9.3

log4j(ログ4J)

apache-log4j-extras

1.2.17

log4j(ログ4J)

log4j(ログ4J)

1.2.17

ネット.ハイドロマティック

固有ベースプロパティ

1.1.5

net.razorvine

パイロライト

4.13

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

snowflake-ingest-sdk

0.9.5

ネット.スノーフレーク

スノーフレーク-JDBC

3.6.15

ネット.スノーフレーク

スパーク-snowflake_2.11

2.4.10-spark_2.4

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt

ONCRPCの

1.0.7

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.4

org.antlr

antlr4ランタイム

4.7

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

0.10.0

org.apache.arrow(アパッチ・アロー)

arrow-memory

0.10.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

0.10.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

アブロIPC

1.8.2

org.apache.avro

アブロマップド-hadoop2

1.8.2

org.apache.calcite

方解石-アバチカ

1.2.0-インキュベーション

org.apache.calcite

方解石コア

1.2.0-インキュベーション

org.apache.calcite

方解石-linq4j

1.2.0-インキュベーション

org.apache.commonsの

コモンズ圧縮

1.8.1

org.apache.commonsの

コモンズ-クリプト

1.0.0

org.apache.commonsの

コモンズ-LANG3

3.5

org.apache.commonsの

コモンズ-数学3

3.4.1

org.apache.curator (英語)

キュレーター・クライアント

2.7.1

org.apache.curator (英語)

キュレーターフレームワーク

2.7.1

org.apache.curator (英語)

キュレーターレシピ

2.7.1

org.apache.derbyの

ダービー

10.12.1.1

org.apache.directory.api

API-ASN1-API

1.0.0-M20

org.apache.directory.api

APIのユーティリティ

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop です。

hadoop アノテーション

2.7.3

org.apache.hadoop です。

hadoop認証

2.7.3

org.apache.hadoop です。

hadoop クライアント

2.7.3

org.apache.hadoop です。

hadoop-共通

2.7.3

org.apache.hadoop です。

Hadoop-HDFS

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-アプリ

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-クライアント-共通

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-ジョブクライアント

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop です。

hadoop-yarn-api

2.7.3

org.apache.hadoop です。

hadoop-yarn-クライアント

2.7.3

org.apache.hadoop です。

hadoop-yarn-共通

2.7.3

org.apache.hadoop です。

hadoop-yarn-server-共通

2.7.3

org.apache.htrace

htrace-コア

3.1.0-インキュベーション

org.apache.httpコンポーネント

httpクライアント

4.5.4

org.apache.httpコンポーネント

httpコア

4.4.8

org.apache.ivy

2.4.0

org.apache.orc

オークコアノーハイブ

1.5.2

org.apache.orc

オーク-mapreduce-nohive

1.5.2

org.apache.orc

オークシム

1.5.2

org.apache.parquet

parquet-column

1.10.1.1-データブリックス3

org.apache.parquet

parquet-common

1.10.1.1-データブリックス3

org.apache.parquet

parquet-encoding

1.10.1.1-データブリックス3

org.apache.parquet

parquet-format

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1.1-データブリックス3

org.apache.parquet

parquet-jackson

1.10.1.1-データブリックス3

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.9.3

org.apache.xbean

xbean-asm6-shaded (英語)

4.8

org.apache.zookeeper

動物園の飼育係

3.4.6

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン・ジャクサーズ

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.jackson

ジャクソン-XC

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.10

org.codehaus.janino

ジャニーノ

3.0.10

org.datanucleus (英語)

データ核-API-JDO

3.2.6

org.datanucleus (英語)

データ核コア

3.2.10

org.datanucleus (英語)

データ核-RDBMS

3.2.9

組織Eclipse.jetty

桟橋クライアント

9.3.20.v20170531

組織Eclipse.jetty

桟橋の続き

9.3.20.v20170531

組織Eclipse.jetty

桟橋-HTTP

9.3.20.v20170531

組織Eclipse.jetty

桟橋-IO

9.3.20.v20170531

組織Eclipse.jetty

桟橋-JNDI

9.3.20.v20170531

組織Eclipse.jetty

桟橋プラス

9.3.20.v20170531

組織Eclipse.jetty

桟橋プロキシ

9.3.20.v20170531

組織Eclipse.jetty

桟橋警備

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーバー

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋-util

9.3.20.v20170531

組織Eclipse.jetty

桟橋-webapp

9.3.20.v20170531

組織Eclipse.jetty

桟橋XML

9.3.20.v20170531

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.4.0-B34

org.glassfish.hk2

HK2ロケーター

2.4.0-B34

org.glassfish.hk2

hk2-utilsの

2.4.0-B34

org.glassfish.hk2

osgi-リソースロケーター

1.0.1

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.4.0-B34

org.glassfish.hk2.external (英語)

javax.inject

2.4.0-B34

org.glassfish.jersey.bundles.repackaged (英語)

ジャージー-グアバ

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.22.2

org.glassfish.jersey.coreの

ジャージークライアント

2.22.2

org.glassfish.jersey.coreの

ジャージー共通

2.22.2

org.glassfish.jersey.coreの

ジャージーサーバー

2.22.2

org.glassfish.jersey.mediaの

ジャージー-メディア-JAXB

2.22.2

org.hibernate

hibernate-validator

5.1.1.ファイナル

org.iq80.snappyの

てきぱき

0.2

org.javassist

ジャバス奏者

3.18.1-GAの

org.jboss.logging

jboss-ロギング

3.1.3.GA

org.jdbi

DBI

2.63.1

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.11

3.5.3

org.json4sの

json4s-core_2.11

3.5.3

org.json4sの

json4s-jackson_2.11

3.5.3

org.json4sの

json4s-scalap_2.11

3.5.3

org.lz4

LZ4-Javaの

1.4.0

org.mariadb.JDBC

mariadb-java-クライアント

2.1.2

org.mockitoの

mockito-すべて

1.9.5

org.objenesis

オブジェネシス

2.5.1

org.postgresql

PostgreSQL

42.1.4

org.roaringbitmap

ロアリングビットマップ

0.5.11

org.rocksdbの

ロックスDBJNI

5.2.1

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.11

2.11.12

組織Scala-lang

Scala-Library.11

2.11.12

組織Scala-lang

Scala-reflect_2.11

2.11.12

組織Scala-lang.modules

Scala-parser-combinators_2.11

1.1.0

組織Scala-lang.modules

Scala-xml_2.11

1.0.5

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalactic

scalactic_2.11

3.0.3

org.scalanlp

そよ風-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatestの

scalatest_2.11

3.0.3

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

7月-slf4j

1.7.16

org.slf4j

SLF4J-APIの

1.7.16

org.slf4j

SLF4J-ログ4J12

1.7.16

org.spark-project.hive です。

ハイブビーライン

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ CLI

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-エグゼクティブ

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-JDBC

1.2.1.スパーク2

org.spark-project.hive です。

Hive metastore

1.2.1.スパーク2

org.spark-project.spark です。

未使用

1.0.0

org.spire-math

スパイア-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframeworkの

スプリングコア

4.1.4.リリース

org.springframeworkの

スプリングテスト

4.1.4.リリース

org.tukaani

xz

1.5

org.typelevel

machinist_2.11

0.6.1

org.typelevel

マクロ-compat_2.11

1.1.1

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.7.1

org.yaml の

スネークヤム

1.16

オロ

オロ

2.0.8

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1

xmlenc

xmlenc

0.52