Databricks Runtime 6.5 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2020 年 4 月にこのバージョンをリリースしました。

次のリリースノートでは、 Databricks Runtime 6.5, powered by Apache Sparkに関する情報を提供しています。

新機能

Delta テーブルに対するすべての書き込み、更新、削除に対する操作メトリクスがテーブル履歴に表示されるようになりました

テーブルの履歴で、Delta テーブルに対するすべての書き込み、更新、削除の操作メトリクス (変更されたファイルや行の数など) を確認できるようになりました。これらのメトリクスの生成は、デフォルトで有効になっています。履歴を表示するには、次のコマンドを実行します。

SQL
DESCRIBE HISTORY deltaTableName

operationMetrics

Delta Lake ストリーミングマイクロバッチで処理されるデータのレート制限

構造化ストリーミングを使用して Delta Lake のデータを処理するときに、各マイクロバッチで処理されるデータ量のレートを制限するオプション maxBytesPerTrigger を設定できるようになりました。これにより、「ソフトマックス」が設定され、バッチがほぼこの量のデータを処理し、制限を超えて処理する可能性があります。

ストリーミングに Trigger.Once を使用する場合、このオプションは無視されます。さらに、このオプションを maxFilesPerTriggerと組み合わせて使用すると、マイクロバッチは maxFilesPerTrigger 制限または maxBytesPerTrigger 制限に達するまでデータを処理します。

改善

Snowflakeコネクタが2.5.9に更新されました

更新されたコネクタは、Snowflake JDBC ドライバーを 3.12.0 に昇格させます。

Java を 1.8.0_242 にアップグレードしました

このバージョンでは、トラストアンカーが CA 証明書であり、適切な拡張子が含まれていることを確認するために、トラストアンカー証明書に対する新しいチェックが導入されています。トラストアンカー証明書には、 ca フィールドを true に設定した Basic 制約拡張が含まれている必要があります。さらに、キー使用法拡張が含まれている場合は、 keyCertSign ビットを設定する必要があります。

自己署名のトラストアンカー証明書を使用する場合、新しいチェックによって導入される以下の例外に遭遇する可能性があります。

Console
TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

自己署名トラストアンカー証明書を引き続き使用するには、上記の例外に対処するための 2 つのオプションがあります。

Java 1.9.0_242 で導入された Java システム・プロパティーjdk.security.allowNonCaAnchor``true に設定して、以前の動作を復元します。spark.driver.extraJavaOptions と spark.executor.extraJavaOptions を使用して、このシステムプロパティをそれぞれ [ Spark ドライバー] と [エグゼキューター] に設定できます。
ca フィールドをトラストアンカー証明書にtrueするように設定した Basic Constraints 拡張機能を含めます。トラスト・アンカー証明書にキー使用法拡張が含まれている場合は、keyCertSign ビットを設定します。

Java Keytool を使用して公開鍵と秘密鍵のペアを生成する場合は、トラストアンカー証明書を生成するときに -ext BasicConstraints=ca:true を設定します。トラスト・アンカー証明書にキー使用法拡張が含まれている場合は、トラスト・アンカー証明書の生成時にkeyCertSignビット -ext KeyUsage=...,keyCertSign を設定します。

S3 Select コネクタ: DECIMAL と CASE WHEN の構文修正

Amazon S3 Select で DECIMAL(precision, scale) のサポートが削除されたため、Amazon S3 Select で DECIMAL 型に変換するときに、DECIMAL 型変換では精度とスケールが無視されます。すべての内部 CASE WHEN 参照は、Amazon S3 Select で公式にサポートされている COALESCE 関数と NULLIF 関数に置き換えられました。

Kinesis ストリーミングソースは、より効率的にサイズのタスクを起動します

Kinesis ストリーミングソースは、プリフェッチされたデータブロックを自動的に結合して、ブロックを処理するために生成されるタスクの数を減らすようになりました。

アップグレードされた R ライブラリ

インストールされているいくつかのRライブラリをアップグレードしました。インストールされている R ライブラリを参照してください。

非推奨

boto パッケージは非推奨であり、Databricks Runtime の今後のメジャーリリースで削除されます。Databricks では、代わりに boto3 を使用することをお勧めします。
次の R パッケージは、Databricks Runtime の今後のメジャーリリースで削除されます。
- aバインド
- ビットプス
- 車
- 車データ
- ドエムシー
- GBMの
- H2O(ヘトヘオ)
- リトル
- LME4の
- マッププロジェクト
- マップ
- マップツール
- マトリックスモデル
- ミンカ
- mvtnorm
- NLOPTRの
- openxlsxの
- pbkrtestの
- pkg子猫
- クォントレグ
- R.メソッドS3
- R.oo
- R.utilsの
- RcppEigen
- RCのURL
- リオ
- SP
- スパース M
- statmod の
- 郵便番号

Databricks では、次のコードを使用して、Databricks Runtime によってインストールされていない R パッケージをインストールして読み込むことをお勧めします。

R
if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Databricks Runtime 6.5 には Apache Spark 2.4.5 が含まれています。このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 6.4 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

[SPARK-27099] [SQL] 任意の列をハッシュするための「xxhash64」をLongに追加
[SPARK-26151] [SQL] 不正なCSVレコードに対して部分的な結果を返す
[SPARK-30927] [SS] StreamingQueryManagerは、終了したStreamingQueryへの参照を保持しないようにすべきです
【スパーク-22590】 sparkContext.localproperties をコピーします BroadcastExchangeExec.executionContext の子スレッドへ
[SPARK-30671] emptyデータフレームは LocalRelation を使用すべきです。
[SPARK-30556] [SQL] SQLExecutionで変更されたステータスをリセットし、ThreadLocalCapturedを使用
[SPARK-30763] [SQL] regexp_extractのjava.lang.IndexOutOfBoundsExceptionがグループ1にない問題を修正
[SPARK-30806] [SQL] UnboundedWindowFunctionFrame でグループごとに 1 回評価するようにします。
【スパーク-30731】非推奨の Mkdocs オプションの更新
[SPARK-30857] [SQL] エポック前のタイムスタンプの切り捨てを時間と日に修正
【スパーク-30798】 QueryExecution のスコープ Session.active
[SPARK-30793] [SQL] エポック前のタイムスタンプの切り捨てを分と秒に修正
[SPARK-30826] [SQL] Parquetに押し下げられたStringStartsWithの参照ケースを尊重します
[SPARK-30797] [SQL] 切り捨てテーブルでACLを設定するときに、従来のユーザー/グループ/その他の権限をACLエントリに設定する
[SPARK-30065] [SQL] データフレームNaFunctions.dropは重複する列を処理するべき
[SPARK-29890] [SQL] データフレームNaFunctions.fillは重複する列を処理するべき
[SPARK-30310] [CORE] SparkUncaughtExceptionHandlerで欠落している一致ケースを解決し、テストを追加
【スパーク-30512】専用のボスイベントループグループを追加

メンテナンスの更新

「Databricks Runtime 6.5 メンテナンスの更新」を参照してください。

システム環境

オペレーティングシステム :Ubuntu 16.04.6 LTSの
Java : 1.8.0_252
Scala : 2.11.12
Python : 3.7.3
R :Rバージョン3.6.3 (2020-02-29)
Delta Lake : 0.5.0

注記

Scala 2.12 は Apache Spark 2.4 の試験的な機能として使用できますが、Databricks Runtime 6.5 ではサポートされていません。

このセクションの内容：

インストール済み Python ライブラリ
インストールされている R ライブラリ
インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
ASN1暗号	0.24.0	バックコール	0.1.0	Boto	2.49.0
ボト3	1.9.162	ボトコア	1.12.163	認証	2019.3.9
cffi	1.12.2	シャルデ	3.0.4	暗号化手法	2.6.1
サーマルサイクラー	0.10.0	シトン	0.29.6	デコレータ	4.4.0
docutilsの	0.14	イドナ	2.8	ipykernel(英語)	5.1.0
アイパイソン	7.4.0	ipython-genutils	0.2.0	ジェダイ	0.13.3
jmespathの	0.9.4	jupyter-クライアント	5.2.4	ジュピターコア	4.4.0
キウイソルバー	1.1.0	Matplotlib	3.0.3	ナムピー	1.16.2
pandas	0.24.2	パルソ	0.3.4	パッツィ	0.5.1
pexpect	4.6.0	ピクルシェア	0.7.5	種	19.0.3
プロンプトツールキット	2.0.9	サイコップ2	2.7.6.1	PTYPROCESSの	0.6.0
ピアロー	0.13.0	pycparser	2.19	pycurlの	7.43.0
ピグメント	2.3.1	PyGObject	3.20.0	pyOpenSSLの	19.0.0
pyparsing (英語)	2.4.6	PySocks(パイソックス)	1.6.8	Python-apt	1.1.0.b1 + ubuntu0.16.04.8
Python-dateutil	2.8.0	ピッツ	2018.9	ピズム	18.0.0
要求	2.21.0	S3トランスファー	0.2.1	Scikit-Learn	0.20.3
scipy(サイピー)	1.2.1	シーボーン	0.9.0	セットアップツール	40.8.0
6	1.12.0	ssh-import-id	5.5	統計モデル	0.9.0
竜巻	6.0.2	トレイトレット	4.3.2	無人アップグレード	0.1
urllib3 の	1.24.1	virtualenv	16.4.1	WC幅	0.1.7
輪	0.33.1

インストールされている R ライブラリ

R ライブラリは、2020-02-26 の Microsoft CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
aバインド	1.4-5	アスクパス	1.1	assertthat	0.2.1
バックポート	1.1.5	基	3.6.3	base64enc	0.1-3
BH	1.72.0-3	bit	1.1-15.2	ビット64	0.9-7
ビットプス	1.0-6	ブロッブ	1.2.1	ブート	1.3-23
醸成	1.0-6	コール	3.4.2	車	3.0-6
車データ	3.0-3	キャレット	6.0-85	セルレンジャー	1.1.0
クロン	2.3-55	クラス	7.3-15	CLI	2.0.1
clipr	0.7.0	clisymbolsの	1.2.0	クラスター	2.1.0
コードツール	0.2-16	カラースペース	1.4-1	コモンマーク	1.7
コンパイラ	3.6.3	コンフィグ	0.3	COVRの	3.4.0
クレヨン	1.3.4	クロストーク	1.0.0	Curl	4.3
データ.テーブル	1.12.8	データセット	3.6.3	DBI	1.1.0
dbplirの	1.4.2	DESC	1.2.0	開発ツール	2.2.2
ダイジェスト	0.6.25	ドエムシー	1.3.6	dplyrの	0.8.4
DT	0.12	省略記号	0.3.0	評	0.14
ファンシ	0.4.1	ファーバー	2.0.3	ファストマップ	1.0.1
フォーキャッツ	0.4.0	For each	1.4.8	外国の	0.8-75
鍛える	0.2.0	FSの	1.3.1	GBMの	2.1.5
ジェネリック	0.0.2	ggplot2の	3.2.1	gh	1.1.0
ギット2R	0.26.1	glmnet	3.0-2	膠	1.3.1
ガウアー	0.2.1	グラフィックス	3.6.3	grDevicesの	3.6.3
グリッド	3.6.3	グリッドエクストラ	2.3	gsubfnの	0.7
GTABLE(GTABLE)	0.3.0	H2O(ヘトヘオ)	3.28.0.2	避難所	2.2.0
HMSの	0.5.3	htmlツール[htmltools]	0.4.0	htmlウィジェット	1.5.1
httpuv	1.5.2	httr	1.4.1	hwriter	1.3.2
hwriterPlusの	1.0-3	イニ	0.3.1	イプレッド	0.9-9
反復子	1.0.12	jsonlite	1.6.1	カーンスムース	2.23-16
ラベリング	0.3	あとで	1.0.0	格子	0.20-40
溶岩	1.6.6	レイジーバル	0.2.2	ライフサイクル	0.1.0
リトル	0.3.9	LME4の	1.1-21	ルブリデート	1.7.4
マグリット	1.5	マッププロジェクト	1.2.7	マップ	3.3.0
マップツール	0.9-9	質量	7.3-51.5	マトリックス	1.2-18
マトリックスモデル	0.4-1	メモ	1.1.0	メソッド	3.6.3
mgcv	1.8-31	マイム	0.9	ミンカ	1.2.4
モデルメトリクス	1.2.2.1	マンセル	0.5.0	mvtnorm	1.1-0
nlme	3.1-144	NLOPTRの	1.2.1	ネット	7.3-13
numDerivの	2016.8-1.1	オープンSSL	1.4.1	openxlsxの	4.1.4
並列	3.6.3	pbkrtestの	0.4-8.6	柱	1.4.3
pkgbuild の	1.0.6	pkgconfig	2.0.3	pkg子猫	0.1.5
pkgload(パッケージロード)	1.0.2	plogrの	0.2.0	プライル	1.8.5
褒める	1.0.0	プリティユニット	1.1.1	pROC	1.16.1
プロセスX	3.4.2	製品	2019.11.13	経過	1.2.2
約束	1.1.0	プロト	1.0.0	PS	1.3.2
ゴロゴロ	0.3.3	クォントレグ	5.54	R.メソッドS3	1.8.0
R.oo	1.23.0	R.utilsの	2.9.2	R2D3の	0.2.3
R6の	2.4.1	ランダムフォレスト	4.6-14	ラプディレクトリ	0.3.1
rcmdcheckの	1.3.3	RColorブリューワー	1.1-2	Rcpp	1.0.3
RcppEigen	0.3.3.7.0	RCのURL	1.98-1.1	読み取り	1.3.1
readxlの	1.3.1	レシピ	0.1.9	再戦	1.0.1
リモコン	2.1.1	形状変更2	1.4.3	レックス	1.1.2
リオ	0.5.16	ラン	0.4.4	RODBC	1.3-16
リオキシジェン2	7.0.2	rpart	4.1-15	rprojroot さん	1.3-2
サーブ	1.8-6	RSQLite (英語)	2.2.0	rstudioapi	0.11
rversions	2.0.1	秤	1.1.0	セッション情報	1.1.1
形	1.4.4	shiny	1.4.0	ソースツール	0.1.7
SP	1.4-0	sparklyr	1.1.0	SparkR	2.4.5
スパース M	1.78	空間的	7.3-11	スプライン	3.6.3
sqldf	0.4-11	スクエアム	2020.2	statmod の	1.4.34
統計	3.6.3	統計4	3.6.3	ストリンギ	1.4.6
ストリンガー	1.4.0	生存	2.44-1.1	SYSの	3.3
tcltk	3.6.3	ティーチングデモ	2.10	テストを	2.3.1
ティブル	2.1.3	ティディル	1.0.2	ティディセレクト	1.0.0
日時	3043.102	ツール	3.6.3	usethisさん	1.5.1
UTF8	1.1.4	ユーティリティ	3.6.3	vctrs	0.2.3
viridisライト	0.3.0	ウイスカー	0.4	ウィザー	2.1.2
XML2の	1.2.2	xopen(オーペン)	1.0.0	エクステーブル	1.8-4
ヤムラ	2.2.1	郵便番号	2.0.4

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.8.10
com.amazonawsの	aws-java-sdk-オートスケール	1.11.595
com.amazonawsの	aws-java-sdk-cloudformation	1.11.595
com.amazonawsの	aws-java-sdk-cloudfront	1.11.595
com.amazonawsの	aws-java-sdk-cloudhsm	1.11.595
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.11.595
com.amazonawsの	aws-java-sdk-cloudtrail	1.11.595
com.amazonawsの	aws-java-sdk-cloudwatch	1.11.595
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.11.595
com.amazonawsの	aws-java-sdk-コードデプロイ	1.11.595
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.11.595
com.amazonawsの	aws-java-sdk-cognitosync	1.11.595
com.amazonawsの	aws-java-sdk-configの	1.11.595
com.amazonawsの	aws-java-sdk-コア	1.11.595
com.amazonawsの	aws-java-sdk-データパイプライン	1.11.595
com.amazonawsの	aws-java-sdk-directconnectの	1.11.595
com.amazonawsの	aws-java-sdkディレクトリ	1.11.595
com.amazonawsの	aws-java-sdk-ダイナモDB	1.11.595
com.amazonawsの	aws-java-sdk-ec2 の	1.11.595
com.amazonawsの	aws-java-sdk-ecsの	1.11.595
com.amazonawsの	aws-java-sdk-efs	1.11.595
com.amazonawsの	aws-java-sdk-elasticache	1.11.595
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.11.595
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.11.595
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.11.595
com.amazonawsの	aws-java-sdk-emr	1.11.595
com.amazonawsの	aws-java-sdk-glacier	1.11.595
com.amazonawsの	aws-java-sdk-グルー	1.11.595
com.amazonawsの	aws-java-sdk-iam	1.11.595
com.amazonawsの	aws-java-sdk-importexport	1.11.595
com.amazonawsの	aws-java-sdk-キネシス	1.11.595
com.amazonawsの	aws-java-sdk-kmsの	1.11.595
com.amazonawsの	aws-java-sdk-ラムダ	1.11.595
com.amazonawsの	aws-java-sdk-logs	1.11.595
com.amazonawsの	aws-java-sdk-機械学習	1.11.595
com.amazonawsの	aws-java-sdk-opsworks	1.11.595
com.amazonawsの	aws-java-sdk-rds	1.11.595
com.amazonawsの	aws-java-sdk-レッドシフト	1.11.595
com.amazonawsの	aws-java-sdk-ルート53	1.11.595
com.amazonawsの	aws-java-sdk-s3 の	1.11.595
com.amazonawsの	aws-java-sdk-ses	1.11.595
com.amazonawsの	aws-java-sdk-simpledb	1.11.595
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.11.595
com.amazonawsの	aws-java-sdk-snsの	1.11.595
com.amazonawsの	aws-java-sdk-sqs	1.11.595
com.amazonawsの	aws-java-sdk-ssm	1.11.595
com.amazonawsの	aws-java-sdk-storagegateway	1.11.595
com.amazonawsの	aws-java-sdk-sts	1.11.595
com.amazonawsの	aws-java-sdk-サポート	1.11.595
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.11.595
com.amazonawsの	jmespath-java	1.11.595
com.carrotsearchの	HPPCの	0.7.2
com.chuusai(英語)	shapeless_2.11	2.3.2
com.clearspring.アナリティクス	stream	2.7.0
com.databricksの	サーブ	1.8-3
com.databricksの	dbml-local_2.11	0.5.0-db8-spark2.4
com.databricksの	dbml-local_2.11-tests	0.5.0-db8-spark2.4
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.11	0.4.15-9
com.databricks.scalapb	scalapbのruntime_2.11	0.4.15-9
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.0.0
com.fasterxml.jackson.core	ジャクソン-注釈	2.6.7
com.fasterxml.jackson.core	ジャクソンコア	2.6.7
com.fasterxml.jackson.core	ジャクソン-データバインド	2.6.7.3
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.6.7
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.6.7
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.6.7
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.11	2.6.7.1
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	コア	1.1.2
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-java-natives	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-java-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	ZSTD-JNI	1.3.2-2
com.github.rwl です。	jトランスフォーム	2.4.0
com.google.code.findbugs	JSR305	2.0.1
com.google.code.gson(英語)	gson	2.2.4
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.googlecode.javaewah	ジャワエワ	0.3.2
com.h2データベース	H2	1.3.174
com.jcraftの	jsch	0.1.50
com.jolboxの	ボーンカップ	0.8.0.リリース
com.microsoft.azure	azure-データレイク-store-sdk	2.2.8
com.microsoft.azure	azure-ストレージ	7.0.0
com.microsoft.sqlserver	mssqlの-JDBC	6.2.2.JRE8
com.ningの	圧縮-LZF	1.0.3
com.sun.mail	javax.mail	1.5.2
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.11	0.3
コム。囀る	チルジャワ	0.9.3
コム。囀る	chill_2.11	0.9.3
コム。囀る	寄木細工の hadoop バンドル	1.6.0
コム。囀る	util-app_2.11	6.23.0
コム。囀る	util-core_2.11	6.23.0
コム。囀る	util-jvm_2.11	6.23.0
com.タイプセーフ	コンフィグ	1.2.1
Scala-logging	Scala-logging-api_2.11	2.1.2
Scala-logging	Scala-logging-slf4j_2.11	2.1.2
com.univocityの	univocity-パーサー	2.7.3
com.vlkan	フラットバッファ	1.2.0から3F79E055
com.zaxxerの	ひかりCP	3.1.0
commons-beanutilsの	commons-beanutilsの	1.9.4
コモンズCLI	コモンズCLI	1.2
コモンズコーデック	コモンズコーデック	1.10
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ構成	コモンズ構成	1.6
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズ消化器	コモンズ消化器	1.8
コモンズファイルアップロード	コモンズファイルアップロード	1.3.3
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.4
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズネット	コモンズネット	3.1
コモンズプール	コモンズプール	1.5.4
info.ganglia.gmetric4j	gmetric4jの	1.0.7
io.エアリフト	エアコンプレッサー	0.10
io.dropwizard.メトリクス	メトリクスコア	3.1.5
io.dropwizard.メトリクス	メトリクス-ガングリア	3.1.5
io.dropwizard.メトリクス	メトリクス-グラファイト	3.1.5
io.dropwizard.メトリクス	メトリクス-healthchecks	3.1.5
io.dropwizard.メトリクス	メトリクス-jetty9	3.1.5
io.dropwizard.メトリクス	メトリクス-JSON	3.1.5
io.dropwizard.メトリクス	メトリクス-JVM	3.1.5
io.dropwizard.メトリクス	メトリクス-log4j	3.1.5
io.dropwizard.メトリクス	メトリクスサーブレット	3.1.5
io.nettyの	網状	3.9.9.ファイナル
io.nettyの	netty-すべて	4.1.42.ファイナル
javax.activationの	アクティベーション	1.1.1
javax.annotation	javax.annotation-api	1.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	JSPのAPI	2.1
javax.transaction	jta	1.1
javax.validationの	検証API	1.1.0.ファイナル
javax.ws.rs	javax.ws.rs-api	2.0.1
javax.xml.バインド	ヤックスビーAPI	2.2.2
javax.xml.ストリーム	スタックス-API	1.0-2
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.9.3
ジュニット	ジュニット	4.12
log4j(ログ4J)	apache-log4j-extras	1.2.17
log4j(ログ4J)	log4j(ログ4J)	1.2.17
ネット.ハイドロマティック	固有ベースプロパティ	1.1.5
net.razorvine	パイロライト	4.13
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
ネット.スノーフレーク	スノーフレーク-JDBC	3.12.0
ネット.スノーフレーク	スパーク-snowflake_2.11	2.5.9-spark_2.4
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt	ONCRPCの	1.0.7
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.4
org.antlr	antlr4ランタイム	4.7
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.9.2
org.apache.ant	アントJSCH	1.9.2
org.apache.ant	アントランチャー	1.9.2
org.apache.arrow(アパッチ・アロー)	arrow-format	0.10.0
org.apache.arrow(アパッチ・アロー)	arrow-memory	0.10.0
org.apache.arrow(アパッチ・アロー)	arrow-vector	0.10.0
org.apache.avro	AVRO	1.8.2
org.apache.avro	アブロIPC	1.8.2
org.apache.avro	アブロマップド-hadoop2	1.8.2
org.apache.calcite	方解石-アバチカ	1.2.0-インキュベーション
org.apache.calcite	方解石コア	1.2.0-インキュベーション
org.apache.calcite	方解石-linq4j	1.2.0-インキュベーション
org.apache.commonsの	コモンズ圧縮	1.8.1
org.apache.commonsの	コモンズ-クリプト	1.0.0
org.apache.commonsの	コモンズ-LANG3	3.5
org.apache.commonsの	コモンズ-数学3	3.4.1
org.apache.curator (英語)	キュレーター・クライアント	2.7.1
org.apache.curator (英語)	キュレーターフレームワーク	2.7.1
org.apache.curator (英語)	キュレーターレシピ	2.7.1
org.apache.derbyの	ダービー	10.12.1.1
org.apache.directory.api	API-ASN1-API	1.0.0-M20
org.apache.directory.api	APIのユーティリティ	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop です。	hadoop アノテーション	2.7.3
org.apache.hadoop です。	hadoop認証	2.7.3
org.apache.hadoop です。	hadoop クライアント	2.7.3
org.apache.hadoop です。	hadoop-共通	2.7.3
org.apache.hadoop です。	Hadoop-HDFS	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-アプリ	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-クライアント-共通	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-core	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-ジョブクライアント	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-shuffle	2.7.3
org.apache.hadoop です。	hadoop-yarn-api	2.7.3
org.apache.hadoop です。	hadoop-yarn-クライアント	2.7.3
org.apache.hadoop です。	hadoop-yarn-共通	2.7.3
org.apache.hadoop です。	hadoop-yarn-server-共通	2.7.3
org.apache.htrace	htrace-コア	3.1.0-インキュベーション
org.apache.httpコンポーネント	httpクライアント	4.5.6
org.apache.httpコンポーネント	httpコア	4.4.10
org.apache.ivy	蔦	2.4.0
org.apache.orc	オークコアノーハイブ	1.5.5
org.apache.orc	オーク-mapreduce-nohive	1.5.5
org.apache.orc	オークシム	1.5.5
org.apache.parquet	parquet-column	1.10.1.2-データブリックス4
org.apache.parquet	parquet-common	1.10.1.2-データブリックス4
org.apache.parquet	parquet-encoding	1.10.1.2-データブリックス4
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1.2-データブリックス4
org.apache.parquet	parquet-jackson	1.10.1.2-データブリックス4
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.9.3
org.apache.xbean	xbean-asm6-shaded (英語)	4.8
org.apache.zookeeper	動物園の飼育係	3.4.6
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン・ジャクサーズ	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.jackson	ジャクソン-XC	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.10
org.codehaus.janino	ジャニーノ	3.0.10
org.datanucleus (英語)	データ核-API-JDO	3.2.6
org.datanucleus (英語)	データ核コア	3.2.10
org.datanucleus (英語)	データ核-RDBMS	3.2.9
組織Eclipse.jetty	桟橋クライアント	9.3.27.v20190418
組織Eclipse.jetty	桟橋の続き	9.3.27.v20190418
組織Eclipse.jetty	桟橋-HTTP	9.3.27.v20190418
組織Eclipse.jetty	桟橋-IO	9.3.27.v20190418
組織Eclipse.jetty	桟橋-JNDI	9.3.27.v20190418
組織Eclipse.jetty	桟橋プラス	9.3.27.v20190418
組織Eclipse.jetty	桟橋プロキシ	9.3.27.v20190418
組織Eclipse.jetty	桟橋警備	9.3.27.v20190418
組織Eclipse.jetty	桟橋サーバー	9.3.27.v20190418
組織Eclipse.jetty	桟橋サーブレット	9.3.27.v20190418
組織Eclipse.jetty	桟橋サーブレット	9.3.27.v20190418
組織Eclipse.jetty	桟橋-util	9.3.27.v20190418
組織Eclipse.jetty	桟橋-webapp	9.3.27.v20190418
組織Eclipse.jetty	桟橋XML	9.3.27.v20190418
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.4.0-B34
org.glassfish.hk2	HK2ロケーター	2.4.0-B34
org.glassfish.hk2	hk2-utilsの	2.4.0-B34
org.glassfish.hk2	osgi-リソースロケーター	1.0.1
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.4.0-B34
org.glassfish.hk2.external (英語)	javax.inject	2.4.0-B34
org.glassfish.jersey.bundles.repackaged (英語)	ジャージー-グアバ	2.22.2
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.22.2
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.22.2
org.glassfish.jersey.coreの	ジャージークライアント	2.22.2
org.glassfish.jersey.coreの	ジャージー共通	2.22.2
org.glassfish.jersey.coreの	ジャージーサーバー	2.22.2
org.glassfish.jersey.mediaの	ジャージー-メディア-JAXB	2.22.2
org.hamcrest	ハムクレストコア	1.3
org.hamcrest	ハムクレスト-ライブラリ	1.3
org.hibernate	hibernate-validator	5.1.1.ファイナル
org.iq80.snappyの	てきぱき	0.2
org.javassist	ジャバス奏者	3.18.1-GAの
org.jboss.logging	jboss-ロギング	3.1.3.GA
org.jdbi	DBI	2.63.1
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.11	3.5.3
org.json4sの	json4s-core_2.11	3.5.3
org.json4sの	json4s-jackson_2.11	3.5.3
org.json4sの	json4s-scalap_2.11	3.5.3
org.lz4	LZ4-Javaの	1.4.0
org.mariadb.JDBC	mariadb-java-クライアント	2.1.2
org.mockitoの	mockito-コア	1.10.19
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.1.4
org.roaringbitmap	ロアリングビットマップ	0.7.45
org.roaringbitmap	シム	0.7.45
org.rocksdbの	ロックスDBJNI	6.2.2
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.11	2.11.12
組織Scala-lang	Scala-Library.11	2.11.12
組織Scala-lang	Scala-reflect_2.11	2.11.12
組織Scala-lang.modules	Scala-parser-combinators_2.11	1.1.0
組織Scala-lang.modules	Scala-xml_2.11	1.0.5
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.11	1.12.5
org.scalactic	scalactic_2.11	3.0.3
org.scalanlp	そよ風-macros_2.11	0.13.2
org.scalanlp	breeze_2.11	0.13.2
org.scalatestの	scalatest_2.11	3.0.3
org.slf4j	jcl-over-slf4j	1.7.16
org.slf4j	7月-slf4j	1.7.16
org.slf4j	SLF4J-APIの	1.7.16
org.slf4j	SLF4J-ログ4J12	1.7.16
org.spark-project.hive です。	ハイブビーライン	1.2.1.スパーク2
org.spark-project.hive です。	ハイブ CLI	1.2.1.スパーク2
org.spark-project.hive です。	ハイブ-JDBC	1.2.1.スパーク2
org.spark-project.hive です。	Hive metastore	1.2.1.スパーク2
org.spark-project.spark です。	未使用	1.0.0
org.spire-math	スパイア-macros_2.11	0.13.0
org.spire-math	spire_2.11	0.13.0
org.springframeworkの	スプリングコア	4.1.4.リリース
org.springframeworkの	スプリングテスト	4.1.4.リリース
org.tukaani	xz	1.5
org.typelevel	machinist_2.11	0.6.1
org.typelevel	マクロ-compat_2.11	1.1.1
org.xerial	sqlite-JDBC の	3.8.11.2
org.xerial.snappy(英語)	スナッピージャワ	1.1.7.3
org.yaml の	スネークヤム	1.16
オロ	オロ	2.0.8
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1
xmlenc	xmlenc	0.52

新機能​

Delta テーブルに対するすべての書き込み、更新、削除に対する操作メトリクスがテーブル履歴に表示されるようになりました​

Delta Lake ストリーミング マイクロバッチで処理されるデータのレート制限​

改善​

Snowflakeコネクタが2.5.9に更新されました​

Java を 1.8.0_242 にアップグレードしました​

S3 Select コネクタ: DECIMAL と CASE WHEN の構文修正​

Kinesis ストリーミングソースは、より効率的にサイズのタスクを起動します​

アップグレードされた R ライブラリ​

非推奨​

Apache Spark​

メンテナンスの更新​

システム環境​

インストール済み Python ライブラリ​

インストールされている R ライブラリ​

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)​

新機能