Databricks Runtime 4.3 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2018 年 8 月にこのバージョンをリリースしました。

important

このリリースは 2019 年 4 月 9 日に廃止されました。 Databricks Runtime の廃止ポリシーとスケジュールの詳細については、「Databricks サポートライフサイクル」を参照してください。

次のリリースノートでは、 Databricks Runtime 4.3, powered by Apache Sparkに関する情報を提供しています。

新機能

Delta Lake
- TRUNCATE TABLE コマンド: テーブルからすべての行を削除します。 Spark テーブルの対応するテーブルとは異なり、Delta テーブルでは特定のパーティションの削除はサポートされていません。
- ALTER TABLE REPLACE COLUMNS コマンド: Delta テーブルの列を置換します。列のコメントの変更と複数の列の並べ替えがサポートされています。
- FSCK REPAIR TABLE コマンド: 基になるファイル・システムで見つからなくなった Delta テーブルのトランザクション・ログからファイル・エントリを削除します。これは、これらのファイルが手動で削除された場合に発生する可能性があります。
- 対話型のクエリエクスペリエンスを向上させるための古い Delta テーブルに対するクエリのサポート: 最新の結果が必要ない場合に、古いバージョンのテーブルで Delta テーブルに対するクエリを実行できるようになりました。この機能により、特に基になる Delta テーブルがストリームを通じて継続的に更新される場合に、クエリの待機時間が短縮されます。
構造化ストリーミング
- Azure Synapse Analytics Connector のスケーラブルなストリーミング書き込みサポート。
- Python での foreachBatch() のサポート (Scala では既に利用可能)。詳細については、foreach と foreachBatch のドキュメントを参照してください。
- クエリに複数の入力ストリームがある場合に、最小または最大のウォーターマークを選択するためのサポート。以前は、最小タイムスタンプが常に使用されていました。詳細については、複数のウォーターマークポリシーを参照してください。
- Append および Complete 出力モードでのストリームの LIMIT 演算子のサポート。ドライバーでの OOM エラーを最小限に抑えるために、バインドされていないストリームで display() を使用すると、LIMIT が自動的に適用されます。

改善

Delta Lake
- 10000 行の挿入制限がない MERGE INTO コマンドの新しいスケーラブルな実装のプライベートプレビュー。これを試してみたい場合は、サポートにお問い合わせください。
- OPTIMIZE コマンドのパフォーマンスとスケーラビリティの向上 (特に大規模なクラスターの場合)。
- OPTIMIZE コマンドは、テーブルにインクリメンタルにコミットするようになりました。つまり、コマンドが失敗した場合でも、データ・セット全体を処理するために再試行を行う必要がなくなりました。
- Delta Lake をストリーミングソースとして使用する場合に新しいデータを検出するために必要なファイルシステム RPC の数を減らしました。
- Python でストリームから Delta テーブルを作成するための df.writeStream.table(table-name) のサポートが追加されました。
- S3 バージョニングが有効になっている場合の Delta Lake のテーブル読み込みレイテンシとストリーミングレイテンシが改善されました。
複数の結合、集計、またはウィンドウを含むクエリのパフォーマンスが向上しました。
ブロードキャストハッシュ結合を使用するクエリでのパーティションレベルのプルーニングの効率が向上しました。
重複する式を検出し、生成されるコードの量を減らし、特定の式の種類のパフォーマンスを向上させるためのステージ全体のコード生成の改善。
High Concurrencyクラスターで、ノートブックでの %fs の実行がサポートされるようになりました。
PySparkが使用するPy4Jを0.10.7に差し替えた。
TensorBoard UI で、パブリック IP を使用しない Community Edition とクラスターがサポートされるようになりました。TensorBoard UI を使用すると、AWS のセキュリティグループを変更する必要がなくなりました。

非推奨の機能

Databricks Delta の外部でのデータのスキップは非推奨です。データスキップの拡張バージョンは、Delta Lake の一部として引き続き利用できます。この機能を引き続き利用するには、Delta Lake の使用に切り替えることをお勧めします。詳細については、「Databricks Delta Data Skiping 」を参照してください。

バグの修正

ON 条件にターゲット・テーブルのみを参照する述部がある場合の Delta の MERGE INTO 述部プッシュダウン・ステートメントの誤った述部プッシュダウンが修正されました。
状態が削除されたときにタイムアウトを設定できない mapGroupsWithState と flatMapGroupsWithState のバグを修正しました(SPARK-22187)。
Trigger.Onceで正しく機能しない透かしのバグを修正しました（SPARK-24699。
Update コマンドは、SET 句のカラムを検証して、すべてのカラムが実際に存在し、カラムが複数回設定されていないことを確認します。
ディレクトリコミットのデッドロックを引き起こす可能性のある競合状態を修正しました。
CSE が有効になっているときにファイルサイズが誤って暗号化サイズに設定され、Parquet ファイルリーダーが失敗する S3 アクセスのバグを修正しました。
マウントの更新時に非推奨のバージョンの DBFS クライアントを使用するバグを修正しました。

既知の問題

テーブルの Delta Lake 構成オプションは、テーブルを読み込む最初のノートブックでのみ有効になります。

Apache Spark

Databricks Runtime 4.3 には Apache Spark 2.3.1 が含まれています。このリリースには、 Databricks Runtime 4.2 (EoS) に含まれるすべての修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

[SPARK-24934][SQL] インメモリパーティションプルーニングの上限/下限でサポートされているタイプを明示的に許可
- キャッシュされたデータに対するクエリフィルターで複雑なデータ型を使用すると、Spark は常に空の結果セットを返します。インメモリ統計ベースのプルーニングでは、複合型の上限/下限に null が設定されているため、正しくない結果が生成されます。この修正は、複合型に対してメモリ内の統計ベースのプルーニングを使用しないことです。
[SPARK-24957][SQL] 小数の平均とそれに続く集計が間違った結果を返す
- AVERAGE の誤った結果が返される可能性があります。 Average 演算子に追加された CAST は、Divide の結果がキャスト先の型と同じ場合、バイパスされます。
[SPARK-24867][SQL] DataFrameWriterにAnalysisBarrierを追加
- DataFrameWriter を使用して UDF で DataFrame を書き込む場合、SQL キャッシュは使用されません。これは、AnalysisBarrier で行った変更によって引き起こされた回帰であり、すべての Analyzer ルールがべき等であるとは限らないためです。
[SPARK-24790][SQL] Pivot で複雑な集計式を許可
- このチェックを緩和して、 ceil(sum(col1)) や sum(col1) + 1 などの複雑な集計式を許可します。これは、大まかに言えば、 Aggregate プランに表示される可能性のある ( Pandas UDFを除くすべての集計式を意味します)。
[SPARK-24870][SQL] SQLに大文字と小文字がある場合、キャッシュが正常に機能しない
- プランの正規化の問題を修正します。
[スパーク-24852]トレーニング spark.ml、更新された インストルメンテーション APIsを使用してもらいます。
[SPARK-24891][SQL] HandleNullInputsForUDFルールを修正
- HandleNullInputsForUDF ルールをべき等にして、プランが複数回分析されるときにキャッシュマネージャーでプランの不一致を回避します。
[SPARK-24878][SQL] null を含むプリミティブ型の配列型の逆関数を修正。
[SPARK-24871][SQL] Concat と MapConcat をリファクタリングして、各行に連結オブジェクトが作成されないようにします。
[SPARK-24802][SQL] 最適化ルールの除外のための新しい設定を追加
- 一部のオプティマイザルールを除外するための設定をユーザーに提供します。
[SPARK-24879][SQL] HiveパーティションプルーニングフィルターのプッシュダウンにおけるNPEを修正
- パーティション述語が col IN (1, null) のような場合、NPE がスローされます。このパッチで修正されます。
[SPARK-23731][SQL] FileSourceScanExec をシリアル化 (逆) した後に正規化可能に
[SPARK-24755][CORE] エグゼキューターの損失により、タスクが再送信されないことがある
- エグゼキューターの損失により Spark 失敗したタスクを再送信できない場合があるバグを修正します。このバグは Spark 2.3 で導入されました。
[SPARK-24677][CORE] MedianHeapからNoSuchElementExceptionを回避します
- タスク duration メトリクスを収集する際の投機的タスク関連のバグを修正します。
[SPARK-24868][Python] Pythonにシーケンス関数を追加
【スパーク-21811】【スパーク-24012】[スパーク-24737][スパーク-24165][スパーク-24734]【スパーク-24840】[SQL]型の強制と null 許容を修正します。
[SPARK-24699][SS] 更新されたウォーターマークをコミットログに保存することにより、ウォーターマークをTrigger.Onceで機能させる
[SPARK-24537][R] array_remove/array_zip/map_from_arrays/array_distinctを追加
[SPARK-22187][SS] flatMapGroupsWithStateの保存された状態のunsaferow形式を更新して、削除された状態でのタイムアウトを許可する（4.x）
[SPARK-24681][SQL] Hive metastoreでネストされた列名を確認する
- ネストされた列名に ','、':'、および ';' が含まれていないことを確認します Hive metastore
[SPARK-23486]lookupFunctionsの外部カタログから関数名をキャッシュします
- 関数の検索を高速化するため。
[SPARK-24781][SQL] フィルター/ソートでデータセットからの参照を使用しても機能しない場合がある
[SPARK-24208][SQL] FlatMapGroupsInPandasの属性重複排除を修正
- 重複する属性が原因で FlatMapGroupsInPandas を含むデータセットの自己結合エラーを修正
[SPARK-24530][Python] 環境変数SPHINXPYTHONを介してSphinxに Python バージョンを強制するコントロールを追加
[SPARK-24250]タスク内のSQLConfへのアクセスをサポート
- SQL 実行がトリガーされたときに、すべての SQL 設定をジョブのプロパティに保存します。エグゼキューター側では、ジョブのプロパティからSQLConfを再構築します。
[SPARK-23936][SQL] map_concatを実装
[SPARK-23914][SQL] array_union関数を追加
[SPARK-24732][SQL] MapTypes 間の型強制。
- MapTypes 間の型強制のサポートを追加します。これは、キー型と値型の両方に互換性があります。たとえば、型MapType(IntegerType, FloatType)およびMapType(LongType, DoubleType)型をMapType(LongType, DoubleType)型に強制できます
[SPARK-24662][SQL][SS] 構造化ストリーミングのサポート制限
[SPARK-24730][SS] ストリーミングクエリに複数のウォーターマークがある場合に、グローバルウォーターマークとしてmaxを選択するポリシーを追加（ブランチ-4.x）
[SPARK-24596][SQL] 非カスケードキャッシュの無効化
- 一時ビューのキャッシュを解除またはドロップする場合、基になるデータは変更されないため、ビューに依存するすべてのプランをカスケード的にキャッシュ解除する必要はありません。
[SPARK-23927][SQL] "sequence"式を追加
[SPARK-24636][SQL] array_join関数の配列の型強制
[SPARK-22384][SQL] 属性がキャストでラップされている場合、パーティションのプルーニングを改良
- パーティションの剪定を改善し、安全な型キャスト(intからlong、not longからint)でパーティション述語を押し下げることができます。
[SPARK-24385][SQL] EqualNullSafeの自己結合条件のあいまいさを解決
- 自己結合条件のあいまいさを解決するために EqualNullSafe を実装します。
[SPARK-24696][SQL] ColumnPruningルールが余分なプロジェクトの削除に失敗する
- Optimizer で無限ループエラーを引き起こしていた ColumnPruning ルールのバグを修正します。
[SPARK-24603][SQL] コメント内のfindTightestCommonType参照を修正
[SPARK-24613][SQL] UDFのキャッシュが後続の依存キャッシュと一致しない
- CacheManager での実行プランのコンパイル時に論理プランを AnalysisBarrier でラップし、プランが再度分析されるのを回避します。これもSpark 2.3のリグレッションです。
[SPARK-24017][SQL] ExternalCatalogをインターフェースにリファクタリング
[SPARK-24324][] PythonPandasグループ化されたマップUDF 結果列を名前で割り当てる必要がある
- 文字列でラベル付けされたユーザーの場合はスキーマ名で結果列を割り当て、それ以外の場合は position を使用して結果列を割り当てます。
[SPARK-23778][CORE] unionが空のRDDを取得したときに不要なシャッフルを避ける
- union メソッドで入力される空の RDD を無視して、他のすべての RDD が同じパーティション分割を持つ場合に不要な余分なシャッフルを回避します。
[SPARK-24552][CORE][SQL] 書き込みの試行回数の代わりに一意のIDを使用します。
- ステージが再試行されるときに試行番号が再利用されるため、試行番号の代わりに一意のタスク試行 ID を v2 データソースに渡します。これはデータソース V1 と V2 APIsに影響しますが、DBR は異なるコミットプロトコルを使用しているため、ファイル形式 APIs は影響を受けません。
[SPARK-24588][SS]ストリーミング参加には、子からのHashClusteredPartitioningが必要です。
[SPARK-24589][CORE] 出力コミットコーディネーターのタスクを正しく識別します。
- コーディネーターによって追跡されるステージの状態にさらに情報を追加し、出力をコミットできるタスクが 1 つだけになるようにします。この修正により、SPARK-18113 で導入された不要なコード変更も削除されます。
[SPARK-23933][SQL] map_from_arrays関数を追加
[SPARK-24583][SQL] InsertIntoDataSourceCommandのスキーマタイプが間違っています
- NOT NULL 制約を使用して Delta テーブルを作成する場合、違反を確認せずに NULL 値を削除し、NULL 値を挿入できます。
[SPARK-24542][SQL] UDFシリーズのUDFXPathXXXXにより、ユーザーは慎重に作成されたXMLを渡して任意のファイルにアクセスできます
- これはコミュニティから報告されたセキュリティパッチです。 UDFシリーズのUDFXPathXXXXは、ユーザーが慎重に作成されたXMLを渡して任意のファイルにアクセスすることを可能にします。ユーザーが外部アクセス制御ライブラリを使用すると、ユーザーはそれらをバイパスしてファイルの内容にアクセスする可能性があります。
[SPARK-23934][SQL] map_from_entries関数の追加
[SPARK-23912][SQL] array_distinctを追加
[SPARK-24574][SQL] array_contains、array_position、array_remove、element_at関数は列タイプを処理します

メンテナンスの更新

「Databricks Runtime 4.3 メンテナンスの更新」を参照してください。

システム環境

オペレーティングシステム :Ubuntu 16.04.4 LTSの
Java : 1.8.0_162
Scala : 2.11.8
Python :2.7.12(Python 2クラスター用、3.5.2用)Python 3 クラスターの場合。
R :Rバージョン3.4.4 (2018-03-15)
GPU クラスター : 次の NVIDIA GPU ライブラリがインストールされています。
- テスラドライバー375.66
- CUDA 9.0の
- cuDNN 7.0

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
ansi2htmlの	1.1.1	argparse	1.2.1	バックポート-ABC	0.5
Boto	2.42.0	ボト3	1.4.1	ボトコア	1.4.70
ブリューワー2MPL	1.4.1	認証	2016.2.28	cffi	1.7.0
シャルデ	2.3.0	コロラマ州	0.3.7	configobj の	5.0.6
暗号化手法	1.5	サーマルサイクラー	0.10.0	シトン	0.24.1
デコレータ	4.0.10	docutilsの	0.14	列挙型34	1.1.6
et-xmlファイル	1.0.1	フリータイプ-PY	1.0.2	関数	1.0.2
ヒューズピー	2.0.4	先物	3.2.0	ggplotの	0.6.8
html5lib の	0.999	イドナ	2.1	IPアドレス	1.0.16
アイパイソン	2.2.0	ipython-genutils	0.1.0	JDCALの	1.2
ジンジャ2	2.8	jmespathの	0.9.0	LLVMLITEの	0.13.0
lxml の	3.6.4	マークアップセーフ	0.23	Matplotlib	1.5.3
MPLD3の	0.2	msgpack-Python	0.4.7	ndg-httpsクライアント	0.3.3
ナンバ	0.28.1	ナムピー	1.11.1	openpyxlの	2.3.2
pandas	0.19.2	pathlib2 の	2.1.0	パッツィ	0.4.1
pexpect	4.0.1	ピクルシェア	0.7.4	枕	3.3.1
種	10.0.1	通う	3.9	プロンプトツールキット	1.0.7
サイコップ2	2.6.2	PTYPROCESSの	0.5.1	py4j(ピー4J)	0.10.3
ピアロー	0.8.0	pyasn1	0.1.9	pycparser	2.14
ピグメント	2.1.3	PyGObject	3.20.0	pyOpenSSLの	16.0.0
pyparsing (英語)	2.2.0	pypngの	0.0.18	Python	2.7.12
Python-dateutil	2.5.3	Python-geohash	0.8.5	ピッツ	2016.6.1
要求	2.11.1	S3トランスファー	0.1.9	Scikit-Learn	0.18.1
scipy(サイピー)	0.18.1	磨ぐ	0.32	シーボーン	0.7.1
セットアップツール	39.2.0	シンプルJSON	3.8.2	シンプル3	1.0
シングルディスパッチ	3.4.0.3	6	1.10.0	統計モデル	0.6.1
竜巻	5.0.2	トレイトレット	4.3.0	urllib3 の	1.19.1
virtualenv	15.0.1	WC幅	0.1.7	輪	0.31.1
WSGIREFの	0.1.2

インストールされている R ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
aバインド	1.4-5	assertthat	0.2.0	バックポート	1.1.2
基	3.4.4	BH	1.66.0-1	バインダー	0.1.1
bindrcpp	0.2.2	bit	1.1-12	ビット64	0.9-7
ビットプス	1.0-6	ブロッブ	1.1.1	ブート	1.3-20
醸成	1.0-6	箒	0.4.4	車	3.0-0
車データ	3.0-1	キャレット	6.0-79	セルレンジャー	1.1.0
クロン	2.3-52	クラス	7.3-14	CLI	1.0.0
クラスター	2.0.7-1	コードツール	0.2-15	カラースペース	1.3-2
コモンマーク	1.4	コンパイラ	3.4.4	クレヨン	1.3.4
Curl	3.2	CVSTの	0.2-1	データ.テーブル	1.10.4-3
データセット	3.4.4	DBI	0.8	DDALPHAの	1.3.1.1
デオプティマー	1.0-8	DESC	1.1.1	開発ツール	1.13.5
ダイクロマート	2.0-0	ダイジェスト	0.6.15	dimRed(ディムレッド)	0.1.0
ドエムシー	1.3.5	dplyrの	0.7.4	災害リスク軽減	0.0.3
フォーキャッツ	0.3.0	For each	1.4.4	外国の	0.8-70
GBMの	2.1.3	ggplot2の	2.2.1	ギット2R	0.21.0
glmnet	2.0-16	膠	1.2.0	ガウアー	0.1.2
グラフィックス	3.4.4	grDevicesの	3.4.4	グリッド	3.4.4
gsubfnの	0.7	GTABLE(GTABLE)	0.2.0	H2O(ヘトヘオ)	3.16.0.2
避難所	1.1.1	HMSの	0.4.2	httr	1.3.1
hwriter	1.3.2	hwriterPlusの	1.0-3	イプレッド	0.9-6
反復子	1.0.9	jsonlite	1.5	カーンラブ	0.9-25
カーンスムース	2.23-15	ラベリング	0.3	格子	0.20-35
溶岩	1.6.1	レイジーバル	0.2.1	リトル	0.3.3
LME4の	1.1-17	ルブリデート	1.7.3	マグリット	1.5
マッププロジェクト	1.2.6	マップ	3.3.0	マップツール	0.9-2
質量	7.3-50	マトリックス	1.2-14	マトリックスモデル	0.4-1
メモ	1.1.0	メソッド	3.4.4	mgcv	1.8-24
マイム	0.5	ミンカ	1.2.4	ムノルム	1.5-5
モデルメトリクス	1.1.0	マンセル	0.4.3	mvtnorm	1.0-7
nlme	3.1-137	NLOPTRの	1.0.4	ネット	7.3-12
numDerivの	2016.8-1	オープンSSL	1.0.1	openxlsxの	4.0.17
並列	3.4.4	pbkrtestの	0.4-7	柱	1.2.1
pkgconfig	2.0.1	pkg子猫	0.1.4	plogrの	0.2.0
プライル	1.8.4	褒める	1.0.0	プリティユニット	1.0.2
pROC	1.11.0	製品	1.6.1	プロト	1.0.0
心理	1.8.3.3	ゴロゴロ	0.2.4	クォントレグ	5.35
R.メソッドS3	1.7.1	R.oo	1.21.0	R.utilsの	2.6.0
R6の	2.2.2	ランダムフォレスト	4.6-14	RColorブリューワー	1.1-2
Rcpp	0.12.16	RcppEigen	0.3.3.4.0	Rcppロール	0.2.2
RCのURL	1.95-4.10	読み取り	1.1.1	readxlの	1.0.0
レシピ	0.1.2	再戦	1.0.1	形状変更2	1.4.3
リオ	0.5.10	ラン	0.2.0	ロバストベース	0.92-8
RODBC	1.3-15	リオキシジェン2	6.0.1	rpart	4.1-13
rprojroot さん	1.3-2	サーブ	1.7-3	RSQLite (英語)	2.1.0
rstudioapi	0.7	秤	0.5.0	sfsmisc さん	1.1-2
SP	1.2-7	SparkR	2.3.1	スパース M	1.77
空間的	7.3-11	スプライン	3.4.4	sqldf	0.4-11
スクエアム	2017.10-1	statmod の	1.4.30	統計	3.4.4
統計4	3.4.4	ストリンギ	1.1.7	ストリンガー	1.3.0
生存	2.42-3	tcltk	3.4.4	ティーチングデモ	2.10
テストを	2.0.0	ティブル	1.4.2	ティディル	0.8.0
ティディセレクト	0.2.4	日時	3043.102	ツール	3.4.4
UTF8	1.1.3	ユーティリティ	3.4.4	viridisライト	0.3.0
ウイスカー	0.3-2	ウィザー	2.1.2	XML2の	1.2.0

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.7.3
com.amazonawsの	aws-java-sdk-オートスケール	1.11.313
com.amazonawsの	aws-java-sdk-cloudformation	1.11.313
com.amazonawsの	aws-java-sdk-cloudfront	1.11.313
com.amazonawsの	aws-java-sdk-cloudhsm	1.11.313
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.11.313
com.amazonawsの	aws-java-sdk-cloudtrail	1.11.313
com.amazonawsの	aws-java-sdk-cloudwatch	1.11.313
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.11.313
com.amazonawsの	aws-java-sdk-コードデプロイ	1.11.313
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.11.313
com.amazonawsの	aws-java-sdk-cognitosync	1.11.313
com.amazonawsの	aws-java-sdk-configの	1.11.313
com.amazonawsの	aws-java-sdk-コア	1.11.313
com.amazonawsの	aws-java-sdk-データパイプライン	1.11.313
com.amazonawsの	aws-java-sdk-directconnectの	1.11.313
com.amazonawsの	aws-java-sdkディレクトリ	1.11.313
com.amazonawsの	aws-java-sdk-ダイナモDB	1.11.313
com.amazonawsの	aws-java-sdk-ec2 の	1.11.313
com.amazonawsの	aws-java-sdk-ecsの	1.11.313
com.amazonawsの	aws-java-sdk-efs	1.11.313
com.amazonawsの	aws-java-sdk-elasticache	1.11.313
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.11.313
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.11.313
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.11.313
com.amazonawsの	aws-java-sdk-emr	1.11.313
com.amazonawsの	aws-java-sdk-glacier	1.11.313
com.amazonawsの	aws-java-sdk-iam	1.11.313
com.amazonawsの	aws-java-sdk-importexport	1.11.313
com.amazonawsの	aws-java-sdk-キネシス	1.11.313
com.amazonawsの	aws-java-sdk-kmsの	1.11.313
com.amazonawsの	aws-java-sdk-ラムダ	1.11.313
com.amazonawsの	aws-java-sdk-logs	1.11.313
com.amazonawsの	aws-java-sdk-機械学習	1.11.313
com.amazonawsの	aws-java-sdk-opsworks	1.11.313
com.amazonawsの	aws-java-sdk-rds	1.11.313
com.amazonawsの	aws-java-sdk-レッドシフト	1.11.313
com.amazonawsの	aws-java-sdk-ルート53	1.11.313
com.amazonawsの	aws-java-sdk-s3 の	1.11.313
com.amazonawsの	aws-java-sdk-ses	1.11.313
com.amazonawsの	aws-java-sdk-simpledb	1.11.313
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.11.313
com.amazonawsの	aws-java-sdk-snsの	1.11.313
com.amazonawsの	aws-java-sdk-sqs	1.11.313
com.amazonawsの	aws-java-sdk-ssm	1.11.313
com.amazonawsの	aws-java-sdk-storagegateway	1.11.313
com.amazonawsの	aws-java-sdk-sts	1.11.313
com.amazonawsの	aws-java-sdk-サポート	1.11.313
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.11.313
com.amazonawsの	jmespath-java	1.11.313
com.carrotsearchの	HPPCの	0.7.2
com.chuusai(英語)	shapeless_2.11	2.3.2
com.clearspring.アナリティクス	stream	2.7.0
com.databricksの	サーブ	1.8-3
com.databricksの	dbml-local_2.11	0.4.1-db1-spark2.3
com.databricksの	dbml-local_2.11-tests	0.4.1-db1-spark2.3
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.11	0.4.15-9
com.databricks.scalapb	scalapbのruntime_2.11	0.4.15-9
com.esotericソフトウェア	kryo-shaded(クリョシェード)	3.0.3
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.0.0
com.fasterxml.jackson.core	ジャクソン-注釈	2.6.7
com.fasterxml.jackson.core	ジャクソンコア	2.6.7
com.fasterxml.jackson.core	ジャクソン-データバインド	2.6.7.1
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.6.7
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.6.7
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.6.7
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.11	2.6.7.1
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	コア	1.1.2
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-java-natives	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-java-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	ZSTD-JNI	1.3.2-2
com.github.rwl です。	jトランスフォーム	2.4.0
com.google.code.findbugs	JSR305	2.0.1
com.google.code.gson(英語)	gson	2.2.4
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.googlecode.javaewah	ジャワエワ	0.3.2
com.h2データベース	H2	1.3.174
com.jamesmurty.utilsの	java-xmlbuilder	1.1
com.jcraftの	jsch	0.1.50
com.jolboxの	ボーンカップ	0.8.0.リリース
com.mchangeの	C3P0	0.9.5.1
com.mchangeの	mchange-commons-java	0.2.10
com.microsoft.azure	azure-データレイク-store-sdk	2.2.8
com.microsoft.sqlserver	mssqlの-JDBC	6.2.2.JRE8
com.ningの	圧縮-LZF	1.0.3
com.sun.mail	javax.mail	1.5.2
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.11	0.3
コム。囀る	チルジャワ	0.8.4
コム。囀る	chill_2.11	0.8.4
コム。囀る	寄木細工の hadoop バンドル	1.6.0
コム。囀る	util-app_2.11	6.23.0
コム。囀る	util-core_2.11	6.23.0
コム。囀る	util-jvm_2.11	6.23.0
com.タイプセーフ	コンフィグ	1.2.1
Scala-logging	Scala-logging-api_2.11	2.1.2
Scala-logging	Scala-logging-slf4j_2.11	2.1.2
com.univocityの	univocity-パーサー	2.5.9
com.vlkan	フラットバッファ	1.2.0から3F79E055
com.zaxxerの	ひかりCP	3.1.0
commons-beanutilsの	commons-beanutilsの	1.7.0
commons-beanutilsの	commons-beanutils-core	1.8.0
コモンズCLI	コモンズCLI	1.2
コモンズコーデック	コモンズコーデック	1.10
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ構成	コモンズ構成	1.6
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズ消化器	コモンズ消化器	1.8
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.4
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズネット	コモンズネット	2.2
コモンズプール	コモンズプール	1.5.4
info.ganglia.gmetric4j	gmetric4jの	1.0.7
io.エアリフト	エアコンプレッサー	0.8
io.dropwizard.メトリクス	メトリクスコア	3.1.5
io.dropwizard.メトリクス	メトリクス-ガングリア	3.1.5
io.dropwizard.メトリクス	メトリクス-グラファイト	3.1.5
io.dropwizard.メトリクス	メトリクス-healthchecks	3.1.5
io.dropwizard.メトリクス	メトリクス-jetty9	3.1.5
io.dropwizard.メトリクス	メトリクス-JSON	3.1.5
io.dropwizard.メトリクス	メトリクス-JVM	3.1.5
io.dropwizard.メトリクス	メトリクス-log4j	3.1.5
io.dropwizard.メトリクス	メトリクスサーブレット	3.1.5
io.nettyの	網状	3.9.9.ファイナル
io.nettyの	netty-すべて	4.1.17.ファイナル
io.プロメテウス	シンプルクライアント	0.0.16
io.プロメテウス	simpleclient_common	0.0.16
io.プロメテウス	simpleclient_dropwizard	0.0.16
io.プロメテウス	simpleclient_servlet	0.0.16
io.prometheus.jmx	収集家	0.7
javax.activationの	アクティベーション	1.1.1
javax.annotation	javax.annotation-api	1.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	JSPのAPI	2.1
javax.transaction	jta	1.1
javax.validationの	検証API	1.1.0.ファイナル
javax.ws.rs	javax.ws.rs-api	2.0.1
javax.xml.バインド	ヤックスビーAPI	2.2.2
javax.xml.ストリーム	スタックス-API	1.0-2
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.11
ジョダタイム	ジョダタイム	2.9.3
log4j(ログ4J)	apache-log4j-extras	1.2.17
log4j(ログ4J)	log4j(ログ4J)	1.2.17
ネット.ハイドロマティック	固有ベースプロパティ	1.1.5
net.iharder	ベース64	2.3.8
net.java.dev.jets3t さん	ジェット3t	0.9.4
net.razorvine	パイロライト	4.13
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	スノーフレーク-JDBC	3.6.3
ネット.スノーフレーク	スパーク-snowflake_2.11	2.4.1
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt	ONCRPCの	1.0.7
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.4
org.antlr	antlr4ランタイム	4.7
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.9.2
org.apache.ant	アントJSCH	1.9.2
org.apache.ant	アントランチャー	1.9.2
org.apache.arrow(アパッチ・アロー)	arrow-format	0.8.0
org.apache.arrow(アパッチ・アロー)	arrow-memory	0.8.0
org.apache.arrow(アパッチ・アロー)	arrow-vector	0.8.0
org.apache.avro	AVRO	1.7.7
org.apache.avro	アブロIPC	1.7.7
org.apache.avro	AVRO-IPCテスト	1.7.7
org.apache.avro	アブロマップド-hadoop2	1.7.7
org.apache.calcite	方解石-アバチカ	1.2.0-インキュベーション
org.apache.calcite	方解石コア	1.2.0-インキュベーション
org.apache.calcite	方解石-linq4j	1.2.0-インキュベーション
org.apache.commonsの	コモンズ圧縮	1.4.1
org.apache.commonsの	コモンズ-クリプト	1.0.0
org.apache.commonsの	コモンズ-LANG3	3.5
org.apache.commonsの	コモンズ-数学3	3.4.1
org.apache.curator (英語)	キュレーター・クライアント	2.7.1
org.apache.curator (英語)	キュレーターフレームワーク	2.7.1
org.apache.curator (英語)	キュレーターレシピ	2.7.1
org.apache.derbyの	ダービー	10.12.1.1
org.apache.directory.api	API-ASN1-API	1.0.0-M20
org.apache.directory.api	APIのユーティリティ	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop です。	hadoop アノテーション	2.7.3
org.apache.hadoop です。	hadoop認証	2.7.3
org.apache.hadoop です。	hadoop クライアント	2.7.3
org.apache.hadoop です。	hadoop-共通	2.7.3
org.apache.hadoop です。	Hadoop-HDFS	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-アプリ	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-クライアント-共通	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-core	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-ジョブクライアント	2.7.3
org.apache.hadoop です。	hadoop-mapreduce-client-shuffle	2.7.3
org.apache.hadoop です。	hadoop-yarn-api	2.7.3
org.apache.hadoop です。	hadoop-yarn-クライアント	2.7.3
org.apache.hadoop です。	hadoop-yarn-共通	2.7.3
org.apache.hadoop です。	hadoop-yarn-server-共通	2.7.3
org.apache.htrace	htrace-コア	3.1.0-インキュベーション
org.apache.httpコンポーネント	httpクライアント	4.5.4
org.apache.httpコンポーネント	httpコア	4.4.8
org.apache.ivy	蔦	2.4.0
org.apache.orc	オークコアノーハイブ	1.4.3
org.apache.orc	オーク-mapreduce-nohive	1.4.3
org.apache.parquet	parquet-column	1.8.3-データブリックス2
org.apache.parquet	parquet-common	1.8.3-データブリックス2
org.apache.parquet	parquet-encoding	1.8.3-データブリックス2
org.apache.parquet	parquet-format	2.3.1
org.apache.parquet	parquet-hadoop	1.8.3-データブリックス2
org.apache.parquet	parquet-jackson	1.8.3-データブリックス2
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.9.3
org.apache.xbean	xbean-asm5-shaded (英語)	4.4
org.apache.zookeeper	動物園の飼育係	3.4.6
org.バウンシーキャッスル	bcprov-jdk15on	1.58
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン・ジャクサーズ	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.jackson	ジャクソン-XC	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.8
org.codehaus.janino	ジャニーノ	3.0.8
org.datanucleus (英語)	データ核-API-JDO	3.2.6
org.datanucleus (英語)	データ核コア	3.2.10
org.datanucleus (英語)	データ核-RDBMS	3.2.9
組織Eclipse.jetty	桟橋クライアント	9.3.20.v20170531
組織Eclipse.jetty	桟橋の続き	9.3.20.v20170531
組織Eclipse.jetty	桟橋-HTTP	9.3.20.v20170531
組織Eclipse.jetty	桟橋-IO	9.3.20.v20170531
組織Eclipse.jetty	桟橋-JNDI	9.3.20.v20170531
組織Eclipse.jetty	桟橋プラス	9.3.20.v20170531
組織Eclipse.jetty	桟橋プロキシ	9.3.20.v20170531
組織Eclipse.jetty	桟橋警備	9.3.20.v20170531
組織Eclipse.jetty	桟橋サーバー	9.3.20.v20170531
組織Eclipse.jetty	桟橋サーブレット	9.3.20.v20170531
組織Eclipse.jetty	桟橋サーブレット	9.3.20.v20170531
組織Eclipse.jetty	桟橋-util	9.3.20.v20170531
組織Eclipse.jetty	桟橋-webapp	9.3.20.v20170531
組織Eclipse.jetty	桟橋XML	9.3.20.v20170531
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.4.0-B34
org.glassfish.hk2	HK2ロケーター	2.4.0-B34
org.glassfish.hk2	hk2-utilsの	2.4.0-B34
org.glassfish.hk2	osgi-リソースロケーター	1.0.1
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.4.0-B34
org.glassfish.hk2.external (英語)	javax.inject	2.4.0-B34
org.glassfish.jersey.bundles.repackaged (英語)	ジャージー-グアバ	2.22.2
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.22.2
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.22.2
org.glassfish.jersey.coreの	ジャージークライアント	2.22.2
org.glassfish.jersey.coreの	ジャージー共通	2.22.2
org.glassfish.jersey.coreの	ジャージーサーバー	2.22.2
org.glassfish.jersey.mediaの	ジャージー-メディア-JAXB	2.22.2
org.hibernate	hibernate-validator	5.1.1.ファイナル
org.iq80.snappyの	てきぱき	0.2
org.javassist	ジャバス奏者	3.18.1-GAの
org.jboss.logging	jboss-ロギング	3.1.3.GA
org.jdbi	DBI	2.63.1
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.11	3.2.11
org.json4sの	json4s-core_2.11	3.2.11
org.json4sの	json4s-jackson_2.11	3.2.11
org.lz4	LZ4-Javaの	1.4.0
org.mariadb.JDBC	mariadb-java-クライアント	2.1.2
org.mockitoの	mockito-すべて	1.9.5
org.objenesis	オブジェネシス	2.1
org.postgresql	PostgreSQL	42.1.4
org.roaringbitmap	ロアリングビットマップ	0.5.11
org.rocksdbの	ロックスDBJNI	5.2.1
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.11	2.11.8
組織Scala-lang	Scala-Library.11	2.11.8
組織Scala-lang	Scala-reflect_2.11	2.11.8
組織Scala-lang	scalap_2.11	2.11.8
組織Scala-lang.modules	Scala-parser-combinators_2.11	1.0.2
組織Scala-lang.modules	Scala-xml_2.11	1.0.5
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.11	1.12.5
org.scalanlp	そよ風-macros_2.11	0.13.2
org.scalanlp	breeze_2.11	0.13.2
org.scalatestの	scalatest_2.11	2.2.6
org.slf4j	jcl-over-slf4j	1.7.16
org.slf4j	7月-slf4j	1.7.16
org.slf4j	SLF4J-APIの	1.7.16
org.slf4j	SLF4J-ログ4J12	1.7.16
org.spark-project.hive です。	ハイブビーライン	1.2.1.スパーク2
org.spark-project.hive です。	ハイブ CLI	1.2.1.スパーク2
org.spark-project.hive です。	ハイブ-エグゼクティブ	1.2.1.スパーク2
org.spark-project.hive です。	ハイブ-JDBC	1.2.1.スパーク2
org.spark-project.hive です。	Hive metastore	1.2.1.スパーク2
org.spark-project.spark です。	未使用	1.0.0
org.spire-math	スパイア-macros_2.11	0.13.0
org.spire-math	spire_2.11	0.13.0
org.springframeworkの	スプリングコア	4.1.4.リリース
org.springframeworkの	スプリングテスト	4.1.4.リリース
org.tukaani	xz	1.0
org.typelevel	machinist_2.11	0.6.1
org.typelevel	マクロ-compat_2.11	1.1.1
org.xerial	sqlite-JDBC の	3.8.11.2
org.xerial.snappy(英語)	スナッピージャワ	1.1.2.6
org.yaml の	スネークヤム	1.16
オロ	オロ	2.0.8
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1
xmlenc	xmlenc	0.52

新機能​

改善​

非推奨の機能​

バグの修正​

既知の問題​

Apache Spark​

メンテナンスの更新​

システム環境​

インストール済み Python ライブラリ​

インストールされている R ライブラリ​

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)​

新機能

改善