Databricks Runtime 7.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2020 年 6 月にこのバージョンをリリースしました。

次のリリースノートでは、Databricks Runtime 3.0 を搭載した 7.0 に関する情報を提供しています。Apache Spark

新機能

Databricks Runtime 7.0 には、次の新機能が含まれています。

Scala 2.12

Databricks Runtime 7.0 では、Scala が 2.11.12 から 2.12.10 にアップグレードされます。 Scala 2.12 と 2.11 の変更点の一覧は、 Scala 2.12.0 リリースノートにあります。
6.4 でリリースされた Auto Loader (パブリックプレビュー) は、 Databricks RuntimeDatabricks Runtime 7.0 で改善されました

Auto Loader を使用すると、新しいデータファイルが ETL中にクラウド BLOB ストアに到着したときに、より効率的に処理できます。これは、クラウドディレクトリを繰り返しリストし、検出されたファイルを追跡することで新しいファイルを識別するファイルベースの構造化ストリーミングよりも改善されており、ディレクトリが大きくなると非常に非効率的になる可能性があります。また、Auto Loader は、クラウド上でファイル通知サービスを手動で構成する必要があり、既存のファイルをバックフィルできないファイル通知ベースの構造化ストリーミングよりも便利で効果的です。詳細については、「Auto Loaderとは」を参照してください。
COPY INTO (パブリックプレビュー) は、べき等再試行で Delta Lake にデータを読み込むことができますが、Databricks Runtime 7.0 で改善されました

Databricks Runtime 6.4 でパブリックプレビューとしてリリースされた COPY INTO SQL コマンドを使用すると、べき等再試行で Delta Lake にデータを読み込むことができます。今日、データを Delta Lake にロードするには、 Apache Spark DataFrame APIsを使用する必要があります。負荷中に障害が発生した場合は、それらを効果的に処理する必要があります。新しい COPY INTO コマンドは、SQL でデータをロードするための使い慣れた宣言型インターフェイスを提供します。このコマンドは、以前にロードされたファイルを追跡し、障害が発生した場合に安全に再実行します。詳細については、 COPY INTOを参照してください。

改善

その他の Amazon Kinesis 並列ストリーム:

Amazon Kinesis 構造化ストリーミングソースは、ListShards by デフォルトを使用して、Kinesis ストリーム内のシャードの一覧を取得します。これには、ストリームを正常に実行するための追加の IAM アクセス許可が必要です。以前のバージョンの Databricks Runtimeでは、DescribeStream はデフォルトによって使用されていました。 ListShards には、 DescribeStream よりも大幅に高い API 制限があります ( ListShards のストリームあたり 100 リクエスト/秒、 DescribeStreamの AWS アカウント全体で 10 リクエスト/秒)。この変更により、ユーザーはKinesis で 10 を超える並列ストリームを構造化ストリーミングで実行できるようになります。Databricks
Azure Synapse (旧称 SQL データウェアハウス) コネクタは、COPY ステートメントをサポートしています。

COPYの主な利点は、特権の低いユーザーが、Azure Synapse に対する厳密なCONTROLアクセス許可を必要とせずに Azure Synapse にデータを書き込むことができることです。
ノートブックのセルに Matplolib オブジェクトをインラインで表示するために、%matplotlib inline マジックコマンドが不要になりました。デフォルトでは、常にインラインで表示されます。
Matplolib の図形は transparent=Falseでレンダリングされるようになったため、ユーザー指定の背景が失われません。この動作は、Spark 構成を spark.databricks.workspace.matplotlib.transparent trueに設定することでオーバーライドできます。
高同時実行モードのクラスターで構造化ストリーミング本番運用ジョブを実行すると、以前に実行されていたジョブが適切に終了しなかったために、ジョブの再起動が失敗することがありました。 Databricks Runtime 6.3 では、クラスターの SQL 構成spark.sql.streaming.stopActiveRunOnRestart trueを設定して、前回の実行が停止するようにする機能が導入されました。この設定は、 Databricks Runtime 7.0 のデフォルトによって設定されます。

ライブラリの主な変更点

Python パッケージ

アップグレードされた主要な Python パッケージ:

boto3 1.9.162 -> 1.12.0
matplotlib 3.0.3 -> 3.1.3
numpy 1.16.2 -> 1.18.1
Pandas 0.24.2 -> 1.0.1
ピップ 19.0.3 -> 20.0.2
pyarrow 0.13.0 -> 0.15.1
psycopg2 2.7.6 -> 2.8.4
scikit-learn 0.20.3 -> 0.22.1
scipy 1.2.1 -> 1.4.1
seaborn 0.9.0 -> 0.10.0

Python パッケージの削除:

Boto (boto3を使用)
pycurlの

注記

Databricks Runtime 7.0 の Python 環境では、インストールされている Ubuntu システムの Python とは異なる Python 3.7 が使用されます。 /usr/bin/python と /usr/bin/python2 は Python 2.7 にリンクされ /usr/bin/python3 Python 3.6 にリンクされています。

Rパッケージ

追加されたRパッケージ:

箒
高い
アイソバンド
ニット
Markdown
モデラー
レプレックス
rmarkdown
アヴェスト
セレクタ
ティディバース
タイニーテックス
xfun

削除された R パッケージ:

aバインド
ビットプス
車
車データ
ドエムシー
GBMの
H2O(ヘトヘオ)
リトル
LME4の
マッププロジェクト
マップ
マップツール
マトリックスモデル
ミンカ
mvtnorm
NLOPTRの
openxlsxの
pbkrtestの
pkg子猫
クォントレグ
R.メソッドS3
R.oo
R.utilsの
RcppEigen
RCのURL
リオ
SP
スパース M
statmod の
郵便番号

Java と Scala のライブラリ

AWS SDK (aws-java-sdk) を 1.11.655 にアップグレードしました。
Amazon Kinesis Client を 1.12.0 にアップグレード
Hive ユーザー定義関数の処理に使用される Apache Hive バージョンと Hive SerDes を 2.3 にアップグレードしました。
以前は、 Azure Storage と Key Vault の jar は Databricks Runtimeの一部としてパッケージ化されていたため、クラスターにアタッチされたライブラリの異なるバージョンを使用できませんでした。 com.microsoft.azure.storage と com.microsoft.azure.keyvault の下のクラスは、Databricks Runtime のクラスパス上になくなりました。これらのクラスパスのいずれかに依存している場合は、ここでAzure StorageSDK またはAzure Key VaultSDK クラスターにアタッチする必要があります。

動作の変更

このセクションでは、Databricks Runtime 6.6 から Databricks Runtime 7.0 への動作の変更点について説明します。下位の Databricks Runtime リリースから Databricks Runtime 7.0 以降にワークロードを移行する際には、これらに注意する必要があります。

Spark の動作の変更

Databricks Runtime 7.0 は Spark 3.0 上に構築された最初の Databricks Runtime であるため、Spark 2.4 上に構築された Databricks Runtime 5.5 LTS または 6.x からワークロードを移行する際には、注意が必要な変更が多数あります。これらの変更は、このリリースノート記事の Apache Spark セクションにある各機能領域の「動作の変更」セクションに記載されています。

Spark コア、Spark SQL、構造化ストリーミングの動作の変更
MLlib の動作の変更
SparkR の動作の変更

その他の動作変更

Scala 2.12 へのアップグレードには、以下の変更が含まれます。
- パッケージ・セルのシリアライゼーションは、異なる方法で処理されます。次の例は、動作の変更とその処理方法を示しています。
  
  次のパッケージセルで定義されているように foo.bar.MyObjectInPackageCell.run() を実行すると、エラーがトリガーされます java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$
  Scala
```
package foo.bar

case class MyIntStruct(int: Int)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

object MyObjectInPackageCell extends Serializable {

  // Because SparkSession cannot be created in Spark executors,
  // the following line triggers the error
  // Could not initialize class foo.bar.MyObjectInPackageCell$
  val spark = SparkSession.builder.getOrCreate()

  def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))

  val theUDF = udf(foo)

  val df = {
    val myUDFInstance = theUDF(col("id"))
    spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
  }

  def run(): Unit = {
    df.collect().foreach(println)
  }
}
```
  このエラーを回避するには、シリアル化可能なクラス内で MyObjectInPackageCell をラップします。
- DataStreamWriter.foreachBatchを使用する特定のケースでは、ソースコードの更新が必要になります。この変更は、Scala 2.12 がラムダ式から SAM 型への自動変換を行い、あいまいさを引き起こす可能性があるためです。
  
  たとえば、次の Scala コードはコンパイルできません。
  Scala
```
streams
  .writeStream
  .foreachBatch { (df, id) => myFunc(df, id) }
```
  コンパイルエラーを修正するには、 foreachBatch { (df, id) => myFunc(df, id) } を foreachBatch(myFunc _) に変更するか、Java APIを明示的に使用します foreachBatch(new VoidFunction2 ...)。
AWS SDK を 1.11.655 にアップグレードすると、 org.apache.hadoop.fs.s3native.NativeS3FileSystem を使用するには AWS Signature v4 とバケットエンドポイントのセットアップが必要になります。ユーザーが S3N ファイルシステムを使用して S3 へのリクエストに署名するように AWS Signature v2 を設定している場合、またはユーザーが「+」文字を含む S3 パスにアクセスし、レガシー S3N ファイルシステム ( s3n://bucket/path/+file など) を使用している場合、403 Forbidden エラーがスローされることがあります。
Hive ユーザー定義関数と Hive SerDes の処理に使用される Apache Hive のバージョンが 2.3 にアップグレードされるため、次の 2 つの変更が必要です。
- Hive の SerDe インターフェイスは、抽象クラス AbstractSerDe.カスタム Hive SerDe の実装では、 AbstractSerDe への移行が必要です。
- spark.sql.hive.metastore.jars を builtin に設定すると、Hive 2.3 メタストアクライアントを使用して Databricks Runtime 7.0 のメタストアにアクセスすることになります。Hive 1.2 ベースの外部メタストアにアクセスする必要がある場合は、Hive 1.2 jar を含むフォルダーに spark.sql.hive.metastore.jars を設定します。

廃止と削除

データスキップインデックスは Databricks Runtime 4.3 で非推奨になり、Databricks Runtime 7.0 で削除されました。代わりに、データスキップ機能が向上した Delta テーブルを使用することをお勧めします。
Databricks Runtime 7.0 では、Apache Spark の基になるバージョンで Scala 2.12 が使用されます。 Scala 2.11 に対してコンパイルされたライブラリは、予期しない方法で Databricks Runtime 7.0 クラスターを無効にする可能性があるため、Databricks Runtime 7.0 以降を実行しているクラスターでは、すべてのクラスターにインストールされるように構成されたライブラリはインストールされません。クラスターライブラリタブには、ステータス Skipped と、ライブラリ処理の変更を説明する非推奨メッセージが表示されます。ただし、Databricks Runtime Databricksプラットフォームバージョン 3.20 がワークスペースにリリースされる前に 以前のバージョンので作成されたクラスターがありそのクラスターをDatabricks Runtime 7.0 を使用するように編集した場合、すべてのクラスターにインストールされるように構成されたライブラリは、そのクラスターにインストールされます。この場合、インストールされているライブラリに互換性のない JAR があると、クラスターが無効になる可能性があります。回避策は、クラスターを複製するか、新しいクラスターを作成することです。
org.apache.hadoop.fs.s3native.NativeS3FileSystem また、 org.apache.hadoop.fs.s3.S3FileSystem は S3 へのアクセスをサポートしなくなりました。

Databricks Runtimeの s3a://、s3://、および s3n:// ファイルシステムスキームのデフォルトである com.databricks.s3a.S3AFileSystem を使用することを強くお勧めします。com.databricks.s3a.S3AFileSystemへの移行についてサポートが必要な場合は、Databricks サポートまたは Databricks アカウントチームにお問い合わせください。
「DBFS とは」を使用する機能は、Databricks Runtime 7.0 の Community Edition で削除されました。代わりに、 %fs cp を使用してローカルディレクトリとの間でデータをコピーすることをお勧めします。

Apache Spark

Databricks Runtime 7.0 には Apache Spark 3.0 が含まれています。

このセクションの内容：

Core、Spark SQL、構造化ストリーミング
MLlib
SparkR
非推奨
既知の問題

Core、Spark SQL、構造化ストリーミング

ハイライト

(プロジェクト水素)アクセラレータ対応スケジューラ (SPARK-24615)
アダプティブクエリ実行 (SPARK-31412)
動的パーティションプルーニング (SPARK-11150)
タイプヒント付きの再設計された Pandas UDF API (SPARK-28264)
構造化ストリーミング UI (SPARK-29543)
カタログプラグイン API (SPARK-31121)
ANSI SQLとの互換性の向上

パフォーマンスの強化

アダプティブクエリ実行 (SPARK-31412)
- 基本フレームワーク (SPARK-23128)
- ポストシャッフルパーティション番号の調整 (SPARK-28177)
- 動的サブクエリの再利用 (SPARK-28753)
- ローカルシャッフルリーダー (SPARK-28560)
- スキュー結合の最適化 (SPARK-29544)
- 連続したシャッフルブロックの読み取りの最適化 (SPARK-9853)
動的パーティションプルーニング (SPARK-11150)
その他のオプティマイザー・ルール
- ルール ReuseSubquery (SPARK-27279)
- ルール PushDownLeftSemiAntiJoin (SPARK-19712)
- ルール PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
- ReplaceNullWithFalse ルール (SPARK-25860)
- 結合/集約のサブクエリで制限なく並べ替えを除外するルール (SPARK-29343)
- ルール PruneHiveTablePartitions (SPARK-15616)
- Generate からの不要なネストされたフィールドのプルーニング (SPARK-27707)
- ルール RewriteNonCorrelatedExists (SPARK-29800)
テーブルキャッシュの同期コストの最小化 (SPARK-26917)、(SPARK-26617)、(SPARK-26548)
集計コードを小さな関数に分割する (SPARK-21870)
INSERT コマンドと ALTER TABLE ADD PARTITION コマンドでバッチ処理を追加する (SPARK-29938)

拡張性の強化

カタログプラグイン API (SPARK-31121)
データソース V2 API refactoring (SPARK-25390)
Hive 3.0 および 3.1 メタストアのサポート (SPARK-27970)、(SPARK-24360)
Spark プラグインインターフェイスをドライバーに拡張 (SPARK-29396)
エグゼキュータープラグインを使用したユーザー定義メトリクスによるSparkメトリクスシステムの拡張（SPARK-28091
拡張列処理サポートの開発者 APIs (SPARK-27396)
DSV2 を使用した組み込みソースマイグレーション: Parquet、 ORC、 CSV、 JSON、 Kafka、テキスト、 Avro (SPARK-27589)
SparkExtensions で FunctionInjection を許可する (SPARK-25560)
アグリゲーターを UDAF として登録できます (SPARK-27296)

コネクタの機能強化

ハイパフォーマンス S3A コミッターのサポート (SPARK-23977)
非決定論的式による列の剪定 (SPARK-29768)
データソーステーブルでのサポート spark.sql.statistics.fallBackToHdfs (SPARK-25474)
ファイルソースのサブクエリフィルターを使用したパーティションのプルーニングを許可する (SPARK-26893)
データソースフィルターでのサブクエリのプッシュダウンの回避 (SPARK-25482)
ファイルソースからの再帰的なデータ読み込み (SPARK-27990)
Parquet/ORC
- 選言述語のプッシュダウン (SPARK-27699)
- ネストされた列の枝刈り込みを一般化し (SPARK-25603)、デフォルトでオンに (SPARK-29805)
- Parquet のみ
  - ネストされたフィールドの Parquet 述語プッシュダウン (SPARK-17636)
- ORCのみ
  - ORC のマージスキーマのサポート (SPARK-11412)
  - ORC のネストされたスキーマのプルーニング (SPARK-27034)
  - ORC の述語変換の複雑さの軽減 (SPARK-27105、 SPARK-28108)
  - Apache ORC の 1.5.9 へのアップグレード (SPARK-30695)
CSV
- CSV データソースでのフィルターのプッシュダウンのサポート (SPARK-30323)
Hive SerDe
- ネイティブデータソースを使用して Hive serde テーブルを読み取るときにスキーマ推論がない (SPARK-27119)
- Hive CTAS コマンドは、変換可能な場合、データソースを使用する必要があります (SPARK-25271)
- ネイティブデータソースを使用してパーティション分割された Hive テーブルの挿入を最適化する (SPARK-28573)
Apache Kafka
- Kafka ヘッダーのサポートを追加 (SPARK-23539)
- Kafka 委任トークンのサポートを追加 (SPARK-25501)
- Kafka ソースに新しいオプションを導入: タイムスタンプによるオフセット (開始/終了) (SPARK-26848)
- Kafka バッチソースおよびストリーミングソース v1 での minPartitions オプションのサポート (SPARK-30656)
- Kafka の 2.4.1 へのアップグレード (SPARK-31126)
新しい組み込みデータソース
- New 組み込み binary file データソース (SPARK-25348)
- 新しい no-op バッチデータソース (SPARK-26550) と no-op ストリーミングシンク (SPARK-26649)

機能の強化

【水素】アクセラレータ対応スケジューラ (SPARK-24615)
結合ヒントの完全なセットを導入 (SPARK-27225)
SQL クエリの PARTITION BY ヒントを追加 (SPARK-28746)
Thrift サーバーでのメタデータ処理 (SPARK-28426)
高次関数を Scala API に追加 (SPARK-27297)
バリアタスクコンテキストでの単純なすべての収集のサポート (SPARK-30667)
Hive UDFs は UDT タイプ (SPARK-28158) をサポートします
での DELETE/UPDATE /MERGE 演算子のサポートCatalyst (SPARK-28351 、SPARK-28892 、SPARK-28893)
DataFrame.tail の実装 (SPARK-30185)
新しい組み込み関数
- シン、コッシュ、タン、アシン、アコシュ、アタン(SPARK-28133)
- いずれか、すべて、一部 (SPARK-19851)
- bit_and、bit_or(SPARK-27879)
- bit_count (SPARK-29491)
- bit_xor (SPARK-29545)
- bool_and、bool_or(SPARK-30184)
- count_if (SPARK-27425)
- date_part (SPARK-28690)
- 抽出物 (SPARK-23903)
- forall (SPARK-27905)
- from_csv (SPARK-25393)
- make_date (SPARK-28432)
- make_interval (SPARK-29393)
- make_timestamp (SPARK-28459)
- map_entries (SPARK-23935)
- map_filter (SPARK-23937)
- map_zip_with (SPARK-23938)
- max_by、min_by (SPARK-27653)
- schema_of_csv (SPARK-25672)
- to_csv (SPARK-25638)
- transform_keys (SPARK-23939)
- transform_values (SPARK-23940)
- タイプオブ (SPARK-29961)
- バージョン(SPARK-29554)
- xxhash64 (スパーク-27099)
既存の組み込み関数の改善
- 組み込みの日時関数/操作の改善 (SPARK-31415)
- from_jsonのFAILFASTモードをサポート(SPARK-25243)
- array_sort 新しい comparator パラメーターを追加 (SPARK-29020)
- フィルターは、要素だけでなくインデックスも入力として受け取ることができるようになりました (SPARK-28962)

SQL 互換性の強化

先発性グレゴリオ暦への切り替え (SPARK-26651)
Spark 独自の datetime パターン定義を構築する (SPARK-31408)
テーブル挿入のための ANSI ストア割り当てポリシーの導入 (SPARK-28495)
デフォルトによるテーブル挿入の ANSI ストア割り当てルールに従う (SPARK-28885)
SQLConf spark.sql.ansi.enabled の追加 (SPARK-28989)
集計式の ANSI SQL フィルター句のサポート (SPARK-27986)
ANSI SQL OVERLAY 関数のサポート (SPARK-28077)
ANSI ネストされた括弧付きコメントのサポート (SPARK-28880)
整数のオーバーフロー時に例外をスローする(SPARK-26218)
間隔算術演算のオーバーフローチェック (SPARK-30341)
無効な文字列が数値型にキャストされると例外がスローされます (SPARK-30292)
間隔の乗算と除算のオーバーフロー動作を他の操作と一致させる (SPARK-30919)
char と decimal の ANSI 型エイリアスを追加 (SPARK-29941)
SQL パーサーで ANSI 準拠の予約キーワードが定義される (SPARK-26215)
ANSI モードがオンの場合、予約済みキーワードを識別子として禁止します (SPARK-26976)
ANSI SQL LIKE ... ESCAPE 構文のサポート (SPARK-28083)
ANSI SQL Boolean-Predicate 構文のサポート (SPARK-27924)
相関サブクエリ処理のサポートの向上 (SPARK-18455)

モニタリングとデバッグ可能性の強化

新しい構造化ストリーミング UI (SPARK-29543)
SHS: 実行中のストリーミングアプリのイベントログのロールオーバーを許可する (SPARK-28594)
ユーザーがバッチおよびストリーミングクエリで任意のメトリクスを定義および監視できる API を追加 (SPARK-29345)
クエリごとの計画時間を追跡するためのインストルメンテーション (SPARK-26129)
SQL交換オペレーターに基本shuffleメトリクスを入れる(SPARK-26139)
SQL ステートメントが callsite ではなく SQL タブに表示される (SPARK-27045)
SparkUI にツールチップを追加 (SPARK-29449)
履歴サーバーの並列パフォーマンスを改善 (SPARK-29043)
EXPLAIN FORMATTED コマンド (SPARK-27395)
サポート: 切り捨てられたプランと生成されたコードのファイルへのダンプ (SPARK-26023)
クエリの出力を記述するための describe フレームワークの拡張 (SPARK-26982)
SHOW VIEWSコマンドを追加 (SPARK-31113)
SQL パーサーのエラーメッセージの改善 (SPARK-27901)
Prometheus モニタリングをネイティブにサポート (SPARK-29429)

PySpark の機能強化

タイプヒント付きの Pandas UDF の再設計 (SPARK-28264)
Pandas UDF パイプライン (SPARK-26412)
Scalar Pandas UDF の引数および戻り値の型として StructType をサポート (SPARK-27240)
Pandas UDFsによるデータフレームコグループのサポート (SPARK-27463)
DataFramesの反復子を許可するmapInPandasを追加 (SPARK-28198)
特定の SQL 関数も列名を受け取る必要がある (SPARK-26979)
PySpark SQL 例外をより Python 的にする (SPARK-31849)

ドキュメントとテストカバレッジの強化

SQL リファレンスの作成 (SPARK-28588)
WebUI のユーザーガイドを作成する (SPARK-28372)
SQL 構成ドキュメントのページを作成する (SPARK-30510)
Spark 構成のバージョン情報を追加 (SPARK-30839)
PostgreSQL からのポート回帰テスト (SPARK-27763)
Thriftサーバーのテストカバレッジ(SPARK-28608)
UDF のテストカバレッジ (Python UDF、 Pandas UDF、 Scala UDF) (SPARK-27921)

その他の注目すべき変更点

1.2.1 から 2.3.6 への組み込み Hive 実行のアップグレード (SPARK-23710、 SPARK-28723、 SPARK-31381)
デフォルトで Apache Hive 2.3 依存関係を使用する (SPARK-30034)
GA Scala 2.12 と 2.11 の削除 (SPARK-26132)
動的割り当てでエグゼキューターをタイムアウトするロジックを改善 (SPARK-20286)
シャッフルサービスによって提供され、動的割り当てで無視されるディスク永続化 RDD ブロック (SPARK-27677)
ブロックリストによるハングを回避するために、新しいエグゼキューターを取得(SPARK-22148)
Netty のメモリプールアロケーターの共有を許可 (SPARK-24920)
TaskMemoryManager と UnsafeExternalSorter$SpillableIterator の間のデッドロックを修正 (SPARK-27338)
StructuredStreaming の AdmissionControl APIs の導入 (SPARK-30669)
Spark 履歴メインページのパフォーマンス向上 (SPARK-25973)
SQLリスナーでのメトリクス集約の高速化とスリム化 (SPARK-29562)
シャッフルブロックが同じホストからフェッチされるときにネットワークを避ける (SPARK-27651)
DistributedFileSystem のファイルリストの改善 (SPARK-27801)

Spark コア、Spark SQL、構造化ストリーミングの動作の変更

次の移行ガイドでは、Apache Spark 2.4 と 3.0 の動作の変更点を示します。これらの変更により、下位の Databricks Runtime バージョンで実行していたジョブの更新が必要になる場合があります。

次の動作の変更については、これらの移行ガイドでは説明されていません。

Spark 3.0 では、非推奨のクラス org.apache.spark.sql.streaming.ProcessingTime が削除されました。代わりに org.apache.spark.sql.streaming.Trigger.ProcessingTime を使用してください。同様に、 org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger は Trigger.Continuousを支持して削除され、 org.apache.spark.sql.execution.streaming.OneTimeTrigger は Trigger.Onceを支持して隠されています。 (スパーク-28199)
Databricks Runtime 7.0 では、Hive SerDe テーブルを読み取るときに、by デフォルト Spark では、テーブルパーティションではないサブディレクトリの下のファイルの読み取りが許可されません。有効にするには、構成 spark.databricks.io.hive.scanNonpartitionedDirectory.enabled を trueに設定します。これは、Spark ネイティブテーブルリーダーとファイルリーダーには影響しません。

MLlib

ハイライト

Binarizer (SPARK-23578)、StringIndexer (SPARK-11215)、StopWordsRemover (SPARK-29808)、PySpark QuantileDiscretizer (SPARK-22796) に複数の列のサポートが追加されました
ツリーベースの機能変換のサポート (SPARK-13677)
2 つの新しい評価器 MultilabelClassificationEvaluator (SPARK-16692) と RankingEvaluator (SPARK-28045) が追加されました
DecisionTreeClassifier/Regressor (SPARK-19591)、RandomForestClassifier/Regressor (SPARK-9478)、GBTClassifier/Regressor (SPARK-9612)、RegressionEvaluator (SPARK-24102)、BinaryClassificationEvaluator (SPARK-24103)、BisectingKMeans (SPARK-30351)、KMeans (SPARK-29967)、GaussianMixture (SPARK-30102) にサンプルの重みのサポートが追加されました。
PowerIterationClustering の R API が追加されました (SPARK-19827)
ML パイプラインのステータスを追跡するための Spark ML リスナーを追加 (SPARK-23674)
Python の Gradient Boosted Trees に Fit with validation set が追加されました (SPARK-24333)
RobustScaler トランスフォーマーを追加 (SPARK-28399)
Factorization Machinesの分類器とリグレッサーを追加(SPARK-29224)
ガウス単純ベイズ (SPARK-16872) と補単純ベイズ (SPARK-29942) が追加されました
Scala と Python 間の ML 関数パリティ (SPARK-28958)
predictRaw は、すべての分類モデルで公開されます。 predictProbability は、LinearSVCModel を除くすべての分類モデルで公開されます (SPARK-30358)

MLlib の動作の変更

移行ガイド: MLlib (機械学習)

次の動作の変更は、移行ガイドでは説明されていません。

Spark 3.0 では、PySpark の多クラスロジスティック回帰は、サブクラス BinaryLogisticRegressionSummary ではなく LogisticRegressionSummary を (正しく) 返すようになりました。BinaryLogisticRegressionSummaryによって公開された追加のメソッドは、いずれにせよこの場合は機能しません。(スパーク-31681)
Spark 3.0 では、 pyspark.ml.param.shared.Has* mixin は set*(self, value) セッターメソッドを提供しなくなり、代わりにそれぞれの self.set(self.*, value) を使用します。詳細については、SPARK-29093 を参照してください。 (スパーク-29093)

SparkR

SparkR の相互運用性における矢印の最適化 (SPARK-26759)
ベクトル化された R によるパフォーマンスの向上 gapply(), dapply(), createDataFrame, collect()
R シェル、IDE の "Eager 実行" (SPARK-24572)
R API for Power Iteration クラスタリング (SPARK-19827)

SparkR の動作の変更

移行ガイド: SparkR (R/Spark)

非推奨

Python 2 のサポートの廃止 (SPARK-27884)
R < 3.4 サポートの廃止 (SPARK-26014)

既知の問題

パターン文字 'D' を使用して年の日を解析すると、年フィールドが欠落している場合、間違った結果が返されます。これは、パターン文字列を使用して日付時刻文字列を日付時刻値に解析する to_timestamp などの SQL 関数で発生する可能性があります。 (スパーク-31939)
サブクエリ内の結合/ウィンドウ/集約は、キーの値が -0.0 と 0.0 の場合、間違った結果につながる可能性があります。 (スパーク-31958)
ウィンドウクエリがあいまいな自己結合エラーで予期せず失敗することがあります。 (スパーク-31956)
dropDuplicates演算子を使用したストリーミングクエリは、Spark 2.x によって書き込まれたチェックポイントで再開できない場合があります。(スパーク-31990)

メンテナンスの更新

「Databricks Runtime 7.0 メンテナンスの更新」を参照してください。

システム環境

オペレーティングシステム :Ubuntu 18.04.4 LTSの
Java : 1.8.0_252
Scala : 2.12.10
Python : 3.7.5
R :Rバージョン3.6.3 (2020-02-29)
Delta Lake 0.7.0

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
ASN1暗号	1.3.0	バックコール	0.1.0	ボト3	1.12.0
ボトコア	1.15.0	認証	2020.4.5	cffi	1.14.0
シャルデ	3.0.4	暗号化手法	2.8	サーマルサイクラー	0.10.0
シトン	0.29.15	デコレータ	4.4.1	docutilsの	0.15.2
エントリポイント	0.3	イドナ	2.8	ipykernel(英語)	5.1.4
アイパイソン	7.12.0	ipython-genutils	0.2.0	ジェダイ	0.14.1
jmespathの	0.9.4	ジョブリブ	0.14.1	jupyter-クライアント	5.3.4
ジュピターコア	4.6.1	キウイソルバー	1.1.0	Matplotlib	3.1.3
ナムピー	1.18.1	pandas	1.0.1	パルソ	0.5.2
パッツィ	0.5.1	pexpect	4.8.0	ピクルシェア	0.7.5
種	20.0.2	プロンプトツールキット	3.0.3	サイコップ2	2.8.4
PTYPROCESSの	0.6.0	ピアロー	0.15.1	pycparser	2.19
ピグメント	2.5.2	PyGObject	3.26.1	pyOpenSSLの	19.1.0
pyparsing (英語)	2.4.6	PySocks(パイソックス)	1.7.1	Python-apt	1.6.5+Ubuntu0.3
Python-dateutil	2.8.1	ピッツ	2019.3	ピズム	18.1.1
要求	2.22.0	S3トランスファー	0.3.3	Scikit-Learn	0.22.1
scipy(サイピー)	1.4.1	シーボーン	0.10.0	セットアップツール	45.2.0
6	1.14.0	ssh-import-id	5.7	統計モデル	0.11.0
竜巻	6.0.3	トレイトレット	4.3.3	無人アップグレード	0.1
urllib3 の	1.25.8	virtualenv	16.7.10	WC幅	0.1.8
輪	0.34.2

インストールされている R ライブラリ

R ライブラリは、2020 年 4 月 22 日の Microsoft CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アスクパス	1.1	assertthat	0.2.1	バックポート	1.1.6
基	3.6.3	base64enc	0.1-3	BH	1.72.0-3
bit	1.1-15.2	ビット64	0.9-7	ブロッブ	1.2.1
ブート	1.3-25	醸成	1.0-6	箒	0.5.6
コール	3.4.3	キャレット	6.0-86	セルレンジャー	1.1.0
クロン	2.3-55	クラス	7.3-17	CLI	2.0.2
clipr	0.7.0	クラスター	2.1.0	コードツール	0.2-16
カラースペース	1.4-1	コモンマーク	1.7	コンパイラ	3.6.3
コンフィグ	0.3	COVRの	3.5.0	クレヨン	1.3.4
クロストーク	1.1.0.1	Curl	4.3	データ.テーブル	1.12.8
データセット	3.6.3	DBI	1.1.0	dbplirの	1.4.3
DESC	1.2.0	開発ツール	2.3.0	ダイジェスト	0.6.25
dplyrの	0.8.5	DT	0.13	省略記号	0.3.0
評	0.14	ファンシ	0.4.1	ファーバー	2.0.3
ファストマップ	1.0.1	フォーキャッツ	0.5.0	For each	1.5.0
外国の	0.8-76	鍛える	0.2.0	FSの	1.4.1
ジェネリック	0.0.2	ggplot2の	3.3.0	gh	1.1.0
ギット2R	0.26.1	glmnet	3.0-2	グローバル	0.12.5
膠	1.4.0	ガウアー	0.2.1	グラフィックス	3.6.3
grDevicesの	3.6.3	グリッド	3.6.3	グリッドエクストラ	2.3
gsubfnの	0.7	GTABLE(GTABLE)	0.3.0	避難所	2.2.0
高い	0.8	HMSの	0.5.3	htmlツール[htmltools]	0.4.0
htmlウィジェット	1.5.1	httpuv	1.5.2	httr	1.4.1
hwriter	1.3.2	hwriterPlusの	1.0-3	イニ	0.3.1
イプレッド	0.9-9	アイソバンド	0.2.1	反復子	1.0.12
jsonlite	1.6.1	カーンスムース	2.23-17	ニット	1.28
ラベリング	0.3	あとで	1.0.0	格子	0.20-41
溶岩	1.6.7	レイジーバル	0.2.2	ライフサイクル	0.2.0
ルブリデート	1.7.8	マグリット	1.5	Markdown	1.1
質量	7.3-51.6	マトリックス	1.2-18	メモ	1.1.0
メソッド	3.6.3	mgcv	1.8-31	マイム	0.9
モデルメトリクス	1.2.2.2	モデラー	0.1.6	マンセル	0.5.0
nlme	3.1-147	ネット	7.3-14	numDerivの	2016.8-1.1
オープンSSL	1.4.1	並列	3.6.3	柱	1.4.3
pkgbuild の	1.0.6	pkgconfig	2.0.3	pkgload(パッケージロード)	1.0.2
plogrの	0.2.0	プライル	1.8.6	褒める	1.0.0
プリティユニット	1.1.1	pROC	1.16.2	プロセスX	3.4.2
製品	2019.11.13	経過	1.2.2	約束	1.1.0
プロト	1.0.0	PS	1.3.2	ゴロゴロ	0.3.4
R2D3の	0.2.3	R6の	2.4.1	ランダムフォレスト	4.6-14
ラプディレクトリ	0.3.1	rcmdcheckの	1.3.3	RColorブリューワー	1.1-2
Rcpp	1.0.4.6	読み取り	1.3.1	readxlの	1.3.1
レシピ	0.1.10	再戦	1.0.1	再戦2	2.1.1
リモコン	2.1.1	レプレックス	0.3.0	形状変更2	1.4.4
レックス	1.2.0	rjsonの	0.2.20	ラン	0.4.5
rmarkdown	2.1	RODBC	1.3-16	リオキシジェン2	7.1.0
rpart	4.1-15	rprojroot さん	1.3-2	サーブ	1.8-6
RSQLite (英語)	2.2.0	rstudioapi	0.11	rversions	2.0.1
アヴェスト	0.3.5	秤	1.1.0	セレクタ	0.4-2
セッション情報	1.1.1	形	1.4.4	shiny	1.4.0.2
ソースツール	0.1.7	sparklyr	1.2.0	SparkR	3.0.0
空間的	7.3-11	スプライン	3.6.3	sqldf	0.4-11
スクエアム	2020.2	統計	3.6.3	統計4	3.6.3
ストリンギ	1.4.6	ストリンガー	1.4.0	生存	3.1-12
SYSの	3.3	tcltk	3.6.3	ティーチングデモ	2.10
テストを	2.3.2	ティブル	3.0.1	ティディル	1.0.2
ティディセレクト	1.0.0	ティディバース	1.3.0	日時	3043.102
タイニーテックス	0.22	ツール	3.6.3	usethisさん	1.6.0
UTF8	1.1.4	ユーティリティ	3.6.3	vctrs	0.2.4
viridisライト	0.3.0	ウイスカー	0.4	ウィザー	2.2.0
xfun	0.13	XML2の	1.3.1	xopen(オーペン)	1.0.0
エクステーブル	1.8-4	ヤムラ	2.2.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.11.655
com.amazonawsの	aws-java-sdk-cloudformation	1.11.655
com.amazonawsの	aws-java-sdk-cloudfront	1.11.655
com.amazonawsの	aws-java-sdk-cloudhsm	1.11.655
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.11.655
com.amazonawsの	aws-java-sdk-cloudtrail	1.11.655
com.amazonawsの	aws-java-sdk-cloudwatch	1.11.655
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.11.655
com.amazonawsの	aws-java-sdk-コードデプロイ	1.11.655
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.11.655
com.amazonawsの	aws-java-sdk-cognitosync	1.11.655
com.amazonawsの	aws-java-sdk-configの	1.11.655
com.amazonawsの	aws-java-sdk-コア	1.11.655
com.amazonawsの	aws-java-sdk-データパイプライン	1.11.655
com.amazonawsの	aws-java-sdk-directconnectの	1.11.655
com.amazonawsの	aws-java-sdkディレクトリ	1.11.655
com.amazonawsの	aws-java-sdk-ダイナモDB	1.11.655
com.amazonawsの	aws-java-sdk-ec2 の	1.11.655
com.amazonawsの	aws-java-sdk-ecsの	1.11.655
com.amazonawsの	aws-java-sdk-efs	1.11.655
com.amazonawsの	aws-java-sdk-elasticache	1.11.655
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.11.655
com.amazonawsの	aws-java-sdk-emr	1.11.655
com.amazonawsの	aws-java-sdk-glacier	1.11.655
com.amazonawsの	aws-java-sdk-iam	1.11.655
com.amazonawsの	aws-java-sdk-importexport	1.11.655
com.amazonawsの	aws-java-sdk-キネシス	1.11.655
com.amazonawsの	aws-java-sdk-kmsの	1.11.655
com.amazonawsの	aws-java-sdk-ラムダ	1.11.655
com.amazonawsの	aws-java-sdk-logs	1.11.655
com.amazonawsの	aws-java-sdk-機械学習	1.11.655
com.amazonawsの	aws-java-sdk-opsworks	1.11.655
com.amazonawsの	aws-java-sdk-rds	1.11.655
com.amazonawsの	aws-java-sdk-レッドシフト	1.11.655
com.amazonawsの	aws-java-sdk-ルート53	1.11.655
com.amazonawsの	aws-java-sdk-s3 の	1.11.655
com.amazonawsの	aws-java-sdk-ses	1.11.655
com.amazonawsの	aws-java-sdk-simpledb	1.11.655
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.11.655
com.amazonawsの	aws-java-sdk-snsの	1.11.655
com.amazonawsの	aws-java-sdk-sqs	1.11.655
com.amazonawsの	aws-java-sdk-ssm	1.11.655
com.amazonawsの	aws-java-sdk-storagegateway	1.11.655
com.amazonawsの	aws-java-sdk-sts	1.11.655
com.amazonawsの	aws-java-sdk-サポート	1.11.655
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.11.655
com.amazonawsの	jmespath-java	1.11.655
com.chuusai(英語)	shapeless_2.12	2.3.3
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.10.0
com.fasterxml.jackson.core	ジャクソンコア	2.10.0
com.fasterxml.jackson.core	ジャクソン-データバインド	2.10.0
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.10.0
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.10.0
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.10.0
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.12	2.10.0
com.github.ben-manes.caffeine	カフェイン	2.3.4
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	コア	1.1.2
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-java-natives	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-java-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64-natives	1.1
com.github.joshelser	dropwizard-メトリクス-hadoop-metrics2-reporter	0.1.2
com.github.luben	ZSTD-JNI	1.4.4-3
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.2.4
com.google.flatbuffers	フラットバッファ-Java	1.9.0
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2データベース	H2	1.4.195
com.helger	プロファイラー	1.1.1
com.jcraftの	jsch	0.1.50
com.jolboxの	ボーンカップ	0.8.0.リリース
com.microsoft.azure	azure-データレイク-store-sdk	2.2.8
com.microsoft.sqlserver	mssqlの-JDBC	8.2.1.JRE8
com.ningの	圧縮-LZF	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.9.5
コム。囀る	chill_2.12	0.9.5
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.2.1
Scala-logging	Scala-logging_2.12	3.7.2
com.univocityの	univocity-パーサー	2.8.3
com.zaxxerの	ひかりCP	3.1.0
commons-beanutilsの	commons-beanutilsの	1.9.4
コモンズCLI	コモンズCLI	1.2
コモンズコーデック	コモンズコーデック	1.10
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ構成	コモンズ構成	1.6
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズ消化器	コモンズ消化器	1.8
コモンズファイルアップロード	コモンズファイルアップロード	1.3.3
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.4
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズネット	コモンズネット	3.1
コモンズプール	コモンズプール	1.5.4
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.10
io.dropwizard.メトリクス	メトリクスコア	4.1.1
io.dropwizard.メトリクス	メトリクス-グラファイト	4.1.1
io.dropwizard.メトリクス	メトリクス-healthchecks	4.1.1
io.dropwizard.メトリクス	メトリクス-jetty9	4.1.1
io.dropwizard.メトリクス	メトリクス-JMX	4.1.1
io.dropwizard.メトリクス	メトリクス-JSON	4.1.1
io.dropwizard.メトリクス	メトリクス-JVM	4.1.1
io.dropwizard.メトリクス	メトリクスサーブレット	4.1.1
io.nettyの	netty-すべて	4.1.47.ファイナル
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	JSPのAPI	2.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.2
javax.xml.ストリーム	スタックス-API	1.0-2
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.10.5
log4j(ログ4J)	apache-log4j-extras	1.2.17
log4j(ログ4J)	log4j(ログ4J)	1.2.17
net.razorvine	パイロライト	4.30
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
ネット.スノーフレーク	スノーフレーク-JDBC	3.12.0
ネット.スノーフレーク	スパーク-snowflake_2.12	2.5.9-spark_2.4
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.7.1
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.9.2
org.apache.ant	アントJSCH	1.9.2
org.apache.ant	アントランチャー	1.9.2
org.apache.arrow(アパッチ・アロー)	arrow-format	0.15.1
org.apache.arrow(アパッチ・アロー)	arrow-memory	0.15.1
org.apache.arrow(アパッチ・アロー)	arrow-vector	0.15.1
org.apache.avro	AVRO	1.8.2
org.apache.avro	アブロIPC	1.8.2
org.apache.avro	アブロマップド-hadoop2	1.8.2
org.apache.commonsの	コモンズ圧縮	1.8.1
org.apache.commonsの	コモンズ-クリプト	1.0.0
org.apache.commonsの	コモンズ-LANG3	3.9
org.apache.commonsの	コモンズ-数学3	3.4.1
org.apache.commonsの	コモンズテキスト	1.6
org.apache.curator (英語)	キュレーター・クライアント	2.7.1
org.apache.curator (英語)	キュレーターフレームワーク	2.7.1
org.apache.curator (英語)	キュレーターレシピ	2.7.1
org.apache.derbyの	ダービー	10.12.1.1
org.apache.directory.api	API-ASN1-API	1.0.0-M20
org.apache.directory.api	APIのユーティリティ	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop です。	hadoop アノテーション	2.7.4
org.apache.hadoop です。	hadoop認証	2.7.4
org.apache.hadoop です。	hadoop クライアント	2.7.4
org.apache.hadoop です。	hadoop-共通	2.7.4
org.apache.hadoop です。	Hadoop-HDFS	2.7.4
org.apache.hadoop です。	hadoop-mapreduce-client-アプリ	2.7.4
org.apache.hadoop です。	hadoop-mapreduce-クライアント-共通	2.7.4
org.apache.hadoop です。	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop です。	hadoop-mapreduce-client-ジョブクライアント	2.7.4
org.apache.hadoop です。	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop です。	hadoop-yarn-api	2.7.4
org.apache.hadoop です。	hadoop-yarn-クライアント	2.7.4
org.apache.hadoop です。	hadoop-yarn-共通	2.7.4
org.apache.hadoop です。	hadoop-yarn-server-共通	2.7.4
org.apache.hive です。	ハイブビーライン	2.3.7
org.apache.hive です。	ハイブ CLI	2.3.7
org.apache.hive です。	ハイブ共通	2.3.7
org.apache.hive です。	ハイブ実行コア	2.3.7
org.apache.hive です。	ハイブ-JDBC	2.3.7
org.apache.hive です。	ハイブ - llap クライアント	2.3.7
org.apache.hive です。	ハイブ - llap - 共通	2.3.7
org.apache.hive です。	Hive metastore	2.3.7
org.apache.hive です。	ハイブセルデ	2.3.7
org.apache.hive です。	ハイブシム	2.3.7
org.apache.hive です。	ハイブストレージAPI	2.7.1
org.apache.hive です。	ハイブベクトルコード生成	2.3.7
org.apache.hive.shims	ハイブシム-0.23	2.3.7
org.apache.hive.shims	ハイブシム-共通	2.3.7
org.apache.hive.shims	ハイブシムススケジューラ	2.3.7
org.apache.htrace	htrace-コア	3.1.0-インキュベーション
org.apache.httpコンポーネント	httpクライアント	4.5.6
org.apache.httpコンポーネント	httpコア	4.4.12
org.apache.ivy	蔦	2.4.0
org.apache.orc	オークコア	1.5.10
org.apache.orc	orc-mapreduce	1.5.10
org.apache.orc	オークシム	1.5.10
org.apache.parquet	parquet-column	1.10.1.2-データブリックス4
org.apache.parquet	parquet-common	1.10.1.2-データブリックス4
org.apache.parquet	parquet-encoding	1.10.1.2-データブリックス4
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1.2-データブリックス4
org.apache.parquet	parquet-jackson	1.10.1.2-データブリックス4
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.velocityの	速度	1.5
org.apache.xbean	xbean-asm7-シェード	4.15
org.apache.yetus (英語)	オーディエンスアノテーション	0.5.0
org.apache.zookeeper	動物園の飼育係	3.4.14
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン・ジャクサーズ	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.jackson	ジャクソン-XC	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
組織Eclipse.jetty	桟橋クライアント	9.4.18.v20190429
組織Eclipse.jetty	桟橋の続き	9.4.18.v20190429
組織Eclipse.jetty	桟橋-HTTP	9.4.18.v20190429
組織Eclipse.jetty	桟橋-IO	9.4.18.v20190429
組織Eclipse.jetty	桟橋-JNDI	9.4.18.v20190429
組織Eclipse.jetty	桟橋プラス	9.4.18.v20190429
組織Eclipse.jetty	桟橋プロキシ	9.4.18.v20190429
組織Eclipse.jetty	桟橋警備	9.4.18.v20190429
組織Eclipse.jetty	桟橋サーバー	9.4.18.v20190429
組織Eclipse.jetty	桟橋サーブレット	9.4.18.v20190429
組織Eclipse.jetty	桟橋サーブレット	9.4.18.v20190429
組織Eclipse.jetty	桟橋-util	9.4.18.v20190429
組織Eclipse.jetty	桟橋-webapp	9.4.18.v20190429
組織Eclipse.jetty	桟橋XML	9.4.18.v20190429
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.30
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.30
org.glassfish.jersey.coreの	ジャージークライアント	2.30
org.glassfish.jersey.coreの	ジャージー共通	2.30
org.glassfish.jersey.coreの	ジャージーサーバー	2.30
org.glassfish.jersey.inject	ジャージ-HK2	2.30
org.glassfish.jersey.mediaの	ジャージー-メディア-JAXB	2.30
org.hibernate.validator	hibernate-validator	6.1.0.ファイナル
org.javassist	ジャバス奏者	3.25.0-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.6.6
org.json4sの	json4s-core_2.12	3.6.6
org.json4sの	json4s-jackson_2.12	3.6.6
org.json4sの	json4s-scalap_2.12	3.6.6
org.lz4	LZ4-Javaの	1.7.1
org.mariadb.JDBC	mariadb-java-クライアント	2.1.2
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.1.4
org.roaringbitmap	ロアリングビットマップ	0.7.45
org.roaringbitmap	シム	0.7.45
org.rocksdbの	ロックスDBJNI	6.2.2
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.10
組織Scala-lang	Scala-Library.12	2.12.10
組織Scala-lang	Scala-reflect_2.12	2.12.10
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.1.1
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	そよ風-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatestの	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	7月-slf4j	1.7.30
org.slf4j	SLF4J-APIの	1.7.30
org.slf4j	SLF4J-ログ4J12	1.7.30
org.spark-project.spark です。	未使用	1.0.0
org.springframeworkの	スプリングコア	4.1.4.リリース
org.springframeworkの	スプリングテスト	4.1.4.リリース
org.threetenさん	スリーテンエクストラ	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	マクロ-compat_2.12	1.1.1
org.typelevel	スパイア-macros_2.12	0.17.0-M1
org.typelevel	スパイア-platform_2.12	0.17.0-M1
org.typelevel	スパイア-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.xerial	sqlite-JDBC の	3.8.11.2
org.xerial.snappy(英語)	スナッピージャワ	1.1.7.5
org.yaml の	スネークヤム	1.24
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1
xmlenc	xmlenc	0.52

新機能​

改善​

ライブラリの主な変更点​

Python パッケージ​

Rパッケージ​

Java と Scala のライブラリ​

動作の変更​

Spark の動作の変更​

その他の動作変更​

廃止と削除​

Apache Spark​

Core、Spark SQL、構造化ストリーミング​

ハイライト​

パフォーマンスの強化​

拡張性の強化​

コネクタの機能強化​

機能の強化​

SQL 互換性の強化​

モニタリングとデバッグ可能性の強化​

PySpark の機能強化​

ドキュメントとテストカバレッジの強化​

その他の注目すべき変更点​

Spark コア、Spark SQL、構造化ストリーミングの動作の変更​

MLlib​

ハイライト​

MLlib の動作の変更​

SparkR​

SparkR の動作の変更​

非推奨​

既知の問題​

メンテナンスの更新​

システム環境​

インストール済み Python ライブラリ​

インストールされている R ライブラリ​

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)​

新機能

改善

ライブラリの主な変更点

Python パッケージ

Rパッケージ

Java と Scala のライブラリ

動作の変更

Spark の動作の変更

その他の動作変更

廃止と削除

Apache Spark

Core、Spark SQL、構造化ストリーミング

ハイライト

パフォーマンスの強化

拡張性の強化

コネクタの機能強化

機能の強化

SQL 互換性の強化

モニタリングとデバッグ可能性の強化

PySpark の機能強化

ドキュメントとテストカバレッジの強化

その他の注目すべき変更点

Spark コア、Spark SQL、構造化ストリーミングの動作の変更

MLlib

ハイライト

MLlib の動作の変更

SparkR

SparkR の動作の変更

非推奨

既知の問題

メンテナンスの更新

システム環境

インストール済み Python ライブラリ

インストールされている R ライブラリ

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)