Databricks Runtime 11.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートでは、Databricks Runtime Apache Spark3.3.0 を搭載した 11.0 に関する情報を提供しています。Databricks は 2022 年 6 月にこのバージョンをリリースしました。

注記

これらのリリースノートには、このリリースの時点で Google Cloud で利用できない機能への参照が含まれている場合があります。

新機能と改善点

Apache Spark の新しいバージョン
Python ノートブックで IPython カーネルが使用されるようになりました
Synapse コネクタで非レガシーモードでデータを write.parquet できるようになりました
ABFS クライアントが SAS トークンを使用する場合に HTTPS スキームが適用されるようになりました
SQL: DESC が DESCRIBE
SQL: 新しい current_version 関数はバージョンの詳細を出力します
欠落している Delta テーブル制約を削除すると、エラーが発生するようになりました
SQL: SELECTステートメントの新しい EXCEPT 句は、選択から列を除外します
Delta テーブルでの列の削除のサポート (パブリックプレビュー)
COPY INTO 改善

Apache Spark の新しいバージョン

Databricks Runtime 11.0 と Databricks Runtime 11.0 Photon には、Apache Spark 3.3.0 が含まれています。詳細については、「 Apache Spark」を参照してください。

Python ノートブックで IPython カーネルが使用されるようになりました

Databricks Runtime 11.0 以降では、Python ノートブックは IPython カーネルを使用して Python コードを実行します。 IPython カーネルを参照してください。

Synapse コネクタが非レガシーモードでデータを write.parquet するようになりました

Azure Synapse コネクタは、非レガシモードでデータをwrite.parquetするようになりました。バッチワークロードとストリーミングワークロードの両方で PolyBase コマンドと COPY コマンドを使用する場合、INT96 タイムスタンプ形式が保持されます。

ABFS クライアントが SAS トークンを使用する場合に HTTPS スキームが適用されるようになりました

Azure Blob File System (ABFS) クライアントが Shared Access Signature (SAS) トークンを使用する場合、HTTPS スキームが適用されるようになりました。

SQL: `DESC` が `DESCRIBE`

外部ロケーションまたはストレージ資格情報を記述するときに、 DESCRIBE のエイリアスとして DESC を使用できるようになりました。例えば：

SQL
-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: 新しい `current_version` 関数はバージョンの詳細を出力します

新しい current_version 関数は、現在の Databricks Runtime バージョン (使用可能な場合)、現在の Databricks SQL バージョン (使用可能な場合)、およびその他の関連するバージョンの詳細を出力します。この新しい関数を使用して、バージョン関連の情報をクエリします。 current_version関数を参照してください。

欠落している Delta テーブル制約を削除すると、エラーが発生するようになりました

ここで Delta テーブル制約を名前で削除しようとしたときに、その制約が存在しない場合は、エラーが発生します。制約が存在しない場合にエラーをスローしない以前の動作を実現するには、 IF EXISTS ステートメントを使用する必要があります。 ALTER TABLEを参照してください。

SQL: `SELECT`ステートメントの新しい `EXCEPT` 句により、選択から列が除外されます

SELECT 文で、列を選択から除外するための EXCEPT 句がサポートされるようになりました。たとえば、 SELECT * EXCEPT (x) FROM table は tableのカラム xを除くすべてのカラムを返します。ネストされた列も使用できます。たとえば、SELECT * EXCEPT (x.a) FROM table は tableのすべてのカラムを返しますが、struct xからフィールド a は省略します。

Delta テーブルでの列の削除のサポート (パブリックプレビュー)

ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> または ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) を使用して、メタデータのみの操作として Delta テーブルから列または列のリストをそれぞれ削除できます。列は、基になる Parquet ファイルにまだ存在しますが、Delta テーブルに表示されなくなるため、実質的に "論理的に削除" されます。

REORG TABLE <table-name> APPLY (PURGE) を使用して、論理的に削除されたデータ (ドロップされた列など) を含むファイルに対してファイルの書き換えをトリガーできます。

VACUUM を使用して、削除された列を含み、REORG TABLEによって書き換えられた古いファイルなど、削除されたファイルを物理ストレージから削除できます。

`COPY INTO` の改善

空のプレースホルダー Delta テーブルを作成して、後で COPY INTO コマンド中にスキーマが推論されるようになりました。

SQL
CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

上記の SQL ステートメントはべき等であり、Delta テーブルにデータを 1 回だけ取り込むように実行するようにスケジュールできます。

注記

空の Delta テーブルは、 COPY INTO以外では使用できません。 INSERT INTO と MERGE INTO を使用して、スキーマのない Delta テーブルにデータを書き込むことはできません。COPY INTOを使用してテーブルにデータを挿入すると、テーブルはクエリ可能になります。

取り込んでいるデータが破損の問題で読み取れない場合は、FORMAT_OPTIONSでignoreCorruptFilesをtrueに設定することで、破損したファイルをスキップできます。

SQL
COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

COPY INTO コマンドは、num_skipped_corrupt_files 列の破損が原因でスキップされたファイルの数を返します。このメトリクスは、 Delta テーブルでDESCRIBE HISTORYを実行した後のnumSkippedCorruptFilesの下のoperationMetrics列にも表示されます。

破損したファイルは COPY INTOでは追跡されないため、破損が修正された場合は、次回の実行で再読み込みできます。 VALIDATEモードでCOPY INTOを実行すると、どのファイルが破損しているかを確認できます。

動作の変更

SQL: lpad 関数と rpad 関数でバイトシーケンスがサポートされるようになりました
format_string と printf の文字列形式では使用できなくなりました %0$
CSV ファイル内の null 値は、デフォルトで引用符で囲まれていない空の文字列として書き込まれるようになりました
テーブルプロパティ external が予約されました
Log4j は Log4j 1 から Log4j 2 にアップグレードされます
Mavenからインストールしたライブラリは、デフォルトによってコンピュート平面で解決されるようになりました

SQL: `lpad` 関数と `rpad` 関数がバイトシーケンスをサポートするようになりました

lpad 関数と rpad 関数が更新され、文字列に加えてバイトシーケンスのサポートが追加されました。

`format_string` と `printf` の文字列形式では使用できなくなりました `%0$`

format_string 関数と printf 関数で形式 %0$ を指定すると、デフォルトでエラーがスローされるようになりました。この変更は、以前のバージョンの Databricks Runtime と一般的なサードパーティデータベースで想定される動作を保持するためのものです。引数インデックスを使用して引数リスト内の引数の位置を示す場合は、最初の引数が常に %1$ を参照する必要があります。

CSV ファイル内の null 値は、デフォルトで引用符で囲まれていない空の文字列として書き込まれるようになりました

CSV ファイル内の NULL 値は、以前は引用符で囲まれた空の文字列として記述されていました。このリリースでは、CSV ファイル内の null 値は、デフォルトで引用符で囲まれていない空の文字列として書き込まれるようになりました。以前の動作に戻すには、書き込み操作の nullValue オプションを "" に設定します。

テーブルプロパティ `external` が予約されました

プロパティ external は、デフォルトで予約済みテーブルプロパティになりました。 external プロパティを CREATE TABLE ... TBLPROPERTIES 句と ALTER TABLE ... SET TBLPROPERTIES 句と共に使用すると、例外がスローされるようになりました。

Log4j は Log4j 1 から Log4j 2 にアップグレードされます

Log4j 1 は Log4j 2 にアップグレードされています。レガシー Log4j 1 の依存関係は削除されます。

以前に Databricks Runtime に含まれていた Log4j 1 クラスに依存している場合、それらのクラスは存在しなくなります。依存関係をLog4j 2にアップグレードする必要があります。

Log4j 2 に依存するカスタムプラグインまたは設定ファイルがある場合、このリリースの Log4j 2 バージョンでは動作しなくなる可能性があります。サポートが必要な場合は、Databricks アカウントチームにお問い合わせください。

Mavenからインストールしたライブラリは、デフォルトによってコンピュート平面で解決されるようになりました

Maven ライブラリは、クラスターにライブラリをインストールするときに、コンピュート平面でデフォルトによって解決されるようになりました。クラスターには、 Maven Central へのアクセス権が必要です。または、 Spark 構成プロパティを設定して、以前の動作に戻すこともできます。

spark.databricks.libraries.enableMavenResolution false

バグの修正

Apache Spark と Databricks Runtime の間の LeafNode、 UnaryNode、 BinaryNode のバイナリ互換性が修正され、クラスが Apache Spark 3.3.0 と互換性を持つようになりました以上。 Databricks Runtime でサードパーティパッケージを使用しているときに、次のようなメッセージが表示された場合は、Apache Spark 3.3.0 を使用してパッケージを再構築します以上: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected。

ライブラリのアップグレード

アップグレードされた Python ライブラリ:
- platform2.5.1 から 2.5.2 へのディレクトリ
- protobuf 3.20.0 から 3.20.1 へ
アップグレードされた R ライブラリ:
- 1.2.2 から 1.2.3 への BLOB
- 0.7.12から0.8.0までのほうき
- 6.0-91 から 6.0-92 までのキャレット
- 3.2.0 から 3.3.0 までの CLI
- dplyr 1.0.8 から 1.0.9 へ
- 1.24.0 から 1.25.0 までの将来
- future.apply を 1.8.1 から 1.9.0 に変更
- gert 1.5.0 から 1.6.0 へ
- ggplot2 を 3.3.5 から 3.3.6 へ
- glmnet 4.1-3 から 4.1-4 へ
- haven を 2.4.3 から 2.5.0 へ
- HTTR 1.4.2 から 1.4.3 へ
- 1.38から1.39へのknitr
- 2.0.2 から 2.0.3 への magrittr
- 1.30.0 から 1.31.1 まで並行して
- 1.6.0 から 1.7.0 への PS
- RColorBrewer 1.1-2 から 1.1-3 へ
- 0.3.3.9.1 から 0.3.3.9.2 への RcppEigen
- 1.3.1 から 1.4.0 への ReadXL
- rmarkdown を 2.13 から 2.14 に変更しました。
- rprojroot を 2.0.2 から 2.0.3 へ
- RSQLite 2.2.11 から 2.2.13 へ
- 1.1.1 から 1.2.0 までスケール
- 3.1.2 からの testthat 3.1.4 まで
- 3.1.6 からの tibble 3.1.7 へ
- 0.37から0.38へのtinytex
- 0.2.0 から 0.3.0 までの tzdb
- 1.0-4 から 1.1-0 までの UUID
- 0.3.8 から 0.4.1 までの VCTRS
アップグレードされた Java ライブラリ:
- com.fasterxml.jackson.core.jackson-annotations 2.13.0 から 2.13.3 へ
- com.fasterxml.jackson.core.jackson-core 2.13.0 から 2.13.3 へ
- com.fasterxml.jackson.core.jackson-databind 2.13.0 から 2.13.3 へ
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.13.0 から 2.13.3 へ
- com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.0 から 2.13.3 へ
- com.fasterxml.jackson.module.jackson-module-paranamer 2.13.0 から 2.13.3 へ
- com.fasterxml.jackson.module.jackson-module- .12 を 2.13.0 から 2.13.3 にScala
- com.google.crypto.tink.tink を 1.6.0 から 1.6.1 に変更
- com.ning.compress-lzf 1.0.3 から 1.1 まで
- dev.ludovic.netlib.arpack を 2.2.0 から 2.2.1 に変更
- dev.ludovic.netlib.blas を 2.2.0 から 2.2.1 に変更
- dev.ludovic.netlib.lapack を 2.2.0 から 2.2.1 に変更
- io.netty.netty-すべて 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-バッファ 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-codec 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-共通 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-ハンドラ 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-リゾルバ 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-tcnative-クラス 2.0.46.Finalから2.0.48.Finalへ
- io.netty.netty-トランスポート 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-transport-classes-epoll 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-transport-classes-kqueue 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-transport-native-epoll-linux-aarch_64 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-transport-native-epoll-linux-x86_64 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-transport-native-kqueue-osx-aarch_64 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-transport-native-kqueue-osx-x86_64 4.1.73.Finalから4.1.74.Finalまで
- io.netty.netty-transport-native-unix-common 4.1.73.Finalから4.1.74.Finalまで
- ジョダタイム.ジョダタイム 2.10.12から2.10.13まで
- org.apache.commons.commons-math3 3.4.1 から 3.6.1 へ
- org.apache.httpcomponents.httpcore を 4.4.12 から 4.4.14 に変更
- org.apache.orc.orc-コア 1.7.3 から 1.7.4 へ
- org.apache.orc.orc-mapreduce 1.7.3 から 1.7.4 へ
- org.apache.orc.orc-shim 1.7.3 から 1.7.4 へ
- org.Eclipse.jetty.jetty-client 9.4.43.v20210629から9.4.46.v20220331まで
- org.Eclipse.jetty.jetty-continuation 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-http 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-io 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-jndi 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-plus 9.4.43.v20210629から9.4.46.v20220331まで
- org.Eclipse.jetty.jetty-proxy 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-security 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-server 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-servlet 9.4.43.v20210629から9.4.46.v20220331まで
- org.Eclipse.jetty.jetty-servlets 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-util 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-util-ajax 9.4.43.v20210629から9.4.46.v20220331まで
- org.Eclipse.jetty.jetty-webapp 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.jetty-xml 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.websocket.websocket-api 9.4.43.v20210629から9.4.46.v20220331まで
- org.Eclipse.jetty.websocket.websocket-client 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.websocket.websocket-common 9.4.43.v20210629から9.4.46.v20220331まで
- 組織Eclipse.jetty.websocket.websocket-server 9.4.43.v20210629から9.4.46.v20220331まで
- org.Eclipse.jetty.websocket.websocket-servlet 9.4.43.v20210629から9.4.46.v20220331まで
- org.mariadb.JDBC.mariadb-java-client 2.2.5 から 2.7.4 へ
- org.postgresql.postgresql を 42.2.19 から 42.3.3 へ
- org.roaringbitmap.RoaringBitmap を 0.9.23 から 0.9.25 に変更
- org.roaringbitmap.shims を 0.9.23 から 0.9.25 に変更
- org.rocksdb.rocksdbjni 6.20.3 から 6.24.2 まで
- org.slf4j.jcl-over-slf4j 1.7.32 から 1.7.36 まで
- org.slf4j.jul-to-slf4j 1.7.32 から 1.7.36 まで
- org.slf4j.slf4j-api 1.7.30 から 1.7.36 まで

Apache Spark

Databricks Runtime 11.0 には Apache Spark 3.3.0 が含まれています。

このセクションの内容：

Spark SQL とコア
構造化ストリーミング
PySpark
MLlib
SparkR
UI
構築

Spark SQL とコア

ANSI モード

ANSI モードでの新しい明示的なキャスト構文ルール (SPARK-33354)
ANSI モードでインデックスが null の場合、Elt() は null を返す必要があります (SPARK-38304)
配列/マップに要素が存在しない場合、オプションでnullの結果を返す(SPARK-37750)
数値型とタイムスタンプ型の間のキャストを許可 (SPARK-37714)
ANSI 予約キーワードをデフォルトで無効にする (SPARK-37724)
関数呼び出しを解決するためのストア割り当てルールの使用 (SPARK-37438)
Datetime と Numeric の間のキャストを許可する設定を追加 (SPARK-37179)
オプションで ANSI 予約済みキーワードを強制する設定を追加 (SPARK-37133)
Interval と文字列リテラルの間のバイナリ操作を許可しない (SPARK-36508)

機能の強化

ANSI SQL INTERVALタイプをサポート(SPARK-27790)
エラーメッセージの改善 (SPARK-38781)
Spark SQL の隠しファイルメタデータのサポート (SPARK-37273)
未加工の文字列リテラルのサポート (SPARK-36371)
バッチデータセット.observe() のヘルパークラス (スパーク-34806)
リバランスの初期パーティション番号の指定のサポート (SPARK-38410)
dropNamespace API のカスケードモードのサポート (SPARK-37929)
datetime 型間でのストアの割り当てと暗黙的なキャストの許可 (SPARK-37707)
Collect、first と last は決定論的な集計関数である必要がある (SPARK-32940)
複雑なオーバーロードを持つ関数の ExpressionBuilder を追加 (SPARK-37164)
名前による和集合への配列サポートの追加 (SPARK-36546)
データフレームのメタデータを更新するためのシンタックスシュガーである df.withMetadata を追加 (SPARK-36642)
未加工の文字列リテラルのサポート (SPARK-36371)
デフォルトパターンでの日付/タイムスタンプの解析で CAST を使用 (SPARK-36418)
データセットのネストされたスキーマで値クラスをサポート (SPARK-20384)
AS OF 構文のサポートを追加 (SPARK-37219)
TABLESAMPLE に REPEATABLE を追加してシードを指定する (SPARK-37165)
現在のカタログを変更するための ansi 構文 set catalog xxx を追加 (SPARK-36841)
ILIKE のサポート (ALL |どれでも |SOME) - 大文字と小文字を区別しない LIKE (SPARK-36674, SPARK-36736, SPARK-36778)
フォーマットされた説明モードでのランタイム統計の表示をクエリーステージにサポートします (SPARK-38322)
ソートマージ結合のスピルサイズメトリクスを追加 (SPARK-37726)
SHOW FUNCTIONS の SQL 構文の更新 (SPARK-37777)
DROP COLUMN [IF EXISTS] 構文のサポート (SPARK-38939)
新しい組み込み関数とその拡張機能 (SPARK-38783)
- 日時型
  - TIMESTAMPADD() 関数を追加 (SPARK-38195)
  - TIMESTAMPDIFF() 関数を追加 (SPARK-38284)
  - TIMESTAMPDIFF() の DATEDIFF() エイリアスを追加 (SPARK-38389)
  - TIMESTAMPADD() の DATEADD() エイリアスを追加 (SPARK-38332)
  - convert\_timezone()機能を追加 (SPARK-37552、SPARK-37568)
  - 関数でmake_date式を公開します。Scala (SPARK-36554)
- AES 関数 (SPARK-12567)
  - 組み込み関数aes_encryptおよびaes_decryptを追加 (SPARK-12567)
  - aes\_encrypt()/aes\_decrypt()によるGCMモードのサポート (SPARK-37591)
  - aes\_encrypt()/aes\_decrypt() で GCM をデフォルトモードとして設定する(SPARK-37666)
  - mode 引数と padding 引数を aes\_encrypt()/aes\_decrypt() に追加する (SPARK-37586)
- ANSI 集計関数 (SPARK-37671)
  - ANSI 集計関数のサポート: regr_count (SPARK-37613)
  - ANSI 集計関数のサポート: regr_avgx & regr_avgy (SPARK-37614)
  - ANSI アグリゲーション機能のサポート: percentile_cont (SPARK-37676、 SPARK-38219)
  - ANSI 集計機能のサポート: percentile_disc (SPARK-37691)
  - ANSI 集計関数のサポート: regr_count (SPARK-37613)
  - ANSI 集計関数のサポート: array_agg (SPARK-27974)
  - ANSI 集計関数のサポート: regr_r2 (SPARK-37641)
  - 新しい SQL 関数: try_avg (SPARK-38589)
- コレクション
  - SQL 関数ARRAY_SIZEの導入 (SPARK-38345)
  - 新しい SQL 関数: map_contains_key (SPARK-37584)
  - 新しい SQL 関数: try_element_at (SPARK-37533)
  - 新しい SQL 関数: try_sum (SPARK-38548)
- フォーマット
  - 新しい SQL 関数to_binaryを追加 (SPARK-37507、 SPARK-38796)
  - 新しい SQL 関数: try_to_binary (SPARK-38590、 SPARK-38796)
  - データ型の書式設定関数: to\_number (SPARK-28137)
- 文字列/バイナリ
  - CONTAINS() 文字列関数を追加 (SPARK-37508)
  - startswith() 文字列関数と endswith() 文字列関数を追加 (SPARK-37520)
  - バイナリ文字列の lpad 関数と rpad 関数を追加 (SPARK-37047)
  - split_part機能のサポート (SPARK-38063)
- floor 関数と ceil 関数に scale パラメーターを追加 (SPARK-37475)
- 新しい SQL 関数: try_subtract と try_multiply (SPARK-38164)
- 部分集計をサポートするhistogram_numeric集計機能を実装しました（SPARK-16280
- sql.functions に sql.functions に /max_by/min_by を追加する (SPARK-36963)
- 新しい組み込み SQL 関数 SEC と CSC を追加 (SPARK-36683)
- Double.NaN と Float.NaN が重複するハンドルarray_intersect (SPARK-36754)
- cot を Scala および Python 関数として追加 (SPARK-36660)

パフォーマンスの強化

全ステージのコード生成
- グループ化キーを使用しないソート集約の code-gen を追加 (SPARK-37564)
- 完全外部ソートマージ結合の code-gen を追加 (SPARK-35352)
- 完全な外部シャッフルハッシュ結合の code-gen を追加 (SPARK-32567)
- 存在ソートマージ結合の code-gen を追加 (SPARK-37316)
プッシュダウン(フィルター)
- RebalancePartitions を使用してフィルターをプッシュダウンする (SPARK-37828)
- ブール列フィルターをプッシュダウン (SPARK-36644)
- 結合条件が空の場合、左のセミ/アンチ結合の右側の制限 1 を押し下げる (SPARK-37917)
- プッシュダウン用のより標準的な集計関数の変換 (SPARK-37527)
- 集約/和集合による空のリレーションの伝播のサポート (SPARK-35442)
- 行レベルの Runtime フィルタリング (SPARK-32268)
- 行レベルのランタイムフィルターでの左半結合のサポート (SPARK-38565)
- 重複排除された CTE の述語プッシュダウンとカラムプルーニングをサポート (SPARK-37670)
ベクトル
- ConstantColumnVector を実装し、隠しファイルメタデータのパフォーマンスを向上させる (SPARK-37896)
- VectorizedPlainValuesReader.readBooleans のベクトル化された読み取りを有効にする (SPARK-35867)
ノードの結合/削除/置換
- ユニオン間にプロジェクトがある場合は、ユニオンを結合します (SPARK-37915)
- 2つのキャストを安全にアップキャストできる場合は、1つのキャストに結合します(SPARK-37922)
- RepartitionByExpression の子である Sort を削除する (SPARK-36703)
- エイリアスを持つストリーム側に DISTINCT のみがある場合、外部結合を削除します (SPARK-37292)
- 子がすでにソートされている場合は、ハッシュをソート集約に置き換える (SPARK-37455)
- コストの高い式を複製しない場合にのみプロジェクトを折りたたむ (SPARK-36718)
- RewritePredicateSubquery の後に冗長なエイリアスを削除する (SPARK-36280)
- 非相関スカラーサブクエリのマージ (SPARK-34079)
パーティショニング
- 静的パーティションプルーニングが存在する場合は、動的パーティションプルーニングを追加しないでください (SPARK-38148)
- オプティマイザーのルールの RebalancePartitions の改善 (SPARK-37904)
- リバランスパーティションに小さなパーティション係数を追加 (SPARK-37357)
接続
- DynamicJoinSelection でブロードキャストハッシュ結合を降格するようにロジックを微調整 (SPARK-37753)
- SEMI/ANTI シャッフルされたハッシュ結合の関係を構築するときに、重複する結合キーを無視する (SPARK-36794)
- 余分なシャッフルが導入されても、最適化スキュー結合をサポート (SPARK-33832)
AQEの
- AQE Optimizer の制限を排除 (SPARK-36424) をサポート
- 標準および AQE オプティマイザーの 1 行プランの最適化 (SPARK-38162)
Aggregate.groupOnly が折り畳み式をサポート (SPARK-38489)
ByteArrayMethods arrayEquals は、アライメントされていないプラットフォームとのアライメントのチェックを迅速にスキップする必要があります (SPARK-37796)
CTESubstitution ルールにツリーパターンのプルーニングを追加 (SPARK-37379)
Not 演算子の簡略化を追加 (SPARK-36665)
UnwrapCastInBinaryComparison で BooleanType をサポート (SPARK-36607)
最初の null 非許容式の後のすべての式を結合で削除する (SPARK-36359)
論理プランのビジターを追加して、個別の属性を伝達する (SPARK-36194)

組み込みコネクタの機能強化

一般
- データソースからの datetime の寛大なシリアル化 (SPARK-38437)
- テーブルの作成/変更で、パスの最初の文字がスラッシュである場合、テーブルの場所を絶対として扱う (SPARK-38236)
- 空の静的番号型パーティションから先頭の 0 を削除する (SPARK-35561)
- データソースオプションでの ignoreCorruptFiles と ignoreMissingFiles のサポート (SPARK-38767)
- コマンド SHOW CATALOGS を追加 (SPARK-35973)
PARQUET
- フィールド ID によるスキーマ列名の一致を有効にする (SPARK-38094)
- Parquet でデータを読み書きするときにチェックフィールド名を削除する (SPARK-27442)
- ベクトル化された読み取りブール値のサポート: Parquet DataPage V2 での RLE エンコードの使用 (SPARK-37864)
- ベクトル化されたパスの Parquet v2 データページエンコード (DELTA_BINARY_PACKED) のサポート (SPARK-36879)
- Parquet/Avro メタデータに保存されたセッションタイムゾーンのタイムスタンプをリベースする (SPARK-37705)
- 集計のパーティション列によるグループ化のプッシュダウン (SPARK-36646)
- Parquetのアグリゲート(最小/最大/カウント)プッシュダウン(SPARK-36645)
- Parquet: フィールド ID によるスキーマ列の一致を有効にする (SPARK-38094)
- G1GC と ON_HEAP が使用されている場合は、デフォルトのページサイズを LONG_ARRAY_OFFSET 縮小します (SPARK-37593)
- Parquet V2 サポートのためのベクター化された DELTA_BYTE_ARRAY および DELTA_LENGTH_BYTE_ARRAY エンコードの実装 (SPARK-37974)
- Parquet ベクトル化リーダーの複合型のサポート (SPARK-34863)
ORC
- Orc で既存のデータを読み書きするときにチェックフィールド名を削除 (SPARK-37965)
- ORC の集約プッシュダウン (SPARK-34960)
- ORCデータソースとの間のANSI間隔の読み取りと書き込みをサポート (SPARK-36931)
- ORC データソースでの数値のみの列名のサポート (SPARK-36663)
JSON
- JSON リーダーで引用符で囲まれた NaN と Infinity の値を解析するときに allowNonNumericNumbers を尊重する (SPARK-38060)
- デフォルトで CSV/JSON の datetime に CAST を使用する (SPARK-36536)
- JSON リーダーの MapType でサポートされていないキーの種類のエラーメッセージを揃える (SPARK-35320)
CSV
- CSV から破損したレコード列を参照する問題を修正 (SPARK-38534)
- null 値は、引用符で囲まれた空の文字列 "" の代わりに、デフォルトで何も保存しない必要があります (SPARK-37575)
JDBC
- DB2 ダイアレクト切り捨てインプリメンテーションへの IMMEDIATE ステートメントの追加 (SPARK-30062)
Hive
- Hive バケットテーブル (Hive ハッシュを含む Hive ファイル形式) の書き込みをサポート (SPARK-32712)
- 式を使用してクライアント側で Hive パーティションをフィルター処理する (SPARK-35437)
- HiveTableScanExec の動的パーティションプルーニングのサポート (SPARK-36876)
- InsertIntoHiveDir は、変換可能な場合、データソースを使用する必要があります (SPARK-38215)
- Hive バケットテーブル (Hive ハッシュを使用した Parquet/ORC 形式) の書き込みをサポート (SPARK-32709)

ノードの使用停止

FallbackStorage は、任意の "リモート" ホスト名の解決を試みないでください (SPARK-38062)
ExecutorMonitor.onExecutorRemoved は、ExecutorDecommission を終了として処理する必要があります (SPARK-38023)

その他の注目すべき変更点

BlockInfoManager にきめ細かなロックを追加 (SPARK-37356)
Spark gpu/fpga リソースタイプからカスタム YARN リソースタイプへのマッピングをサポート (SPARK-37208)
シャッフルブロックサイズが歪んでいる場合は報告する (SPARK-36967)
ネットワークレイヤーでの Netty ロギングのサポート (SPARK-36719)

構造化ストリーミング

主な特長

Trigger.Once のようなストリーミングクエリを複数のバッチで実行するための Trigger.AvailableNow を導入 (SPARK-36533)

その他の注目すべき変更点

下位互換性を尊重したステートフルオペレーターに StatefulOpClusteredDistribution を使用する (SPARK-38204)
キーのデータを含むバッチでの flatMapGroupsWithState タイムアウトを修正 (SPARK-38320)
RocksDB 状態ストアプロバイダーを使用したストリームとストリームの外部結合の正確性の問題を修正 (SPARK-38684)
Kafka データソースで Trigger.AvailableNow をサポート (SPARK-36649)
RocksDB 状態ストアプロバイダーでの書き込みパスの最適化 (SPARK-37224)
マイクロバッチごとに一貫した行セットを提供するための新しいデータソースを導入 (SPARK-37062)
下位互換性を尊重したステートフル演算子に HashClusteredDistribution を使用する (SPARK-38204)

PySparkの

Spark 上の Pandas API

主な改善点

デフォルトである「distributed-sequence」インデックスの最適化(SPARK-36559、 SPARK-36338)
- のでインデックスの種類と名前を指定するためのサポートPandasAPISpark (SPARK-36709)
- のプランでデフォルトインデックスの種類を表示するSQL PandasAPISpark(SPARK-38654)

主な特長

SparkSQL ネイティブps.merge_asofの実装 (SPARK-36813)
のPandasAPI で TimedeltaIndex をサポートSpark (SPARK-37525)
Python の timedelta をサポート (SPARK-37275, SPARK-37510)
CategoricalAccessor/CategoricalIndex での関数の実装 (SPARK-36185)
のでに Pythonの標準文字列フォーマッタを使用SQLAPI PandasAPISpark(SPARK-37436)
timedeltaシリーズ/インデックスの基本操作に対応 (SPARK-37510)
psをサポートします。MultiIndex.dtypes (SPARK-36930)
Index.map の実装 (SPARK-36469)
実装シリーズ。 xor と Series。 rxor (SPARK-36653)
積分 ps の単項演算子 invert を実装します。シリーズ/インデックス (SPARK-36003)
DataFrame.cov の実装 (SPARK-36396)
(Series|DataFrame).describe() (スパーク-37657)
DataFrame.renameのラムダ column パラメーターをサポート (SPARK-38763)

その他の注目すべき変更点

破壊的変更

ドキュメントおよびPython/docs での Python 3.6 サポートへの参照の削除 (SPARK-36977)
組み込みの pickle を cloudpickle に置き換えて namedtuple ハックを削除 (SPARK-32079)
最小 Pandas バージョンを 1.0.5 に更新 (SPARK-37465)
主な改善点
- Python/Pandas UDF のプロファイラーを提供 (SPARK-37443)
- PySpark の SQL API に Python の標準文字列フォーマッタを使用 (SPARK-37516)
- PySpark 例外での SQL 状態とエラークラスの公開 (SPARK-36953)
- Pythonワーカーがクラッシュしたときにfaulthanlderをキャプチャしてみてください（SPARK-36062）

主な特長

Python での DataFrame.mapInArrow の実装 (SPARK-37228)
PySpark の SQL API に Python の標準文字列フォーマッタを使用 (SPARK-37516)
df.withMetadata PySpark API を追加 (SPARK-36642)
Python の timedelta をサポート (SPARK-37275)
PySpark.sql.catalog で tableExists を公開する (SPARK-36176)
PySpark.sql.catalog で databaseExists を公開 (SPARK-36207)
PySpark SQL カタログでの functionExists の公開 (SPARK-36258)
PySpark に Dataframe.observation を追加 (SPARK-36263)
PySpark への max_by/min_by API の追加 (SPARK-36972)
DataFrame の作成時にネストされた dict を構造体として推論するサポート (SPARK-35929)
APIsScala、Python 、R にビット/octet_length を追加( SPARK-36751)
Python での ILIKE API のサポート (SPARK-36882)
Python DataFrame API の isEmpty メソッドを追加 (SPARK-37207)
サポートを追加する複数の列を追加 (SPARK-35173)
PySpark に SparkContext.addArchive を追加 (SPARK-38278)
sql 型の reprs を評価可能にする (SPARK-18621)
Python/PySpark/MLlib の fpm.py のインラインタイプヒント (SPARK-37396)
SeriesGroupBy.value_counts の dropna パラメーターを実装 (SPARK-38837)

MLlib

主な特長

trainKMeansModel に distanceMeasure パラメータを追加 (SPARK-37118)
LogisticRegression.setInitialModelを公開します。 KMeansらが行うように(SPARK-36481)
CrossValidatorModelが各paramMapのメトリクスの標準偏差を取得するサポート(SPARK-36425)

主な改善点

割り当てを遅らせることで MLlib の一部の treeAggregates を最適化する (SPARK-35848)
ml/param/shared.py の _shared_params_code_gen.py をインライン型ヒントに書き換える (SPARK-37419)

その他の注目すべき変更点

breeze 1.2 への更新 (SPARK-35310)

SparkR

SparkR のドキュメントを pkgdown に移行 (SPARK-37474)
R で make_date 式を公開する (SPARK-37108)
SparkR への max_by/min_by API の追加 (SPARK-36976)
R での ILIKE API のサポート (SPARK-36899)
R 関数として sec と csc を追加 (SPARK-36824)
APIsScala、Python 、R にビット/octet_length を追加( SPARK-36751)
R関数としてベビーベッドを追加(SPARK-36688)

UIの

ステージレベルでの投機メトリクスの概要 (SPARK-36038)
StagePageでシャッフル読み取りのブロック時間をシャッフル読み取りフェッチ待機時間に統一(SPARK-37469)
UI での SQL 実行の変更された設定を追加 (SPARK-34735)
ThriftServerにspark.sql.redaction.string.regexを認識させる(SPARK-36400)
UI でアプリケーションが起動した後にハンドラーをアタッチして開始する (SPARK-36237)
[SQL] タブのグラフノードにコミット期間を追加 (SPARK-34399)
Spark History Server での RocksDB バックエンドのサポート (SPARK-37680)
UI で Spark 上の Pandas API のオプションを表示する (SPARK-38656)
SQL UI ページで 'SQL' の名前を 'SQL/DataFrame' に変更 (SPARK-38657)

建てる

log4j 1 から log4j 2 への移行 (SPARK-37814)
log4j2 を 2.17.2 にアップグレードします (SPARK-38544)
Py4J 0.10.9.5 へのアップグレード (SPARK-38563)
ORC を 1.7.4 に更新 (SPARK-38866)
データテーブルを 1.10.25 に更新する (SPARK-38924)

メンテナンスの更新

「Databricks Runtime 11.0 (EoS)」を参照してください。

システム環境

オペレーティングシステム :Ubuntu 20.04.4 LTS
Java の:Zulu 8.56.0.21-CA-linux64
Scala : 2.12.14
Python : 3.9.5
R :4.1.3
Delta Lake : 1.2.1

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アンテルゴス Linux	2015.10 (ISOローリング)	アルゴン2-CFFI	20.1.0	非同期ジェネレータ	1.10
属性	21.2.0	バックコール	0.2.0	backports.entry-points-selectable	1.1.1
ブリーチ	4.0.0	ボト3	1.21.18	ボトコア	1.24.18
認証	2021.10.8	cffi	1.14.6	シャルデ	4.0.0
文字セット・ノーマライザー	2.0.4	サーマルサイクラー	0.10.0	シトン	0.29.24
DBUSPython	1.2.16	デバッグ	1.4.1	デコレータ	5.1.0
デフューズドXML	0.7.1	ディストリビューション	0.3.4	ディストリビューション情報	0.23Ubuntuの1
エントリポイント	0.3	facets-概要	1.0.0	ファイルロック	3.6.0
イドナ	3.2	ipykernel(英語)	6.12.1	アイパイソン	7.32.0
ipython-genutils	0.2.0	ipywidgets	7.7.0	ジェダイ	0.18.0
ジンジャ2	2.11.3	jmespathの	0.10.0	ジョブリブ	1.0.1
jsonschema(jsonschema)	3.2.0	jupyter-クライアント	6.1.12	ジュピターコア	4.8.1
jupyterlab-pygmentsの	0.1.2	jupyterlab-widgetsの	1.0.0	キウイソルバー	1.3.1
マークアップセーフ	2.0.1	Matplotlib	3.4.3	matplotlib-インライン	0.1.2
ミスチューン	0.8.4	NBクライアント	0.5.3	NBコンバート	6.1.0
NBフォーマット	5.1.3	ネスト-アシンシオ	1.5.1	ノートブック	6.4.5
ナムピー	1.20.3	包装	21.0	pandas	1.3.4
pandocフィルター	1.4.3	パルソ	0.8.2	パッツィ	0.5.2
pexpect	4.8.0	ピクルシェア	0.7.5	枕	8.4.0
種	21.2.4	プラットフォームディレクトリ	2.5.2	Plotly	5.6.0
prometheus-クライアント	0.11.0	プロンプトツールキット	3.0.20	プロトブフ	3.20.1
psutil の	5.8.0	サイコップ2	2.9.3	PTYPROCESSの	0.7.0
ピアロー	7.0.0	pycparser	2.20	ピグメント	2.10.0
PyGObject	3.36.0	pyodbc	4.0.31	pyparsing (英語)	3.0.4
ピルシステント	0.18.0	Python-apt	2.0.0 + ubuntu0.20.4.7	Python-dateutil	2.8.2
ピッツ	2021.3	ピズム	22.2.1	要求	2.26.0
リクエスト-unixsocket	0.2.0	S3トランスファー	0.5.2	Scikit-Learn	0.24.2
scipy(サイピー)	1.7.1	シーボーン	0.11.2	Send2Trash(センド2トラッシュ)	1.8.0
セットアップツール	58.0.4	6	1.16.0	ssh-import-id	5.10
統計モデル	0.12.2	持久力	8.0.1	テルミナド	0.9.4
テストパス	0.5.0	スレッドプールctl	2.2.0	竜巻	6.1
トレイトレット	5.1.0	無人アップグレード	0.1	urllib3 の	1.26.7
virtualenv	20.8.0	WC幅	0.2.5	webエンコーディング	0.5.1
輪	0.37.0	widgetsnb拡張機能	3.6.0

インストールされている R ライブラリ

R ライブラリは、2022-05-06 の Microsoft CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アスクパス	1.1	assertthat	0.2.1	バックポート	1.4.1
基	4.1.3	base64enc	0.1-3	bit	4.0.4
ビット64	4.0.5	ブロッブ	1.2.3	ブート	1.3-28
醸成	1.0-7	ブリオ	1.1.3	箒	0.8.0
bslibの	0.3.1	カケム	1.0.6	コール	3.7.0
キャレット	6.0-92	セルレンジャー	1.1.0	クロン	2.3-56
クラス	7.3-20	CLI	3.3.0	clipr	0.8.0
クラスター	2.1.3	コードツール	0.2-18	カラースペース	2.0-3
コモンマーク	1.8.0	コンパイラ	4.1.3	コンフィグ	0.3.1
CPP11の	0.4.2	クレヨン	1.5.1	資格情報	1.3.2
Curl	4.3.2	データ.テーブル	1.14.2	データセット	4.1.3
DBI	1.1.2	dbplirの	2.1.1	DESC	1.4.1
開発ツール	2.4.3	ディフobj	0.3.5	ダイジェスト	0.6.29
dplyrの	1.0.9	DTPLyr	1.2.1	E1071	1.7-9
省略記号	0.3.2	評	0.15	ファンシ	1.0.3
ファーバー	2.1.0	ファストマップ	1.1.0	フォントオーサム	0.2.2
フォーキャッツ	0.5.1	For each	1.5.2	外国の	0.8-82
鍛える	0.2.0	FSの	1.5.2	未来	1.25.0
future.お申込み	1.9.0	嗽	1.2.0	ジェネリック	0.1.2
ゲルト	1.6.0	ggplot2の	3.3.6	gh	1.3.0
ギットレッズ	0.1.1	glmnet	4.1-4	グローバル	0.14.0
膠	1.6.2	グーグルドライブ	2.0.0	グーグルシート4	1.0.0
ガウアー	1.0.0	グラフィックス	4.1.3	grDevicesの	4.1.3
グリッド	4.1.3	グリッドエクストラ	2.3	gsubfnの	0.7
GTABLE(GTABLE)	0.3.0	ヘルメット	0.2.0	避難所	2.5.0
高い	0.9	HMSの	1.1.1	htmlツール[htmltools]	0.5.2
htmlウィジェット	1.5.4	httpuv	1.6.5	httr	1.4.3
ids	1.0.1	イニ	0.3.1	イプレッド	0.9-12
アイソバンド	0.2.5	反復子	1.0.14	jquerylib	0.1.4
jsonlite	1.8.0	カーンスムース	2.23-20	ニット	1.39
ラベリング	0.4.2	あとで	1.3.0	格子	0.20-45
溶岩	1.6.10	ライフサイクル	1.0.1	リッスン	0.8.0
ルブリデート	1.8.0	マグリット	2.0.3	Markdown	1.1
質量	7.3-56	マトリックス	1.4-1	メモ	2.0.1
メソッド	4.1.3	mgcv	1.8-40	マイム	0.12
モデルメトリクス	1.2.2.2	モデラー	0.1.8	マンセル	0.5.0
nlme	3.1-157	ネット	7.3-17	numDerivの	2016.8-1.1
オープンSSL	2.0.0	並列	4.1.3	並行して	1.31.1
柱	1.7.0	pkgbuild の	1.3.1	pkgconfig	2.0.3
pkgload(パッケージロード)	1.2.4	plogrの	0.2.0	プライル	1.8.7
褒める	1.0.0	プリティユニット	1.1.1	pROC	1.18.0
プロセスX	3.5.3	製品	2019.11.13	経過	1.2.2
プログレッサー	0.10.0	約束	1.2.0.1	プロト	1.0.0
プロキシ	0.4-26	PS	1.7.0	ゴロゴロ	0.3.4
R2D3の	0.2.6	R6の	2.5.1	ランダムフォレスト	4.7-1
ラプディレクトリ	0.3.3	rcmdcheckの	1.4.0	RColorブリューワー	1.1-3
Rcpp	1.0.8.3	RcppEigen	0.3.3.9.2	読み取り	2.1.2
readxlの	1.4.0	レシピ	0.2.0	再戦	1.0.1
再戦2	2.1.2	リモコン	2.4.2	レプレックス	2.0.1
形状変更2	1.4.4	ラン	1.0.2	rmarkdown	2.14
RODBC	1.3-19	リオキシジェン2	7.1.2	rpart	4.1.16
rprojroot さん	2.0.3	サーブ	1.8-10	RSQLite (英語)	2.2.13
rstudioapi	0.13	rversions	2.1.1	アヴェスト	1.0.2
サス	0.4.1	秤	1.2.0	セレクタ	0.4-2
セッション情報	1.2.2	形	1.4.6	shiny	1.7.1
ソースツール	0.1.7	sparklyr	1.7.5	SparkR	3.3.0
空間的	7.3-11	スプライン	4.1.3	sqldf	0.4-11
スクエアム	2021.1	統計	4.1.3	統計4	4.1.3
ストリンギ	1.7.6	ストリンガー	1.4.0	生存	3.2-13
SYSの	3.4	tcltk	4.1.3	テストを	3.1.4
ティブル	3.1.7	ティディル	1.2.0	ティディセレクト	1.1.2
ティディバース	1.3.1	日時	3043.102	タイニーテックス	0.38
ツール	4.1.3	tzdb	0.3.0	usethisさん	2.1.5
UTF8	1.2.2	ユーティリティ	4.1.3	UUIDの	1.1-0
vctrs	0.4.1	viridisライト	0.4.0	ブルーム	1.5.7
ワルド	0.4.0	ウイスカー	0.4	ウィザー	2.5.0
xfun	0.30	XML2の	1.3.3	xopen(オーペン)	1.0.0
エクステーブル	1.8-4	ヤムラ	2.3.5	郵便番号	2.2.0

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.12.189
com.amazonawsの	aws-java-sdk-cloudformation	1.12.189
com.amazonawsの	aws-java-sdk-cloudfront	1.12.189
com.amazonawsの	aws-java-sdk-cloudhsm	1.12.189
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.12.189
com.amazonawsの	aws-java-sdk-cloudtrail	1.12.189
com.amazonawsの	aws-java-sdk-cloudwatch	1.12.189
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.12.189
com.amazonawsの	aws-java-sdk-コードデプロイ	1.12.189
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.12.189
com.amazonawsの	aws-java-sdk-cognitosync	1.12.189
com.amazonawsの	aws-java-sdk-configの	1.12.189
com.amazonawsの	aws-java-sdk-コア	1.12.189
com.amazonawsの	aws-java-sdk-データパイプライン	1.12.189
com.amazonawsの	aws-java-sdk-directconnectの	1.12.189
com.amazonawsの	aws-java-sdkディレクトリ	1.12.189
com.amazonawsの	aws-java-sdk-ダイナモDB	1.12.189
com.amazonawsの	aws-java-sdk-ec2 の	1.12.189
com.amazonawsの	aws-java-sdk-ecsの	1.12.189
com.amazonawsの	aws-java-sdk-efs	1.12.189
com.amazonawsの	aws-java-sdk-elasticache	1.12.189
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.12.189
com.amazonawsの	aws-java-sdk-emr	1.12.189
com.amazonawsの	aws-java-sdk-glacier	1.12.189
com.amazonawsの	aws-java-sdk-グルー	1.12.189
com.amazonawsの	aws-java-sdk-iam	1.12.189
com.amazonawsの	aws-java-sdk-importexport	1.12.189
com.amazonawsの	aws-java-sdk-キネシス	1.12.189
com.amazonawsの	aws-java-sdk-kmsの	1.12.189
com.amazonawsの	aws-java-sdk-ラムダ	1.12.189
com.amazonawsの	aws-java-sdk-logs	1.12.189
com.amazonawsの	aws-java-sdk-機械学習	1.12.189
com.amazonawsの	aws-java-sdk-opsworks	1.12.189
com.amazonawsの	aws-java-sdk-rds	1.12.189
com.amazonawsの	aws-java-sdk-レッドシフト	1.12.189
com.amazonawsの	aws-java-sdk-ルート53	1.12.189
com.amazonawsの	aws-java-sdk-s3 の	1.12.189
com.amazonawsの	aws-java-sdk-ses	1.12.189
com.amazonawsの	aws-java-sdk-simpledb	1.12.189
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.12.189
com.amazonawsの	aws-java-sdk-snsの	1.12.189
com.amazonawsの	aws-java-sdk-sqs	1.12.189
com.amazonawsの	aws-java-sdk-ssm	1.12.189
com.amazonawsの	aws-java-sdk-storagegateway	1.12.189
com.amazonawsの	aws-java-sdk-sts	1.12.189
com.amazonawsの	aws-java-sdk-サポート	1.12.189
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.12.189
com.amazonawsの	jmespath-java	1.12.189
com.chuusai(英語)	shapeless_2.12	2.3.3
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.13.3
com.fasterxml.jackson.core	ジャクソンコア	2.13.3
com.fasterxml.jackson.core	ジャクソン-データバインド	2.13.3
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.13.3
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.13.3
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.13.3
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.12	2.13.3
com.github.ben-manes.caffeine	カフェイン	2.3.4
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	コア	1.1.2
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-java-natives	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-java-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	ZSTD-JNI	1.5.2-1
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.8.6
com.google.crypto.tink	ティンク	1.6.1
com.google.flatbuffers	フラットバッファ-Java	1.12.0
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2データベース	H2	2.0.204
com.helger	プロファイラー	1.1.1
com.jcraftの	jsch	0.1.50
com.jolboxの	ボーンカップ	0.8.0.リリース
com.lihaoyi	sourcecode_2月12日	0.1.9
com.microsoft.azure	azure-データレイク-store-sdk	2.3.9
com.ningの	圧縮-LZF	1.1
com.sun.mail	javax.mail	1.5.2
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.10.0
コム。囀る	chill_2.12	0.10.0
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.2.1
Scala-logging	Scala-logging_2.12	3.7.2
com.univocityの	univocity-パーサー	2.9.1
com.zaxxerの	ひかりCP	4.0.3
コモンズCLI	コモンズCLI	1.5.0
コモンズコーデック	コモンズコーデック	1.15
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.3.3
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.11.0
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib さん	アーパック	2.2.1
dev.ludovic.netlib さん	ブラス	2.2.1
dev.ludovic.netlib さん	ラパック	2.2.1
ハイブ-2.3__hadoop-3.2	ジェット3T-0.7	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.21
io.delta	デルタシェアリング-spark_2.12	0.4.0
io.dropwizard.メトリクス	メトリクスコア	4.1.1
io.dropwizard.メトリクス	メトリクス-グラファイト	4.1.1
io.dropwizard.メトリクス	メトリクス-healthchecks	4.1.1
io.dropwizard.メトリクス	メトリクス-jetty9	4.1.1
io.dropwizard.メトリクス	メトリクス-JMX	4.1.1
io.dropwizard.メトリクス	メトリクス-JSON	4.1.1
io.dropwizard.メトリクス	メトリクス-JVM	4.1.1
io.dropwizard.メトリクス	メトリクスサーブレット	4.1.1
io.nettyの	netty-すべて	4.1.74.ファイナル
io.nettyの	netty-buffer	4.1.74.ファイナル
io.nettyの	netty-codec (英語)	4.1.74.ファイナル
io.nettyの	netty-共通	4.1.74.ファイナル
io.nettyの	netty-ハンドラ	4.1.74.ファイナル
io.nettyの	netty-リゾルバ	4.1.74.ファイナル
io.nettyの	netty-tcnative-クラス	2.0.48.最終版
io.nettyの	netty-トランスポート	4.1.74.ファイナル
io.nettyの	netty-transport-classes-epoll	4.1.74.ファイナル
io.nettyの	netty-transport-classes-kqueue	4.1.74.ファイナル
io.nettyの	netty-transport-native-epoll-linux-aarch_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-epoll-linux-x86_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-kqueue-osx-aarch_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-kqueue-osx-x86_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-unix-common	4.1.74.ファイナル
io.プロメテウス	シンプルクライアント	0.7.0
io.プロメテウス	simpleclient_common	0.7.0
io.プロメテウス	simpleclient_dropwizard	0.7.0
io.プロメテウス	simpleclient_pushgateway	0.7.0
io.プロメテウス	simpleclient_servlet	0.7.0
io.prometheus.jmx	収集家	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet (英語)	jakarta.servlet-api	4.0.3
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.11
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.10.13
Maven-ツリー	ハイブ-2.3__hadoop-3.2	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	漬ける	1.2
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
ネット.スノーフレーク	スノーフレーク-JDBC	3.13.14
ネット.スノーフレーク	スパーク-snowflake_2.12	2.10.0-spark_3.1
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.8
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.9.2
org.apache.ant	アントJSCH	1.9.2
org.apache.ant	アントランチャー	1.9.2
org.apache.arrow(アパッチ・アロー)	arrow-format	7.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-core	7.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-netty	7.0.0
org.apache.arrow(アパッチ・アロー)	arrow-vector	7.0.0
org.apache.avro	AVRO	1.11.0
org.apache.avro	アブロIPC	1.11.0
org.apache.avro	アブロマップド	1.11.0
org.apache.commonsの	コモンズコレクション4	4.4
org.apache.commonsの	コモンズ圧縮	1.21
org.apache.commonsの	コモンズ-クリプト	1.1.0
org.apache.commonsの	コモンズ-LANG3	3.12.0
org.apache.commonsの	コモンズ-数学3	3.6.1
org.apache.commonsの	コモンズテキスト	1.9
org.apache.curator (英語)	キュレーター・クライアント	2.13.0
org.apache.curator (英語)	キュレーターフレームワーク	2.13.0
org.apache.curator (英語)	キュレーターレシピ	2.13.0
org.apache.derbyの	ダービー	10.14.2.0
org.apache.hadoop です。	hadoop クライアント API	3.3.2-データブリック
org.apache.hadoop です。	hadoop クライアントランタイム	3.3.2
org.apache.hive です。	ハイブビーライン	2.3.9
org.apache.hive です。	ハイブ CLI	2.3.9
org.apache.hive です。	ハイブ-JDBC	2.3.9
org.apache.hive です。	ハイブ - llap クライアント	2.3.9
org.apache.hive です。	ハイブ - llap - 共通	2.3.9
org.apache.hive です。	ハイブセルデ	2.3.9
org.apache.hive です。	ハイブシム	2.3.9
org.apache.hive です。	ハイブストレージAPI	2.7.2
org.apache.hive.shims	ハイブシム-0.23	2.3.9
org.apache.hive.shims	ハイブシム-共通	2.3.9
org.apache.hive.shims	ハイブシムススケジューラ	2.3.9
org.apache.httpコンポーネント	httpクライアント	4.5.13
org.apache.httpコンポーネント	httpコア	4.4.14
org.apache.ivy	蔦	2.5.0
org.apache.logging.log4j	ログ4J-1.2-API	2.17.2
org.apache.logging.log4j	ログ4J-API	2.17.2
org.apache.logging.log4j	log4j-コア	2.17.2
org.apache.logging.log4j	log4j-slf4j-impl	2.17.2
org.apache.mesos	メソスシェードプロトブ	1.4.0
org.apache.orc	オークコア	1.7.4
org.apache.orc	orc-mapreduce	1.7.4
org.apache.orc	オークシム	1.7.4
org.apache.parquet	parquet-column	1.12.0-データブリックス-0004
org.apache.parquet	parquet-common	1.12.0-データブリックス-0004
org.apache.parquet	parquet-encoding	1.12.0-データブリックス-0004
org.apache.parquet	parquet-format-structures	1.12.0-データブリックス-0004
org.apache.parquet	parquet-hadoop	1.12.0-データブリックス-0004
org.apache.parquet	parquet-jackson	1.12.0-データブリックス-0004
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.xbean	xbean-asm9-shaded (英語)	4.20
org.apache.yetus (英語)	オーディエンスアノテーション	0.5.0
org.apache.zookeeper	動物園の飼育係	3.6.2
org.apache.zookeeper	動物園の飼育係ジュート	3.6.2
org.checkerフレームワーク	チェッカークォール	3.5.0
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
組織Eclipse.jetty	桟橋クライアント	9.4.46.v20220331
組織Eclipse.jetty	桟橋の続き	9.4.46.v20220331
組織Eclipse.jetty	桟橋-HTTP	9.4.46.v20220331
組織Eclipse.jetty	桟橋-IO	9.4.46.v20220331
組織Eclipse.jetty	桟橋-JNDI	9.4.46.v20220331
組織Eclipse.jetty	桟橋プラス	9.4.46.v20220331
組織Eclipse.jetty	桟橋プロキシ	9.4.46.v20220331
組織Eclipse.jetty	桟橋警備	9.4.46.v20220331
組織Eclipse.jetty	桟橋サーバー	9.4.46.v20220331
組織Eclipse.jetty	桟橋サーブレット	9.4.46.v20220331
組織Eclipse.jetty	桟橋サーブレット	9.4.46.v20220331
組織Eclipse.jetty	桟橋-util	9.4.46.v20220331
組織Eclipse.jetty	桟橋-util-ajax	9.4.46.v20220331
組織Eclipse.jetty	桟橋-webapp	9.4.46.v20220331
組織Eclipse.jetty	桟橋XML	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-api	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-クライアント	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-共通	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-サーバー	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-サーブレット	9.4.46.v20220331
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.34
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.34
org.glassfish.jersey.coreの	ジャージークライアント	2.34
org.glassfish.jersey.coreの	ジャージー共通	2.34
org.glassfish.jersey.coreの	ジャージーサーバー	2.34
org.glassfish.jersey.inject	ジャージ-HK2	2.34
org.hibernate.validator	hibernate-validator	6.1.0.ファイナル
org.javassist	ジャバス奏者	3.25.0-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.jetbrainsの	注釈	17.0.0
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.7.0-M11
org.json4sの	json4s-core_2.12	3.7.0-M11
org.json4sの	json4s-jackson_2.12	3.7.0-M11
org.json4sの	json4s-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Javaの	1.8.0
org.mariadb.JDBC	mariadb-java-クライアント	2.7.4
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.3.3
org.roaringbitmap	ロアリングビットマップ	0.9.25
org.roaringbitmap	シム	0.9.25
org.rocksdbの	ロックスDBJNI	6.24.2
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.14
組織Scala-lang	Scala-Library.12	2.12.14
組織Scala-lang	Scala-reflect_2.12	2.12.14
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.4.3
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	そよ風-macros_2.12	1.2
org.scalanlp	breeze_2.12	1.2
org.scalatestの	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.36
org.slf4j	7月-slf4j	1.7.36
org.slf4j	SLF4J-APIの	1.7.36
org.spark-project.spark です。	未使用	1.0.0
org.threetenさん	スリーテンエクストラ	1.5.0
org.tukaani	xz	1.8
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	マクロ-compat_2.12	1.1.1
org.typelevel	スパイア-macros_2.12	0.17.0
org.typelevel	スパイア-platform_2.12	0.17.0
org.typelevel	スパイア-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	ワイルドフライ-openssl	1.0.7.ファイナル
org.xerial	sqlite-JDBC の	3.8.11.2
org.xerial.snappy(英語)	スナッピージャワ	1.1.8.4
org.yaml の	スネークヤム	1.24
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1

新機能と改善点​

Apache Spark の新しいバージョン​

Python ノートブックで IPython カーネルが使用されるようになりました​

Synapse コネクタが非レガシー モードでデータを write.parquet するようになりました​

ABFS クライアントが SAS トークンを使用する場合に HTTPS スキームが適用されるようになりました​

SQL: DESC が DESCRIBE​

SQL: 新しい current_version 関数はバージョンの詳細を出力します​

欠落している Delta テーブル制約を削除すると、エラーが発生するようになりました​

SQL: SELECTステートメントの新しい EXCEPT 句により、選択から列が除外されます​

Delta テーブルでの列の削除のサポート (パブリック プレビュー)​

COPY INTO の改善​

動作の変更​

SQL: lpad 関数と rpad 関数がバイト シーケンスをサポートするようになりました​

format_string と printf の文字列形式では使用できなくなりました %0$​

CSV ファイル内の null 値は、デフォルトで引用符で囲まれていない空の文字列として書き込まれるようになりました​

テーブル プロパティ external が予約されました​

Log4j は Log4j 1 から Log4j 2 にアップグレードされます​

Mavenからインストールしたライブラリは、デフォルトによってコンピュート平面で解決されるようになりました​

バグの修正​

ライブラリのアップグレード​

Apache Spark​

Spark SQL とコア​

ANSI モード​

機能の強化​

パフォーマンスの強化​

組み込みコネクタの機能強化​

ノードの使用停止​

その他の注目すべき変更点​

構造化ストリーミング​

主な特長​

その他の注目すべき変更点​

PySparkの​

Spark 上の Pandas API​

主な改善点​

主な特長​

その他の注目すべき変更点​

破壊的変更​

主な特長​

MLlib​

主な特長​

主な改善点​

その他の注目すべき変更点​

SparkR​

UIの​

建てる​

メンテナンスの更新​

システム環境​

インストール済み Python ライブラリ​

インストールされている R ライブラリ​

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)​

新機能と改善点

Apache Spark の新しいバージョン

Python ノートブックで IPython カーネルが使用されるようになりました

Synapse コネクタが非レガシーモードでデータを write.parquet するようになりました

ABFS クライアントが SAS トークンを使用する場合に HTTPS スキームが適用されるようになりました

SQL: `DESC` が `DESCRIBE`

SQL: 新しい `current_version` 関数はバージョンの詳細を出力します

欠落している Delta テーブル制約を削除すると、エラーが発生するようになりました

SQL: `SELECT`ステートメントの新しい `EXCEPT` 句により、選択から列が除外されます

Delta テーブルでの列の削除のサポート (パブリックプレビュー)

`COPY INTO` の改善

動作の変更

SQL: `lpad` 関数と `rpad` 関数がバイトシーケンスをサポートするようになりました

`format_string` と `printf` の文字列形式では使用できなくなりました `%0$`

CSV ファイル内の null 値は、デフォルトで引用符で囲まれていない空の文字列として書き込まれるようになりました

テーブルプロパティ `external` が予約されました

Log4j は Log4j 1 から Log4j 2 にアップグレードされます

Mavenからインストールしたライブラリは、デフォルトによってコンピュート平面で解決されるようになりました

バグの修正

ライブラリのアップグレード

Apache Spark

Spark SQL とコア

ANSI モード

機能の強化

パフォーマンスの強化

組み込みコネクタの機能強化

ノードの使用停止

その他の注目すべき変更点

構造化ストリーミング

主な特長

その他の注目すべき変更点

PySparkの

Spark 上の Pandas API

主な改善点

主な特長

その他の注目すべき変更点

破壊的変更

主な特長

MLlib

主な特長

主な改善点

その他の注目すべき変更点

SparkR

UIの

建てる

メンテナンスの更新

システム環境

インストール済み Python ライブラリ

インストールされている R ライブラリ

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)