Databricks Runtime 12.0 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
次のリリースノートは、Databricks Runtime Apache Spark3.3.1 を搭載した 12.0 に関する情報を提供します。
Databricks は 2022 年 12 月にこのバージョンをリリースしました。
これらのリリースノートには、このリリースの時点で Google Cloud で利用できない機能への参照が含まれている場合があります。
新機能と改善点
- 予測I/OはGAです
- Photon Writer は zstd 圧縮をサポートしています
- スタンドアロンクラスターのステージレベルのタスクリソースプロファイルのサポート
- 選択的上書きの SQL サポート
REPLACE WHERE - ウォーターマークが SQL でサポートされるようになりました
- PySpark メモリプロファイリング
- DELETE と UPDATE の動的プルーニング
- Row-level delete メトリクス for partitioned data manipulation language operations
予測I/OはGAです
予測 I/O の一般提供が開始されました。 詳細については、「 予測 I/O とは」を参照してください。
Photon Writer は zstd 圧縮をサポートしています
Photon Native Writer は、 spark.sql.parquet.compression.codec を zstdに設定することで zstd が有効になっている場合、zstd 圧縮コーデックをサポートするようになりました。
スタンドアロンクラスターのステージレベルのタスクリソースプロファイルのサポート
動的割り当てが無効になっている場合に、スタンドアロンクラスターでステージレベルのスケジューリングを使用できるようになりました。 この機能を使用するには、ステージごとにタスクリソースを ResourceProfileBuilder で指定します。
選択的上書きの SQL サポート REPLACE WHERE
次のパターンを使用して、Delta テーブル内の任意の式に一致するデータを選択的に上書きできるようになりました。
INSERT INTO table_name REPLACE WHERE predicate append_relation
replaceWhereによる任意の選択的上書きを参照してください。
ウォーターマークが SQL でサポートされるようになりました
DLT SQL インターフェイスを使用して、ストリーミング に対する SQL クエリでウォーターマークを指定できるようになりました DataFrames。 WATERMARK 句を参照してください。
PySpark メモリプロファイリング
メモリプロファイリングが PySpark ユーザー定義関数で有効になりました。 これにより、ユーザー定義関数の各コード行のメモリ増分、メモリ使用量、および出現回数に関する情報が提供されます。
DELETE と UPDATE の動的プルーニング
Photon対応のコンピュートを使用する場合、 DELETE と UPDATE は動的ファイルとパーティションのプルーニングを使用するようになり、パフォーマンスが向上しました。 たとえば、動的プルーニングは、小さなソース テーブルを使用して大きなテーブルの行を更新または削除する場合に有効になります。
Row-level delete メトリクス for partitioned data manipulation language operations
パーティション化された述語を使用すると、 DELETE、 TRUNCATE、 replaceWhereなどのデータ操作言語 (DML) 操作の実行時に削除される行数を監査できるようになりました。
バグの修正
JSONでのAuto Loader 解析で、すべての列が文字列として残される問題を修正しました。以前は、 cloudFiles.inferColumnTypes が設定されていないか、 false に設定されておらず、JSON にはネストされたオブジェクトが含まれていました。
ライブラリのアップグレード
-
アップグレードされた Python ライブラリ:
- argon2-cffi 20.1.0 以降 21.3.0 へ
- 21.2.0 から 21.4.0 までの属性
- backports.entry-points-selectable 1.1.1 から 1.2.0 へ
- 4.0.0から4.1.0までの漂白剤
- boto3 1.21.18 から 1.21.32 まで
- 1.24.18から1.24.32へのbotocore
- CFFI 1.14.6 から 1.15.0 へ
- 8.0.3から8.0.4までクリックします
- 0.10.0 から 0.11.0 までのサイクラー
- Cython 0.29.24 から 0.29.28
- debugpy 1.4.1 から 1.5.1 まで
- 5.1.0 からのデコレータ 5.1.1 へ
- 0.3 から 0.4 までのエントリポイント
- IDNA 3.2 から 3.3 へ
- 6.12.1 から 6.15.3 までの ipykernel
- 7.32.0 から 8.5.0 への ipython
- ipywidgets 7.7.0 から 7.7.2 まで
- 0.18.0 から 0.18.1 への Jedi
- joblib を 1.0.1 から 1.1.0 へ
- 3.2.0 から 4.4.0 までの jsonschema
- Kiwisolver 1.3.1 から 1.3.2 へ
- matplotlib を 3.4.3 から 3.5.1 へ
- nbclient を 0.5.3 から 0.5.13 に変更
- nbconvert 6.1.0 から 6.4.4 まで
- nbformat 5.1.3 以降 5.3.0 まで
- nest-asyncio を 1.5.1 から 1.5.5 に変更
- ノートブック 6.4.5 から 6.4.8 へ
- 1.20.3 から 1.21.5 までの numpy
- 21.0 から 21.3 までのパッケージ
- 1.3.4 から 1.4.2 へのPandas
- pandoc1.4.3 から 1.5.0 へのフィルタ
- parso を 0.8.2 から 0.8.3 に変更
- 8.4.0から9.0.1までの枕
- platform2.5.2 から 2.5.4 へのディレクトリ
- 5.9.0から5.6.0へのplotly
- prometheus-client を 0.11.0 から 0.13.1 に変更
- 4.21.5 から 3.19.4 への protobuf
- pycparser を 2.20 から 2.21 に変更
- 2.10.0 から 2.11.2 までの画像
- 4.0.31 から 4.0.32 へのpyodbc
- Pyzmq 22.2.1 から 22.3.0 へ
- 2.26.0 から 2.27.1 へのリクエスト
- s3 0.5.2 から 0.5.0 への転送
- scikit-learn 0.24.2 から 1.0.2 まで
- scipy 1.7.1 から 1.7.3 へ
- statsは 0.12.2 から 0.13.2 までモデル化します。
- 0.9.4 から 0.13.1 までのターミナル
- tomli を 2.0.1 から 1.2.2 へ
- 5.1.0 からの特性 5.1.1 へ
- urllib3 を 1.26.7 から 1.26.9 に変更
- widgetsnb拡張子を 3.6.0 から 3.6.1 に変更
-
アップグレードされた R ライブラリ:
- 4.1.3 からのベース 4.2.2 へ
- 1.0-7から1.0-8まで醸造
- bslib を 0.4.0 から 0.4.1 へ
- 3.7.2 から 3.7.3 への callr
- 2.3-57 から 2.3-58 までの chron
- 3.3.0 から 3.4.1 までの CLI
- 2.1.3 からのクラスター 2.1.4 へ
- commonmark を 1.8.0 から 1.8.1 に変更
- 4.1.3 からのコンパイラ 4.2.2 へ
- cpp11 を 0.4.2 から 0.4.3 に
- Crayon 1.5.1 から 1.5.2 へ
- curl を 4.3.2 から 4.3.3 に変更
- data.table を 1.14.2 から 1.14.4 に
- 4.1.3 からのデータセット 4.2.2 へ
- 1.4.1 から 1.4.2 への DESC
- devtools を 2.4.4 から 2.4.5 に
- 0.6.29 から 0.6.30 までのダイジェスト
- E1071 1.7-11 から 1.7-12
- 0.16から0.18まで評価します
- 0.3.0 から 0.4.0 への fontawesome
- 1.28.0 から 1.29.0 までの将来
- future.apply を 1.9.1 から 1.10.0 に変更
- 1.2.0から1.2.1へのうがい
- gert 1.8.0 から 1.9.1 へ
- ggplot2 を 3.3.6 から 3.4.0 へ
- gh を 1.3.0 から 1.3.1 に
- 0.1.1 から 0.1.2 への gitcreds
- 4.1.3 からのグラフィック 4.2.2 へ
- grDevices 4.1.3 から 4.2.2 へ
- 4.1.3 からのグリッド 4.2.2 へ
- httpuv 1.6.5 から 1.6.6 へ
- 0.2.5 から 0.2.6 までの等帯域
- jsonlite 1.8.0 から 1.8.3 へ
- 溶岩 1.6.10 から 1.7.0 へ
- 1.0.1 から 1.0.3 までのライフサイクル
- lubridate 1.8.0 から 1.9.0 へ
- 1.1から1.3への値下げ
- 7.3-56から7.3-58までのMASS
- 1.4-1から1.5-1までの行列
- 4.1.3 からのメソッド 4.2.2 へ
- 1.8-40から1.8-41までのMGCV
- 3.1-157から3.1-160までのNLME
- nnet 7.3-17 から 7.3-18
- openssl 2.0.2 から 2.0.4 へ
- 4.1.3 からの並列 4.2.2 へ
- pkgload を 1.3.0 から 1.3.1 へ
- processx 3.7.0 から 3.8.0 へ
- PS 1.7.1 から 1.7.2 へ
- 0.3.4 から 0.3.5 への purrr
- ragg を 1.2.2 から 1.2.4 に更新
- 0.3.3.9.2 から 0.3.3.9.3 への RcppEigen
- 2.1.2 からの読み取り から 2.1.3
- 1.0.1から1.0.3までのレシピ
- rlang を 1.0.5 から 1.0.6 へ
- rmarkdown を 2.16 から 2.18 に変更しました。
- rpart 4.1.16 から 4.1.19 まで
- RSQLite の 2.2.16 から 2.2.18 へ
- 1.7.2から1.7.3までの光沢
- SparkR 3.3.0 から 3.3.1 へ
- 4.1.3 からのスプライン 4.2.2 へ
- 4.1.3 からのステータス 4.2.2 へ
- 4.1.3 からの stats4 4.2.2 へ
- sys を 3.4 から 3.4.1 へ
- 4.1.3 からの tcltk 4.2.2 へ
- 3.1.4 からの testthat 3.1.5 まで
- tidyr 1.2.0 から 1.2.1 へ
- 1.1.2からのtidyselect 1.2.0 へ
- time日付 4021.104 から 4021.106 まで
- 0.41から0.42へのtinytex
- 4.1.3 のツール 4.2.2 へ
- 4.1.3 からのユーティリティ 4.2.2 へ
- 0.4.1 から 0.5.0 までの VCTRS
- vroom 1.5.7 から 1.6.0 へ
- 0.32から0.34へのxfun
- 2.3.5 から 2.3.6 までの YAML
- 2.2.0 から 2.2.2 までの zip
-
アップグレードされた Java ライブラリ:
- com.fasterxml.jackson.core.jackson-databind 2.13.4 から 2.13.4.2 へ
- org.apache.parquet.parquet-column 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
- org.apache.parquet.parquet-common 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
- org.apache.parquet.parquet-エンコーディング 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
- org.apache.parquet.parquet-format-structures 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
- org.apache.parquet.parquet-hadoop 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
- org.apache.parquet.parquet-jackson 1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ
- org.apache.yetus.audience-annotations(英語) 0.5.0 から 0.13.0 まで
Apache Spark
Databricks Runtime 12.0 には Apache Spark 3.3.1 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 11.3 LTS に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。
- [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] 「[SC-113542][ss] Kafka オフセットフェッチ設定のデフォルト値を反転する」を元に戻す
- [SPARK-40646] [SC-116061] 「[SC-113379][sql] JSON データソースおよび JSON 関数で部分的な結果を返す問題を修正」を元に戻す
- [SPARK-41195] [SC-116305][sql] 結合子でPIVOT/UNPIVOTをサポート
- [SPARK-41178] [SC-116139][sql] JOINとカンマの間のパーサールールの優先順位を修正
- [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] エラークラスを
STREAM_FAILEDに追加しますStreamingQueryException - 【スパーク-40921】「[SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY ソース 句を MERGE INTO に戻します
- [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張します
- [SPARK-41055] [SC-115582][sql]
_LEGACY_ERROR_TEMP_2424の名前をGROUP_BY_AGGREGATE - [SPARK-41101] [SC-115849]Python[PROTOBUF] PySpark-PROTOBUFのメッセージクラス名のサポート
- [SPARK-40956] [SC-115867] データフレームの上書きコマンドに同等のSQLを設定
- [SPARK-41095] [SC-115659][sql] 未解決の演算子を内部エラーに変換する
- [SPARK-41144] [SC-115866][sql] 未解決のヒントでクエリが失敗しないようにする
- [SPARK-41137] [SC-115858][sql]
LATERAL_JOIN_OF_TYPEの名前をINVALID_LATERAL_JOIN_TYPE - [SPARK-40998] [SC-114754][sql] エラークラスの名前を
_LEGACY_ERROR_TEMP_0040に変更INVALID_IDENTIFIER - [SPARK-41015] [SC-115130][sql][PROTOBUF] データジェネレータのUnitTestヌルチェック
- [SPARK-40769] [SC-114923][core][SQL] 集約式のタイプチェック失敗をエラークラスに移行
- [SPARK-41043] [SC-115183][sql] エラークラスの名前を
_LEGACY_ERROR_TEMP_2429に変更NUM_COLUMNS_MISMATCH - [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobufのインポートサポートと移動エラークラス。
- [SPARK-41019] [SC-114987][sql] クエリコンテキストを
failAnalysis() - [SPARK-41027] [SC-115131][sql] 代わりに
UNEXPECTED_INPUT_TYPEを使用してくださいMAP_FROM_ENTRIES_WRONG_TYPE - [SPARK-40476] [SC-115868][sc-111163][ML][sql] ALSのシャッフルサイズを縮小
- [SPARK-41134] [SC-115851][sql] 内部エラーのエラーメッセージを改善
- [スパーク-37980] Revert " [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張します
- [SPARK-41109] [SC-115788][sql] エラークラスの名前を_LEGACY_ERROR_TEMP_1216をINVALID_LIKE_PATTERNに変更
- [SPARK-40984] [SC-115844][core][SQL] 代わりに
NON_FOLDABLE_INPUTを使用FRAME_LESS_OFFSET_WITHOUT_FOLDABLE - [SPARK-41029] [SC-115828][sql] Scala 2.13の
GenericArrayDataのコンストラクタ使用を最適化 - [SPARK-40697] [SC-113648][sql] 外部データファイルをカバーするために読み取り側のcharパディングを追加
- [SPARK-40978] [SC-114574][sql] コンテキストのない
failAnalysis()をエラークラスに移行 - [SPARK-40663] [SC-114586][sql] 実行エラーをエラークラスに移行：_LEGACY_ERROR_TEMP_2251-2275
- [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2:行レベルのコマンドでランタイムグループフィルタリングをサポート
- [SPARK-40372] [SC-115668][sql] 配列型チェックの失敗をエラークラスに移行
- [SPARK-41038] [SC-115371][sql]
MULTI_VALUE_SUBQUERY_ERRORの名前をSCALAR_SUBQUERY_TOO_MANY_ROWS - [SPARK-40965] [SC-114443][sql] エラークラスの名前を
_LEGACY_ERROR_TEMP_1208に変更FIELD_NOT_FOUND - [SPARK-40748] [SC-114696][sql] 条件のタイプチェック失敗をエラークラスに移行
- [SPARK-40371] [SC-114557][sql] NthValueとNTileのタイプチェック失敗をエラークラスに移行
- [SPARK-41092] [SC-115547][sql] 間隔の単位を一致させるために識別子を使用しない
- [SPARK-41009] [SC-115360][sql] エラークラスの名前を
_LEGACY_ERROR_TEMP_1070に変更LOCATION_ALREADY_EXISTS - [SPARK-37980] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張します
- [SPARK-40967] [SC-114448][sql]
failAnalysis()をエラークラスに移行 - [SPARK-34265] [SC-115486][sc-113788][][sql]Python PythonSQLメトリクスを使用した UDF インストゥルメント
- [SPARK-41012] [SC-114873][sql]
_LEGACY_ERROR_TEMP_1022の名前を次のように変更ORDER_BY_POS_OUT_OF_RANGE - [SPARK-41042] [SC-115142][sql]
PARSE_CHAR_MISSING_LENGTHの名前をDATATYPE_MISSING_SIZE - [SPARK-40752] [SC-114442][sql] その他の式のタイプチェック失敗をエラークラスに移行
- [SPARK-37945] [SC-115534][sql][CORE] 算術演算の実行エラーでエラークラスを使用
- [SPARK-40374] [SC-114705][sql] タイプ作成者のタイプチェックの失敗をエラークラスに移行
- [SPARK-41056] [SC-115354][r] R 4.2で導入された新しいR_LIBS_SITEの動作を修正
- [SPARK-41041] [SC-115357][sql]
_LEGACY_ERROR_TEMP_1279をTABLE_OR_VIEW_ALREADY_EXISTS - [SPARK-40663] [SC-114852][sql] 実行エラーをエラークラスに移行:_LEGACY_ERROR_TEMP_2201-2225
- [SPARK-41020] [SC-114984][sql] エラークラスの名前を
_LEGACY_ERROR_TEMP_1019に変更STAR_GROUP_BY_POS - [SPARK-41035] [SC-115233][sql] 集計関数の折り畳み可能な子にパッチを適用しない
RewriteDistinctAggregates - [SPARK-39778] [SC-114353][sql] エラークラスとメッセージの改善
- [SPARK-40798] [SC-113782][sql] パーティションの変更はstoreAssignmentPolicyに従って値を確認する必要があります
- [SPARK-40810] [SC-113533][sql] CreateDatabaseCommand および AlterDatabaseSetLocationCommand で IllegalArgumentException の代わりに SparkIllegalArgumentException を使用
- [SPARK-40921] [SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY ソース句を MERGE INTO に追加
- [SPARK-40360] [SC-114965] ALREADY_EXISTSおよびNOT_FOUNDの例外
- [SPARK-41007] [SC-115085][sql] java.math.BigIntegerに欠落しているシリアライザーを追加
- [SPARK-40751] [SC-114254][sql] 高次関数のタイプチェック失敗をエラークラスに移行
- [SPARK-40248] [SC-114704][sql] より多くのビットを使用してブルームフィルターを構築
- [SPARK-41040] [SC-115145][ss] readStream.table使用時の自己結合ストリーミングクエリの失敗を修正
- [SPARK-32380] [SC-114966][sql] SparkからHive経由でのHBaseテーブルへのアクセスの修正
- [SPARK-40749] [SC-114860][sql] ジェネレータのタイプチェック失敗をエラークラスに移行
- [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] ステートフルな演算子の遅延再を修正...
- [SPARK-40654] [SC-112783] 一時的なログ行の削除
- [SPARK-40742] [SC-114913][sc-112646][CORE][sql] ジェネリックタイプに関連するJavaコンパイルの警告を修正
- [SPARK-40657] [SC-113642][cherry-pick] ProtobのJavaクラスのサポートを追加...
- [SPARK-40898] [SC-113932][sql] データ型の引用符関数名の不一致エラー
- [SPARK-40760] [SC-113750][sql] インターバル式のタイプチェック失敗をエラークラスに移行
- [SPARK-36114] [SC-113771][sql] 相関する非等価述語を持つサブクエリをサポート
- [SPARK-40856] [SC-113738][sql] WRONG_NUM_PARAMSのエラーテンプレートを更新
- [SPARK-40759] [SC-114251][sql] タイムウィンドウのタイプチェック失敗をエラークラスに移行
- [SPARK-40750] [SC-113812][sql] 数式のタイプチェック失敗をエラークラスに移行
- [SPARK-40756] [SC-113749][sql] 文字列式のタイプチェック失敗をエラークラスに移行
- [SPARK-40768] [SC-113640][sql] bloom_filter_agg() のタイプチェック失敗をエラークラスに移行
- [SPARK-40369] [SC-113402][core][SQL] リフレクションによる呼び出しのタイプチェック失敗をエラークラスに移行
- [SPARK-39445] [SQL] 列のプルーニングでwindowExpressionsが空の場合にウィンドウを削除する
- [SPARK-40761] [SC-113245][sql] パーセンタイル式のタイプチェック失敗をエラークラスに移行
- [SPARK-40361] [SC-112789][sql] 算術型チェックの失敗をエラークラスに移行
- [SPARK-40714] [SC-112576][sql] 削除
PartitionAlreadyExistsException - [SPARK-40702] [SC-112437][sql] パーティションの仕様を修正
PartitionsAlreadyExistException - [SPARK-40358] [SC-112631][sql] コレクション型チェックの失敗をエラークラスに移行
- [SPARK-40910] [SC-114259][sql] UnsupportedOperationExceptionをSparkUnsupportedOperationExceptionに置き換えてください。
- [SPARK-39876] [SC-112429][sql] SQL構文にUNPIVOTを追加
- [SPARK-39783] [SC-113389][sql] エラーメッセージの列候補のバッククォートを修正するために、qualifiedNameを引用符で囲むように修正
- [SPARK-40663] [SC-112520][sql] 実行エラーをエラークラス_LEGACY_ERROR_TEMP_2026-2282に移行
- [SPARK-40975] [SC-114555][sql] エラークラス
_LEGACY_ERROR_TEMP_0021の名前を次のように変更UNSUPPORTED_TYPED_LITERAL - [SPARK-37935] [SC-114472][sql] 個別のエラーサブクラスフィールドを削除
- [SPARK-40944 ] [SC-114530] [SQL] CREATE TABLE 列オプションの順序制約を緩和します
- [SPARK-40815] [SC-114528][sql] 回避策に
DelegateSymlinkTextInputFormatを追加SymlinkTextInputSplitバグ - [SPARK-40933] [SC-114441][sql] df.statを再実装します。{cov、 corr} と組み込み SQL 関数
- [SPARK-40932] [SC-114439][core] allGatherのメッセージが上書きされる問題を修正
- [SPARK-39312] [SQL] フィルターのプッシュダウンにネイティブのParquet In述語を使用
- [SPARK-40862] [SC-114352][sql] RewriteCorrelatedScalarSubquery で非集約サブクエリをサポート
- [SPARK-40963] [SC-114446][sql] によって作成されたプロジェクトでnull許容値を正しく設定
ExtractGenerator - [SPARK-40663] [SC-112295][sql] 実行エラーをエラークラスに移行：_LEGACY_ERROR_TEMP_2000-2024
- [SPARK-40892] [SC-114347][sql][SS] window_timeルールの要件を緩和 - 複数のwindow_time呼び出しを許可する
- [SPARK-40540] [SC-111639][sql] コンパイルエラーをエラークラスに移行：_LEGACY_ERROR_TEMP_1100-1347
- [SPARK-40924] [SC-114258][sql] 入力に奇数のシンボルがある場合のUnhexの修正
- [SPARK-40821] [SC-113754] [sql][CORE][Python][SS] ウィンドウ列からイベント時間を抽出するwindow_time機能を導入しました
- [SPARK-40800] [SC-113772][sql] OptimizeOneRowRelationSubqueryで常にインライン式
- [SPARK-40900] [SC-114006][sql] データフレーム操作で
frequentItemsを再実装 - [SPARK-40735] [SC-114022][sc-112657] スクリプトで /usr/bin/env bash を使用して bash を一貫して呼び出し、コードの移植性を高める
- [SPARK-40773] [SC-113091][sql] checkCorrelationsInSubqueryをリファクタリング
- [SPARK-40615] [SC-113400][sql] サブクエリの関連付けを解除する際に、サポートされていないデータ型を確認してください
- [SPARK-40660] [SC-112293][core][SQL] XORShiftRandomに切り替えて要素を分散
- [SPARK-40540] [SC-113926][sc-111331][SQL] コンパイルエラーをエラークラスに移行
- [SPARK-40551] [SC-113135] [sql] データソースV2:デルタベースの行レベル操作の APIs を追加します
- [SPARK-39391] [SC-110676][core] パーティショナー クラスの再利用
- [SPARK-40368] [SC-113396][sql] ブルームフィルタータイプのチェック失敗をエラークラスに移行
- [SPARK-39146] [SC-111814][core][SQL] 再利用可能な
ObjectMapperのローカルシングルトンを導入 - [SPARK-40357] [SC-113786][sc-111352][SQL] ウィンドウタイプチェックの失敗をエラークラスに移行
- [SPARK-40874] [SC-113756][Python] 暗号化が有効な場合の Python UDFのブロードキャストを修正
- [SPARK-40359] [SC-113770][sc-111146][SQL] CSV/JSON式からエラークラスへの移行タイプチェックが失敗する
- [SPARK-40880] [SC-113764][sql] データフレーム操作で
summaryを再実装 - [SPARK-40877] [SC-113763][sql] データフレーム操作で
crosstabを再実装 - [SPARK-40382] [SC-113098][sql] 異なる集計式を、意味的に等価な子ごとにグループ化します。
RewriteDistinctAggregates - [SPARK-40826] [SC-113532][ss] チェックポイントの名前変更ファイルチェックを追加
- [SPARK-40829 ] [SC-113426] [SQL] CREATE TABLE LIKE として格納されているのが機能しない
- [SPARK-40844] [SC-113542][ss] Kafkaオフセットフェッチ設定のデフォルト値を反転
- [SPARK-40488] [SC-113568][sc-111160] データソースの書き込みが失敗したときにスローされる例外をラップしない
- [SPARK-40560] [SC-113631][sc-111335][SQL] エラーの
STANDARD形式でmessageの名前をmessageTemplateに変更 - [SPARK-40618] [SC-113096][sql] 参照追跡を使用するネストされたサブクエリのMergeScalarSubqueriesルールのバグを修正
- [SPARK-40530] [SC-113528][sc-111332][SQL] エラー関連の開発者APIsを追加
- [スパーク-40806 ] [SC-113250] [SQL]タイプミスの修正: CREATE TABLE -> REPLACE TABLE
- [SPARK-40646] [SC-113379][sql] JSON データソースおよび JSON 関数で部分的な結果を返す問題を修正
- [SPARK-40654] [チェリーピック][sc-112783][SQL] SparkのProtobufサポート - ...
- [SPARK-40753] [SC-113539][sql] カタログディレクトリ操作のテストケースのバグを修正
- [SPARK-40765] [SC-113056][sql]
CommandUtils#calculateSingleLocationSize#getPathSizeメソッドでの冗長なfs操作を最適化 - [SPARK-40114] [ES-479282][r][11.X] SparkRによるArrow 9.0.0のサポート
- [SPARK-40479] [SC-110935][sql] 予期しない入力タイプエラーをエラークラスに移行
- [SPARK-40473] [SC-113388][sc-111141][SQL] 解析エラーをエラークラスに移行
- [SPARK-39853] [SC-111867][core] 動的割り当てが無効になっている場合に、スタンドアロンクラスターのステージレベルのタスクリソースプロファイルをサポート（PR-47157からのバックポート）
- [SPARK-40407] [SC-111161][sql] df.repartitionによって引き起こされる潜在的なデータスキューを修正
- [SPARK-40425] [SC-110840][sql] DROP TABLEでテーブルルックアップを行う必要がない
- [SPARK-40703] [SC-113242][sql] SinglePartitionにシャッフルを導入し、並列処理を改善
- [SPARK-40640] [SC-113138][core] SparkHadoopUtilを使用してhadoop/hive設定オプションのオリジンを設定
- [SPARK-39062] [11.x] [コア] スタンドアロン クラスターのステージ レベルのリソース スケジューリング サポートを追加する
- [SPARK-33861] [SC-109877] 「[SQL] 述語の条件付きを簡略化」を元に戻す
- [SPARK-40667] [SC-113136][sql] リファクタリング ファイル データソース オプション
- [SPARK-40370] [SC-110677][sql] CASTのエラークラスに対して移行タイプチェックが失敗する
- [SPARK-40611] [SC-113105][sql]
setInterval&getIntervalのパフォーマンスを改善UnsafeRow - [SPARK-40733] [SC-113126][sql]
ShowCreateTableAsSerdeCommandの結果のSERDEPROPERTIESの内容を固定順序にするようにします - [SPARK-40585] [SC-112180][sql] 二重引用符で囲まれた識別子をサポート
- [SPARK-40772] [SC-112992][sql]
Double値をサポートするようにspark.sql.adaptive.skewJoin.skewedPartitionFactorを改善 - [SPARK-40565] [SC-112417][sql] 非決定論的フィルターをV2ファイルソースにプッシュしない
- [SPARK-8731] [SC-112784] バックグラウンドで開始すると、Beelineが-eオプションと一緒に機能しない
- [SPARK-35242] [SC-111398][sql] セッションカタログのデフォルトデータベースの変更をサポート
- [SPARK-40426] [SC-110672][sql] SparkThrowable.getMessageParametersからマップを返す
- [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][MLlib]
keys.zipWithIndex.toMapコードパターンのパフォーマンスを最適化します。 - [SPARK-40521] [SC-112430][sql] Hiveのパーティション作成から
PartitionsAlreadyExistExceptionに存在するパーティションのみを返す - [SPARK-40705] [SC-112567][sql] Scala 2.13 の Row を JSON に変換する際に、可変配列を使用するケースを処理
- [SPARK-39895] [SC-112590][sql][Python] 複数列のドロップをサポート
- [SPARK-40607] [SC-112296][core][SQL][MLlib][SS] 冗長な文字列補間操作を削除
- [SPARK-40420] [SC-112604][sc-110569][SQL] エラーメッセージパラメーターを JSON 形式の名前で並べ替える
- [SPARK-40403] [SC-110564][sql] エラーメッセージで負のサイズが負の値にならないように、longs を使用して安全でない配列サイズを計算します。
- [SPARK-40482] [SC-110831][sql] 元に戻す
SPARK-24544 Print actual failure cause when look up function failed - [SPARK-40400] [SC-112555][sc-110397][SQL] エラー メッセージ パラメーターをマップとして例外に渡す
- [SPARK-40628] [SC-112414][sql] プロジェクトを通じて複雑な左半/アンチ結合条件をプッシュしない
- [SPARK-40562] [SC-111455][sql] 追加
spark.sql.legacy.groupingIdWithAppendedUserGroupBy - [SPARK-40501] [SC-111333][sql] オプティマイザーにPushProjectionThroughLimitを追加
- [SPARK-39200] [SC-111244][core] フォールバックストレージをコンテンツに完全に読み込ませる
- [SPARK-38717] [SC-111241][sql] Hiveのバケット仕様のケース保持動作を処理
- [SPARK-40385] [SC-111123][sql] コンパニオンオブジェクトコンストラクタのインタープリターパスを修正
- [SPARK-40216] [SC-112413][sql] 一般的な
ParquetUtils.prepareWriteメソッドを抽出して、ParquetFileFormatのコードの重複を排除ParquetWrite - [SPARK-40636] [SC-112160][core] BlockManagerDecommissionerのログインが間違って残っていた問題を修正
- [SPARK-40617] [SC-112009] ExecutorMetricsPollerのstageTCMPエントリの処理における競合状態を修正
- [SPARK-40618] [SC-112046][sql] ネストされたサブクエリのMergeScalarSubqueriesルールのバグを修正
- [SPARK-40612] [SC-111933][core] 非YARNリソースマネージャーの委任トークンの更新に使用されるプリンシパルの修正
- [SPARK-40595] [SC-111662][sql] 未使用のCTEリレーションのエラーメッセージを改善
- [SPARK-40314] [SC-111879][sql][Python] インラインおよびinline_outerの Scala および Python バインディングを追加
- [SPARK-40416] [SC-110945][sql] 新しいエラーフレームワークを使用するようにサブクエリ式のCheckAnalysisエラーメッセージを移動
- [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() は、その子から例外をスローする必要があります
- [SPARK-40509] [SC-111644][ss][Python] applyInPandasWithStateの例を追加
- [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() は子から例外をスローする必要があります
- [SPARK-40016] [SQL] try_sum()の実装で不要なTryEvalを削除
- [SPARK-40527] [SC-111224][sql] CreateStructの構造体フィールド名またはマップキーを保持する
- [SPARK-38098] [ SC-111178] [Python] ネストされた StructType の ArrayType のサポートを矢印ベースの変換に追加
- [SPARK-40324] [SC-111359][sc-110293][SQL] AnalysisExceptionでクエリコンテキストを提供
- [SPARK-40492] [SC-111324][ss] ストリーミングStateStoreのアンロード前にメンテナンスを行う
- [SPARK-40487] [SC-111124][sql] 並列に実行されているBroadcastNestedLoopJoinExecでデフォルト結合を作成
- [SPARK-40474] [SC-111273][sql] 日付とタイムスタンプが混在する列でのCSVスキーマ推論とデータ解析の動作を修正
- [SPARK-40508] [SC-111066][sql] 不明なパーティショニングをUnknownPartitioningとして扱う
- [SPARK-40496] [SC-111234][sc-111013][SQL] 「enableDateTimeParsingFallback」を制御するための設定を修正
- [SPARK-40435] [SC-111214][ss][Python] PySpark に applyInPandasWithState のテストスイートを追加
- [SPARK-40434] [SC-111125][ss][Python] PySparkでapplyInPandasWithStateを実装する
メンテナンスの更新
「Databricks Runtime 12.0 メンテナンスの更新」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 20.04.5 LTS
- Java の:Zulu 8.64.0.19-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R :4.2.2
- Delta Lake : 2.2.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アルゴン2-CFFI | 21.3.0 | argon2-cffi-結合 | 21.2.0 | アストトークンズ | 2.0.5 |
属性 | 21.4.0 | バックコール | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
美しいスープ4 | 4.11.1 | 黒い | 22.3.0 | ブリーチ | 4.1.0 |
ボト3 | 1.21.32 | ボトコア | 1.24.32 | 認証 | 2021.10.8 |
cffi | 1.15.0 | シャルデ | 4.0.0 | 文字セット・ノーマライザー | 2.0.4 |
クリック | 8.0.4 | 暗号化手法 | 3.4.8 | サーマルサイクラー | 0.11.0 |
シトン | 0.29.28 | DBUSPython | 1.2.16 | デバッグ | 1.5.1 |
デコレータ | 5.1.1 | デフューズドXML | 0.7.1 | ディストリビューション | 0.3.6 |
エントリポイント | 0.4 | 実行 | 0.8.3 | facets-概要 | 1.0.0 |
fastjsonスキーマ | 2.16.2 | ファイルロック | 3.8.0 | fonttools | 4.25.0 |
イドナ | 3.3 | ipykernel(英語) | 6.15.3 | アイパイソン | 8.5.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | ジェダイ | 0.18.1 |
ジンジャ2 | 2.11.3 | jmespathの | 0.10.0 | ジョブリブ | 1.1.0 |
jsonschema(jsonschema) | 4.4.0 | jupyter-クライアント | 6.1.12 | jupyter_core | 4.11.2 |
jupyterlab-pygmentsの | 0.1.2 | jupyterlab-widgetsの | 1.0.0 | キウイソルバー | 1.3.2 |
マークアップセーフ | 2.0.1 | Matplotlib | 3.5.1 | matplotlib-インライン | 0.1.2 |
ミスチューン | 0.8.4 | mypy-extensions | 0.4.3 | NBクライアント | 0.5.13 |
NBコンバート | 6.4.4 | NBフォーマット | 5.3.0 | ネスト-アシンシオ | 1.5.5 |
ノートブック | 6.4.8 | ナムピー | 1.21.5 | 包装 | 21.3 |
pandas | 1.4.2 | pandocフィルター | 1.5.0 | パルソ | 0.8.3 |
パススペック | 0.9.0 | パッツィ | 0.5.2 | pexpect | 4.8.0 |
ピクルシェア | 0.7.5 | 枕 | 9.0.1 | 種 | 21.2.4 |
プラットフォームディレクトリ | 2.5.4 | Plotly | 5.6.0 | prometheus-クライアント | 0.13.1 |
プロンプトツールキット | 3.0.20 | プロトブフ | 3.19.4 | psutil の | 5.8.0 |
サイコップ2 | 2.9.3 | PTYPROCESSの | 0.7.0 | ピュア評価 | 0.2.2 |
ピアロー | 7.0.0 | pycparser | 2.21 | ピグメント | 2.11.2 |
PyGObject | 3.36.0 | pyodbc | 4.0.32 | pyparsing (英語) | 3.0.4 |
ピルシステント | 0.18.0 | Python-dateutil | 2.8.2 | ピッツ | 2021.3 |
ピズム | 22.3.0 | 要求 | 2.27.1 | リクエスト-unixsocket | 0.2.0 |
S3トランスファー | 0.5.0 | Scikit-Learn | 1.0.2 | scipy(サイピー) | 1.7.3 |
シーボーン | 0.11.2 | Send2Trash(センド2トラッシュ) | 1.8.0 | セットアップツール | 58.0.4 |
6 | 1.16.0 | スープふるい | 2.3.1 | ssh-import-id | 5.10 |
スタックデータ | 0.2.0 | 統計モデル | 0.13.2 | 持久力 | 8.0.1 |
テルミナド | 0.13.1 | テストパス | 0.5.0 | スレッドプールctl | 2.2.0 |
トークン化-RT | 4.2.1 | トムリ | 1.2.2 | 竜巻 | 6.1 |
トレイトレット | 5.1.1 | typing_extensions | 4.1.1 | 無人アップグレード | 0.1 |
urllib3 の | 1.26.9 | virtualenv | 20.8.0 | WC幅 | 0.2.5 |
webエンコーディング | 0.5.1 | 輪 | 0.37.0 | widgetsnb拡張機能 | 3.6.1 |
インストールされている R ライブラリ
R ライブラリは、2022-11-11 の Microsoft CRAN スナップショットからインストールされます。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
矢 | 10.0.0 | アスクパス | 1.1 | assertthat | 0.2.1 |
バックポート | 1.4.1 | 基 | 4.2.2 | base64enc | 0.1-3 |
bit | 4.0.4 | ビット64 | 4.0.5 | ブロッブ | 1.2.3 |
ブート | 1.3-28 | 醸成 | 1.0-8 | ブリオ | 1.1.3 |
箒 | 1.0.1 | bslibの | 0.4.1 | カケム | 1.0.6 |
コール | 3.7.3 | キャレット | 6.0-93 | セルレンジャー | 1.1.0 |
クロン | 2.3-58 | クラス | 7.3-20 | CLI | 3.4.1 |
clipr | 0.8.0 | 時計 | 0.6.1 | クラスター | 2.1.4 |
コードツール | 0.2-18 | カラースペース | 2.0-3 | コモンマーク | 1.8.1 |
コンパイラ | 4.2.2 | コンフィグ | 0.3.1 | CPP11の | 0.4.3 |
クレヨン | 1.5.2 | 資格情報 | 1.3.2 | Curl | 4.3.3 |
データ.テーブル | 1.14.4 | データセット | 4.2.2 | DBI | 1.1.3 |
dbplirの | 2.2.1 | DESC | 1.4.2 | 開発ツール | 2.4.5 |
ディフobj | 0.3.5 | ダイジェスト | 0.6.30 | ダウンライト | 0.4.2 |
dplyrの | 1.0.10 | DTPLyr | 1.2.2 | E1071 | 1.7-12 |
省略記号 | 0.3.2 | 評 | 0.18 | ファンシ | 1.0.3 |
ファーバー | 2.1.1 | ファストマップ | 1.1.0 | フォントオーサム | 0.4.0 |
フォーキャッツ | 0.5.2 | For each | 1.5.2 | 外国の | 0.8-82 |
鍛える | 0.2.0 | FSの | 1.5.2 | 未来 | 1.29.0 |
future.お申込み | 1.10.0 | 嗽 | 1.2.1 | ジェネリック | 0.1.3 |
ゲルト | 1.9.1 | ggplot2の | 3.4.0 | gh | 1.3.1 |
ギットレッズ | 0.1.2 | glmnet | 4.1-4 | グローバル | 0.16.1 |
膠 | 1.6.2 | グーグルドライブ | 2.0.0 | グーグルシート4 | 1.0.1 |
ガウアー | 1.0.0 | グラフィックス | 4.2.2 | grDevicesの | 4.2.2 |
グリッド | 4.2.2 | グリッドエクストラ | 2.3 | gsubfnの | 0.7 |
GTABLE(GTABLE) | 0.3.1 | ヘルメット | 1.2.0 | 避難所 | 2.5.1 |
高い | 0.9 | HMSの | 1.1.2 | htmlツール[htmltools] | 0.5.3 |
htmlウィジェット | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
ids | 1.0.1 | イニ | 0.3.1 | イプレッド | 0.9-13 |
アイソバンド | 0.2.6 | 反復 子 | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.3 | カーンスムース | 2.23-20 | ニット | 1.40 |
ラベリング | 0.4.2 | あとで | 1.3.0 | 格子 | 0.20-45 |
溶岩 | 1.7.0 | ライフサイクル | 1.0.3 | リッスン | 0.8.0 |
ルブリデート | 1.9.0 | マグリット | 2.0.3 | Markdown | 1.3 |
質量 | 7.3-58 | マトリックス | 1.5-1 | メモ | 2.0.1 |
メソッド | 4.2.2 | mgcv | 1.8-41 | マイム | 0.12 |
ミニUI | 0.1.1.1 | モデルメトリクス | 1.2.2.2 | モデラー | 0.1.9 |
マンセル | 0.5.0 | nlme | 3.1-160 | ネット | 7.3-18 |
numDerivの | 2016.8-1.1 | オープンSSL | 2.0.4 | 並列 | 4.2.2 |
並行して | 1.32.1 | 柱 | 1.8.1 | pkgbuild の | 1.3.1 |
pkgconfig | 2.0.3 | pkgdown (英語) | 2.0.6 | pkgload(パッケージロード) | 1.3.1 |
plogrの | 0.2.0 | プライル | 1.8.7 | 褒める | 1.0.0 |
プリティユニット | 1.1.1 | pROC | 1.18.0 | プロセスX | 3.8.0 |
製品 | 2019.11.13 | プロヴィス | 0.3.7 | 経過 | 1.2.2 |
プログレッサー | 0.11.0 | 約束 | 1.2.0.1 | プロト | 1.0.0 |
プロキシ | 0.4-27 | PS | 1.7.2 | ゴロゴロ | 0.3.5 |
R2D3の | 0.2.6 | R6の | 2.5.1 | ラグ | 1.2.4 |
ランダムフォレスト | 4.7-1.1 | ラプディレクトリ | 0.3.3 | rcmdcheckの | 1.4.0 |
RColorブリューワー | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
読み取り | 2.1.3 | readxlの | 1.4.1 | レシピ | 1.0.3 |
再戦 | 1.0.1 | 再戦2 | 2.1.2 | リモコン | 2.4.2 |
レプレックス | 2.0.2 | 形状変更2 | 1.4.4 | ラン | 1.0.6 |
rmarkdown | 2.18 | RODBC | 1.3-19 | リオキシジェン2 | 7.2.1 |
rpart | 4.1.19 | rprojroot さん | 2.0.3 | サーブ | 1.8-11 |
RSQLite (英語) | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
アヴェスト | 1.0.3 | サス | 0.4.2 | 秤 | 1.2.1 |
セレクタ | 0.4-2 | セッション情報 | 1.2.2 | 形 | 1.4.6 |
shiny | 1.7.3 | ソースツール | 0.1.7 | sparklyr | 1.7.8 |
SparkR | 3.3.1 | 空間的 | 7.3-11 | スプライン | 4.2.2 |
sqldf | 0.4-11 | スクエアム | 2021.1 | 統計 | 4.2.2 |
統計4 | 4.2.2 | ストリンギ | 1.7.8 | ストリンガー | 1.4.1 |
生存 | 3.4-0 | SYSの | 3.4.1 | システムフォント | 1.0.4 |
tcltk | 4.2.2 | テストを | 3.1.5 | テキストシェーピング | 0.3.6 |
ティブル | 3.1.8 | ティディル | 1.2.1 | ティディセレクト | 1.2.0 |
ティディバース | 1.3.2 | 時間変更 | 0.1.1 | 日時 | 4021.106 |
タイニーテックス | 0.42 | ツール | 4.2.2 | tzdb | 0.3.0 |
urlchecker(英語) | 1.0.1 | usethisさん | 2.1.6 | UTF8 | 1.2.2 |
ユーティリティ | 4.2.2 | UUIDの | 1.1-0 | vctrs | 0.5.0 |
viridisライト | 0.4.1 | ブルーム | 1.6.0 | ワルド | 0.4.0 |
ウイスカー | 0.4 | ウィザー | 2.5.0 | xfun | 0.34 |
XML2の | 1.3.3 | xopen(オーペン) | 1.0.0 | エクステーブル | 1.8-4 |
ヤムラ | 2.3.6 | 郵便番号 | 2.2.2 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.12.189 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.12.189 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.12.189 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.12.189 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.12.189 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonawsの | aws-java-sdk-configの | 1.12.189 |
com.amazonawsの | aws-java-sdk-コア | 1.12.189 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.12.189 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.12.189 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.12.189 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.12.189 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.12.189 |
com.amazonawsの | aws-java-sdk-ecsの | 1.12.189 |
com.amazonawsの | aws-java-sdk-efs | 1.12.189 |
com.amazonawsの | aws-java-sdk-elasticache | 1.12.189 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.12.189 |
com.amazonawsの | aws-java-sdk-emr | 1.12.189 |
com.amazonawsの | aws-java-sdk-glacier | 1.12.189 |
com.amazonawsの | aws-java-sdk-グルー | 1.12.189 |
com.amazonawsの | aws-java-sdk-iam | 1.12.189 |
com.amazonawsの | aws-java-sdk-importexport | 1.12.189 |
com.amazonawsの | aws-java-sdk-キネシス | 1.12.189 |
com.amazonawsの | aws-java-sdk-kmsの | 1.12.189 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.12.189 |
com.amazonawsの | aws-java-sdk-logs | 1.12.189 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.12.189 |
com.amazonawsの | aws-java-sdk-opsworks | 1.12.189 |
com.amazonawsの | aws-java-sdk-rds | 1.12.189 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.12.189 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.12.189 |
com.amazonawsの | aws-java-sdk-s3 の | 1.12.189 |
com.amazonawsの | aws-java-sdk-ses | 1.12.189 |
com.amazonawsの | aws-java-sdk-simpledb | 1.12.189 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.12.189 |
com.amazonawsの | aws-java-sdk-snsの | 1.12.189 |
com.amazonawsの | aws-java-sdk-sqs | 1.12.189 |
com.amazonawsの | aws-java-sdk-ssm | 1.12.189 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonawsの | aws-java-sdk-sts | 1.12.189 |
com.amazonawsの | aws-java-sdk-サポート | 1.12.189 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.12.189 |
com.amazonawsの | jmespath-java | 1.12.189 |
com.chuusai(英語) | shapeless_2.12 | 2.3.3 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.13.4 |
com.fasterxml.jackson.core | ジャクソンコア | 2.13.4 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.13.4.2 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.13.4 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.13.4 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JSR310 | 2.13.4 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.13.4 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.13.4 |
com.github.ben-manes.caffeine | カフェイン | 2.3.4 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | ZSTD-JNI | 1.5.2-1 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.8.6 |
com.google.crypto.tink | ティンク | 1.6.1 |
com.google.flatbuffers | フラットバッファ-Java | 1.12.0 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2データベース | H2 | 2.0.204 |
com.helger | プロファイラー | 1.1.1 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.3.9 |
com.ningの | 圧縮-LZF | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.10.0 |
コム。囀る | chill_2.12 | 0.10.0 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uberの | H3 | 3.7.0 |
com.univocityの | univocity-パーサー | 2.9.1 |
com.zaxxerの | ひかりCP | 4.0.3 |
コモンズCLI | コモンズCLI | 1.5.0 |
コモンズコーデック | コモンズコーデック | 1.15 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.3.3 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.11.0 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズプール | コモンズプール | 1.5.4 |
dev.ludovic.netlib さん | アーパック | 2.2.1 |
dev.ludovic.netlib さん | ブラス | 2.2.1 |
dev.ludovic.netlib さん | ラパック | 2.2.1 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.21 |
io.delta | デルタシェアリング-spark_2.12 | 0.5.2 |
io.dropwizard.メトリクス | メトリクスコア | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.1.1 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.1.1 |
io.nettyの | netty-すべて | 4.1.74.ファイナル |
io.nettyの | netty-buffer | 4.1.74.ファイナル |
io.nettyの | netty-codec (英語) | 4.1.74.ファイナル |
io.nettyの | netty-共通 | 4.1.74.ファイナル |
io.nettyの | netty-ハンドラ | 4.1.74.ファイナル |
io.nettyの | netty-リゾルバ | 4.1.74.ファイナル |
io.nettyの | netty-tcnative-クラス | 2.0.48.最終版 |
io.nettyの | netty-トランスポート | 4.1.74.ファイナル |
io.nettyの | netty-transport-classes-epoll | 4.1.74.ファイナル |
io.nettyの | netty-transport-classes-kqueue | 4.1.74.ファイナル |
io.nettyの | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.ファイナル |
io.nettyの | netty-transport-native-epoll-linux-x86_64 | 4.1.74.ファイナル |
io.nettyの | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.ファイナル |
io.nettyの | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.ファイナル |
io.nettyの | netty-transport-native-unix-common | 4.1.74.ファイナル |
io.プロメテウス | シンプルクライアント | 0.7.0 |
io.プロメテウス | simpleclient_common | 0.7.0 |
io.プロメテウス | simpleclient_dropwizard | 0.7.0 |
io.プロメテウス | simpleclient_pushgateway | 0.7.0 |
io.プロメテウス | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 収集家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet (英語) | jakarta.servlet-api | 4.0.3 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.11 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | 漬ける | 1.2 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.13.22 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.8 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 7.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-core | 7.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-netty | 7.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 7.0.0 |
org.apache.avro | AVRO | 1.11.0 |
org.apache.avro | アブロIPC | 1.11.0 |
org.apache.avro | アブロマップド | 1.11.0 |
org.apache.commonsの | コモンズコレクション4 | 4.4 |
org.apache.commonsの | コモンズ圧縮 | 1.21 |
org.apache.commonsの | コモンズ-クリプト | 1.1.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.12.0 |
org.apache.commonsの | コモンズ-数学3 | 3.6.1 |
org.apache.commonsの | コモンズテキスト | 1.10.0 |
org.apache.curator (英語) | キュレーター・クライアント | 2.13.0 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.13.0 |
org.apache.curator (英語) | キュレーターレシピ | 2.13.0 |
org.apache.derbyの | ダービー | 10.14.2.0 |
org.apache.hadoop です。 | hadoop クライアント API | 3.3.4-データブリック |
org.apache.hadoop です。 | hadoop クライアント ランタイム | 3.3.4 |
org.apache.hive です。 | ハイブビーライン | 2.3.9 |
org.apache.hive です。 | ハイブ CLI | 2.3.9 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.9 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.9 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.9 |
org.apache.hive です。 | ハイブセルデ | 2.3.9 |
org.apache.hive です。 | ハイブシム | 2.3.9 |
org.apache.hive です。 | ハイブストレージAPI | 2.7.2 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.9 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.9 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.9 |
org.apache.httpコンポーネント | httpクライアント | 4.5.13 |
org.apache.httpコンポーネント | httpコア | 4.4.14 |
org.apache.ivy | 蔦 | 2.5.0 |
org.apache.logging.log4j | ログ4J-1.2-API | 2.18.0 |
org.apache.logging.log4j | ログ4J-API | 2.18.0 |
org.apache.logging.log4j | log4j-コア | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | メソスシェードプロトブ | 1.4.0 |
org.apache.orc | オークコア | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | オークシム | 1.7.6 |
org.apache.parquet | parquet-column | 1.12.3-データブリックス-0001 |
org.apache.parquet | parquet-common | 1.12.3-データブリックス-0001 |
org.apache.parquet | parquet-encoding | 1.12.3-データブリックス-0001 |
org.apache.parquet | parquet-format-structures | 1.12.3-データブリックス-0001 |
org.apache.parquet | parquet-hadoop | 1.12.3-データブリックス-0001 |
org.apache.parquet | parquet-jackson | 1.12.3-データブリックス-0001 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded (英語) | 4.20 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.13.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.6.2 |
org.apache.zookeeper | 動物園の飼育係ジュート | 3.6.2 |
org.checkerフレームワーク | チェッカークォール | 3.5.0 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋の続き | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋-IO | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋プラス | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋警備 | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋-util | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋-util-ajax | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.46.v20220331 |
組織Eclipse.jetty | 桟橋XML | 9.4.46.v20220331 |
組織Eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
組織Eclipse.jetty.websocket | websocket-クライアント | 9.4.46.v20220331 |
組織Eclipse.jetty.websocket | websocket-共通 | 9.4.46.v20220331 |
組織Eclipse.jetty.websocket | websocket-サーバー | 9.4.46.v20220331 |
組織Eclipse.jetty.websocket | websocket-サーブレット | 9.4.46.v20220331 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.36 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.36 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.36 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.36 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.36 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.36 |
org.hibernate.validator | hibernate-validator | 6.1.0.ファイナル |
org.javassist | ジャバス奏者 | 3.25.0-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.jetbrainsの | 注釈 | 17.0.0 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.7.0-M11 |
org.json4sの | json4s-core_2.12 | 3.7.0-M11 |
org.json4sの | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4sの | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | LZ4-Javaの | 1.8.0 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.7.4 |
org.mlflowの | mlflow-spark | 1.27.0 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.3.3 |
org.roaringbitmap | ロアリングビットマップ | 0.9.25 |
org.roaringbitmap | シム | 0.9.25 |
org.rocksdbの | ロックスDBJNI | 6.24.2 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.14 |
組織Scala-lang | Scala-Library.12 | 2.12.14 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.14 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.4.3 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | そよ風-macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatestの | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | 7月-slf4j | 1.7.36 |
org.slf4j | SLF4J-APIの | 1.7.36 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.threetenさん | スリーテンエクストラ | 1.5.0 |
org.tukaani | xz | 1.8 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | マクロ-compat_2.12 | 1.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0 |
org.typelevel | スパイア-platform_2.12 | 0.17.0 |
org.typelevel | スパイア-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | ワイルドフライ-openssl | 1.0.7.ファイナル |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.8.4 |
org.yaml の | スネークヤム | 1.24 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |