Databricks Runtime 11.1 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートは、Databricks Runtime Apache Spark3.3.0 を搭載した 11.1 に関する情報を提供します。Databricks は 2022 年 7 月にこのバージョンをリリースしました。

新機能と改善点

• Photon は GA です
• Photon: サポートされているインスタンスタイプ
• チェンジデータフィードは、範囲外のタイムスタンプを自動的に処理できるようになりました
• 「SQL 関数の説明と表示」で、出力に Unity Catalog の名前が表示されるようになりました (パブリック プレビュー)
• での ファイルのスキーマ推論と進化ParquetAuto Loader (パブリック プレビュー)
• Auto Loader で Avro (GA) のスキーマ進化がサポートされるようになりました
• Delta Lake の動的パーティション上書きのサポート
• Unity Catalog で作成されたオブジェクトの情報スキーマのサポート
• Unity Catalog を使用した Delta Lake テーブルに関する情報制約 (パブリック プレビュー)
• Unity Catalog が GA になりました
• Delta Sharing は GA です

Photon は GA です

Photon は、Databricks Runtime 11.1 以降で一般公開されました。 Photon は、 Databricksのネイティブベクトル化クエリエンジンであり、既存のコードで動作するように Apache Spark API と直接互換性を持つように書かれています。 Photonは、最新のハードウェアを活用するためにC++で開発されており、ベクトル化クエリ処理の最新技術を使用して、CPUのデータレベルおよび命令レベルの並列処理を活用し、データレイク上でネイティブに、実世界のデータやアプリケーションのパフォーマンスを向上させます。

Photonは、既存のSQLおよびデータフレーム API呼び出しを高速に実行し、ワークロードあたりの総コストを削減する高性能ランタイムの一部です。 Photon は、 Databricks SQL ウェアハウスの デフォルト によって使用されます。

新機能と改善点は次のとおりです。

• 新しいベクトル化ソート演算子
• 新しいベクトル化ウィンドウ関数
• すべてのクラウドにわたる新しいインスタンスタイプとサイズ

制限：

• Scala/Python UDFはPhotonではサポートされていません
• RDDはPhotonではサポートされていません
• 構造化ストリーミングはPhotonではサポートされていません

詳細については、次の Photon のお知らせを参照してください。

Photon: 新しいベクトル化されたソート演算子

Photonは、クエリに SORT_BY、 CLUSTER_BY、または ORDER BYを持つウィンドウ関数が含まれている場合のベクトル化ソートをサポートするようになりました。

制限事項: Photonはグローバル ORDER BY 句をサポートしていません。 ウィンドウ評価の並べ替えはフォトナイズされますが、グローバル並べ替えは Spark で引き続き実行されます。

Photon: 新しいベクトル化ウィンドウ関数

Photonは、多くのフレームタイプと関数のベクトル化ウィンドウ関数評価をサポートするようになりました。 新しいウィンドウ関数には、 row_number、 rank、 dense_rank、 lag、 lead、 percent_rank、 ntile、 nth_valueがあります。 サポートされているウィンドウ フレームの種類: ランニング (UNBOUNDED PRECEDING AND CURRENT ROW)、無制限 (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING)、拡大 (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING)、縮小 (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING)。

制限：

• Photonは、すべてのフレームタイプの ROWS バージョンのみをサポートします。
• Photon は、スライディングフレームタイプ (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING) をまだサポートしていません。

Photon: サポートされているインスタンスタイプ

|アイスリー |i3en(アイスリーエン) |i4iの |IM4GNの |is4gen | |M5ADの |M5Dの|M5DNの |M6GD版 | | |R5Dの|R5DNの |R6GDの|X2GD | |

チェンジデータフィードは、範囲外のタイムスタンプを自動的に処理できるようになりました

チェンジデータフィード (CDF) に、エラーをスローせずに最新のコミットのバージョンを過ぎたタイムスタンプまたはバージョンを提供する新しいモードが追加されました。 このモードはデフォルトで無効になっています。これを有効にするには、構成 spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled を trueに設定します。

「SQL 関数の説明と表示」で、出力に Unity Catalog の名前が表示されるようになりました (パブリック プレビュー)

コマンド [ DESC TABLE]、[ DESC DATABASE]、[ DESC SCHEMA]、[ DESC NAMESPACE]、[ DESC FUNCTION]、[ EXPLAIN]、および SHOW CREATE TABLE の出力に常にカタログ名が表示されるようになりました。

の ファイルのスキーマ推論と進化ParquetAuto Loader (パブリック プレビュー)

Auto Loader では、 Parquet ファイルのスキーマ推論と進化がサポートされるようになりました。 JSON、CSV、Avro 形式と同様に、レスキューされたデータ列を使用して、Parquet ファイルに表示される可能性のある予期しないデータをレスキューできるようになりました。これには、想定されるデータ型で解析できないデータ、大文字と小文字が異なる列、または想定されるスキーマの一部ではない追加の列が含まれます。受信データに新しい列が追加されたときにスキーマを自動的に進化するように Auto Loader を構成できます。 Auto Loaderでのスキーマ推論と進化の設定を参照してください。

Auto Loader で Avro (GA) のスキーマ進化がサポートされるようになりました

Auto Loaderでのスキーマ推論と進化の設定を参照してください。

Delta Lake の動的パーティション上書きのサポート

Delta Lake では、動的パーティション上書きモードが有効になり、書き込みによって新しいデータがコミットされる各論理パーティション内のすべての既存のデータが上書きされるようになりました。 「Delta Lake を使用してデータを選択的に上書きする」を参照してください。

Unity Catalog で作成されたオブジェクトの情報スキーマのサポート

情報スキーマは、テーブルやビュー、制約、ルーチンなど、さまざまなデータベースオブジェクトのメタデータに対する SQL ベースの自己記述型 API を提供します。情報スキーマ内には、スキーマのカタログで認識されているオブジェクトを記述する一連のビューがあり、そのオブジェクトを参照の権限があります。SYSTEM カタログの情報スキーマは、メタストア内のすべてのカタログのオブジェクトに関する情報を返します。情報スキーマを参照してください。

Unity Catalog を使用した Delta Lake テーブルに関する情報制約 (パブリック プレビュー)

Unity Catalog を使用して、Delta Lake テーブルで情報主キー制約と外部キー制約を定義できるようになりました。情報制約は適用されません。CONSTRAINT 句を参照してください。

Unity Catalog が GA になりました

Unity Catalog は、Databricks Runtime 11.1 以降で一般公開されました。 「Unity Catalog とは」を参照してください。

Delta Sharing は GA です

Delta Sharing は、Databricks Runtime 11.1 以降で一般公開されました。

Databricks to Databricks Delta Sharing は、トークンを交換する必要なくフルマネージドです。 プロバイダー、受信者、共有は、UI または SQL と REST APIで作成および管理できます。

一部の機能には、受信者のアクセスの制限、IP アクセス リストとリージョン制限を使用したデータのクエリ、Delta Sharing 管理の管理者以外への委任などがあります。 また、データの変更をクエリしたり、インクリメンタルバージョンをチェンジデータフィードと共有したりすることもできます。 「Delta Sharing とは」を参照してください。

動作の変更

DESCRIBE TABLE および SHOW TABLE PROPERTIES の機密プロパティの編集

機密性の高いプロパティは データフレームs で編集され、 DESCRIBE TABLE コマンドと SHOW TABLE PROPERTIES コマンド。

ジョブ クラスター デフォルトを Databricks Runtime 11.1 以降のシングル ユーザー アクセス モードに変更

ジョブ UI またはジョブ Unity Catalogを使用して作成された 11.1 以降を使用したジョブ クラスターは、Databricks RuntimeAPI 機能するように、シングル ユーザー アクセス モードにデフォルトします。シングルユーザーアクセスモードは、ほとんどのプログラミング言語、クラスター機能、およびデータガバナンス機能をサポートしています。 標準アクセス モード (以前の共有アクセス モード) は、UI または API を使用して引き続き構成できますが、言語や機能が制限される場合があります。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:

  • 3.6.0 から 3.7.1 へのファイルロック
  • 5.6.0から5.8.2までのplotly
  • protobuf 3.20.1 から 4.21.2 へ

• アップグレードされた R ライブラリ:

  • 2.3-56 から 2.3-57 までの chron
  • 1.1.2 からの DBI 1.1.3 へ
  • dbplyr を 2.1.1 から 2.2.0 へ
  • E1071 1.7-9 から 1.7-11
  • 1.25.0 から 1.26.1 への将来
  • 0.14.0 から 0.15.1 までのグローバル
  • 0.2.0 から 1.1.0 への hardhat
  • 0.9-12 から 0.9-13 までの IPRED
  • OpenSSL 2.0.0 から 2.0.2 へ
  • 1.31.1 から 1.32.0 に並行して
  • processx 3.5.3 から 3.6.1 へ
  • 0.10.0 から 0.10.1 へのプログレッサー
  • 0.4-26 から 0.4-27 までのプロキシ
  • PS 1.7.0 から 1.7.1 へ
  • randomForest 4.7-1 から 4.7-1.1 まで
  • roxygen2 7.1.2 以降 7.2.0 へ
  • 1.8-10 から 1.8-11 までの Rserve
  • RSQLite 2.2.13 から 2.2.14 へ
  • Sparklyr 1.7.5 から 1.7.7 へ
  • 0.38から0.40までのTinytex
  • 2.1.5 から 2.1.6 まで Usethis
  • 0.30から0.31へのxfun

• アップグレードされた Java ライブラリ:

  • io.delta.delta-sharing-spark_2.12 を 0.4.0 から 0.5.0 に変更

Apache Spark

Databricks Runtime 11.2 には Apache Spark 3.3.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 11.1 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

• [SPARK-40054] [SQL] try_cast()のエラー処理構文を復元
• [SPARK-39489] [CORE] Json4sの代わりにJacksonを使用することで、イベントログのJsonProtocolのパフォーマンスを改善
• [SPARK-39319] [CORE][sql] クエリコンテキストを SparkThrowable
• [SPARK-40085] [SQL] バグを示すために、IllegalStateExceptionの代わりにINTERNAL_ERRORエラークラスを使用してください。
• [SPARK-40001] [SQL] デフォルト列にNULL書き込みを行うと JSON ストレージに「null」が書き込まれる
• [SPARK-39635] [SQL] DS v2 カスタムメトリクス APIでドライバーメトリクスをサポート
• [SPARK-39184] [SQL] 日付およびタイムスタンプシーケンスで小さすぎる結果配列を処理する
• [SPARK-40019] [SQL] ArrayTypeのcontainsNullのコメントをリファクタリングし、collectionOperatorの式の誤解ロジックをリファクタリング containsNull
• [SPARK-39989] [SQL] 折り畳み式の場合、推定列の統計をサポート
• [SPARK-39926] [SQL] 非ベクトル化 Parquet スキャンの列デフォルトサポートのバグを修正
• [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader で直接バイトバッファを処理する
• [SPARK-40044] [SQL] キャストオーバーフローエラーのターゲット間隔タイプを修正
• [SPARK-39835] [SQL] EliminateSortsがローカルソートの下のグローバルソートを削除する問題を修正
• [SPARK-40002] [SQL] ntileを使用してウィンドウから制限を押し下げない
• [SPARK-39976] [SQL] ArrayIntersect は左の式で null を正しく処理する必要があります
• [SPARK-39985] [SQL] データフレームsからの挿入で暗黙的なデフォルト列の値を有効にする
• [SPARK-39776] [SQL] JOINの詳細文字列はJOINタイプを追加すべき
• [SPARK-38901] [SQL] DS V2がその他のプッシュダウン機能をサポート
• [SPARK-40028] [SQL][フォローアップ] 文字列関数の例を改善
• [SPARK-39983] [CORE][sql] ドライバーのシリアル化されていないブロードキャスト関係をキャッシュしない
• [SPARK-39812] [SQL] AggregateExpression を構成するコードを簡略化 toAggregateExpression
• [SPARK-40028] [SQL] 文字列式のバイナリ例を追加
• [SPARK-39981] [SQL] キャストで例外QueryExecutionErrors.castingCauseOverflowErrorInTableInsertをスローする
• [SPARK-40007] [Python][sql] 関数に 'mode' を追加
• [SPARK-40008] [SQL] ANSI 間隔への積分のキャストをサポート
• [SPARK-40003] [Python][sql] 関数に「median」を追加
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand は結果リレーションを再キャッシュすべき
• [SPARK-39951] [SQL] ネストされたフィールドのParquet V2列チェックを更新
• [SPARK-39775] [CORE][avro] Avroスキーマの解析時にデフォルト値の検証を無効にする
• [SPARK-33236] [シャッフル] DBR 11.xへのバックポート:プッシュベースのシャッフルサービスを有効にして、作業の再起動を保持するために状態をNMレベルのDBに保存
• [SPARK-39836] [SQL] 抽出共通の方法でV2ExpressionBuilderを簡略化します。
• [SPARK-39867] [SQL] グローバル制限がOrderPreservingUnaryNodeを継承しないように修正
• [SPARK-39873] [SQL] OptimizeLimitZero を削除してマージ EliminateLimits
• [SPARK-39961] [SQL] キャストが安全な場合、DS V2 プッシュダウン変換キャスト
• [SPARK-39872] [SQL] 配列入力APIで BytePackerForLong#unpack8Values を使用するように変更 VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] 一部のルールの不要な AliasHelper または PredicateHelper を削除
• [SPARK-39962] [WARMFIX][es-393486][Python][sql] グループ属性が空の場合にプロジェクションを適用
• [SPARK-39900] [SQL] バイナリ形式の述語プッシュダウンで部分的または否定された条件に対処する
• [SPARK-39904] [SQL] inferDateの名前をprefersDateに変更し、 CSV データソースのオプションのセマンティクスを明確に
• [SPARK-39958] [SQL] カスタムメトリクスオブジェクトを読み込めない場合に警告ログを追加
• [SPARK-39936] [SQL] Sparkビューのプロパティにスキーマを格納
• [SPARK-39932] [SQL] WindowExecが最終パーティションバッファをクリアすべき
• [SPARK-37194] [SQL] v1書き込みが動的パーティションでない場合、不要なソートを避けるように修正
• [SPARK-39902] [SQL] SparkUIのsparkプランスキャンノードにスキャンの詳細を追加
• [SPARK-39865] [SQL] テーブル挿入のオーバーフローエラーに適切なエラーメッセージを表示するように修正
• [SPARK-39940] [SS] DSv1 シンクを使用したストリーミングクエリでカタログテーブルを更新する
• [SPARK-39827] [SQL] int overflow でエラークラスを ARITHMETIC_OVERFLOW add_months()
• [SPARK-39914] [SQL] DS V2フィルターをV1フィルターに変換に追加
• [SPARK-39857] [SQL] 手動DBR 11.xバックポート。V2ExpressionBuilder は、In 述語 #43454 に間違った LiteralValue データ型を使用します
• [SPARK-39840] [SQL][Python] 係数 PythonArrowInput を PythonArrowOutput の対称性として出力
• [SPARK-39651] [SQL] randと比較するとフィルター条件が決定論的である場合、プルーニングフィルター条件
• [SPARK-39877] [Python] PySpark データフレーム APIにアンピボットを追加
• [SPARK-39847] [WARMFIX][ss] 呼び出し元のスレッドが中断された場合のRocksDBLoader.loadLibrary()の競合状態を修正
• [SPARK-39909] [SQL] JDBCV2Suiteのプッシュダウン情報のチェックを整理
• [SPARK-39834] [SQL][ss] LogicalRDDがデータフレームから来る場合、LogicalRDDのオリジン統計と制約を含めるようにしました
• [SPARK-39849] [SQL] データセット.as(StructType) 欠落している新しい列を null 値で埋めます
• [SPARK-39860] [SQL] Predicateを拡張する式を増やす必要がある
• [ SPARK-39823] [SQL][Python] データセット.asの名前をデータセット.toに変更し、PySparkに データフレーム.to を追加
• [SPARK-39918] [SQL][マイナー] エラーメッセージの「un-comparable」を「incomparable」に置き換え
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder が In 述語に間違った LiteralValue データ型を使用している
• [SPARK-39862 ] [SQL] DBR 11.xをターゲットとするPR 43654の手動バックポート:SQLConf.デフォルトを更新してALTER TABLEを許可/拒否します...列コマンドを個別に追加します。
• [SPARK-39844] [SQL] DBR 11.xを対象とするPR 43652の手動バックポート
• [SPARK-39899] [SQL] メッセージパラメーターの受け渡しを修正 InvalidUDFClassException
• [SPARK-39890] [SQL] TakeOrderedAndProjectExecがAliasAwareOutputOrderingを継承するようにする
• [SPARK-39809] [Python] PySparkでCharTypeをサポート
• [SPARK-38864] [SQL] データセットにピボット解除/メルトを追加
• [SPARK-39864] [SQL] ExecutionListenerBusを遅延登録する
• [SPARK-39808] [SQL] 集計関数MODEをサポート
• [SPARK-39839] [SQL] UnsafeRow構造整合性チェックで、ゼロ以外のoffsetAndSizeを持つnull可変長Decimalの特殊なケースを処理する
• [SPARK-39875] [SQL] 最終クラスのメソッドprotected``privateまたは package-visible
• [SPARK-39731] [SQL] CORRECTED タイムパーサーポリシーを使用して「yyyyMMdd」形式の日付を解析する際の CSV および JSON データソースの問題を修正
• [SPARK-39805] [SS] Trigger.Once を廃止し、Trigger.AvailableNow を昇格
• [SPARK-39784] [SQL] Catalyst Expressionをデータソースフィルターに変換した後、データソースフィルターの右側にリテラル値を配置する
• [SPARK-39672] [SQL][3.1] 相関サブクエリによるフィルター前のプロジェクトの削除を修正
• [SPARK-39552] [SQL] v1 と v2 を統合 DESCRIBE TABLE
• [SPARK-39806] [SQL] パーティション化されたテーブルの _metadata にアクセスすると、クエリがクラッシュする可能性がある
• [SPARK-39810] [SQL] Catalog.tableExists はネストされた名前空間を処理する必要があります
• [SPARK-37287] [SQL] FileFormatWriterから動的パーティションとバケットソートを引き出します
• [SPARK-39469] [SQL] CSV スキーマ推論の日付タイプを推測
• [SPARK-39148] [SQL] DS V2 アグリゲートのプッシュダウンが OFFSET または LIMIT で動作すること
• [SPARK-39818] [SQL] ARRAY、STRUCT、MAPタイプで、デフォルト値とNULLフィールドのバグを修正
• [SPARK-39792] [SQL] 10進数平均のDecimalDivideWithOverflowCheckを追加
• [SPARK-39798] [SQL] Replcace のコンストラクタに.toArray[Any]``toSeq.toArray GenericArrayData
• [SPARK-39759] [SQL] JDBCでlistIndexesを実装（H2ダイアレクト
• [SPARK-39385] [SQL] プッシュダウン REGR_AVGX と REGR_AVGY
• [SPARK-39787] [SQL] 関数 to_timestamp の解析エラーでエラークラスを使用
• [SPARK-39760] [Python] PySparkでVarcharをサポート
• [SPARK-39557] [SQL] DBR 11.xへの手動バックポート:ARRAY、STRUCT、MAPタイプをデフォルト値としてサポート
• [SPARK-39758] [SQL][3.3] 無効なパターンの正規表現関数からのNPEを修正
• [SPARK-39749] [SQL] ANSI SQL モード: Decimal を文字列にキャストする際にプレーンな文字列表現を使用
• [SPARK-39704] [SQL] JDBC(H2方言)でcreateIndex、dropIndex、indexExistsを実装
• [SPARK-39803] [SQL] 代わりに LevenshteinDistance を使用 StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] JDBC データソースでTimestampNTZタイプをサポート
• [SPARK-39781] [SS] rocksdb 状態ストアプロバイダーにmax_open_filesを提供するためのサポートを追加
• [SPARK-39719] [R] SparkRサポート3L名前空間にdatabaseExists/getDatabaseを実装
• [SPARK-39751] [SQL] ハッシュ集約キープローブの名前を変更する メトリクス
• [SPARK-39772] 古いコンストラクタでデータベースがnullの場合、[SQL]名前空間をnullにすべき
• [SPARK-39625] [SPARK-38904][sql] データセット.as(StructType)を追加
• [SPARK-39384] [SQL] JDBC ダイアレクトの組み込み線形回帰集計関数をコンパイル
• [SPARK-39720] [R] 3L名前空間のSparkRにtableExists/getTableを実装
• [SPARK-39744] [SQL] REGEXP_INSTR 関数を追加
• [SPARK-39716] [R] SparkRのcurrentDatabase/setCurrentDatabase/listCatalogsが3L名前空間をサポートするように
• [SPARK-39788] [SQL] catalogName の名前を dialectName に変更 JdbcUtils
• [SPARK-39647] [CORE] 登録する ESS と共にエグゼキューター
• [SPARK-39754] [CORE][sql] 未使用の import または不要なものを削除 {}
• [SPARK-39706] [SQL] 欠落している列をdefaultValueの定数として設定します。 ParquetColumnVector
• [SPARK-39699] [SQL] コレクション作成式について、CollapseProjectをよりスマートに
• [SPARK-39737] [SQL] PERCENTILE_CONT と PERCENTILE_DISC は集計フィルターをサポートする必要があります
• [SPARK-39579] [SQL][Python][R] Make ListFunctions/getFunction/functionExists 3レイヤー名前空間と互換性がある
• [SPARK-39627] [SQL] JDBC V2のプッシュダウンでコンパイルAPIを統一すべき
• [SPARK-39748] [SQL][ss] LogicalRDDの元の論理プランがデータフレームから来る場合、それを含めます
• [SPARK-39385] [SQL] プッシュダウン用の線形回帰集計関数を変換
• [SPARK-39695] [SQL] REGEXP_SUBSTR 関数を追加
• [SPARK-39667] [SQL] テーブルをビルドしてブロードキャストするためのメモリが不足している場合に、別の回避策を追加
• [SPARK-39666] [ES-337834][sql] ExpressionEncoder の spark.sql.codegen.factoryMode を尊重するために UnsafeProjection.create を使用
• [SPARK-39643] [SQL] デフォルト値でのサブクエリ式を禁止
• [SPARK-38647] [SQL] スキャンのインターフェースにSupportsReportOrderingミックスを追加（DataSourceV2
• [SPARK-39497] [SQL] マップキー列が欠落している分析例外を改善
• [SPARK-39661] [SQL] 不要なSLF4Jロガーの作成を回避
• [SPARK-39713] [SQL] ANSIモード:INVALID_ARRAY_INDEXエラーにtry_element_atを使用する提案を追加
• [SPARK-38899] [SQL]DS V2がプッシュダウン日時関数をサポート
• [SPARK-39638] [SQL] パーティション列を ConstantColumnVector に格納するように変更 OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) をクリーンアップ ColumnVectorUtils
• [SPARK-39231] [SQL] パーティション列を On/OffHeapColumnVector の代わりに ConstantColumnVector を使用してパーティション列を格納 VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog が loadNamspaceMetadata で NoSuchDatabaseException をスローしないようにすべき
• [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcastのAssertionErrorを回避
• [SPARK-39492] [SQL] MISSING_COLUMNの手直し
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec が子出力の順序を尊重すべき
• [SPARK-39606] [SQL] 子統計を使用して順序演算子を推定
• [SPARK-39611] [Python][ps] array_ufunc の間違ったエイリアスを修正
• [SPARK-39656] [SQL][3.3] DescribeNamespaceExec の誤った名前空間を修正
• [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode'を切り替えますテスト目的から内部目的までの設定
• [SPARK-39139] [SQL] DS V2 が DS V2 UDF のプッシュダウンをサポート
• [SPARK-39434] [SQL] 配列インデックスが境界外の場合にランタイムエラークエリコンテキストを提供
• [SPARK-39479] [SQL] DS V2 がプッシュダウン数学関数 (非 ANSI) をサポート
• [SPARK-39618] [SQL] REGEXP_COUNT 関数を追加
• [SPARK-39553] [CORE] Scala 2.13の使用時にマルチスレッドのレジスタ解除シャッフルがNPEをスローしないように修正
• [ SPARK-38755 ] [Python][3.3] 不足している Pandas 一般的な機能に対処するためのファイルを追加
• [SPARK-39444] [SQL] OptimizeSubqueries を nonExcludableRules リストに追加
• [SPARK-39316] [SQL] PromotePrecisionとCheckOverflowを10進数演算にマージ
• [SPARK-39505] [UI] UIでレンダリングされたログコンテンツをエスケープする
• [SPARK-39448] [SQL] ReplaceCTERefWithRepartitionをリストに追加nonExcludableRules
• [SPARK-37961] [SQL] 一部の論理演算子の maxRows/maxRowsPerPartition を上書き
• 【スパーク-35223】 IssueNavigationLink の追加を元に戻す
• [SPARK-39633] [SQL] データフレームオプションを使用したTimeTravelのタイムスタンプを秒単位でサポートするようにした
• [SPARK-38796] [SQL] {try_}to_number関数を使用した数値形式文字列のドキュメンテーションを更新
• [SPARK-39650] [SS] 下位互換性のあるストリーミング重複排除の誤った値スキーマを修正
• [SPARK-39636] [CORE][ui] ヒープのStorageLevelsとタスク/エグゼキューター ResourceRequestsに影響を与えるJsonProtocolの複数のバグを修正
• [SPARK-39432] [SQL] element_at(*, 0) からELEMENT_AT_BY_INDEX_ZEROを返す
• [スパーク-39349] エラーパスのQAのための一元化されたCheckErrorメソッドを追加
• [SPARK-39453] [SQL] DS V2 は、その他の非集約関数 (非 ANSI) のプッシュダウンをサポートします
• [SPARK-38978] [SQL] DS V2がプッシュダウンOFFSET演算子をサポート
• [SPARK-39567] [SQL] パーセンタイル関数でANSI間隔をサポート
• [SPARK-39383 ] [SQL] ALTER TABLEでデフォルト列を V2 に変更 データソースにサポート
• [SPARK-39396] [SQL] LDAPログイン例外「エラーコード49 - 無効な認証情報」を修正
• [SPARK-39548] [SQL] CreateView コマンドとウィンドウ句のクエリが間違ったウィンドウ定義にヒットする問題
• [SPARK-39575] [AVRO] AvrでByteBuffer#getの後にByteBuffer#rewindを追加...
• [スパーク-39543] データフレームWriterV2 のオプションは、v1 にフォールバックする場合はストレージ プロパティに渡す必要があります
• [SPARK-39564] [SS] ストリーミングクエリでカタログテーブルの情報を論理プランに公開
• [SPARK-39582] [SQL] 「Since」マーカーを修正 array_agg
• [SPARK-39388] [SQL] Orc述語をプッシュダウンするときに orcSchema を再利用するようにします
• [SPARK-39511] [SQL] 結合条件が空の場合、左半結合/アンチ結合の右側のローカル制限1のプッシュダウンを強化
• [SPARK-38614] [SQL] percent_rankを使用しているウィンドウから制限を押し下げない
• [SPARK-39551] [SQL] AQEの無効なプランチェックを追加
• [SPARK-39383 ] [SQL] ALTER TABLEでデフォルト列をサポートし、V2 に列を追加する データソース
• [SPARK-39538] [SQL] 不要なSLF4Jロガーの作成を回避
• [SPARK-39383] [SQL] DBR 11.x への手動バックポート: プライマリ Analyzer の受け渡しをスキップするためのリファクタリング デフォルト列のサポート
• [SPARK-39397] [SQL] AliasAwareOutputExpressionを緩和して、式を持つエイリアスをサポートするように修正
• [SPARK-39496] [SQL] null 構造体を Inline.eval
• [SPARK-39545] [SQL] Scala 2.13 で ExpressionSet の concatメソッドをオーバーライドしてパフォーマンスを向上させる
• [SPARK-39340] [SQL] DS v2 agg プッシュダウンで最上位の列の名前にドットを含めるように修正
• [SPARK-39488] [SQL] TempResolvedColumn のエラー処理を簡素化
• [SPARK-38846] [SQL] Teradata Numeric Type と Spark DecimalType の間の明示的なデータマッピングを追加
• [SPARK-39520] [SQL] Scala 2.13 の ExpressionSet の -- メソッドをオーバーライド
• [SPARK-39470] [SQL] ANSI 間隔の 10 進数へのキャストをサポート
• [SPARK-39477] [SQL] SQLQueryTestSuiteのゴールデンファイルから「クエリ数」情報を削除
• [SPARK-39419] [SQL] コンパレータがnullを返すときに例外をスローするようにArraySortを修正
• [SPARK-39061] [SQL] Inline 出力属性に対してnullableを正しく設定
• [SPARK-39320] [SQL] 集計関数をサポート MEDIAN
• [SPARK-39261] [CORE] エラーメッセージの改行フォーマットを改善
• [SPARK-39355] [SQL] UnresolvedAttribute の構築に 1 つの列で引用符が使用されている
• [SPARK-39351 ] [SQL] SHOW CREATE TABLE はプロパティを編集する必要があります
• [SPARK-37623] [SQL] ANSI 集計関数のサポート: regr_intercept
• [SPARK-39374] [SQL] ユーザー指定の列リストのエラーメッセージを改善
• [SPARK-39255] [SQL][3.3] エラーメッセージの改善
• [SPARK-39321] [SQL] TryCastをリファクタリングしてRuntimeReplaceableを使用
• [SPARK-39406] [Python] createデータフレーム で NumPy 配列を受け入れる
• [SPARK-39267] [SQL] DSLの不要なシンボルをクリーンアップ
• [SPARK-39171] [SQL] キャスト式を統一
• [SPARK-28330] [SQL] ANSI SQLのサポート：クエリ式の結果オフセット句
• [SPARK-39203] [SQL] データベースURIに基づいてテーブルの場所を絶対URIに書き換える
• [SPARK-39313] [SQL] V2Expressionが翻訳できない場合、 toCatalystOrdering が失敗するべき
• [SPARK-39301] [SQL][Python] LocalRelationを活用し、Arrowの最適化を使用してcreateデータフレームでArrowバッチサイズを尊重
• [SPARK-39400] [SQL] spark-sqlは、すべてのケースでハイブリソースディレクトリを削除すべきです

メンテナンスの更新

「Databricks Runtime 11.1 メンテナンスの更新」を参照してください。

システム環境

• オペレーティングシステム :Ubuntu 20.04.4 LTS
• Java の:Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.9.5
• R :4.1.3
• Delta Lake : 1.2.1

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アンテルゴス Linux	2015.10 (ISOローリング)	アルゴン2-CFFI	20.1.0	非同期ジェネレータ	1.10
属性	21.2.0	バックコール	0.2.0	backports.entry-points-selectable	1.1.1
黒い	22.3.0	ブリーチ	4.0.0	ボト3	1.21.18
ボトコア	1.24.18	認証	2021.10.8	cffi	1.14.6
シャルデ	4.0.0	文字セット・ノーマライザー	2.0.4	クリック	8.0.3
暗号化手法	3.4.8	サーマルサイクラー	0.10.0	シトン	0.29.24
DBUSPython	1.2.16	デバッグ	1.4.1	デコレータ	5.1.0
デフューズドXML	0.7.1	ディストリビューション	0.3.5	ディストリビューション情報	0.23Ubuntuの1
エントリポイント	0.3	facets-概要	1.0.0	ファイルロック	3.8.0
イドナ	3.2	ipykernel(英語)	6.12.1	アイパイソン	7.32.0
ipython-genutils	0.2.0	ipywidgets	7.7.0	ジェダイ	0.18.0
ジンジャ2	2.11.3	jmespathの	0.10.0	ジョブリブ	1.0.1
jsonschema(jsonschema)	3.2.0	jupyter-クライアント	6.1.12	ジュピターコア	4.8.1
jupyterlab-pygmentsの	0.1.2	jupyterlab-widgetsの	1.0.0	キウイソルバー	1.3.1
マークアップセーフ	2.0.1	Matplotlib	3.4.3	matplotlib-インライン	0.1.2
ミスチューン	0.8.4	mypy-extensions	0.4.3	NBクライアント	0.5.3
NBコンバート	6.1.0	NBフォーマット	5.1.3	ネスト-アシンシオ	1.5.1
ノートブック	6.4.5	ナムピー	1.20.3	包装	21.0
pandas	1.3.4	pandocフィルター	1.4.3	パルソ	0.8.2
パススペック	0.9.0	パッツィ	0.5.2	pexpect	4.8.0
ピクルシェア	0.7.5	枕	8.4.0	種	21.2.4
プラットフォームディレクトリ	2.5.2	Plotly	5.9.0	prometheus-クライアント	0.11.0
プロンプトツールキット	3.0.20	プロトブフ	4.21.5	psutil の	5.8.0
サイコップ2	2.9.3	PTYPROCESSの	0.7.0	ピアロー	7.0.0
pycparser	2.20	ピグメント	2.10.0	PyGObject	3.36.0
pyodbc	4.0.31	pyparsing (英語)	3.0.4	ピルシステント	0.18.0
Python-apt	2.0.0 + ubuntu0.20.4.7	Python-dateutil	2.8.2	ピッツ	2021.3
ピズム	22.2.1	要求	2.26.0	リクエスト-unixsocket	0.2.0
S3トランスファー	0.5.2	Scikit-Learn	0.24.2	scipy(サイピー)	1.7.1
シーボーン	0.11.2	Send2Trash(センド2トラッシュ)	1.8.0	セットアップツール	58.0.4
6	1.16.0	ssh-import-id	5.10	統計モデル	0.12.2
持久力	8.0.1	テルミナド	0.9.4	テストパス	0.5.0
スレッドプールctl	2.2.0	トークン化-RT	4.2.1	トムリ	2.0.1
竜巻	6.1	トレイトレット	5.1.0	タイピング拡張	3.10.0.2
無人アップグレード	0.1	urllib3 の	1.26.7	virtualenv	20.8.0
WC幅	0.2.5	webエンコーディング	0.5.1	輪	0.37.0
widgetsnb拡張機能	3.6.0

インストールされている R ライブラリ

R ライブラリは、2022 年 8 月 15 日の Microsoft CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アスクパス	1.1	assertthat	0.2.1	バックポート	1.4.1
基	4.1.3	base64enc	0.1-3	bit	4.0.4
ビット64	4.0.5	ブロッブ	1.2.3	ブート	1.3-28
醸成	1.0-7	ブリオ	1.1.3	箒	1.0.0
bslibの	0.4.0	カケム	1.0.6	コール	3.7.1
キャレット	6.0-93	セルレンジャー	1.1.0	クロン	2.3-57
クラス	7.3-20	CLI	3.3.0	clipr	0.8.0
クラスター	2.1.3	コードツール	0.2-18	カラースペース	2.0-3
コモンマーク	1.8.0	コンパイラ	4.1.3	コンフィグ	0.3.1
CPP11の	0.4.2	クレヨン	1.5.1	資格情報	1.3.2
Curl	4.3.2	データ.テーブル	1.14.2	データセット	4.1.3
DBI	1.1.3	dbplirの	2.2.1	DESC	1.4.1
開発ツール	2.4.4	ディフobj	0.3.5	ダイジェスト	0.6.29
ダウンライト	0.4.2	dplyrの	1.0.9	DTPLyr	1.2.1
E1071	1.7-11	省略記号	0.3.2	評	0.16
ファンシ	1.0.3	ファーバー	2.1.1	ファストマップ	1.1.0
フォントオーサム	0.3.0	フォーキャッツ	0.5.1	For each	1.5.2
外国の	0.8-82	鍛える	0.2.0	FSの	1.5.2
未来	1.27.0	future.お申込み	1.9.0	嗽	1.2.0
ジェネリック	0.1.3	ゲルト	1.7.0	ggplot2の	3.3.6
gh	1.3.0	ギットレッズ	0.1.1	glmnet	4.1-4
グローバル	0.16.0	膠	1.6.2	グーグルドライブ	2.0.0
グーグルシート4	1.0.1	ガウアー	1.0.0	グラフィックス	4.1.3
grDevicesの	4.1.3	グリッド	4.1.3	グリッドエクストラ	2.3
gsubfnの	0.7	GTABLE(GTABLE)	0.3.0	ヘルメット	1.2.0
避難所	2.5.0	高い	0.9	HMSの	1.1.1
htmlツール[htmltools]	0.5.3	htmlウィジェット	1.5.4	httpuv	1.6.5
httr	1.4.3	ids	1.0.1	イニ	0.3.1
イプレッド	0.9-13	アイソバンド	0.2.5	反復 子	1.0.14
jquerylib	0.1.4	jsonlite	1.8.0	カーンスムース	2.23-20
ニット	1.39	ラベリング	0.4.2	あとで	1.3.0
格子	0.20-45	溶岩	1.6.10	ライフサイクル	1.0.1
リッスン	0.8.0	ルブリデート	1.8.0	マグリット	2.0.3
Markdown	1.1	質量	7.3-56	マトリックス	1.4-1
メモ	2.0.1	メソッド	4.1.3	mgcv	1.8-40
マイム	0.12	ミニUI	0.1.1.1	モデルメトリクス	1.2.2.2
モデラー	0.1.8	マンセル	0.5.0	nlme	3.1-157
ネット	7.3-17	numDerivの	2016.8-1.1	オープンSSL	2.0.2
並列	4.1.3	並行して	1.32.1	柱	1.8.0
pkgbuild の	1.3.1	pkgconfig	2.0.3	pkgdown (英語)	2.0.6
pkgload(パッケージロード)	1.3.0	plogrの	0.2.0	プライル	1.8.7
褒める	1.0.0	プリティユニット	1.1.1	pROC	1.18.0
プロセスX	3.7.0	製品	2019.11.13	プロヴィス	0.3.7
経過	1.2.2	プログレッサー	0.10.1	約束	1.2.0.1
プロト	1.0.0	プロキシ	0.4-27	PS	1.7.1
ゴロゴロ	0.3.4	R2D3の	0.2.6	R6の	2.5.1
ラグ	1.2.2	ランダムフォレスト	4.7-1.1	ラプディレクトリ	0.3.3
rcmdcheckの	1.4.0	RColorブリューワー	1.1-3	Rcpp	1.0.9
RcppEigen	0.3.3.9.2	読み取り	2.1.2	readxlの	1.4.0
レシピ	1.0.1	再戦	1.0.1	再戦2	2.1.2
リモコン	2.4.2	レプレックス	2.0.1	形状変更2	1.4.4
ラン	1.0.4	rmarkdown	2.14	RODBC	1.3-19
リオキシジェン2	7.2.1	rpart	4.1.16	rprojroot さん	2.0.3
サーブ	1.8-11	RSQLite (英語)	2.2.15	rstudioapi	0.13
rversions	2.1.1	アヴェスト	1.0.2	サス	0.4.2
秤	1.2.0	セレクタ	0.4-2	セッション情報	1.2.2
形	1.4.6	shiny	1.7.2	ソースツール	0.1.7
sparklyr	1.7.7	SparkR	3.3.0	空間的	7.3-11
スプライン	4.1.3	sqldf	0.4-11	スクエアム	2021.1
統計	4.1.3	統計4	4.1.3	ストリンギ	1.7.8
ストリンガー	1.4.0	生存	3.2-13	SYSの	3.4
システムフォント	1.0.4	tcltk	4.1.3	テストを	3.1.4
テキストシェーピング	0.3.6	ティブル	3.1.8	ティディル	1.2.0
ティディセレクト	1.1.2	ティディバース	1.3.2	日時	4021.104
タイニーテックス	0.40	ツール	4.1.3	tzdb	0.3.0
urlchecker(英語)	1.0.1	usethisさん	2.1.6	UTF8	1.2.2
ユーティリティ	4.1.3	UUIDの	1.1-0	vctrs	0.4.1
viridisライト	0.4.0	ブルーム	1.5.7	ワルド	0.4.0
ウイスカー	0.4	ウィザー	2.5.0	xfun	0.32
XML2の	1.3.3	xopen(オーペン)	1.0.0	エクステーブル	1.8-4
ヤムラ	2.3.5	郵便番号	2.2.0

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.12.189
com.amazonawsの	aws-java-sdk-cloudformation	1.12.189
com.amazonawsの	aws-java-sdk-cloudfront	1.12.189
com.amazonawsの	aws-java-sdk-cloudhsm	1.12.189
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.12.189
com.amazonawsの	aws-java-sdk-cloudtrail	1.12.189
com.amazonawsの	aws-java-sdk-cloudwatch	1.12.189
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.12.189
com.amazonawsの	aws-java-sdk-コードデプロイ	1.12.189
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.12.189
com.amazonawsの	aws-java-sdk-cognitosync	1.12.189
com.amazonawsの	aws-java-sdk-configの	1.12.189
com.amazonawsの	aws-java-sdk-コア	1.12.189
com.amazonawsの	aws-java-sdk-データパイプライン	1.12.189
com.amazonawsの	aws-java-sdk-directconnectの	1.12.189
com.amazonawsの	aws-java-sdkディレクトリ	1.12.189
com.amazonawsの	aws-java-sdk-ダイナモDB	1.12.189
com.amazonawsの	aws-java-sdk-ec2 の	1.12.189
com.amazonawsの	aws-java-sdk-ecsの	1.12.189
com.amazonawsの	aws-java-sdk-efs	1.12.189
com.amazonawsの	aws-java-sdk-elasticache	1.12.189
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.12.189
com.amazonawsの	aws-java-sdk-emr	1.12.189
com.amazonawsの	aws-java-sdk-glacier	1.12.189
com.amazonawsの	aws-java-sdk-グルー	1.12.189
com.amazonawsの	aws-java-sdk-iam	1.12.189
com.amazonawsの	aws-java-sdk-importexport	1.12.189
com.amazonawsの	aws-java-sdk-キネシス	1.12.189
com.amazonawsの	aws-java-sdk-kmsの	1.12.189
com.amazonawsの	aws-java-sdk-ラムダ	1.12.189
com.amazonawsの	aws-java-sdk-logs	1.12.189
com.amazonawsの	aws-java-sdk-機械学習	1.12.189
com.amazonawsの	aws-java-sdk-opsworks	1.12.189
com.amazonawsの	aws-java-sdk-rds	1.12.189
com.amazonawsの	aws-java-sdk-レッドシフト	1.12.189
com.amazonawsの	aws-java-sdk-ルート53	1.12.189
com.amazonawsの	aws-java-sdk-s3 の	1.12.189
com.amazonawsの	aws-java-sdk-ses	1.12.189
com.amazonawsの	aws-java-sdk-simpledb	1.12.189
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.12.189
com.amazonawsの	aws-java-sdk-snsの	1.12.189
com.amazonawsの	aws-java-sdk-sqs	1.12.189
com.amazonawsの	aws-java-sdk-ssm	1.12.189
com.amazonawsの	aws-java-sdk-storagegateway	1.12.189
com.amazonawsの	aws-java-sdk-sts	1.12.189
com.amazonawsの	aws-java-sdk-サポート	1.12.189
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.12.189
com.amazonawsの	jmespath-java	1.12.189
com.chuusai(英語)	shapeless_2.12	2.3.3
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.13.3
com.fasterxml.jackson.core	ジャクソンコア	2.13.3
com.fasterxml.jackson.core	ジャクソン-データバインド	2.13.3
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.13.3
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.13.3
com.fasterxml.jackson.datatype	ジャクソン-データ型-JSR310	2.13.3
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.13.3
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.12	2.13.3
com.github.ben-manes.caffeine	カフェイン	2.3.4
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	コア	1.1.2
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-java-natives	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-java-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64-natives	1.1
com.github.luben	ZSTD-JNI	1.5.2-1
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.8.6
com.google.crypto.tink	ティンク	1.6.1
com.google.flatbuffers	フラットバッファ-Java	1.12.0
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2データベース	H2	2.0.204
com.helger	プロファイラー	1.1.1
com.jcraftの	jsch	0.1.50
com.jolboxの	ボーンカップ	0.8.0.リリース
com.lihaoyi	sourcecode_2月12日	0.1.9
com.microsoft.azure	azure-データレイク-store-sdk	2.3.9
com.ningの	圧縮-LZF	1.1
com.sun.mail	javax.mail	1.5.2
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.10.0
コム。囀る	chill_2.12	0.10.0
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.2.1
Scala-logging	Scala-logging_2.12	3.7.2
com.uberの	H3	3.7.0
com.univocityの	univocity-パーサー	2.9.1
com.zaxxerの	ひかりCP	4.0.3
コモンズCLI	コモンズCLI	1.5.0
コモンズコーデック	コモンズコーデック	1.15
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.3.3
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.11.0
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib さん	アーパック	2.2.1
dev.ludovic.netlib さん	ブラス	2.2.1
dev.ludovic.netlib さん	ラパック	2.2.1
Hadoop3の	ジェット3T-0.7	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.21
io.delta	デルタシェアリング-spark_2.12	0.5.0
io.dropwizard.メトリクス	メトリクスコア	4.1.1
io.dropwizard.メトリクス	メトリクス-グラファイト	4.1.1
io.dropwizard.メトリクス	メトリクス-healthchecks	4.1.1
io.dropwizard.メトリクス	メトリクス-jetty9	4.1.1
io.dropwizard.メトリクス	メトリクス-JMX	4.1.1
io.dropwizard.メトリクス	メトリクス-JSON	4.1.1
io.dropwizard.メトリクス	メトリクス-JVM	4.1.1
io.dropwizard.メトリクス	メトリクスサーブレット	4.1.1
io.nettyの	netty-すべて	4.1.74.ファイナル
io.nettyの	netty-buffer	4.1.74.ファイナル
io.nettyの	netty-codec (英語)	4.1.74.ファイナル
io.nettyの	netty-共通	4.1.74.ファイナル
io.nettyの	netty-ハンドラ	4.1.74.ファイナル
io.nettyの	netty-リゾルバ	4.1.74.ファイナル
io.nettyの	netty-tcnative-クラス	2.0.48.最終版
io.nettyの	netty-トランスポート	4.1.74.ファイナル
io.nettyの	netty-transport-classes-epoll	4.1.74.ファイナル
io.nettyの	netty-transport-classes-kqueue	4.1.74.ファイナル
io.nettyの	netty-transport-native-epoll-linux-aarch_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-epoll-linux-x86_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-kqueue-osx-aarch_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-kqueue-osx-x86_64	4.1.74.ファイナル
io.nettyの	netty-transport-native-unix-common	4.1.74.ファイナル
io.プロメテウス	シンプルクライアント	0.7.0
io.プロメテウス	simpleclient_common	0.7.0
io.プロメテウス	simpleclient_dropwizard	0.7.0
io.プロメテウス	simpleclient_pushgateway	0.7.0
io.プロメテウス	simpleclient_servlet	0.7.0
io.prometheus.jmx	収集家	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet (英語)	jakarta.servlet-api	4.0.3
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.11
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.10.13
MVNの	Hadoop3の	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	漬ける	1.2
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
ネット.スノーフレーク	スノーフレーク-JDBC	3.13.14
ネット.スノーフレーク	スパーク-snowflake_2.12	2.10.0-spark_3.2
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.8
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.9.2
org.apache.ant	アントJSCH	1.9.2
org.apache.ant	アントランチャー	1.9.2
org.apache.arrow(アパッチ・アロー)	arrow-format	7.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-core	7.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-netty	7.0.0
org.apache.arrow(アパッチ・アロー)	arrow-vector	7.0.0
org.apache.avro	AVRO	1.11.0
org.apache.avro	アブロIPC	1.11.0
org.apache.avro	アブロマップド	1.11.0
org.apache.commonsの	コモンズコレクション4	4.4
org.apache.commonsの	コモンズ圧縮	1.21
org.apache.commonsの	コモンズ-クリプト	1.1.0
org.apache.commonsの	コモンズ-LANG3	3.12.0
org.apache.commonsの	コモンズ-数学3	3.6.1
org.apache.commonsの	コモンズテキスト	1.9
org.apache.curator (英語)	キュレーター・クライアント	2.13.0
org.apache.curator (英語)	キュレーターフレームワーク	2.13.0
org.apache.curator (英語)	キュレーターレシピ	2.13.0
org.apache.derbyの	ダービー	10.14.2.0
org.apache.hadoop です。	hadoop クライアント API	3.3.2-データブリック
org.apache.hadoop です。	hadoop クライアント ランタイム	3.3.2
org.apache.hive です。	ハイブビーライン	2.3.9
org.apache.hive です。	ハイブ CLI	2.3.9
org.apache.hive です。	ハイブ-JDBC	2.3.9
org.apache.hive です。	ハイブ - llap クライアント	2.3.9
org.apache.hive です。	ハイブ - llap - 共通	2.3.9
org.apache.hive です。	ハイブセルデ	2.3.9
org.apache.hive です。	ハイブシム	2.3.9
org.apache.hive です。	ハイブストレージAPI	2.7.2
org.apache.hive.shims	ハイブシム-0.23	2.3.9
org.apache.hive.shims	ハイブシム-共通	2.3.9
org.apache.hive.shims	ハイブシムススケジューラ	2.3.9
org.apache.httpコンポーネント	httpクライアント	4.5.13
org.apache.httpコンポーネント	httpコア	4.4.14
org.apache.ivy	蔦	2.5.0
org.apache.logging.log4j	ログ4J-1.2-API	2.17.2
org.apache.logging.log4j	ログ4J-API	2.17.2
org.apache.logging.log4j	log4j-コア	2.17.2
org.apache.logging.log4j	log4j-slf4j-impl	2.17.2
org.apache.mesos	メソスシェードプロトブ	1.4.0
org.apache.orc	オークコア	1.7.5
org.apache.orc	orc-mapreduce	1.7.5
org.apache.orc	オークシム	1.7.5
org.apache.parquet	parquet-column	1.12.0-データブリックス-0004
org.apache.parquet	parquet-common	1.12.0-データブリックス-0004
org.apache.parquet	parquet-encoding	1.12.0-データブリックス-0004
org.apache.parquet	parquet-format-structures	1.12.0-データブリックス-0004
org.apache.parquet	parquet-hadoop	1.12.0-データブリックス-0004
org.apache.parquet	parquet-jackson	1.12.0-データブリックス-0004
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.xbean	xbean-asm9-shaded (英語)	4.20
org.apache.yetus (英語)	オーディエンスアノテーション	0.5.0
org.apache.zookeeper	動物園の飼育係	3.6.2
org.apache.zookeeper	動物園の飼育係ジュート	3.6.2
org.checkerフレームワーク	チェッカークォール	3.5.0
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
組織Eclipse.jetty	桟橋クライアント	9.4.46.v20220331
組織Eclipse.jetty	桟橋の続き	9.4.46.v20220331
組織Eclipse.jetty	桟橋-HTTP	9.4.46.v20220331
組織Eclipse.jetty	桟橋-IO	9.4.46.v20220331
組織Eclipse.jetty	桟橋-JNDI	9.4.46.v20220331
組織Eclipse.jetty	桟橋プラス	9.4.46.v20220331
組織Eclipse.jetty	桟橋プロキシ	9.4.46.v20220331
組織Eclipse.jetty	桟橋警備	9.4.46.v20220331
組織Eclipse.jetty	桟橋サーバー	9.4.46.v20220331
組織Eclipse.jetty	桟橋サーブレット	9.4.46.v20220331
組織Eclipse.jetty	桟橋サーブレット	9.4.46.v20220331
組織Eclipse.jetty	桟橋-util	9.4.46.v20220331
組織Eclipse.jetty	桟橋-util-ajax	9.4.46.v20220331
組織Eclipse.jetty	桟橋-webapp	9.4.46.v20220331
組織Eclipse.jetty	桟橋XML	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-api	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-クライアント	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-共通	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-サーバー	9.4.46.v20220331
組織Eclipse.jetty.websocket	websocket-サーブレット	9.4.46.v20220331
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.34
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.34
org.glassfish.jersey.coreの	ジャージークライアント	2.34
org.glassfish.jersey.coreの	ジャージー共通	2.34
org.glassfish.jersey.coreの	ジャージーサーバー	2.34
org.glassfish.jersey.inject	ジャージ-HK2	2.34
org.hibernate.validator	hibernate-validator	6.1.0.ファイナル
org.javassist	ジャバス奏者	3.25.0-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.jetbrainsの	注釈	17.0.0
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.7.0-M11
org.json4sの	json4s-core_2.12	3.7.0-M11
org.json4sの	json4s-jackson_2.12	3.7.0-M11
org.json4sの	json4s-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Javaの	1.8.0
org.mariadb.JDBC	mariadb-java-クライアント	2.7.4
org.mlflowの	mlflow-spark	1.27.0
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.3.3
org.roaringbitmap	ロアリングビットマップ	0.9.25
org.roaringbitmap	シム	0.9.25
org.rocksdbの	ロックスDBJNI	6.24.2
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.14
組織Scala-lang	Scala-Library.12	2.12.14
組織Scala-lang	Scala-reflect_2.12	2.12.14
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.4.3
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	そよ風-macros_2.12	1.2
org.scalanlp	breeze_2.12	1.2
org.scalatestの	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.36
org.slf4j	7月-slf4j	1.7.36
org.slf4j	SLF4J-APIの	1.7.36
org.spark-project.spark です。	未使用	1.0.0
org.threetenさん	スリーテンエクストラ	1.5.0
org.tukaani	xz	1.8
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	マクロ-compat_2.12	1.1.1
org.typelevel	スパイア-macros_2.12	0.17.0
org.typelevel	スパイア-platform_2.12	0.17.0
org.typelevel	スパイア-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	ワイルドフライ-openssl	1.0.7.ファイナル
org.xerial	sqlite-JDBC の	3.8.11.2
org.xerial.snappy(英語)	スナッピージャワ	1.1.8.4
org.yaml の	スネークヤム	1.24
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1