Databricks Runtime 14.1 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートは、Databricks Runtime Apache Spark3.5.0 を搭載した 14.1 に関する情報を提供します。

Databricks は 2023 年 10 月にこのバージョンをリリースしました。

注記

これらのリリースノートには、このリリースの時点で Google Cloud で利用できない機能への参照が含まれている場合があります。

ヒント

サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

新機能と改善点

• array_insert() は負のインデックスに対して 1 から始まります
• Delta v2 チェックポイントは、リキッドクラスタリングを使用したデフォルトで有効になっています
• Drop Delta テーブル機能がパブリック プレビューに登場
• Delta Sharing: 受信者は、削除ベクトルを使用して共有テーブルに対してバッチ クエリを実行できます (パブリック プレビュー)
• Delta Sharing: 受信者は、列マッピングを使用して共有テーブルに対してバッチ クエリを実行できます (パブリック プレビュー)
• パブリック プレビューの Unity Catalog ビューからのストリーム
• Apache Pulsarコネクタがパブリックプレビューに
• アップグレードされたSnowflakeドライバー
• SQL セッション変数
• SQL と Python UDFの名前付きパラメーター呼び出し .
• 関数のテーブル引数は、パーティション分割と順序付けをサポートします。
• 新しい組み込み SQL 関数と強化された組み込み SQL 関数
• 相関サブクエリの処理の改善

array_insert() は負のインデックスに対して 1 から始まります

array_insert関数は、正のインデックスと負のインデックスの両方で 1 から始まります。インデックス -1 の入力配列の末尾に新しい要素を挿入するようになりました。 以前の動作に戻すには、 spark.sql.legacy.negativeIndexInArrayInsert を trueに設定します。

Delta v2 checkpoints enabled by デフォルト with リキッドクラスタリング

リキッドクラスタリングで新しく作成された Delta テーブルは、デフォルトによるv2チェックポイントを使用します。 リキッドクラスタリングを使用したテーブルの互換性を参照してください。

Drop Delta テーブル機能がパブリック プレビューに登場

Delta テーブルの一部のテーブル機能を削除できるようになりました。 現在のサポートには、 deletionVectors と v2Checkpointのドロップが含まれます。 ドロップDeltaテーブル機能を参照してください。

Delta Sharing: 受信者は、削除ベクトルを使用して共有テーブルに対してバッチ クエリを実行できます (パブリック プレビュー)

Delta Sharing の受信者は、削除ベクトルを使用する共有テーブルに対してバッチ クエリを実行できるようになりました。 「削除ベクトルまたは列マッピングを持つテーブルを共有に追加する」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」、および「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」を参照してください。

Delta Sharing: 受信者は、列マッピングを使用して共有テーブルに対してバッチ クエリを実行できます (パブリック プレビュー)

Delta Sharing の受信者は、列マッピングを使用する共有テーブルに対してバッチ クエリを実行できるようになりました。 「削除ベクトルまたは列マッピングを持つテーブルを共有に追加する」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」、および「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」を参照してください。

パブリック プレビューの Unity Catalog ビューからのストリーム

構造化ストリーミングを使用して、Unity Catalog に登録されたビューからストリーミング読み取りを実行できるようになりました。 Databricks では、Delta テーブルに対して定義されたビューからの読み取りのストリーミングのみがサポートされています。 Unity Catalogビューをストリームとして読み取るを参照してください。

Apache Pulsarコネクタがパブリックプレビューに

構造化ストリーミングを使用して、 Apache Pulsar から Databricksにデータをストリーミングできるようになりました。 Apache Pulsar からのストリームを参照してください。

アップグレードされたSnowflakeドライバー

Snowflake JDBC ドライバーは、バージョン3.13.33を使用するようになりました。

SQL セッション変数

このリリースでは、セッションで一時変数を宣言し、クエリ内から設定して参照できる機能が導入されています。 変数を参照してください。

SQL と Python UDFの名前付きパラメーター呼び出し。

名前付きパラメーターの呼び出しを SQL と Python UDFで使用できるようになりました。

関数のテーブル引数は、パーティション分割と順序付けをサポートします。

PARTITION BY 句と ORDER BY 句を使用して、関数の呼び出し中にテーブル引数を関数に渡す方法を制御できるようになりました。

新しい組み込み SQL 関数と強化された組み込み SQL 関数

次の組み込み関数が追加されました。

• from_xml: XML STRING を解析して STRUCT.
• schema_of_xml: XML STRINGからスキーマを派生させます。
• session_user: ログインしているユーザーを返します。
• try_reflect: Java メソッドが失敗した場合に、例外の代わりに NULL を返します。

次の組み込み関数が拡張されました。

• mode: 決定論的な結果を強制するオプションのパラメーターのサポート。
• to_char: DATE、 TIMESTAMP、 BINARYの新しいサポート 。
• to_varchar: DATE、 TIMESTAMP、 BINARYの新しいサポート。

相関サブクエリの処理の改善

サブクエリの相関を処理する機能が拡張されました。

• 相関スカラー (横方向) サブクエリで limit と order by を処理します。
• 相関スカラーサブクエリでウィンドウ関数をサポートします。
• スカラーおよびラテラルサブクエリの結合述部での相関参照のサポート

行動変容

Photon Parquetリーダーでの厳密な型チェック

Photonは、10進数タイプではないParquet列から10進数を読み取ろうとすると失敗します。 Photonは、Parquetから固定長バイト配列を文字列として読み取るときにも失敗します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:

  • 3.12.2 から 3.12.3 へのファイルロック
  • s3 0.6.1 から 0.6.2 への転送

• アップグレードされた Java ライブラリ:

  • com.uber.h3 から 3.7.0 から 3.7.3 へ
  • io.airlift.エアコンプレッサー 0.24 から 0.25 まで
  • io.delta.delta-sharing-spark_2.12 を 0.7.1 から 0.7.5 に変更
  • io.netty.netty-すべて 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-バッファ 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-codec 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-codec-http 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-codec-http2 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-codec-socks 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-共通 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-ハンドラ 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-handler-プロキシ 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-リゾルバ 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-トランスポート 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-transport-classes-epoll 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-transport-classes-kqueue 4.1.93.Finalから4.1.96.Finalへ
  • io.netty.netty-transport-native-epoll 4.1.93.Final-linux-x86_64 から 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue 4.1.93.Final-osx-x86_64 から 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common 4.1.93.Finalから4.1.96.Finalへ
  • net.snowflake.snowflake-JDBC を 3.13.29 から 3.13.33 に変更
  • org.apache.orc.orc-コア 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf へ
  • org.apache.orc.orc-mapreduce 1.9.0-shaded-protobuf から 1.9.1-shaded-protobuf へ
  • org.apache.orc.orc-shim 1.9.0 から 1.9.1 へ

Apache Spark

Databricks Runtime 14.1 には Apache Spark 3.5.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 14.0 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

• [SPARK-45088] [DBRRM-557] 「[SC-142785][Python][CONNECT] 重複した列でgetitemを機能させる」を元に戻す
• [SPARK-43453] [DBRRM-557]「[SC-143135][ps] concat``axis=1時にMultiIndexのnamesを無視してください」を元に戻す
• [SPARK-45225] [SC-143207][sql] XML:XSDファイルのURLのサポート
• [SPARK-45156] [SC-142782][sql] NON_FOLDABLE_INPUTエラークラスのバッククォートでinputNameを折り返す
• [SPARK-44910] [SC-143082][sql] Encoders.beanがジェネリック型引数を持つスーパークラスをサポートしない
• [SPARK-43453] [SC-143135][ps] MultiIndex``axis=1ときにのnamesを無視する concat
• [SPARK-44463] [SS][connect] Connect steaming ワーカー Python エラー処理を改善
• [SPARK-44960] [SC-141023][ui] UIページ間でのエスケープ解除と構成エラーの概要
• [SPARK-44788] [SC-142980][接続][Python][sql] PySpark、spark connect、sql 関数にfrom_xmlとschema_of_xmlを追加
• [SPARK-44614] [SC-138460][Python][接続][3.5] 不足しているパッケージを setup.py に追加する
• [SPARK-45151] [SC-142861][core][UI] タスクレベルのスレッドダンプのサポート
• [SPARK-45056] [SC-142779][Python][SS][connect] streamingQueryListener と foreachBatch の終了テスト
• [SPARK-45084] [SC-142828][ss] StateOperatorProgressが正確な有効シャッフルパーティション番号を使用するようにする
• [SPARK-44872] [SC-142405][connect] インフラとReattachableExecuteSuiteをテストするサーバー
• [SPARK-45197] [SC-142984][core] ドライバーにJavaModuleOptionsを追加StandaloneRestServer
• [SPARK-44404] [SC-139601][sql] エラークラス LEGACY_ERROR_TEMP に名前を割り当てる[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][sql] 結合キーがクラスターキーよりも小さいSPJをサポート
• [SPARK-45088] [SC-142785]Python][CONNECT] 重複した列でgetitemを機能させる
• [SPARK-45128] [SC-142851][sql] 矢印の CalendarIntervalType をサポート
• [SPARK-45130 ] [SC-142976][接続][機械学習][Python] 入力 pandas のデータフレームを変更するために Spark 接続機械学習モデルを避ける
• [SPARK-45034] [SC-142959][sql] 決定論的モード機能をサポート
• [SPARK-45173] [SC-142931][ui] UI内の不要なsourceMappingファイルの一部を削除
• [SPARK-45162] [SC-142781][sql] サポートマップと配列パラメーターを call_function
• [SPARK-45143] [SC-142840]Python][CONNECT] PySpark をPyArrow 13.0.0と互換性を持たせます
• [SPARK-45174] [SC-142837][core] サポート spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][接続][Python] クライアントが呼び出す必要があるPython release_all
• [SPARK-36191] [SC-142777][sql] 相関スカラー (ラテラル) サブクエリで制限と順序を処理する
• [SPARK-45159] [SC-142829][Python] 名前付き引数は必要な場合にのみ処理します
• [SPARK-45133] [SC-142512][connect] 最後の結果タスクが終了したときにSpark Connectクエリを終了させる
• [SPARK-44801] [SC-140802][sql][UI] リスナーとUIで失敗したクエリの分析をキャプチャします
• [SPARK-45139] [SC-142527][sql] SQL型変換を処理するためにDatabricksDialectを追加
• [SPARK-45157] [SC-142546][sql] if チェックの繰り返しを避けるように [On|Off|HeapColumnVector
• 【スパーク-45077】 「[SC-142069][ui] 04.3から0.6.4へのdagre-d3.jsのアップグレード」を元に戻す
• [SPARK-45145] [SC-142521][例] JavaSparkSQLCliの例を追加
• [スパーク-43295] 「[SC-142254][ps] DataFrameGroupBy.sumの文字列タイプの列をサポートする」を元に戻す
• [SPARK-44915] [SC-142383][core] リカバリ前に再マウントされたPVCのシャッフルデータのチェックサムを検証する
• [SPARK-45147] [SC-142524][core] System.setSecurityManager の使用を削除
• [SPARK-45104] [SC-142206][ui] graphlib-dot.min.js を1.0.2にアップグレード
• [SPARK-44238] [SC-141606][core][SQL] バイト配列入力を持つ新しい readFrom メソッドを導入 BloomFilter
• [SPARK-45060] [SC-141742][sql] NULL形式のto_char()からの内部エラーを修正
• [SPARK-43252] [SC-142381][sql] エラークラス ID _LEGACY_ERROR_TEMP_2016 を内部エラーに置き換えてください
• [SPARK-45069] [SC-142279][sql] SQL変数は、常に外部参照の後に解決されるべきである
• [SPARK-44911] [SC-142388][sql] 無効な列でハイブテーブルを作成すると、エラークラスが返されるように修正
• [SPARK-42754] [SC-125567][sql][UI] ネストされたSQL実行の後方互換性の問題を修正
• [SPARK-45121] [SC-142375][接続][PS] Spark Connectの Series.empty をサポートします。
• [SPARK-44805] [SC-142203][sql] getBytes/getShorts/getInts/etc. 辞書を持つ列ベクトルで動作するはずです
• [SPARK-45027] [SC-142248] [Python] pyspark.sql.functions内の内部関数/変数をオートコンプリートから非表示にする
• [SPARK-45073] [SC-141791][ps][CONNECT] LastNotNull を Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676][sql] 手動バックポート: Python UDTF の 'analyze' メソッドに API を追加してパーティショニング/順序付け式を返すように修正
• [SPARK-45076] [SC-141795][ps] 組み込み repeat 機能への切り替え
• [SPARK-44162] [SC-141605][core] spark メトリクスでG1GCをサポート
• [SPARK-45053] [SC-141733][Python][マイナー] Python バージョンの不一致のログ改善
• [SPARK-44866] [SC-142221][sql] ブール型を正しく処理するための SnowflakeDialect を追加
• [SPARK-45064] [SC-141775]Python][CONNECT] 不足している scaleAPI パラメーターを ceil/ceiling
• [SPARK-45059] [SC-141757][接続][Python] ScalaおよびPythonにtry_reflect機能を追加
• [SPARK-43251] [SC-142280][sql] エラークラス _LEGACY_ERROR_TEMP_2015 を内部エラーに置き換えてください
• [SPARK-45052] [SC-141736][sql][Python][connect] 関数エイリアスの出力列名を SQL と一致させる
• [SPARK-44239] [SC-141502][sql] ベクトルがリセットされるときに大きなベクトルによって割り当てられたメモリを解放
• [SPARK-43295] [SC-142254][ps] 文字列タイプの列をサポート DataFrameGroupBy.sum
• [SPARK-45080] [SC-142062][ss] DSv2 ストリーミング データソースで列指向のサポートを明示的に呼び出す
• [SPARK-45036] [SC-141768] [sql] SPJ:部分的にクラスタ化された分散を処理するロジックを簡素化
• [SPARK-45077] [SC-142069][ui] 0.4.3から0.6.4へのdagre-d3.jsアップグレード
• [SPARK-45091] [SC-142020][Python][CONNECT][sql] 関数floor/round/bround列タイプを受け入れる scale
• [SPARK-45090] [SC-142019]Python][CONNECT] DataFrame.{cube, rollup} 支柱序数
• [SPARK-44743] [SC-141625][sql] try_reflect 関数を追加
• [SPARK-45086] [SC-142052][ui] スレッドロックハッシュコードの16進数を表示
• [SPARK-44952] [SC-141644][sql][Python] Pandas UDFsの集約で名前付き引数をサポート
• [SPARK-44987] [SC-141552][sql] エラークラスに名前を割り当てる _LEGACY_ERROR_TEMP_1100
• [SPARK-45032] [SC-141730][connect] 以下に関連するコンパイル警告を修正 Top-level wildcard is not allowed and will error under -Xsource:3
• [SPARK-45048] [SC-141629][connect] Pythonクライアントとアタッチ可能な実行のテストを追加
• [SPARK-45072] [SC-141807][connect] アンモナイトクラスの外側スコープを修正
• [SPARK-45033] [SC-141759][sql] パラメータ化によるマップのサポート sql()
• [SPARK-45066] [SC-141772][sql][Python][connect] 列タイプを受け入れるrepeat関数を作る n
• [SPARK-44860] [SC-141103][sql] SESSION_USER機能を追加
• [SPARK-45074] [SC-141796]Python[CONNECT] DataFrame.{sort, sortWithinPartitions}支柱の順序
• [SPARK-45047] [SC-141774] [Python][CONNECT] DataFrame.groupBy サポート順序数
• [SPARK-44863] [SC-140798][ui] Spark UIでスレッドダンプをtxtとしてダウンロードするボタンを追加
• [SPARK-45026] [SC-141604][接続] 矢印と互換性のないデータ型をサポートするべきspark.sql
• [SPARK-44999] [SC-141145][core] ExternalSorter をリファクタリングして、呼び出し時の shouldPartition のチェックを減らすように修正 getPartition
• [SPARK-42304] [SC-141501][sql] _LEGACY_ERROR_TEMP_2189 の名前を GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][sql] 同じソースから派生した2つのデータセットをコグルーピングする際のIllegalStateExceptionを修正
• [SPARK-45018] [SC-141516] [Python][CONNECT] クライアントにCalendarIntervalTypeを追加Python
• [SPARK-45024] [SC-141513] [Python][CONNECT] セッション作成で一部の設定を除外
• [SPARK-45017] [SC-141508] [Python] PySparkにCalendarIntervalTypeを追加
• [SPARK-44720] [SC-139375][接続] データセットで AgnosticEncoder の代わりに Encoder を使用するように修正
• [SPARK-44982] [SC-141027][connect] Spark Connectサーバー設定を静的としてマーク
• [SPARK-44839] [SC-140900][ss][CONNECT] ユーザーがSparkセッションをシリアル化しようとしたときのエラーログの改善
• [SPARK-44865] [SC-140905][ss] StreamingRelationV2サポートメタデータ列を作成
• [SPARK-45001] [SC-141141][Python][CONNECT] DataFrame.foreachPartitionを実装
• [SPARK-44497] [SC-141017][webui] タスクテーブルにタスクパーティションIDを表示する
• [SPARK-45006] [SC-141143][ui] タイムラインの x 軸に他の UI 日付要素と同じ日付形式を使用します
• [SPARK-45000] [SC-141135]Python][CONNECT] DataFrame.foreachを実装
• [SPARK-44967] [SC-141137][sql][CONNECT] TreeNodeTagに Boolean を使用する前に、まずユニットを検討する必要があります
• [SPARK-44993] [SC-141088][core] 再利用して ShuffleChecksumUtils.compareChecksums を追加 ShuffleChecksumTestHelp.compareChecksums
• [SPARK-44807] [SC-140176][接続] データセット.metadataColumnをクライアントに追加Scala
• [SPARK-44965] [ SC-141098] [Python] 内部関数/変数を非表示にする pyspark.sql.functions
• [SPARK-44983] [SC-141030][sql to_char ] hex、 base64、 utf-8
• [SPARK-44980] [DBRRM-462][sc-141024][Python][connect] 継承された名前付きタプルがcreateDataFrameで動作するように修正
• [SPARK-44985] [SC-141033][core] タスクリーパーthreadDumpにスタックトレースの代わりにtoStringを使用
• [SPARK-44984] [SC-141028]Python][CONNECT] DataFrameから_get_aliasを取り外す
• [SPARK-44975] [SC-141013][sql] BinaryArithmeticの無駄なオーバーライドの削除が解決されました
• [SPARK-44969] [SC-140957][sql] ArrayInsert の再利用 ArrayAppend
• [SPARK-44549] [SC-140714][sql] 相関スカラーサブクエリのウィンドウ関数をサポート
• [SPARK-44938] [SC-140811][sql] デフォルト値の spark.sql.maxSinglePartitionBytes を 128m に変更
• [SPARK-44918] [SC-140816][sql][Python] スカラー Python/Pandas UDFs での名前付き引数のサポート
• [SPARK-44966] [SC-140907][core][CONNECT] 変更されていない var を次のように変更 val
• [SPARK-41471] [SC-140804][sql] 結合の一方の側のみがKeyGroupedPartitioningの場合のSparkシャッフルを削減
• [SPARK-44214] [SC-140528][core] SparkドライバーのライブログUIをサポート
• [SPARK-44861] [SC-140716][接続] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][接続] ProducedRowCount を SparkListenerConnectOperationFinished に追加
• [SPARK-42017] [SC-140765] [Python][CONNECT] df['col_name']列名を検証する必要があります
• [SPARK-40178] [SC-140433][sql][COONECT] PySparkとRの合体ヒントを簡単にサポート
• [SPARK-44840] [SC-140593][sql] 負のインデックスに対して array_insert() を1ベースにするように
• [SPARK-44939] [SC-140778][r] SparkRのシステム要件でJava 21をサポート
• [SPARK-44936] [SC-140770][core] Spark HybridStoreがメモリ制限に達したときにログを簡略化
• [SPARK-44908] [SC-140712][ml][CONNECT] クロスバリデーターのfoldColパラメータ機能を修正
• [SPARK-44816] [SC-140717][connect] UDFクラスが見つからない場合のエラーメッセージを改善
• [SPARK-44909] [SC-140710][ml] トーチディストリビューターログストリーミングサーバーが利用できない場合、起動をスキップします
• [SPARK-44920] [SC-140707][core] TransportClientFactory.createClient() で awaitUninterruptibly() の代わりに await() を使用してください。
• [SPARK-44905] [SC-140703][sql] ステートフルなlastRegexにより、regexp_replaceのevalでNullPointerExceptionが発生する
• [SPARK-43987] [SC-139594][shuffle] 専用のスレッドプールへの個別のファイナライズシャッフルマージ処理
• [SPARK-42768] [SC-140549][sql] キャッシュされたプラン適用AQEをデフォルトで有効に
• [SPARK-44741] [SC-139447][core] 正規表現ベースのMetricFilterをサポート StatsdSink
• [SPARK-44751] [SC-140532][sql] XMLファイル形式インターフェースの実装
• [SPARK-44868] [SC-140438][sql] to_char/ による日時の文字列への変換to_varchar
• [SPARK-44748] [SC-140504][sql] UDTF TABLE引数のPARTITION BY句のクエリ実行
• [SPARK-44873] [SC-140427] Hiveクライアントでネストされた列の変更ビューをサポート
• [SPARK-44876 ] [SC-140431] [PYTHON] Spark Connect の Arrow に最適化された Python UDF を修正
• [SPARK-44520] [SC-137845][sql] UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERYという用語をUNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYおよび開示ルート AE に置き換えてください
• [SPARK-42664] [SC-139769][接続] bloomFilter 機能をサポート DataFrameStatFunctions
• [SPARK-43567] [SC-139227][ps] のサポートuse_na_sentinel factorize
• [SPARK-44859] [SC-140254][ss] 構造化ストリーミングドキュメントの誤ったプロパティ名を修正
• [SPARK-44822] [SC-140182]Python][SQL] デフォルトの非決定論的 Python UDTFs
• [SPARK-44731] [SC-139524]Python][CONNECT] Python Spark ConnectでTimestampNTZがリテラルで動作するようにする
• [SPARK-44836 ] [SC-140180][PYTHON] Arrow Python UDTF をリファクタリング
• [SPARK-44714] [SC-139238] クエリに関するLCA解決の制限を緩和
• [SPARK-44749] [SC-139664][sql][Python] Python UDTFでの名前付き引数のサポート
• [SPARK-44737] [SC-139512][sql][UI]JSON SQLタブのSparkThrowable以外のページで 形式のエラーを表示しないようにSQL
• [スパーク-44665 ] [SC-139307][Python] pandasのサポートを追加 DataFrame assertDataFrameEqual
• [SPARK-44736] [SC-139622][connect] クライアントを接続する データセット.explodeを追加SparkScala
• [SPARK-44732] [SC-139422][sql] 組み込み XML データソースのサポート
• [SPARK-44694] [SC-139213][Python][CONNECT] アクティブなセッションをリファクタリングし、APIとして公開
• [SPARK-44652] [SC-138881] dfが1つだけがNone の場合にエラーを発生させる
• [SPARK-44562] [SC-138824][sql] サブクエリのバッチにOptimizeOneRowRelationSubqueryを追加
• [SPARK-44717] [SC-139319][Python][PS] リサンプリングでTimestampNTZを尊重
• [SPARK-42849] [SC-139365] [SQL] セッション変数
• [SPARK-44236] [SC-139239][sql] spark.sql.codegen.factoryMode をNO_CODEGENに設定すると、WholeStageCodegenが無効になる
• [SPARK-44695] [ SC-139316][Python] エラーメッセージを改善 DataFrame.toDF
• [SPARK-44680] [SC-139234][sql] パラメーターのエラーを改善 DEFAULT
• [SPARK-43402] [SC-138321][sql] FileSourceScanExecがスカラーサブクエリによるプッシュダウンデータフィルタをサポート
• [SPARK-44641] [SC-139216][sql] SPJがトリガーされない場合、特定のシナリオで誤った結果が表示される
• [SPARK-44689] [SC-139219][connect] 関数 SparkConnectPlanner#unpackScalarScalaUDF の例外処理をより汎用化
• [SPARK-41636] [SC-139061][sql] selectFilters が決定論的な順序で述語を返すようにしました
• [SPARK-44132] [SC-139197][sql] 結合列名の Stream を具体化して、codegen の失敗を回避します
• [SPARK-42330] [SC-138838][sql] エラークラスに名前 の RULE_ID_NOT_FOUND を割り当てます _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][ss] ログレベルが RocksDB 状態ストアプロバイダーに正しく渡されない
• [SPARK-44658] [SC-138868][core] ShuffleStatus.getMapStatus ではなく None を返す必要があります Some(null)
• [SPARK-44603] [SC-138353] setup.py に PySpark.testingを追加
• [SPARK-44252] [SC-137505][ss] 新しいエラークラスを定義し、DFSからの状態の読み込みが失敗した場合に適用します
• [SPARK-29497] [DBRRM-396][sc-138477][CONNECT] UDFが逆シリアル化できない場合にエラーをスローする。
• [SPARK-44624] [DBRRM-396][sc-138900][CONNECT] 最初のリクエストがサーバーに到達しなかった場合、ExecutePlanを再試行してください
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] ConnectクライアントCatalystの依存関係を削除
• [SPARK-44059] [SC-138833][sql] SQL名前付き引数のエラーメッセージを改善しました
• [SPARK-44620] [SC-138831] [sql] [PS] [接続] ResolvePivot 保持するようにします。 Plan_ID_TAG
• [SPARK-43838] [SC-137413][sql] 単一テーブルのサブクエリに having 句を最適化できない問題を修正
• [SPARK-44555] [SC-138820][sql] checkError()を使用してコマンドスイートの例外をチェックし、エラークラス名を割り当てる
• [SPARK-44280] [SC-138821][sql] JDBCDialect APIにconvertJavaTimestampToTimestampを追加
• [SPARK-44602] [SC-138337] [sql][CONNECT][ps] WidenSetOperationTypes 保持するようにします。 Plan_ID_TAG
• [SPARK-42941] [SC-138389][ss][CONNECT] Python StreamingQueryListener
• [SPARK-43838] 「[SC-137413][sql] 単一のサブクエリを修正」を元に戻す...
• [SPARK-44538] [SC-138178][接続][SQL] Row.jsonValueとフレンドを復元
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connectでの再アタッチ可能な実行
• [SPARK-43838] [SC-137413][sql] 単一テーブルのサブクエリに having 句を最適化できない問題を修正
• [SPARK-44587] [SC-138315][sql][CONNECT] protobuf マーシャラーの再帰制限を引き上げます
• [SPARK-44605] [SC-138338][core] 内部のShuffleWriteProcessor APIを改良
• [SPARK-44394] [SC-138291][接続][WEBUI] Spark ConnectのSpark UIページを追加
• [SPARK-44585] [SC-138286][MLlib] MLlib RankingMetrics ndcgAk の警告状態を修正
• [SPARK-44198] [SC-138137][core] エグゼキューターへのログレベルの伝播をサポート
• [SPARK-44454] [SC-138071][sql][HIVE] HiveShim getTablesByTypeサポートフォールバック
• [SPARK-44425] [SC-138135][connect] ユーザーが指定したsessionIdがUUIDであることを検証
• [SPARK-43611] [SC-138051] [sql][PS][接続] ExtractWindowExpressions 保持するようにします。 PLAN_ID_TAG
• [SPARK-44560] [SC-138117] [Python][CONNECT] Arrow Python UDFのテストとドキュメンテーションの改善
• [SPARK-44482] [SC-138067][connect] 接続サーバーがバインドアドレスを指定できるようにすべき
• [SPARK-44528] [SC-138047][connect] Connectデータフレームのhasattr()の適切な使用をサポート
• [SPARK-44525] [SC-138043][sql] Invokeメソッドが見つからない場合のエラーメッセージを改善
• [SPARK-44355] [SC-137878][sql] WithCTEをコマンドクエリに移動

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。 最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロード、 JDBC のダウンロード)。

「Databricks Runtime 14.1 メンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティングシステム :Ubuntu 22.04.3 LTSの
• Java の:Zulu 8.72.0.17-CA-linux64
• Scala : 2.12.15
• Pythonの :3.10.12
• R :4.3.1
• Delta Lake : 3.0.0

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アニオ	3.5.0	アルゴン2-CFFI	21.3.0	argon2-cffi-結合	21.2.0
アストトークンズ	2.0.5	属性	22.1.0	バックコール	0.2.0
美しいスープ4	4.11.1	黒い	22.6.0	ブリーチ	4.1.0
ウィンカー	1.4	ボト3	1.24.28	ボトコア	1.27.96
認証	2022.12.7	cffi	1.15.1	シャルデ	4.0.0
文字セット・ノーマライザー	2.0.4	クリック	8.0.4	通信	0.1.2
コントルピー	1.0.5	暗号化手法	39.0.1	サーマルサイクラー	0.11.0
シトン	0.29.32	Databricks の SDK	0.1.6	DBUSPython	1.2.18
デバッグ	1.6.7	デコレータ	5.1.1	デフューズドXML	0.7.1
ディストリビューション	0.3.7	docstring-to-markdown	0.11	エントリポイント	0.4
実行	0.8.3	facets-概要	1.1.1	fastjsonスキーマ	2.18.0
ファイルロック	3.12.3	fonttools	4.25.0	GCC ランタイム ライブラリ	1.10.0
googleapis-common-protos	1.60.0	grpcio	1.48.2	grpcio-ステータス	1.48.1
httplib2の	0.20.2	イドナ	3.4	importlib-metadata	4.6.4
ipykernel(英語)	6.25.0	アイパイソン	8.14.0	ipython-genutils	0.2.0
ipywidgets	7.7.2	ジェダイ	0.18.1	ジープニー	0.7.1
ジンジャ2	3.1.2	jmespathの	0.10.0	ジョブリブ	1.2.0
jsonschema(jsonschema)	4.17.3	jupyter-クライアント	7.3.4	jupyter-server	1.23.4
jupyter_core	5.2.0	jupyterlab-pygmentsの	0.1.2	jupyterlab-widgetsの	1.0.0
キーリング	23.5.0	キウイソルバー	1.4.4	ローンチパッドリブ	1.10.16
lazr.restfulクライアント	0.14.4	lazr.uri です。	1.0.6	lxml の	4.9.1
マークアップセーフ	2.1.1	Matplotlib	3.7.0	matplotlib-インライン	0.1.6
マッケイブ	0.7.0	ミスチューン	0.8.4	もっと-itertools	8.10.0
mypy-extensions	0.4.3	NBクラシック	0.5.2	NBクライアント	0.5.13
NBコンバート	6.5.4	NBフォーマット	5.7.0	ネスト-アシンシオ	1.5.6
ノードenv	1.8.0	ノートブック	6.5.2	ノートブック	0.2.2
ナムピー	1.23.5	OAuthlib	3.2.0	包装	22.0
pandas	1.5.3	pandocフィルター	1.5.0	パルソ	0.8.3
パススペック	0.10.3	パッツィ	0.5.3	pexpect	4.8.0
ピクルシェア	0.7.5	枕	9.4.0	種	22.3.1
プラットフォームディレクトリ	2.5.2	Plotly	5.9.0	プラギー	1.0.0
prometheus-クライアント	0.14.1	プロンプトツールキット	3.0.36	プロトブフ	4.24.0
psutil の	5.9.0	サイコップ2	2.9.3	PTYPROCESSの	0.7.0
ピュア評価	0.2.2	ピアロー	8.0.0	pycparser	2.21
ピダンティック	1.10.6	パイフレーク	3.0.1	ピグメント	2.11.2
PyGObject	3.42.1	PyJWTの	2.3.0	pyodbc	4.0.32
pyparsing (英語)	3.0.9	パイライト	1.1.294	ピルシステント	0.18.0
Python-dateutil	2.8.2	Python-lsp-jsonrpc	1.0.0	Python-lsp-server	1.7.1
pytoolconfig(ピーツールコンフィグ)	1.2.5	ピッツ	2022.7	ピズム	23.2.0
要求	2.28.1	縄	1.7.0	S3トランスファー	0.6.2
Scikit-Learn	1.1.1	シーボーン	0.12.2	シークレットストレージ	3.3.1
Send2Trash(センド2トラッシュ)	1.8.0	セットアップツール	65.6.3	6	1.16.0
スニフィオ	1.2.0	スープふるい	2.3.2.投稿1	ssh-import-id	5.11
スタックデータ	0.2.0	統計モデル	0.13.5	持久力	8.1.0
テルミナド	0.17.1	スレッドプールctl	2.2.0	tinycss2	1.2.1
トークン化-RT	4.2.1	トムリ	2.0.1	竜巻	6.1
トレイトレット	5.7.1	typing_extensions	4.4.0	ujson	5.4.0
無人アップグレード	0.1	urllib3 の	1.26.14	virtualenv	20.16.7
ワドリブ	1.3.6	WC幅	0.2.5	webエンコーディング	0.5.1
websocket-クライアント	0.58.0	パッチ	1.0.2	輪	0.38.4
widgetsnb拡張機能	3.6.1	ヤップ	0.31.0	ジップ	1.0.0
サイピー	1.10.1

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
矢	12.0.1	アスクパス	1.1	assertthat	0.2.1
バックポート	1.4.1	基	4.3.1	base64enc	0.1-3
bit	4.0.5	ビット64	4.0.5	ブロッブ	1.2.4
ブート	1.3-28	醸成	1.0-8	ブリオ	1.1.3
箒	1.0.5	bslibの	0.5.0	カケム	1.0.8
コール	3.7.3	キャレット	6.0-94	セルレンジャー	1.1.0
クロン	2.3-61	クラス	7.3-22	CLI	3.6.1
clipr	0.8.0	時計	0.7.0	クラスター	2.1.4
コードツール	0.2-19	カラースペース	2.1-0	コモンマーク	1.9.0
コンパイラ	4.3.1	コンフィグ	0.3.1	競合	1.2.0
CPP11の	0.4.4	クレヨン	1.5.2	資格情報	1.3.2
Curl	5.0.1	データ.テーブル	1.14.8	データセット	4.3.1
DBI	1.1.3	dbplirの	2.3.3	DESC	1.4.2
開発ツール	2.4.5	ダイアグラム	1.6.5	ディフobj	0.3.5
ダイジェスト	0.6.33	ダウンライト	0.4.3	dplyrの	1.1.2
DTPLyr	1.3.1	E1071	1.7-13	省略記号	0.3.2
評	0.21	ファンシ	1.0.4	ファーバー	2.1.1
ファストマップ	1.1.1	フォントオーサム	0.5.1	フォーキャッツ	1.0.0
For each	1.5.2	外国の	0.8-82	鍛える	0.2.0
fs	1.6.2	未来	1.33.0	future.お申込み	1.11.0
嗽	1.5.1	ジェネリック	0.1.3	ゲルト	1.9.2
ggplot2の	3.4.2	gh	1.4.0	ギットレッズ	0.1.2
glmnet	4.1-7	グローバル	0.16.2	膠	1.6.2
グーグルドライブ	2.1.1	グーグルシート4	1.1.1	ガウアー	1.0.1
グラフィックス	4.3.1	grDevicesの	4.3.1	グリッド	4.3.1
グリッドエクストラ	2.3	gsubfnの	0.7	GTABLE(GTABLE)	0.3.3
ヘルメット	1.3.0	避難所	2.5.3	高い	0.10
HMSの	1.1.3	htmlツール[htmltools]	0.5.5	htmlウィジェット	1.6.2
httpuv	1.6.11	httr	1.4.6	HTTR2	0.2.3
ids	1.0.1	イニ	0.3.1	イプレッド	0.9-14
アイソバンド	0.2.7	反復 子	1.0.14	jquerylib	0.1.4
jsonlite	1.8.7	カーンスムース	2.23-21	ニット	1.43
ラベリング	0.4.2	あとで	1.3.1	格子	0.21-8
溶岩	1.7.2.1	ライフサイクル	1.0.3	リッスン	0.9.0
ルブリデート	1.9.2	マグリット	2.0.3	Markdown	1.7
質量	7.3-60	マトリックス	1.5-4.1	メモ	2.0.1
メソッド	4.3.1	mgcv	1.8-42	マイム	0.12
ミニUI	0.1.1.1	モデルメトリクス	1.2.2.2	モデラー	0.1.11
マンセル	0.5.0	nlme	3.1-162	ネット	7.3-19
numDerivの	2016.8-1.1	オープンSSL	2.0.6	並列	4.3.1
並行して	1.36.0	柱	1.9.0	pkgbuild の	1.4.2
pkgconfig	2.0.3	pkgdown (英語)	2.0.7	pkgload(パッケージロード)	1.3.2.1
plogrの	0.2.0	プライル	1.8.8	褒める	1.0.0
プリティユニット	1.1.1	pROC	1.18.4	プロセスX	3.8.2
製品	2023.03.31	プロヴィス	0.3.8	経過	1.2.2
プログレッサー	0.13.0	約束	1.2.0.1	プロト	1.0.0
プロキシ	0.4-27	PS	1.7.5	ゴロゴロ	1.0.1
R2D3の	0.2.6	R6の	2.5.1	ラグ	1.2.5
ランダムフォレスト	4.7-1.1	ラプディレクトリ	0.3.3	rcmdcheckの	1.4.0
RColorブリューワー	1.1-3	Rcpp	1.0.11	RcppEigen	0.3.3.9.3
読み取り	2.1.4	readxlの	1.4.3	レシピ	1.0.6
再戦	1.0.1	再戦2	2.1.2	リモコン	2.4.2
レプレックス	2.0.2	形状変更2	1.4.4	ラン	1.1.1
rmarkdown	2.23	RODBC	1.3-20	リオキシジェン2	7.2.3
rpart	4.1.19	rprojroot さん	2.0.3	サーブ	1.8-11
RSQLite (英語)	2.3.1	rstudioapi	0.15.0	rversions	2.1.2
アヴェスト	1.0.3	サス	0.4.6	秤	1.2.1
セレクタ	0.4-2	セッション情報	1.2.2	形	1.4.6
shiny	1.7.4.1	ソースツール	0.1.7-1	sparklyr	1.8.1
SparkR	3.5.0	空間的	7.3-15	スプライン	4.3.1
sqldf	0.4-11	スクエアム	2021.1	統計	4.3.1
統計4	4.3.1	ストリンギ	1.7.12	ストリンガー	1.5.0
生存	3.5-5	SYSの	3.4.2	システムフォント	1.0.4
tcltk	4.3.1	テストを	3.1.10	テキストシェーピング	0.3.6
ティブル	3.2.1	ティディル	1.3.0	ティディセレクト	1.2.0
ティディバース	2.0.0	時間変更	0.2.0	日時	4022.108
タイニーテックス	0.45	ツール	4.3.1	tzdb	0.4.0
urlchecker(英語)	1.0.1	usethisさん	2.2.2	UTF8	1.2.3
ユーティリティ	4.3.1	UUIDの	1.1-0	vctrs	0.6.3
viridisライト	0.4.2	ブルーム	1.6.3	ワルド	0.5.1
ウイスカー	0.4.1	ウィザー	2.5.0	xfun	0.39
XML2の	1.3.5	xopen(オーペン)	1.0.0	エクステーブル	1.8-4
ヤムラ	2.3.7	郵便番号	2.3.0

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.12.390
com.amazonawsの	aws-java-sdk-cloudformation	1.12.390
com.amazonawsの	aws-java-sdk-cloudfront	1.12.390
com.amazonawsの	aws-java-sdk-cloudhsm	1.12.390
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.12.390
com.amazonawsの	aws-java-sdk-cloudtrail	1.12.390
com.amazonawsの	aws-java-sdk-cloudwatch	1.12.390
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.12.390
com.amazonawsの	aws-java-sdk-コードデプロイ	1.12.390
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.12.390
com.amazonawsの	aws-java-sdk-cognitosync	1.12.390
com.amazonawsの	aws-java-sdk-configの	1.12.390
com.amazonawsの	aws-java-sdk-コア	1.12.390
com.amazonawsの	aws-java-sdk-データパイプライン	1.12.390
com.amazonawsの	aws-java-sdk-directconnectの	1.12.390
com.amazonawsの	aws-java-sdkディレクトリ	1.12.390
com.amazonawsの	aws-java-sdk-ダイナモDB	1.12.390
com.amazonawsの	aws-java-sdk-ec2 の	1.12.390
com.amazonawsの	aws-java-sdk-ecsの	1.12.390
com.amazonawsの	aws-java-sdk-efs	1.12.390
com.amazonawsの	aws-java-sdk-elasticache	1.12.390
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.12.390
com.amazonawsの	aws-java-sdk-emr	1.12.390
com.amazonawsの	aws-java-sdk-glacier	1.12.390
com.amazonawsの	aws-java-sdk-グルー	1.12.390
com.amazonawsの	aws-java-sdk-iam	1.12.390
com.amazonawsの	aws-java-sdk-importexport	1.12.390
com.amazonawsの	aws-java-sdk-キネシス	1.12.390
com.amazonawsの	aws-java-sdk-kmsの	1.12.390
com.amazonawsの	aws-java-sdk-ラムダ	1.12.390
com.amazonawsの	aws-java-sdk-logs	1.12.390
com.amazonawsの	aws-java-sdk-機械学習	1.12.390
com.amazonawsの	aws-java-sdk-opsworks	1.12.390
com.amazonawsの	aws-java-sdk-rds	1.12.390
com.amazonawsの	aws-java-sdk-レッドシフト	1.12.390
com.amazonawsの	aws-java-sdk-ルート53	1.12.390
com.amazonawsの	aws-java-sdk-s3 の	1.12.390
com.amazonawsの	aws-java-sdk-ses	1.12.390
com.amazonawsの	aws-java-sdk-simpledb	1.12.390
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.12.390
com.amazonawsの	aws-java-sdk-snsの	1.12.390
com.amazonawsの	aws-java-sdk-sqs	1.12.390
com.amazonawsの	aws-java-sdk-ssm	1.12.390
com.amazonawsの	aws-java-sdk-storagegateway	1.12.390
com.amazonawsの	aws-java-sdk-sts	1.12.390
com.amazonawsの	aws-java-sdk-サポート	1.12.390
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.12.390
com.amazonawsの	jmespath-java	1.12.390
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	Databricks の SDK の java	0.7.0
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.15.2
com.fasterxml.jackson.core	ジャクソンコア	2.15.2
com.fasterxml.jackson.core	ジャクソン-データバインド	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JSR310	2.15.1
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.15.2
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.12	2.15.2
com.github.ben-manes.caffeine	カフェイン	2.9.3
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1-ネイティブ
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64	1.1-ネイティブ
com.github.luben	ZSTD-JNI	1.5.5-4
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.10.1
com.google.crypto.tink	ティンク	1.9.0
com.google.errorが発生しやすい	error_prone_annotations	2.10.0
com.google.flatbuffers	フラットバッファ-Java	1.12.0
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.helger	プロファイラー	1.1.1
com.jcraftの	jsch	0.1.55
com.jolboxの	ボーンカップ	0.8.0.リリース
com.lihaoyi	sourcecode_2月12日	0.1.9
com.microsoft.azure	azure-データレイク-store-sdk	2.3.9
com.microsoft.sqlserver	mssqlの-JDBC	11.2.2.JRE8
com.ningの	圧縮-LZF	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.バインド	jaxb-コア	2.2.11
com.sun.xml.バインド	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.10.0
コム。囀る	chill_2.12	0.10.0
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.2.1
Scala-logging	Scala-logging_2.12	3.7.2
com.uberの	H3	3.7.3
com.univocityの	univocity-パーサー	2.9.1
com.zaxxerの	ひかりCP	4.0.3
コモンズCLI	コモンズCLI	1.5.0
コモンズコーデック	コモンズコーデック	1.16.0
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.5
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.13.0
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib さん	アーパック	3.0.3
dev.ludovic.netlib さん	ブラス	3.0.3
dev.ludovic.netlib さん	ラパック	3.0.3
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.25
io.delta	デルタシェアリング-spark_2.12	0.7.5
io.dropwizard.メトリクス	メトリクスアノテーション	4.2.19
io.dropwizard.メトリクス	メトリクスコア	4.2.19
io.dropwizard.メトリクス	メトリクス-グラファイト	4.2.19
io.dropwizard.メトリクス	メトリクス-healthchecks	4.2.19
io.dropwizard.メトリクス	メトリクス-jetty9	4.2.19
io.dropwizard.メトリクス	メトリクス-JMX	4.2.19
io.dropwizard.メトリクス	メトリクス-JSON	4.2.19
io.dropwizard.メトリクス	メトリクス-JVM	4.2.19
io.dropwizard.メトリクス	メトリクスサーブレット	4.2.19
io.nettyの	netty-すべて	4.1.96.ファイナル
io.nettyの	netty-buffer	4.1.96.ファイナル
io.nettyの	netty-codec (英語)	4.1.96.ファイナル
io.nettyの	netty-codec-http	4.1.96.ファイナル
io.nettyの	netty-codec-http2	4.1.96.ファイナル
io.nettyの	netty-codec-socksの	4.1.96.ファイナル
io.nettyの	netty-共通	4.1.96.ファイナル
io.nettyの	netty-ハンドラ	4.1.96.ファイナル
io.nettyの	netty-handler-proxy	4.1.96.ファイナル
io.nettyの	netty-リゾルバ	4.1.96.ファイナル
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-OSX-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナルOSX-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.nettyの	netty-tcnative-クラス	2.0.61.ファイナル
io.nettyの	netty-トランスポート	4.1.96.ファイナル
io.nettyの	netty-transport-classes-epoll	4.1.96.ファイナル
io.nettyの	netty-transport-classes-kqueue	4.1.96.ファイナル
io.nettyの	netty-transport-native-epoll	4.1.96.ファイナル
io.nettyの	netty-transport-native-epoll	4.1.96.最終版 linux-aarch_64
io.nettyの	netty-transport-native-epoll	4.1.96.最終版 linux-x86_64
io.nettyの	netty-transport-native-kqueue	4.1.96.ファイナルOSX-aarch_64
io.nettyの	netty-transport-native-kqueue	4.1.96.ファイナルOSX-x86_64
io.nettyの	netty-transport-native-unix-common	4.1.96.ファイナル
io.プロメテウス	シンプルクライアント	0.7.0
io.プロメテウス	simpleclient_common	0.7.0
io.プロメテウス	simpleclient_dropwizard	0.7.0
io.プロメテウス	simpleclient_pushgateway	0.7.0
io.プロメテウス	simpleclient_servlet	0.7.0
io.prometheus.jmx	収集家	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet (英語)	jakarta.servlet-api	4.0.3
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.11
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	漬ける	1.3
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
ネット.スノーフレーク	スノーフレーク-JDBC	3.13.33
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.9.3
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.9.16
org.apache.ant	アントJSCH	1.9.16
org.apache.ant	アントランチャー	1.9.16
org.apache.arrow(アパッチ・アロー)	arrow-format	12.0.1
org.apache.arrow(アパッチ・アロー)	arrow-memory-core	12.0.1
org.apache.arrow(アパッチ・アロー)	arrow-memory-netty	12.0.1
org.apache.arrow(アパッチ・アロー)	arrow-vector	12.0.1
org.apache.avro	AVRO	1.11.2
org.apache.avro	アブロIPC	1.11.2
org.apache.avro	アブロマップド	1.11.2
org.apache.commonsの	コモンズコレクション4	4.4
org.apache.commonsの	コモンズ圧縮	1.23.0
org.apache.commonsの	コモンズ-クリプト	1.1.0
org.apache.commonsの	コモンズ-LANG3	3.12.0
org.apache.commonsの	コモンズ-数学3	3.6.1
org.apache.commonsの	コモンズテキスト	1.10.0
org.apache.curator (英語)	キュレーター・クライアント	2.13.0
org.apache.curator (英語)	キュレーターフレームワーク	2.13.0
org.apache.curator (英語)	キュレーターレシピ	2.13.0
org.apache.datasketches (英語)	データスケッチ-Java	3.1.0
org.apache.datasketches (英語)	datasketches-memory	2.0.0
org.apache.derbyの	ダービー	10.14.2.0
org.apache.hadoop です。	hadoop クライアント ランタイム	3.3.6
org.apache.hive です。	ハイブビーライン	2.3.9
org.apache.hive です。	ハイブ CLI	2.3.9
org.apache.hive です。	ハイブ-JDBC	2.3.9
org.apache.hive です。	ハイブ - llap クライアント	2.3.9
org.apache.hive です。	ハイブ - llap - 共通	2.3.9
org.apache.hive です。	ハイブセルデ	2.3.9
org.apache.hive です。	ハイブシム	2.3.9
org.apache.hive です。	ハイブストレージAPI	2.8.1
org.apache.hive.shims	ハイブシム-0.23	2.3.9
org.apache.hive.shims	ハイブシム-共通	2.3.9
org.apache.hive.shims	ハイブシムススケジューラ	2.3.9
org.apache.httpコンポーネント	httpクライアント	4.5.14
org.apache.httpコンポーネント	httpコア	4.4.16
org.apache.ivy	蔦	2.5.1
org.apache.logging.log4j	ログ4J-1.2-API	2.20.0
org.apache.logging.log4j	ログ4J-API	2.20.0
org.apache.logging.log4j	log4j-コア	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	メソス	1.11.0-シェード-protobuf
org.apache.orc	オークコア	1.9.1-シェード-protobuf
org.apache.orc	orc-mapreduce	1.9.1-シェード-protobuf
org.apache.orc	オークシム	1.9.1
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.ws.xmlスキーマ	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded (英語)	4.23
org.apache.yetus (英語)	オーディエンスアノテーション	0.13.0
org.apache.zookeeper	動物園の飼育係	3.6.3
org.apache.zookeeper	動物園の飼育係ジュート	3.6.3
org.checkerフレームワーク	チェッカークォール	3.31.0
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
組織Eclipse.jetty	桟橋クライアント	9.4.52.v20230823
組織Eclipse.jetty	桟橋の続き	9.4.52.v20230823
組織Eclipse.jetty	桟橋-HTTP	9.4.52.v20230823
組織Eclipse.jetty	桟橋-IO	9.4.52.v20230823
組織Eclipse.jetty	桟橋-JNDI	9.4.52.v20230823
組織Eclipse.jetty	桟橋プラス	9.4.52.v20230823
組織Eclipse.jetty	桟橋プロキシ	9.4.52.v20230823
組織Eclipse.jetty	桟橋警備	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーバー	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util-ajax	9.4.52.v20230823
組織Eclipse.jetty	桟橋-webapp	9.4.52.v20230823
組織Eclipse.jetty	桟橋XML	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-クライアント	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-共通	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーバー	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーブレット	9.4.52.v20230823
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.40
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.40
org.glassfish.jersey.coreの	ジャージークライアント	2.40
org.glassfish.jersey.coreの	ジャージー共通	2.40
org.glassfish.jersey.coreの	ジャージーサーバー	2.40
org.glassfish.jersey.inject	ジャージ-HK2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.ファイナル
org.ini4jの	ini4j(イニ4J)	0.5.4
org.javassist	ジャバス奏者	3.29.2-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.jetbrainsの	注釈	17.0.0
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.7.0-M11
org.json4sの	json4s-core_2.12	3.7.0-M11
org.json4sの	json4s-jackson_2.12	3.7.0-M11
org.json4sの	json4s-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Javaの	1.8.0
org.mariadb.JDBC	mariadb-java-クライアント	2.7.9
org.mlflowの	mlflow-spark	2.2.0
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.6.0
org.roaringbitmap	ロアリングビットマップ	0.9.45
org.roaringbitmap	シム	0.9.45
org.rocksdbの	ロックスDBJNI	8.3.2
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.15
組織Scala-lang	Scala-Library.12	2.12.15
組織Scala-lang	Scala-reflect_2.12	2.12.15
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.9.0
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	そよ風-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatestの	scalatest対応	3.2.15
org.scalatestの	scalatest-core_2.12	3.2.15
org.scalatestの	scalatest-diagrams_2.12	3.2.15
org.scalatestの	scalatest-featurespec_2.12	3.2.15
org.scalatestの	scalatest-flatspec_2.12	3.2.15
org.scalatestの	scalatest-freespec_2.12	3.2.15
org.scalatestの	scalatest-funspec_2.12	3.2.15
org.scalatestの	scalatest-funsuite_2.12	3.2.15
org.scalatestの	scalatest-matchers-core_2.12	3.2.15
org.scalatestの	scalatest-mustmatchers_2.12	3.2.15
org.scalatestの	scalatest-propspec_2.12	3.2.15
org.scalatestの	scalatest-refspec_2.12	3.2.15
org.scalatestの	scalatest-shouldmatchers_2.12	3.2.15
org.scalatestの	scalatest-wordspec_2.12	3.2.15
org.scalatestの	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	7月-slf4j	2.0.7
org.slf4j	SLF4J-APIの	2.0.7
org.threetenさん	スリーテンエクストラ	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	スパイア-macros_2.12	0.17.0
org.typelevel	スパイア-platform_2.12	0.17.0
org.typelevel	スパイア-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	ワイルドフライ-openssl	1.1.3.ファイナル
org.xerial	sqlite-JDBC の	3.42.0.0
org.xerial.snappy(英語)	スナッピージャワ	1.1.10.3
org.yaml の	スネークヤム	2.0
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1