Databricks Runtime 16.1 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「 サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートでは、Databricks Runtime Apache Spark3.5.0 を搭載した 16.1 に関する情報を提供しています。

Databricks は 2024 年 12 月にこのバージョンをリリースしました。

注記

これらのリリースノートには、このリリースの時点で Google Cloud で利用できない機能への参照が含まれている場合があります。

ヒント

サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

挙動の変更

破壊的変更 : Photon の正規表現処理が Apache Spark と一致するようになりました

Databricks Runtime 15.4 以降では、Photon の正規表現処理は、Apache Spark 正規表現処理の動作と一致するように更新されます。以前は、Photonによって実行される正規表現関数( split() や regexp_extract()など)は、Sparkパーサーによって拒否された一部の正規表現を受け入れていました。Apache Spark との一貫性を維持するために、Spark が無効と見なす正規表現の Photon クエリが失敗するようになりました。

この変更により、Spark コードに無効な正規表現が含まれている場合にエラーが表示される場合があります。たとえば、一致しない中括弧を含み、以前はPhotonによって受け入れられていた式 split(str_col, '{')は失敗します。この式を修正するには、中括弧文字 ( split(str_col, '\\{')) をエスケープします。

Photon と Spark の動作は、非 ASCII 文字の正規表現マッチングでも異なっていました。これも更新され、Photon が Apache Spark の動作と一致するようになっています。

VARIANT データ型は、比較が必要な操作で使用できなくなりました

Databricks Runtime 16.1 以降では、 VARIANT データ型を含むクエリで次の句や演算子を使用することはできません。

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

また、次の データフレーム 関数を使用することはできません。

• df.dropDuplicates()
• df.repartition()

これらの操作は比較を実行し、VARIANT データ型を使用する比較では未定義の結果が生成され、Databricks ではサポートされていません。Databricks ワークロードまたはテーブルで VARIANT 型を使用する場合、Databricks では次の変更をお勧めします。

• クエリまたは式を更新して、 VARIANT 値をVARIANT 以外のデータ型に明示的にキャストします。
• 上記の操作のいずれかで使用する必要があるフィールドがある場合は、 VARIANT データ型からそれらのフィールドを抽出し、非VARIANT データ型を使用して格納します。

詳細については、「 バリアント データのクエリ」を参照してください。

新機能と改善点

• BigQuery コネクタのアップグレード
• Apache Spark での照合順序のサポートがパブリック プレビュー段階に
• Delta Lake での照合のサポートがパブリック プレビュー段階に
• LITE vacuum のモードはパブリック プレビュー段階です
• USE CATALOG with IDENTIFIER句のパラメータ化のサポート
• テーブルとビューに対する COMMENT ON COLUMN のサポート
• 新しい SQL 関数
• 他の関数のための名前付きパラメーターの呼び出し
• REPAIR TABLE コマンドの SYNC METADATA パラメーターは、次の Hive metastore
• 圧縮された Apache Arrow バッチのデータ完全性の強化
• ScalaUnity Catalog標準アクセスモードコンピュート(旧共有アクセスモード) メソッドのサポートを追加
• 組み込みのTeradata JDBCドライバー
• Scala の StreamingQueryListener サポート
• 組み込みのOracle JDBCドライバー
• パスでアクセスされた Delta テーブルのより詳細なエラー

BigQuery コネクタのアップグレード

• Google BigQuery コネクタは、オープンソースの Spark-BigQuery コネクタのバージョン 0.41.0 を使用するようにアップグレードされました。

• GoogleBigQuery Connector for Lake Houseフェデレーションは、 ドライバーの代わりにBigQuery StorageAPI JDBCを使用するようになりました。この移行は、JDBC ドライバーのパフォーマンスの問題を解決し、オープンソースの Spark-BigQuery コネクタに基づいています。

  この変更により、BigQuery ビューと外部テーブルの中間クエリ結果を一時テーブルに書き込む必要があります。これらのオブジェクトは BigQuery ストレージに直接保存されません。一時テーブルは BigQuery の請求プロジェクトに保存されます。BigQuery サービス アカウントに適切な権限が設定されていることを確認します。詳細については、 Google BigQuery で横串検索を実行するをご覧ください。

Apache Spark での照合順序のサポートがパブリック プレビュー段階に

言語対応、大文字と小文字を区別しない照合、およびアクセスを区別しない照合を STRING 列と式に割り当てることができるようになりました。これらの照合順序は、文字列の比較、並べ替え、グループ化操作、および多くの文字列関数で使用されます。照合を参照してください。

Delta Lake での照合のサポートがパブリック プレビュー段階に

Delta テーブルを作成または変更するときに、列の照合順序を定義できるようになりました。Delta Lake の照合サポートを参照してください。

vacuum の LITE モードはパブリック プレビュー段階です

VACUUM table_name LITEを使用して、vacuum トランザクション・ログのメタデータを活用する軽量のDelta 操作を実行できるようになりました。フルモードとライトモードおよびvacuumを参照してください。

USE CATALOG with IDENTIFIER句のパラメータ化のサポート

Databricks Runtime 16.1 以降では、USE CATALOG ステートメントでIDENTIFIER 句 がサポートされています。このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。

テーブルとビューに対する COMMENT ON COLUMN のサポート

Databricks Runtime 16.1 以降では、 COMMENT ON ステートメントでビュー列とテーブル列のコメントの変更がサポートされています。

新しい SQL 関数

Databricks Runtime 16.1 以降では、次の新しい組み込み SQL 関数を使用できます。

• dayname(expr) は、指定された日付の曜日を表す 3 文字の英語の頭字語を返します。
• uniform(expr1, expr2 [,seed]) は、指定された数値範囲内で独立し、同一に分布した値を持つランダムな値を返します。
• randstr(length) は、 length 文字の英数字のランダムな文字列を返します。

他の関数のための名前付きパラメーターの呼び出し

Databricks Runtime 16.1 以降では、次の関数で 名前付きパラメーターの呼び出しがサポートされています。

• variant_explode
• variant_explode_outer
• インライン
• inline_outer
• ポスパクロード
• posexplode_outer

REPAIR TABLE コマンドの SYNC METADATA パラメーターは、次の Hive metastore

Databricks Runtime 16.1 以降では、REPAIR TABLE コマンドで SYNC METADATA パラメーターを使用して、Hive metastore マネージドテーブルのメタデータを更新できます。REPAIR TABLEを参照してください。

圧縮された Apache Arrow バッチのデータ完全性の強化

Databricks Runtime 16.1 以降では、データの破損に対する保護を強化するために、 LZ4 圧縮されたすべての Arrow バッチに LZ4 コンテンツとブロック チェックサムが含まれるようになりました。LZ4 フレーム形式の説明を参照してください。

ScalaUnity Catalog標準アクセスモードコンピュート(旧共有アクセスモード) メソッドのサポートを追加

Databricks Runtime 16.1 以降では、標準アクセス モード コンピュートUnity Catalog、Dataset.flatMapGroups()、Dataset.mapGroups()、および DataStreamWriter.foreach()の Scala メソッドのサポートが追加されています。

組み込みのTeradata JDBCドライバー

Databricks Runtime 16.1 以降では、Teradata JDBC ドライバーが Databricks に組み込まれています。経由で した顧客アップロードJDBC JARDriverManagerドライバーを使用する場合は、カスタム・JAR を明示的に使用するようにスクリプトを書き直す必要があります。それ以外の場合は、組み込みドライバーが使用されます。このドライバーはレイクハウスフェデレーションのみをサポートします。 その他のユースケースでは、独自のドライバーを用意する必要があります。

Scala の StreamingQueryListener サポート

標準アクセスモードで設定されたコンピュートのScalaでStreamingQueryListenerを使用できるようになりました。

組み込みのOracle JDBCドライバー

Databricks Runtime 16.1 以降では、Oracle JDBC ドライバーが Databricks に組み込まれています。経由で した顧客アップロードJDBC JARDriverManagerドライバーを使用する場合は、カスタム・JAR を明示的に使用するようにスクリプトを書き直す必要があります。それ以外の場合は、組み込みドライバーが使用されます。このドライバーはレイクハウスフェデレーションのみをサポートします。 その他のユースケースでは、独自のドライバーを用意する必要があります。

パスでアクセスされた Delta テーブルのより詳細なエラー

パスを使用してアクセスされる Delta テーブルの新しいエラー メッセージ エクスペリエンスが利用可能になりました。これで、すべての例外がユーザーに転送されます。例外 DELTA_MISSING_DELTA_TABLE は、基になるファイルを Delta テーブルとして読み取れない場合に予約されています。

その他の変更

cloudFiles 構造化ストリーミング ソースのエラーコードの名前を変更しました

このリリースには、次のエラー コードの名前を変更する変更が含まれています。

• _LEGACY_ERROR_TEMP_DBR_0143 は CF_INCORRECT_STREAM_USAGEに名前が変更されました。
• _LEGACY_ERROR_TEMP_DBR_0260 は CF_INCORRECT_BATCH_USAGEに名前が変更されました。

バグの修正

入れ子にされた型が NULL 制約を適切に受け入れるようになりました

このリリースでは、入れ子になった型の一部の Delta 生成列 ( STRUCTなど) に影響するバグが修正されています。これらの列は、ネストされたフィールドの NULL または NOT NULL 制約に基づいて式を誤って拒否することがありました。この問題は修正されました。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:

  • ipyflow-core を 0.0.198 から 0.0.201 に変更
  • 0.0.52 から 0.0.65 への Pyccolo

• アップグレードされた R ライブラリ:

• アップグレードされた Java ライブラリ:

  • io.delta.delta-sharing-client_2.12 を 1.2.1 から 1.2.2 に変更
  • org.lz4.lz4-java1.8.0 から 1.8.0-databricks-1 へ
  • ソフトウェア.Amazon.cryptoolsです。AmazonCorrettoCryptoProvider を 1.6.2-linux-x86_64 から 2.4.1-linux-x86_64 に変更

Apache Spark

Databricks Runtime 16.1 には Apache Spark 3.5.0 が含まれています。このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 16.0 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

• [SPARK-50482] [SC-182879][core] 非推奨の no-op spark.shuffle.spill config
• [SPARK-50032] [SC-182706][sql][16.x] 完全修飾照合名の使用を許可
• [SPARK-50467] [SC-182823] [Python] 組み込み関数の __all__ を追加
• [SPARK-48898] [SC-182828][sql] バリアントの細断バグを修正
• [SPARK-50441] [SC-182668][sql] CTEの参照時にパラメータ化された識別子が機能しない問題を修正
• [SPARK-50446] [SC-182639] [Python] Arrow-optimized Python UDF の並列レベル
• [SPARK-50430] [SC-182536][core] 手動クローンの代わりに標準の Properties.clone を使用してください。
• [SPARK-50471] [SC-182790] [Python] Arrowベースの Python データソース ライターをサポート
• [SPARK-50466] [SC-182791] [Python] 文字列関数の docstring の絞り込み - パート 1
• [SPARK-50194] [DBR16.x][sc-182593][SS][Python] 新しいタイマーAPIとタイマー付き初期状態APIの統合
• [SPARK-50437] [SC-182586][ss] TransformWithStateExecでデシリアライザーを作成するオーバーヘッドを削減
• [SPARK-49676] [DBR16.x] [sc-182538] [SS] [Python] チェーンのサポートを追加...
• [SPARK-49294] [SC-182730][ui] シャッフル書き込み-timeチェックボックスにwidth属性を追加。
• [SPARK-50426] [SC-182540][]Python Python組み込みまたは データソースを使用する場合は、静的な データソースルックアップを避けるJava
• [SPARK-48356] [SC-182603][sql] FORステートメントのサポート
• [SPARK-50333] [SC-182136][sql] CsvToStructs のCodegenサポート（Invoke & RuntimeReplaceableによる）
• [SPARK-50285] [SC-182575] StagedTableインスタンスへのコミットのメトリクス
• [SPARK-50081] [SC-182344][sql] XPath*のCodegenサポート（Invoke & RuntimeReplaceableによる）
• [SPARK-50440] [SC-182592] [SQL] 属性Seq.resolveCandidatesのリファクタリング
• [SPARK-50067] [SC-179648][sql] SchemaOfCsvのCodegenサポート（Invoke & RuntimeReplaceableによる）
• [SPARK-49873] [SC-178577][sql] エラーテストでのマージ後の失敗を修正
• [SPARK-50118] [SC-181259][connet] タスクの実行中に分離状態キャッシュをリセット
• [SPARK-49873] [SC-178577][sql] _LEGACY_ERROR_TEMP_1325に適切なエラークラスを割り当てる
• [SPARK-50381] [SC-182197][core] サポート spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][sql] DAYNAME関数を追加
• [SPARK-50270] [SC-181179][ss][Python] TransformWithStateInPandasのカスタムステートメトリクスを追加
• 【スパーク-50118】 「[SC-181259][connet] タスクの実行中に分離状態キャッシュをリセットする」を元に戻す
• [SPARK-50075] [SC-181820][sql][Python][connect] テーブル値関数の データフレーム API を追加
• [SPARK-49470] [SC-175736][ui] dataTablesのスタイルシートとJavaScriptを1.13.5から1.13.11に更新
• [スパーク-50235] 「[SC-180786][sql] ColumnarToRowExecのすべての行を処理した後、ColumnVectorリソースをクリーンアップする」を元に戻す
• [SPARK-50324] [SC-182278] [Python][CONNECT] RPCConfigトリガーcreateDataFrame最大で1回
• [SPARK-50387] [SC-182441][ss] タイマーの有効期限と関連テストの条件を更新
• [SPARK-50287] [SC-182400][sql] FileTableでWriteBuilderを作成する際のテーブルとリレーションのマージオプション
• [SPARK-50066] [SC-181484][sql] SchemaOfXml のCodegenサポート（Invoke & RuntimeReplaceableによる）
• [SPARK-50092] [SC-181568][sql] 多次元配列のPostgreSQLコネクタの動作を修正
• [SPARK-50318] [SC-181641][sql] インタープリターと codegen の間でコードの重複を排除するために IntervalUtils.makeYearMonthInterval を追加
• [SPARK-50312] [SC-181646][sql] kerberosがtrueの場合、SparkThriftServer createServerパラメーターがエラーを渡す
• [SPARK-50246] [SC-181468][sql] _LEGACY_ERROR_TEMP_2167に適切なエラー条件を割り当てます。 INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][sql] JSON/xml から、指定されたスキーマの照合順序を変更しないように修正
• [SPARK-50250] [SC-181466][sql] _LEGACY_ERROR_TEMP_2075に適切なエラー条件を割り当てます。 UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][sql] _LEGACY_ERROR_TEMP_2058に適切なエラー条件を割り当てます。 INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][connet] タスクの実行中に分離状態キャッシュをリセット
• [SPARK-50235] [SC-180786][sql] ColumnarToRowExec のすべての行を処理した後、ColumnVector リソースをクリーンアップします
• [SPARK-50156] [SC-180781][sql] _LEGACY_ERROR_TEMP_2113 を UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][sql] _LEGACY_ERROR_TEMP_0028 を UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][sql] _LEGACY_ERROR_TEMP_0043に適切なエラー条件を割り当てます。 INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][sql] StructsToJsonのCodegenサポート（to_json
• [SPARK-50055] [SC-180978][sql] TryMakeIntervalの代替を追加
• [SPARK-50397] [SC-182367][core] 非推奨の --ip および -i 引数を Master/Worker
• [SPARK-50238] [ SC-181434][Python] PySpark UDF/UDTF/UDAFs および Python UC UDFにバリアントサポートを追加
• [SPARK-50079] [SC-179830][sql] _LEGACY_ERROR_TEMP_2013に適切なエラー条件を割り当てます。 NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][例] REST APIの例 submit-sql.sh を追加
• [SPARK-49966] [SC-179501][sql] Invokeを使用してJsonToStructsを実装（from_json
• [SPARK-50302] [SC-182518][ss] TTLを持つTransformWithStateステートフル変数のセカンダリインデックスサイズがプライマリインデックスサイズと等しいことを確認します
• [スパーク-50301] [SC-182241][ss][16.x]TransformWithState メトリクスに直感的な意味を反映させる
• [SPARK-50175] [SC-182140][sql] 照合の優先順位計算を変更
• [SPARK-50148] [SC-180292][sql] スロー例外を宣言するメソッドと StaticInvoke を互換性を持たせるように
• [SPARK-50280] [SC-181214] [Python] リファクタリング結果の並べ替えと空のビンの充填 compute_hist
• [SPARK-50190] [SC-182458] [Python] ヒストグラムからNumpyの直接の依存関係を削除
• [SPARK-50382] [SC-182368][connect] Spark Connectを使用した/拡張するアプリケーション開発に関する一般情報のドキュメントを追加
• [SPARK-50296] [SC-181464][Python][CONNECT] Python Connectクライアントのスレッドプールでクラスプロパティを使用しないように
• [SPARK-49566] [SC-182239][sql] EXTEND演算子のSQLパイプ構文を追加
• [SPARK-50036] [SC-179533][core][Python] REPL シェルのコンテキストに SPARK_LOG_SCHEMA を含める
• [SPARK-49859] [SC-178259][connect] マルチプロセッシングを置き換えます。ThreadPool と ThreadPoolExecutor
• [SPARK-50141] [SC-182378] [Python] lpad と rpad が列タイプの引数を受け入れるようにする
• [SPARK-50379] [SC-182142][sql] WindowExecBaseのDayTimeIntevalType処理を修正
• [SPARK-49954] [SC-179110][sql] SchemaOfJsonのCodegenサポート（InvokeおよびRuntimeReplaceableによる）
• [SPARK-50398] [SC-182341][core] Sparkスクリプトでの--help使用にExitCode 0を使用
• [SPARK-50377] [SC-182238][sql] 折りたたみ式RuntimeReplaceableの評価を許可
• [SPARK-50241] [SC-181444][sql] NullIntolerant Mixin を Expression.nullIntrerantメソッドに置き換え
• [SPARK-50084] [SC-179672][sql] _LEGACY_ERROR_TEMP_3168に適切なエラー条件を割り当てます。 MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][sql] _LEGACY_ERROR_TEMP_0038に適切なエラー条件を割り当てます。 DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][sql] _LEGACY_ERROR_TEMP_1049に適切なエラー条件を割り当てます。 INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] _LEGACY_ERROR_TEMP_0039 を UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][ss] transformWithStateのproc初期状態に費やされた追跡用のカスタムメトリクスを追加
• [SPARK-50029] [SC-179531][sql] StaticInvoke を返すメソッドと互換性を持たせる Any
• [SPARK-49990] [SC-179497][sql] パフォーマンスの改善 randStr
• [SPARK-50048] [SC-179528][sql] _LEGACY_ERROR_TEMP_2114に適切なエラー条件を割り当てます。 UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532] [sql] _LEGACY_ERROR_TEMP_2104 を INTERNAL_ERROR
• [SPARK-49665] [SC-180054][sql] 文字列関数の照合サポートのトリミング
• [SPARK-48549] [SC-176472][sql][Python] SQL 機能の改善 sentences
• [SPARK-50022] [SC-179503][core][UI] UIが無効になっているときにアプリのUIリンクを非表示にする MasterPage を修正
• [SPARK-50087] [SC-182152] MsSqlServerおよび将来のコネクタのCASE WHENでのブール式の堅牢な処理
• [SPARK-49991] [SC-179481][sql] HadoopMapReduceCommitProtocol が 'mapreduce.output.basename' を尊重してファイル名を生成するようにする
• [SPARK-50038] [SC-179521][sql] _LEGACY_ERROR_TEMP_0008に適切なエラー条件を割り当てます。 MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][sql] _LEGACY_ERROR_TEMP_1156に適切なエラー条件を割り当てます。 COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] UIが無効になっているときにアプリのUIリンクを非表示にする ApplicationPage を修正
• [SPARK-49911] [SC-179111][sql] サポートバイナリの等価性のセマンティックを修正
• [SPARK-50025] [SC-179496][sql] _LEGACY_ERROR_TEMP_1253 を EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][ss] ストリーム-ストリーム結合で状態ストアに入力を追加する際の最適化のバグを修正
• [SPARK-50004] [SC-179499][sql] _LEGACY_ERROR_TEMP_3327 を FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator は ConstantFolding のコントラクトを尊重すべきです
• [SPARK-50340] [SC-181859][sql] INSERT入力クエリでUDTのラップを解除
• [SPARK-50237] [SC-181660][sql] _LEGACY_ERROR_TEMP_2138-9に適切なエラー条件を割り当てます。 CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][sql] AQE最適化後に出力列の順序が変更された問題を修正
• [SPARK-49773] [SC-178369][sql] タイムゾーンが不適切な make_timestamp() からのJava例外がキャッチされない
• [SPARK-49977] [SC-179265][sql] スタックベースの反復計算を使用して、深い式ツリーに対して多数のScala Listオブジェクトが作成されないようにします
• [SPARK-50153] [SC-181591][sql] RuleExecutorにnameを追加して、QueryExecutionMetricsのログをより鮮明に印刷できるようにしました
• [SPARK-50320] [SC-181668][core] 警告を削除して--remoteを公式オプションにexperimental
• [SPARK-49909] [SC-179492]「[SQL]一部の式のきれいな名前を修正」を元に戻す
• [SPARK-50330] [SC-180720][sc-181764][SQL] ソートノードとウィンドウノードにヒントを追加
• [SPARK-50364] [SC-182003][sql] Row.jsonValueのLocalDateTime型のシリアル化を実装
• [SPARK-50016] [SC-182139][sql] _LEGACY_ERROR_TEMP_2067に適切なエラー条件を割り当てます。 UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175] [Python][SS] TransformWithStateInPandasのdeleteIfExistsをサポート
• [SPARK-49757] [SC-177824][sql] SET CATALOGステートメントで識別子式をサポート
• [SPARK-50315] [SC-181886][sql] V1Fallback書き込みのカスタムメトリクスをサポート
• [SPARK-42838] [SC-181509][sql] エラークラス_LEGACY_ERROR_TEMP_2000に名前を割り当てる
• [SPARK-50353] [SC-181985][sql] リファクタリングResolveSQLOnFile
• [SPARK-48344] [SC-181967][sql] 実行フレームワークの追加のためのSQLスクリプトの準備
• [SPARK-49345] [SC-174786][connect] 現在実行中のSparkセッションを使用していることを確認してください
• [SPARK-49925] [SC-178882][sql] 照合された文字列を使用したorder byのテストを追加
• [SPARK-50167] [SC-181199]Python][CONNECT] PySpark プロットのエラーメッセージとインポートを改善
• [SPARK-49368] [SC-174999][接続] protobuf liteクラスに直接アクセスしないようにします
• [SPARK-50056] [SC-181378][sql] ParseUrl の Codegen サポート（ Invoke & RuntimeReplaceable による）
• [SPARK-49601] [SC-180770][ss][Python] TransformWithStateInPandasの初期状態処理をサポート
• [SPARK-49908] [SC-178768][sql] _LEGACY_ERROR_TEMP_0044に適切なエラー条件を割り当てる
• [SPARK-50144] [SC-180307][ss] DSv1 ストリーミング ソースによるメトリクス計算の制限を解決
• [SPARK-49874] [SC-178303][sql] trim および ltrim 照合指定子を削除します。
• [SPARK-49513] [SC-180339][ss] transformWithStateInPandas APIにタイマーのサポートを追加
• [SPARK-49119] [SC-175607][sql] v1とv2の間の構文 show columns の不整合を修正
• [SPARK-49206] [SC-173704][core][UI] マスター Environment Variables テーブルを追加 EnvironmentPage
• [SPARK-49934] [SC-179581][sql] 照合されたマップにアクセスするための暗黙的なキャストを追加
• [SPARK-50049] [SC-181659][sql] v2テーブルへの書き込みでカスタムドライバーメトリクスをサポート
• [SPARK-50171] [ SC-180295] [Python] KDE プロットの numpy をオプションにする
• [SPARK-49962] [SC-179320][sql] AbstractStringTypesクラス階層の簡素化
• [SPARK-50226] [SC-181483][sql] Javaの例外をキャッチするためのMakeDTIntervalとMakeYMIntervalの修正
• [SPARK-48775] [SC-170801][sql][STS] STSのSQLContextをSparkSessionに置き換える
• [SPARK-49015] [SC-175688][core] Connect Serverは尊重すべき spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][sql][16.x] シングルパス アナライザーで再利用されるファクターアウト関数の解像度
• [SPARK-49995] [SC-180762][sql] 名前付き引数のサポートをより多くのTVFに追加
• [SPARK-49268] [SC-174903][core] SHS履歴プロバイダのログIO例外
• [SPARK-48123] [SC-164989][core] 構造化ログのクエリに定数テーブルスキーマを提供
• [SPARK-49217] [SC-174904][core] UnsafeShuffleWriterで個別のバッファサイズ設定をサポート
• [SPARK-50325] [SC-181664][sql][16.x] エイリアス解像度をシングルパスアナライザーで再利用するようにファクタアウト
• [SPARK-50322] [SC-181665][sql] サブクエリのパラメータ化された識別子を修正
• [SPARK-48400] [SC-175283][コア] PrometheusServlet を DeveloperApi
• 【スパーク-50118】 「[SC-181259][connet] タスクの実行中に分離状態キャッシュをリセットする」を元に戻す
• [SPARK-50306] [SC-181564]][CONNECT]Python PythonSparkConnectで 3.13をサポート
• [SPARK-50152] [SC-181264][ss] 状態データソースリーダーでhandleInitialStateをサポート
• [SPARK-50260] [SC-181271][接続] Spark Cのリファクタリングと最適化
• [SPARK-47591] [SC-163090][sql] Hive-thriftserver:変数を含むlogInfoを構造化ロギングフレームワークに移行
• [SPARK-49312] [SC-174672][Python] エラーメッセージの改善 assertSchemaEqual
• [SPARK-49439] [SC-175236][sql] FromProtobuf & ToProtobuf 式のきれいな名前を修正
• [SPARK-50092] [ES-1258521] 多次元配列のPostgreSQLコネクタの動作を修正
• [SPARK-49913] [SC-181565][sql] ネストされたラベル付きスコープ内の一意のラベル名のチェックを追加
• [SPARK-49563] [SC-181465][sql] WINDOW演算子のSQLパイプ構文を追加
• [SPARK-49661] [SC-179021][sql] トリム照合のハッシュと比較を実装します。
• [SPARK-38912] [SC-181543] [Python] クラスメソッドとプロパティに関連するコメントを削除
• [SPARK-49770] [16.x] [sc-179802] [SC-179270] [ss] [RocksDB][強化] RocksDB SSTファイルマッピング管理を改善し、既存のスナップショットで同じバージョンを再読み込みする際の問題を修正します
• 【スパーク-49002】 「[SC-172846][sql] ウェアハウス/SCHEMA/TABLE/PARTITION/DIRECTORYの無効な場所を一貫して処理します」を戻します。
• [SPARK-49668] [SC-178268][sql] トリム照合の照合キーサポートを実装
• [SPARK-50262] [SC-181193][sql] 照合順序の変更中に複合型を指定禁止
• [SPARK-48898] [SC-181435][sql] バリアントシュレッダ機能を追加
• [SPARK-48273] [SC-181381]「[SQL] PlanWithUnresolvedIdentifierの遅延書き換えを修正」を元に戻す
• [SPARK-50222] [SC-180706][core] サポート spark.submit.appName
• [SPARK-50208] [SC-180662][core] サポート spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][sql] IsValidUTF8|検証UTF8|TryValidateUTF8 |MakeValidUTF8 は NullIntrerantである必要があります
• [SPARK-50247] [SC-180962][core] BLOCK_MANAGER_REREGISTRATION_FAILED を次のように定義します。 ExecutorExitCode
• [SPARK-50282] [SC-181221] [ml] シンプルに TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][sql] TransformWithState演算子がAvroエンコーディングを使用できるようにする
• [SPARK-50267] [SC-181180] [ml] データフレーム APIでTargetEncoder.fitを改善します
• [SPARK-37178] [SC-180939][ml] ml.featureにターゲットエンコーディングを追加
• [SPARK-50118] [SC-181259][connet] タスクの実行中に分離状態キャッシュをリセット
• [SPARK-50085] [BEHAVE-176][sc-179809][Python] np.int8 で lit(ndarray) を numpy データ型に準拠させる
• [SPARK-50256] [SC-181048][sql] オプティマイザルールのたびに論理プランが未解決になるかどうかを確認するための軽量検証を追加
• [SPARK-50196] [SC-180932][connect] Pythonエラーコンテキストを修正して適切なコンテキストを使用するように修正
• [SPARK-50274] [SC-181181][core] DirectByteBufferOutputStreamのuse-after-closeに対するガード
• [SPARK-49999] [SC-180063] [Python][CONNECT] box、kde、hist プロットでオプションの「column」パラメーターをサポート
• [SPARK-50273] [SC-181178][ss] RocksDBロックの取得/解放ケースのログを改善
• [SPARK-50033] [SC-180720][sc-180659][SQL] logicalにヒントを追加。Aggregate() ノード
• [SPARK-50163] [16.x] [sc-180201] [SC-180664] [ss]完了リスナーによるRocksDBの余分なacquireLockリリースを修正
• [SPARK-50253] [SC-180969][ss] ストリーム-ストリーム結合は、サポートされていない場合にチェックポイントIDを取得しないはずです。
• [SPARK-50255] [ SC-180964 ] [Python] 不要なキャスティングを避ける compute_hist
• [SPARK-50228] [SC-180780][sql] RewriteCollationJoin ルールを FinishAnalysis
• [SPARK-50001] [SC-179524]Python][PS][connect] ボックスプロットのkwargsの一部となるように「精度」を調整
• [SPARK-49637] [SC-180160][sql] INVALID_FRACTION_OF_SECONDのエラーメッセージを変更
• [SPARK-49530] [SC-180658] [Python] データフレームからアクティブセッションを取得する
• [SPARK-50195] [SC-180654][core] spark.app.nameが適切にSparkSubmitするようにStandaloneRestServerを修正
• [SPARK-50229] [SC-180773] 論理計画中に作成されたAttributeReferenceオブジェクトの有効期間を短縮することにより、ワイドスキーマのドライバーのメモリ使用量を削減します
• [SPARK-50231] [ SC-180815 ] [Python] 列を受け入れる instr 関数を作る substring
• [SPARK-49854] [SC-179812][16.x][SQL]セッション・クローン作成時のクローン・アーティファクト・マネージャー
• [SPARK-50219] [SC-180694][sql] ApplyCharTypePadding をリファクタリングして、ヘルパーメソッドをシングルパスリゾルバで使用できるように
• [SPARK-50077] [SC-179827][sql] LogicalRelationの新しいパターンオブジェクトを導入し、デフォルトのフルパラメータパターンを回避できるようにしました
• [SPARK-50128] [バックポート][16x][SC-180677][ss]API で暗黙的なエンコーダーを使用してステートフルプロセッサハンドル を追加Scala
• [SPARK-50061] [SC-179961][sql] 照合された列の分析テーブルを有効にする
• [SPARK-49993] [SC-180084][sql] SumとAverageのエラーメッセージを改善
• [SPARK-49638] [SC-179665][sql] INVALID_URLのANSI設定の提案を削除
• [SPARK-50204] [SC-180660][sql] 読み取りパスの解像度 HiveTableRelation ファクターアウト
• [SPARK-50193] [SC-180651][ss] 時間モードの検証の例外処理を修正
• [SPARK-50179] [SC-180342][core] REST APIで spark.app.name プロパティをオプションにする
• [SPARK-50068] [SC-180300][sql] TypeCoercion と AnsiTypeCoercion をリファクタリングして単一ノード変換を分離
• [SPARK-49411] [SC-179483][ss] ドライバーとステートフルオペレーター間で状態ストアのチェックポイントIDを通信
• [SPARK-50124] [SC-180294][sql] LIMIT/OFFSETはデータの順序を保持する必要があります
• [SPARK-49506] [SC-180165][sql] ArrayBinarySearchの折り畳み式配列の最適化
• [SPARK-50097] [SC-179908][sql] _LEGACY_ERROR_TEMP_1248に適切なエラー条件を割り当てます。 ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][Python] try_make_timestamp(_ltzおよび_ntz)および関連テストを追加
• [SPARK-50054] [SC-180228] [Python][CONNECT] ヒストグラム プロットをサポート
• [SPARK-50015] [SC-179964][sql] _LEGACY_ERROR_TEMP_1125に適切なエラー条件を割り当てます。 MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [スパーク-50155] [SC-180240][3.5]Scala ファイルと java ファイルをデフォルト フォルダーに移動する
• [SPARK-49980] [SC-180353][core][SQL] キャンセルされたタスクの中断によって発生する可能性のあるファイルストリームリークを修正
• [SPARK-49010] [SC-172304][sql][XML] XMLスキーマ推論の大文字と小文字の区別の単体テストを追加
• [SPARK-49562] [SC-180211][sql] 集計用のSQLパイプ構文を追加
• [SPARK-49663] [SC-180239][sql] 照合式でRTRIM提案を有効にする
• [SPARK-48965] [SC-175926][sql] で正しいスキーマを使用してください。 Dataset#toJSON
• [SPARK-48493] [SC-175893] [Python] Python Arrowバッチを直接サポートすることでデータソースリーダーを強化し、パフォーマンスを向上
• [SPARK-49734] [SC-180226][Python] 関数の seed 引数を追加 shuffle
• [SPARK-50174] [16.x] [sc-180253] [SQL]UnresolvedCatalogRelation の解決をファクタアウト
• [SPARK-49989] [SC-179512] [Python][CONNECT] kde/density プロットをサポート
• [SPARK-49805] [SC-180218][sql][ML] private[xxx]関数を function.scala
• [SPARK-49808] [SC-179490][sql] 遅延値によるサブクエリ実行のデッドロックを修正
• [SPARK-49929] [SC-180144] [Python][CONNECT] Support box プロット
• [SPARK-50008] [SC-179290][ps][CONNECT] での不要な操作を避ける attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][ps][CONNECT] 内部関数呼び出しのリファクタリング
• [SPARK-49683] [SC-178341][sql] ブロック トリミング照合
• [SPARK-49939] [SC-178941][sql] json_object_keysのCodegenサポート（Invoke & RuntimeReplaceableによる）
• [SPARK-50031] [SC-179582][sql] TryParseUrl 式を追加
• [SPARK-49766] [SC-178933][sql] json_array_length のCodegenサポート（ Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][ss] EventTimeWatermarkノードの安定した順序を使用してウォーターマークを計算する
• [SPARK-49540] [SC-180145][ps] の使用を統一 distributed_sequence_id
• [SPARK-50060] [SC-179965][sql] TypeCoercionとAnsiTypeCoercionで異なる照合タイプ間の変換を無効にしました
• [SPARK-49004] [SC-173244][connect] Column APIの内部関数に個別のレジストリを使用
• [SPARK-49811] [SC-177888][sql]StringTypeAnyCollationの名前を変更
• [SPARK-49202] [SC-180059][ps] ヒストグラムに ArrayBinarySearch を適用
• [SPARK-49203] [SC-175734][sql] 次の式を追加 java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][core] 致命的なエラーがキャッチされない例外として誤って報告される問題を修正 SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][sql] ICUを使用する照合順序には、使用されているICUライブラリのバージョンが必要です
• [SPARK-49985] [SC-179644][sql] バリアントの間隔タイプのサポートを削除
• [SPARK-49103] [SC-173066][core] サポート spark.master.rest.filters
• [SPARK-50090] [SC-179819] ResolveBinaryArithmeticをリファクタリングして単一ノード変換を分離
• [SPARK-49902] [SC-179650][sql] の根本的なランタイムエラーをキャッチします。 RegExpReplace
• [SPARK-49126] [SC-173342][core] spark.history.ui.maxApplications 設定定義をに移動します History.scala
• [SPARK-50094] [SC-179820][Python][CONNECT] 行番号のないエディターでメモリプロファイラーを使用する際のエラーメッセージを改善
• [SPARK-50062] [SC-179835][sql] による照合をサポート InSet
• [SPARK-50035] [バックポート][16x][SC-179530][ss] ステートフルプロセッサの明示的なhandleExpiredTimer関数部分のサポートを追加
• [SPARK-49982] [SC-179814][sql] InMemoryRelationのネガティブキャッシングを修正
• [SPARK-49082] [SC-173350][sql] タイプのプロモーションを拡大 AvroDeserializer
• [SPARK-50088] [SC-179680] [sql] リファクタリング UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][ss] ステートフルプロセッサで使用されるマップおよびリストタイプの読み取り変更フィードのサポートを追加
• [SPARK-49846] [SC-179506][ss] transformWithState演算子で使用するnumUpdatedStateRowsおよびnumRemovedStateRowsメトリクスを追加
• [SPARK-50050] [SC-179643] [Python][接続][16.x] litはstrとboolタイプnumpy ndarrayを受け入れます
• [SPARK-49821] [SC-179527][ss][Python] TransformWithStateInPandas の MapState と TTL サポートを実装
• [SPARK-49558] [SC-179485][sql] LIMIT/OFFSETおよびORDER/SORT/クラスター/DISTRIBUTE BYの SQL パイプ構文を追加
• [SPARK-48144] [SC-165725][lc-4080][SQL] シャッフル結合のヒントを尊重するように canPlanAsBroadcastHashJoin を修正
• [SPARK-50051] [SC-179571] [Python][CONNECT] 空のnumpy ndarrayで lit を動作させる
• [SPARK-50018] [SC-179488][sql] AbstractStringTypeをシリアル化可能に
• [SPARK-50016] [SC-179491][sql] 明示的な照合不一致エラーの改善
• [SPARK-50010] [SC-179487][sql] 暗黙的な照合順序の不一致エラーを展開します
• [SPARK-48749] [SC-170116][sql] RuntimeReplaceableを使用してUnaryPositiveを簡素化し、そのCatalystルールを削除
• [SPARK-49857] [SC-178576][sql] データセットlocalCheckpoint APIにstorageLevelを追加
• [SPARK-50058] [SC-179538][sql] プランの正規化関数を後でシングルパスアナライザーテストで使用するように分解
• [SPARK-50052] [SC-179535][Python][16.X] NumpyArrayConverter が空の str ndarray をサポートするようにしました
• [SPARK-47261] [SC-173665][sql] エラー_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173、_LEGACY_ERROR_TEMP_1174に適切な名前を割り当てる
• [SPARK-49147] [SC-173471][core] DeveloperApiインターフェースで KryoRegistrator をマーク
• [SPARK-48949] [SC-173070] [sql] SPJ: Runtime パーティションフィルタリング
• [SPARK-50044] [SC-179523] [Python] 複数の数学関数の docstring を絞り込む
• [SPARK-48757] [SC-170113][core] IndexShuffleBlockResolver に明示的なコンストラクターを持たせるようにしました
• [SPARK-50037] [SQL] リファクタリングAttributeSeq.resolve(...)
• [SPARK-48782] [SC-177056][sql] カタログ内のプロシージャの実行サポートを追加
• [SPARK-49057] [SC-173081][sql] クエリステージの送信時にAQEループをブロックしないようにします
• [SPARK-48824] [SC-176772][behave-167][SQL] ID列のSQL構文を追加
• [SPARK-48773] [SC-170773] ドキュメント設定「spark.デフォルト.parallelism」 By コンフィグビルダーフレームワーク
• [SPARK-48735] [SC-169810][sql] BIN関数のパフォーマンス改善
• [SPARK-48900] [SC-172433] ジョブ/ステージのキャンセルに関するすべての内部コールに reason フィールドを追加
• [SPARK-48488] [SC-167605][core] log[info|warning|error] メソッドを修正 SparkSubmit
• [SPARK-48708] [SC-169809][core] から不要な3つの型登録を削除 KryoSerializer
• [SPARK-49958] [SC-179312] [Python] 文字列検証関数のPython API
• [SPARK-49979] [SC-179264][sql] 失敗したプランで2回収集する際のAQEのハングアップ問題を修正
• [SPARK-48729] [SC-169795][sql] SQL関数を表すUserDefinedFunctionインターフェースを追加
• [SPARK-49997] [SC-179279][sql] _LEGACY_ERROR_TEMP_2165 を MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][ss] Kafka 読み取り中にサイズベースのパーティションが作成される
• [SPARK-48129] [SC-165006] [Python] 構造化ログのクエリ用に PySpark で定数テーブルスキーマを提供
• [SPARK-49951] [SC-179259][sql] LEGACY_ERROR_TEMP (1099|3085) に適切なエラー条件を割り当てる
• [SPARK-49971] [SC-179278][sql] _LEGACY_ERROR_TEMP_1097に適切なエラー条件を割り当てる
• [SPARK-49998] [SC-179277][sql] _LEGACY_ERROR_TEMP_1252 を EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][connect] Spark Connectサービスからグローバルロックを削除
• [SPARK-49957] [SC-179202][sql] 文字列検証関数のScala API
• [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener が spark.interrupt() の影響を受けないように修正
• [SPARK-49643] [SC-179239][sql] _LEGACY_ERROR_TEMP_2042をARITHMETIC_OVERFLOWにマージ
• [SPARK-49959] [SC-179109][sql] 正しいオフセットからnullを読み取るようにColumnarArray.copy()を修正
• [スパーク-49956] 「[SC-179070] collect_set式との照合を無効にしました」を元に戻します。
• [SPARK-49987] [SC-179180][sql] seedExpression が折り畳み不可の場合のエラープロンプトを修正 randstr
• [SPARK-49948] [SC-179158][ps][CONNECT]Pandas Sparkbox プロットの にパラメーター "precision" を追加
• [SPARK-49970] [SC-179167][sql] _LEGACY_ERROR_TEMP_2069に適切なエラー条件を割り当てる
• [SPARK-49916] [SC-179108][sql] 一部の行のColumnTypeとデータ型の型が一致しない場合、適切な例外をスローします
• [SPARK-49956] [SC-179070] collect_set式との照合が無効になる
• [SPARK-49974] [16.x][sc-179071][SQL]resolveRelations(...) を Analyzer から移動します。Scala
• [SPARK-47259] [SC-176437][sql] インターバルエラーのエラー条件に名前を割り当てる
• [SPARK-47430] [SC-173679][sql] バインド参照の例外を修正するために、マップタイプごとにグループをやり直し
• [SPARK-49067] [SC-172616][sql] utf-8 リテラルを UrlCodec クラスの内部メソッドに移動
• [SPARK-49955] [SC-178989][sql]JSON 文字列 解析時にnull値はファイルの破損を意味しないRDD
• [SPARK-49393] [SC-175212][sql] 非推奨のカタログプラグインAPIでデフォルトによって失敗する
• [SPARK-49952] [SC-178985][sql] _LEGACY_ERROR_TEMP_1142に適切なエラー条件を割り当てる
• [SPARK-49405] [SC-175224][sql] JsonOptionsの文字セットを制限
• [SPARK-49892] [SC-178975][sql] _LEGACY_ERROR_TEMP_1136に適切なエラークラスを割り当てる
• [SPARK-49904] [SC-178973][sql] _LEGACY_ERROR_TEMP_2140に適切なエラー条件を割り当てる
• [SPARK-47257] [SC-174244][sql] エラークラス _LEGACY_ERROR_TEMP_105[3-4] と _LEGACY_ERROR_TEMP_1331 に名前を割り当てる
• [SPARK-49915] [SC-178869][sql] ReorderAssociativeOperatorで0と1を処理
• [SPARK-49891] [SC-178970][sql] _LEGACY_ERROR_TEMP_2271に適切なエラー条件を割り当てる
• [SPARK-49918] [SC-178748][core] 必要に応じて、 SparkContext のconfへの読み取り専用アクセスを使用します
• [SPARK-49666] [SC-177891][sql] トリミング照合機能の機能フラグを追加
• [SPARK-48885] [SC-171050][sql] RuntimeReplaceableオーバーライドの一部のサブクラスを遅延値に置き換える
• [SPARK-49932] [SC-178931][core] メモリリークを避けるために、リリースJsonUtils#toJsonStringリソースを使用してtryWithResource
• [SPARK-49949] [SC-178978][ps] 不要な分析タスクを回避します。 attach_sequence_column
• [SPARK-49924] [SC-178935][sql] ArrayCompact交換後もcontainsNullを保つ
• [SPARK-49121] [SC-174787][sql] SQL関数の from_protobuf と to_protobuf をサポート
• [SPARK-47496] [SC-160529][sql] Java 動的 JDBC 方言のSPIサポートを登録する
• [SPARK-49359] [SC-174895][sql] StagedTableCatalog の実装が非アトミック書き込みにフォールバックできるようにする
• [SPARK-49895] [SC-178543][sql][ES-1270338] SELECT句の末尾にカンマがある場合のエラーを改善
• [SPARK-47945] [SC-163457][sql] MsSQLServer: Microsoft SQL Server からの Spark SQL データ型のマッピングとテストの追加
• [SPARK-46037] [SC-175495][sql] シャッフルされたハッシュ結合ビルドがcodegenなしで残る際の正確性の修正
• [SPARK-47813] [SC-162615][sql] getArrayDimension を updateExtraColumnMeta に置き換えてください。
• [SPARK-49542] [SC-178765][sql] パーティション変換例外の評価エラー
• [SPARK-47172] [SC-169537][core] RPC暗号化のためのAES-GCMのサポートを追加
• [SPARK-47666] [SC-161476][sql] mysqlビット配列をLongTypeとして読み取る際のNPEを修正
• [SPARK-48947] [SC-174239][sql] Charset.forNameに欠けるキャッシュを減らすために、小文字の文字セット名を使用してください
• [SPARK-49909] [SC-178552][sql] 一部の式のきれいな名前を修正
• [SPARK-47647] [SC-161377][sql] MySQL データソースがbit(n>1)をPostgresのようにBinaryTypeとして読み取れるように
• [SPARK-46622] [SC-153004][core] toString メソッドのオーバーライド o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][Python] PySparkException のパラメーターの命名を JVM と一致させる
• [SPARK-49889] [SC-178474][Python] 関数の引数 trim を追加trim/ltrim/rtrim
• [SPARK-47537] [SC-160747][sql] MySQL Connector/Jのエラーデータ型マッピングを修正
• [SPARK-47628] [SC-161257][sql] Postgresビット配列の「ブール値にキャストできない」問題を修正
• [SPARK-49843] [SC-178084][es-1268164][SQL] char/varchar列の変更コメントを修正
• [SPARK-49549] [SC-178764][sql] エラー条件 _LEGACY_ERROR_TEMP_3055, 3146 に名前を割り当てます
• [SPARK-49791] [SC-177730][sql] DelegatingCatalogExtensionの拡張性を向上
• [SPARK-49559] [SC-178551][sql] セット操作のSQLパイプ構文を追加
• [SPARK-49906] [SC-178536][sql] PartitioningUtils CONFLICTING_DIRECTORY_STRUCTURESエラーを導入して使用
• [SPARK-49877] [SC-178392][sql] classifyException関数のシグネチャを変更：isRuntime引数を追加
• [SPARK-47501] [SC-160532][sql] JdbcDialectの既存のconvertTimestampToTimestampと同様にconvertDateToDateを追加
• [SPARK-49044] [SC-175746][sql] ValidateExternalTypeはエラーで子を返すべき
• [SPARK-47462] [SC-160460][sql] MySQLDialectのTINYINTで他の符号なし数値型のマッピングを整列させる
• [SPARK-47435] [SC-160129][sql] SPARK-45561によるMySQL UNSIGNED TINYINTのオーバーフロー問題を修正
• [SPARK-49398] [SC-176377][sql] CACHE TABLE と CREATE VIEW のクエリのパラメーターのエラーを改善
• [SPARK-47263] [SC-177012][sql] レガシー条件に名前を割り当てる _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][sql] ascendingOrder が DataTypeMismatch 入力されている場合のプロンプトを修正 SortArray
• [SPARK-49806] [SC-178304][sql][CONNECT] ScalaおよびConnectクライアントでshow後に冗長なblank spaceを削除
• [SPARK-47258] [SC-175032][sql] エラークラス_LEGACY_ERROR_TEMP_127[0-5]に名前を割り当てる
• [SPARK-49564] [SC-178461][sql] JOIN演算子のSQLパイプ構文を追加
• [SPARK-49836] [SC-178339][sql][SS] ウィンドウが window/session_window fn に提供されるときにクエリが壊れる可能性がある問題を修正
• [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] PostgresおよびMySQLのSQLタイムスタンプマッピングの処理
• [SPARK-49776] [SC-177818] [Python][CONNECT] サポート 円 プロット
• [SPARK-49824] [SC-178251][ss][CONNECT] SparkConnectStreamingQueryCacheのログ記録を改善
• [SPARK-49894] [SC-178460]Python][CONNECT] 列フィールド操作の文字列表現を絞り込む
• [SPARK-49764] [SC-177491] [Python][CONNECT] Support area プロット
• [SPARK-49694] [SC-177376]Python[CONNECT] サポートスキャッタープロット
• [SPARK-49744] [SC-178363][ss][Python] TransformWithStateInPandasのListStateのTTLサポートを実装
• [SPARK-49879] [SC-178334][core] TransportCipherUtil を別のファイルに移動して、Javaコンパイルの警告をなくす
• [SPARK-49866] [SC-178353][sql] パーティション列を持つ説明テーブルのエラーメッセージを改善
• [SPARK-49867] [SC-178302][es-1260570][SQL] GetColumnByOrdinalを呼び出すときにインデックスが範囲外の場合のエラーメッセージを改善
• [SPARK-49607] [SC-177373][Python] サンプリングベースのプロットのサンプリングアプローチを更新
• [SPARK-49626] [SC-177276] [Python][CONNECT] 水平および垂直バープロットをサポート
• [SPARK-49531] [SC-177770] [Python][CONNECT] プロットがバックエンドにプロットされたサポートライン
• [SPARK-49444] [SC-177692][es-1203248][SQL] ArrayIndexOutOfBoundsによって引き起こされるランタイム例外をスローするようにUnivocityParserを変更し、よりユーザー指向のメッセージを出力するように修正
• [SPARK-49870] [SC-178262][]Python PythonSparkClassic に 3.13 サポートを追加
• [SPARK-49560] [SC-178121][sql] TABLESAMPLE演算子のSQLパイプ構文を追加
• [SPARK-49864] [SC-178305][sql] BINARY_ARITHMETIC_OVERFLOWのメッセージの改善
• [SPARK-48780] [SC-170274][sql] 関数とプロシージャを処理するためにNamedParametersSupportジェネリックでエラーを発生させる
• [SPARK-49358] [SC-178158][sql] 照合された文字列を持つマップタイプの Mode 式
• [SPARK-47341] [SC-178157][sql] RuntimeConfig#getの不正確なドキュメントを修正
• [SPARK-48357] [SC-178153][sql] LOOPステートメントのサポート
• [SPARK-49845] [SC-178059][core] REST APIで appArgs と environmentVariables をオプションに
• [SPARK-49246] [SC-174679][sql] TableCatalog#loadTableが書き込み用かどうかを示すべき
• [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Scalaのクライアント側リスナーサポートを追加
• [SPARK-48700] [SC-177978][sql] 複合型の Mode 式（すべての照合）
• [SPARK-48196] [SC-177899][sql] QueryExecutionの遅延valプランをLazyTryに変える
• [SPARK-49749] [16.x] [sc-177877] [コア]BlockManagerInfo でログ レベルをデバッグに変更
• [SPARK-49561] [SC-177897][sql] PIVOTおよびUNPIVOT演算子のSQLパイプ構文を追加
• [SPARK-49823] [SC-177885][ss] rocksdbのクローズパスでのシャットダウン中のフラッシュを避ける
• [SPARK-49820] [ SC-177855 ] [Python] raise IOError を raise OSError
• [SPARK-49653] [SC-177266][sql] 相関スカラーサブクエリの単一結合
• [SPARK-49552] [SC-177477] []Python DataFrameAPI新しい「randstr」および「uniform」SQL 関数の サポートを追加
• [SPARK-48303] [16.x] [sc-166251] [コア]LogKeys の再編成
• [SPARK-49656] [16x][バックポート][SS] 値状態コレクション型と読み取り変更フィードオプションを持つ状態変数のサポートを追加
• [SPARK-48112] [SC-165129][connect] SparkConnectPlannerのセッションをプラグインに公開
• [SPARK-48126] [16.x] [sc-165309] [コア]spark.log.structuredLogging.enabled を有効にする
• [SPARK-49505] [SC-176873][sql] 新しいSQL関数「randstr」および「uniform」を作成して、範囲内のランダムな文字列または数値を生成する
• [SPARK-49463] [SC-177474] TransformWithStateInPandasのListStateをサポート
• [SPARK-48131] [SC-165007][コア] MDCキー mdc.taskName と task_name
• [SPARK-49557] [SC-177227][sql] WHERE演算子のSQLパイプ構文を追加
• [SPARK-49323] [16.x] [sc-174689] [接続]MockObserver を Spark Connect Server のテスト フォルダーから Spark Connect Server のメイン フォルダーに移動します
• [SPARK-49745] [SC-177501][ss] 状態データソースリーダーを介して登録されたタイマーを読み取るための変更を追加
• [SPARK-49772] [16.x] [sc-177478] [SC-177214] [ss]ColumnFamilyOptions を削除し、RocksDB の dbOptions に構成を直接追加します

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロード、 JDBC のダウンロード)。

「Databricks Runtime 16.1 メンテナンスの更新」を参照してください。

システム環境

• オペレーティングシステム :Ubuntu 24.04.1 LTS

  • 注 : これは、Databricks Runtime コンテナーで使用される Ubuntu バージョンです。DBR コンテナは、クラウドプロバイダーの仮想マシンで実行され、異なる Ubuntu バージョンまたは Linux ディストリビューションを使用する場合があります。

• Java : Zulu17.54+21-CA

• Scala : 2.12.15

• Python の:3.12.3

• R の:4.4.0

• Delta Lake : 3.2.1

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
注釈付きタイプ	0.7.0	アストトークンズ	2.0.5	アストゥンパース	1.6.3
自動コマンド	2.2.2	azure-core	1.31.0	azure-storage-blob	12.23.0
azure-storage-file-datalake	12.17.0	backports.tarファイル	1.2.0	黒い	24.4.2
ウィンカー	1.7.0	ボト3	1.34.69	ボトコア	1.34.69
cachetools	5.3.3	認証	2024.6.2	cffi	1.16.0
chardet	4.0.0	charset-normalizer	2.0.4	クリック	8.1.7
クラウドピクルス	2.2.1	通信	0.2.1	コントルピー	1.2.0
cryptography	42.0.5	サーマルサイクラー	0.11.0	シトン	3.0.11
databricks-sdk	0.30.0	DBUSPython	1.3.2	デバッグ	1.6.7
デコレータ	5.1.1	非推奨	1.2.14	ディストリビューション	0.3.8
docstring-to-markdown	0.11	エントリポイント	0.4	実行	0.8.3
facets-概要	1.1.1	ファイルロック	3.15.4	fonttools	4.51.0
ギットDB	4.0.11	ギットパイソン	3.1.37	グーグルAPIコア	2.20.0
グーグル認証	2.35.0	グーグルクラウドコア	2.4.1	Google Cloud Storage	2.18.2
グーグル-CRC32C	1.6.0	Googleの再開可能なメディア	2.7.2	googleapis-common-protos	1.65.0
grpcio	1.60.0	grpcio-status	1.60.0	httplib2の	0.20.4
イドナ	3.7	importlib-metadata	6.0.0	importlib_resources	6.4.0
活用	7.3.1	ipyflow-コア	0.0.201	ipykernel(英語)	6.28.0
アイパイソン	8.25.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
イソデート	0.6.1	jaraco.context	5.3.0	jaraco.functoolsの	4.0.1
jaraco.text	3.12.1	ジェダイ	0.19.1	jmespath	1.0.1
joblib	1.4.2	jupyter_client	8.6.0	jupyter_core	5.7.2
キウイソルバー	1.4.4	ローンチパッドリブ	1.11.0	lazr.restfulクライアント	0.14.6
lazr.uri です。	1.0.6	Matplotlib	3.8.4	matplotlib-インライン	0.1.6
マッケイブ	0.7.0	mlflow-skinny	2.15.1	もっと-itertools	10.3.0
マイピー	1.10.0	mypy-extensions	1.0.0	ネスト-アシンシオ	1.6.0
ノードenv	1.9.1	numpy	1.26.4	OAuthlib	3.2.2
opentelemetry-api	1.27.0	opentelemetry-sdkの	1.27.0	opentelemetry-セマンティック規約	0.48b0
packaging	24.1	pandas	1.5.3	パルソ	0.8.3
パススペック	0.10.3	patsy	0.5.6	pexpect	4.8.0
枕	10.3.0	種	24.2	プラットフォームディレクトリ	3.10.0
Plotly	5.22.0	プラギー	1.0.0	プロンプトツールキット	3.0.43
プロトプラス	1.24.0	protobuf	4.24.1	psutil の	5.9.0
サイコップ2	2.9.3	PTYPROCESSの	0.7.0	ピュア評価	0.2.2
pyarrow	15.0.2	pyasn1	0.4.8	pyasn1モジュール	0.2.8
ピッコロ	0.0.65	pycparser	2.21	ピダンティック	2.8.2
pydantic_core	2.20.1	パイフレーク	3.2.0	ピグメント	2.15.1
PyGObject	3.48.2	PyJWTの	2.7.0	pyodbc	5.0.1
pyparsing	3.0.9	パイライト	1.1.294	Python-dateutil	2.9.0.投稿0
Python-lsp-jsonrpc	1.1.2	Python-lsp-server	1.10.0	pytoolconfig(ピーツールコンフィグ)	1.2.6
pytz	2024.1	PyYAML (英語)	6.0.1	ピズム	25.1.2
要求	2.32.2	縄	1.12.0	rsa	4.9
S3トランスファー	0.10.2	scikit-learn	1.4.2	scipy	1.13.1
シーボーン	0.13.2	setuptools	74.0.0	six	1.16.0
SMMAPの	5.0.0	sqlparse	0.5.1	ssh-import-id	5.11
スタックデータ	0.2.0	statsmodels	0.14.2	持久力	8.2.2
threadpoolctl	2.2.0	トークン化-RT	4.2.1	トムリ	2.0.1
竜巻	6.4.1	トレイトレット	5.14.3	タイプガード	4.3.0
タイプ-protobuf	3.20.3	タイプ-psutil	5.9.0	タイプ-pytz	2023.3.1.1
タイプ-PyYAML	6.0.0	タイプ-リクエスト	2.31.0.0	types-setuptools	68.0.0.0
タイプ-6	1.16.0	タイプ-urllib3	1.26.25.14	typing_extensions	4.11.0
ujson	5.10.0	無人アップグレード	0.1	urllib3 の	1.26.16
virtualenv	20.26.2	ワドリブ	1.3.6	WC幅	0.2.5
パッチ	1.0.2	輪	0.43.0	ラッピング	1.14.1
ヤップ	0.33.0	ジップ	3.17.0

インストールされている R ライブラリ

R ライブラリは、2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
矢	16.1.0	アスクパス	1.2.0	assertthat	0.2.1
バックポート	1.5.0	基	4.4.0	base64enc	0.1-3
bigDの	0.2.0	bit	4.0.5	ビット64	4.0.5
ビットプス	1.0-8	ブロッブ	1.2.4	ブート	1.3-30
醸成	1.0-10	ブリオ	1.1.5	箒	1.0.6
bslibの	0.8.0	カケム	1.1.0	コール	3.7.6
キャレット	6.0-94	セルレンジャー	1.1.0	クロン	2.3-61
クラス	7.3-22	CLI	3.6.3	clipr	0.8.0
時計	0.7.1	クラスター	2.1.6	コードツール	0.2-20
カラースペース	2.1-1	コモンマーク	1.9.1	コンパイラ	4.4.0
コンフィグ	0.3.2	競合	1.2.0	CPP11の	0.4.7
クレヨン	1.5.3	credentials	2.0.1	Curl	5.2.1
データ.テーブル	1.15.4	データセット	4.4.0	DBI	1.2.3
dbplirの	2.5.0	DESC	1.4.3	開発ツール	2.4.5
ダイアグラム	1.6.5	ディフobj	0.3.5	ダイジェスト	0.6.36
ダウンライト	0.4.4	dplyrの	1.1.4	DTPLyr	1.3.1
E1071	1.7-14	省略記号	0.3.2	評	0.24.0
ファンシ	1.0.6	ファーバー	2.1.2	ファストマップ	1.2.0
フォントオーサム	0.5.2	フォーキャッツ	1.0.0	For each	1.5.2
外部	0.8-86	鍛える	0.2.0	fs	1.6.4
未来	1.34.0	future.お申込み	1.11.2	嗽	1.5.2
ジェネリック	0.1.3	ゲルト	2.1.0	ggplot2の	3.5.1
gh	1.4.1	ギット2R	0.33.0	ギットレッズ	0.1.2
glmnet	4.1-8	グローバル	0.16.3	膠	1.7.0
グーグルドライブ	2.1.1	グーグルシート4	1.1.1	ガウアー	1.0.1
グラフィックス	4.4.0	grDevicesの	4.4.0	グリッド	4.4.0
グリッドエクストラ	2.3	gsubfnの	0.7	GT	0.11.0
GTABLE(GTABLE)	0.3.5	ヘルメット	1.4.0	避難所	2.5.4
高い	0.11	HMSの	1.1.3	htmlツール[htmltools]	0.5.8.1
htmlウィジェット	1.6.4	httpuv	1.6.15	httr	1.4.7
HTTR2	1.0.2	ids	1.0.1	イニ	0.3.1
イプレッド	0.9-15	アイソバンド	0.2.7	反復 子	1.0.14
jquerylib	0.1.4	jsonlite	1.8.8	ジューシージュース	0.1.0
カーンスムース	2.23-22	ニット	1.48	ラベリング	0.4.3
あとで	1.3.2	格子	0.22-5	溶岩	1.8.0
ライフサイクル	1.0.4	リッスン	0.9.1	ルブリデート	1.9.3
マグリット	2.0.3	Markdown	1.13	質量	7.3-60.0.1
マトリックス	1.6-5	メモ	2.0.1	メソッド	4.4.0
mgcv	1.9-1	マイム	0.12	ミニUI	0.1.1.1
MLflow	2.14.1	モデルメトリクス	1.2.2.2	モデラー	0.1.11
マンセル	0.5.1	nlme	3.1-165	ネット	7.3-19
numDerivの	2016.8-1.1	オープンSSL	2.2.0	並列	4.4.0
並行して	1.38.0	柱	1.9.0	pkgbuild の	1.4.4
pkgconfig	2.0.3	pkgdown (英語)	2.1.0	pkgload(パッケージロード)	1.4.0
plogrの	0.2.0	プライル	1.8.9	褒める	1.0.0
プリティユニット	1.2.0	pROC	1.18.5	プロセスX	3.8.4
製品	2024.06.25	プロヴィス	0.3.8	経過	1.2.3
プログレッサー	0.14.0	約束	1.3.0	プロト	1.0.0
プロキシ	0.4-27	PS	1.7.7	ゴロゴロ	1.0.2
R6の	2.5.1	ラグ	1.3.2	ランダムフォレスト	4.7-1.1
ラプディレクトリ	0.3.3	rcmdcheckの	1.4.0	RColorブリューワー	1.1-3
Rcpp	1.0.13	RcppEigen	0.3.4.0.0	反応可能	0.4.4
リアクターR	0.6.0	読み取り	2.1.5	readxlの	1.4.3
レシピ	1.1.0	再戦	2.0.0	再戦2	2.1.2
リモコン	2.5.0	レプレックス	2.1.1	形状変更2	1.4.4
ラン	1.1.4	rmarkdown	2.27	RODBC	1.3-23
リオキシジェン2	7.3.2	rpart	4.1.23	rprojroot さん	2.0.4
サーブ	1.8-13	RSQLite (英語)	2.3.7	rstudioapi	0.16.0
rversions	2.1.2	アヴェスト	1.0.4	サス	0.4.9
秤	1.3.0	セレクタ	0.4-2	セッション情報	1.2.2
形	1.4.6.1	shiny	1.9.1	ソースツール	0.1.7-1
sparklyr	1.8.6	SparkR	3.5.0	空間的	7.3-17
スプライン	4.4.0	sqldf	0.4-11	スクエアム	2021.1
統計	4.4.0	統計4	4.4.0	ストリンギ	1.8.4
ストリンガー	1.5.1	生存	3.6-4	闊歩	5.17.14.1
SYSの	3.4.2	システムフォント	1.1.0	tcltk	4.4.0
テストを	3.2.1.1	テキストシェーピング	0.4.0	ティブル	3.2.1
ティディル	1.3.1	ティディセレクト	1.2.1	tidyvere	2.0.0
時間変更	0.3.0	日時	4032.109	タイニーテックス	0.52
ツール	4.4.0	tzdb	0.4.0	urlchecker(英語)	1.0.1
usethisさん	3.0.0	UTF8	1.2.4	ユーティリティ	4.4.0
UUIDの	1.2-1	V8の	4.4.2	vctrs	0.6.5
viridisライト	0.4.2	ブルーム	1.6.5	ワルド	0.5.2
ウイスカー	0.4.1	ウィザー	3.0.1	xfun	0.46
xml2	1.3.6	xopen(オーペン)	1.0.1	エクステーブル	1.8-4
ヤムラ	2.3.10	ジーロット	0.1.0	郵便番号	2.3.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.12.638
com.amazonawsの	aws-java-sdk-cloudformation	1.12.638
com.amazonawsの	aws-java-sdk-cloudfront	1.12.638
com.amazonawsの	aws-java-sdk-cloudhsm	1.12.638
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.12.638
com.amazonawsの	aws-java-sdk-cloudtrail	1.12.638
com.amazonawsの	aws-java-sdk-cloudwatch	1.12.638
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.12.638
com.amazonawsの	aws-java-sdk-コードデプロイ	1.12.638
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.12.638
com.amazonawsの	aws-java-sdk-cognitosync	1.12.638
com.amazonawsの	aws-java-sdk-configの	1.12.638
com.amazonawsの	aws-java-sdk-コア	1.12.638
com.amazonawsの	aws-java-sdk-データパイプライン	1.12.638
com.amazonawsの	aws-java-sdk-directconnectの	1.12.638
com.amazonawsの	aws-java-sdkディレクトリ	1.12.638
com.amazonawsの	aws-java-sdk-ダイナモDB	1.12.638
com.amazonawsの	aws-java-sdk-ec2 の	1.12.638
com.amazonawsの	aws-java-sdk-ecsの	1.12.638
com.amazonawsの	aws-java-sdk-efs	1.12.638
com.amazonawsの	aws-java-sdk-elasticache	1.12.638
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.12.638
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.12.638
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.12.638
com.amazonawsの	aws-java-sdk-emr	1.12.638
com.amazonawsの	aws-java-sdk-glacier	1.12.638
com.amazonawsの	aws-java-sdk-グルー	1.12.638
com.amazonawsの	aws-java-sdk-iam	1.12.638
com.amazonawsの	aws-java-sdk-importexport	1.12.638
com.amazonawsの	aws-java-sdk-キネシス	1.12.638
com.amazonawsの	aws-java-sdk-kmsの	1.12.638
com.amazonawsの	aws-java-sdk-ラムダ	1.12.638
com.amazonawsの	aws-java-sdk-logs	1.12.638
com.amazonawsの	aws-java-sdk-機械学習	1.12.638
com.amazonawsの	aws-java-sdk-opsworks	1.12.638
com.amazonawsの	aws-java-sdk-rds	1.12.638
com.amazonawsの	aws-java-sdk-レッドシフト	1.12.638
com.amazonawsの	aws-java-sdk-ルート53	1.12.638
com.amazonawsの	aws-java-sdk-s3 の	1.12.638
com.amazonawsの	aws-java-sdk-ses	1.12.638
com.amazonawsの	aws-java-sdk-simpledb	1.12.638
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.12.638
com.amazonawsの	aws-java-sdk-snsの	1.12.638
com.amazonawsの	aws-java-sdk-sqs	1.12.638
com.amazonawsの	aws-java-sdk-ssm	1.12.638
com.amazonawsの	aws-java-sdk-storagegateway	1.12.638
com.amazonawsの	aws-java-sdk-sts	1.12.638
com.amazonawsの	aws-java-sdk-サポート	1.12.638
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.12.638
com.amazonawsの	jmespath-java	1.12.638
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	Databricks の SDK の java	0.27.0
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.15.2
com.fasterxml.jackson.core	ジャクソンコア	2.15.2
com.fasterxml.jackson.core	ジャクソン-データバインド	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-yaml	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JSR310	2.16.0
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.15.2
com.fasterxml.jackson.module	ジャクソンモジュール-scala_2.12	2.15.2
com.github.ben-manes.caffeine	カフェイン	2.9.3
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1-ネイティブ
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64	1.1-ネイティブ
com.github.luben	ZSTD-JNI	1.5.5-4
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.10.1
com.google.crypto.tink	ティンク	1.9.0
com.google.errorが発生しやすい	error_prone_annotations	2.10.0
com.google.flatbuffers	フラットバッファ-Java	23.5.26
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	3.25.1
com.helger	プロファイラー	1.1.1
com.ibm.icu	ICU4Jの	75.1
com.jcraftの	jsch	0.1.55
com.jolboxの	ボーンカップ	0.8.0.リリース
com.lihaoyi	sourcecode_2月12日	0.1.9
com.microsoft.azure	azure-データレイク-store-sdk	2.3.9
com.microsoft.sqlserver	mssqlの-JDBC	11.2.2.JRE8
com.microsoft.sqlserver	mssqlの-JDBC	11.2.3.JRE8
com.ningの	圧縮-LZF	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.バインド	jaxb-コア	2.2.11
com.sun.xml.バインド	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.10.0
コム。囀る	chill_2.12	0.10.0
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.4.3
Scala-logging	Scala-logging_2.12	3.7.2
com.uberの	H3	3.7.3
com.univocityの	univocity-パーサー	2.9.1
com.zaxxerの	ひかりCP	4.0.3
コモンズCLI	コモンズCLI	1.5.0
コモンズコーデック	コモンズコーデック	1.16.0
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.5
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.13.0
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib さん	アーパック	3.0.3
dev.ludovic.netlib さん	ブラス	3.0.3
dev.ludovic.netlib さん	ラパック	3.0.3
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.27
io.delta	デルタシェアリング-client_2.12	1.2.2
io.dropwizard.メトリクス	メトリクスアノテーション	4.2.19
io.dropwizard.メトリクス	メトリクスコア	4.2.19
io.dropwizard.メトリクス	メトリクス-グラファイト	4.2.19
io.dropwizard.メトリクス	メトリクス-healthchecks	4.2.19
io.dropwizard.メトリクス	メトリクス-jetty9	4.2.19
io.dropwizard.メトリクス	メトリクス-JMX	4.2.19
io.dropwizard.メトリクス	メトリクス-JSON	4.2.19
io.dropwizard.メトリクス	メトリクス-JVM	4.2.19
io.dropwizard.メトリクス	メトリクスサーブレット	4.2.19
io.nettyの	netty-すべて	4.1.108.最終版
io.nettyの	netty-buffer	4.1.108.最終版
io.nettyの	netty-codec (英語)	4.1.108.最終版
io.nettyの	netty-codec-http	4.1.108.最終版
io.nettyの	netty-codec-http2	4.1.108.最終版
io.nettyの	netty-codec-socksの	4.1.108.最終版
io.nettyの	netty-共通	4.1.108.最終版
io.nettyの	netty-ハンドラ	4.1.108.最終版
io.nettyの	netty-handler-proxy	4.1.108.最終版
io.nettyの	netty-リゾルバ	4.1.108.最終版
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-DB-R16
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-db-r16-linux-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-db-r16-linux-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-db-r16-osx-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-db-r16-osx-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-db-r16-windows-x86_64
io.nettyの	netty-tcnative-クラス	2.0.61.ファイナル
io.nettyの	netty-トランスポート	4.1.108.最終版
io.nettyの	netty-transport-classes-epoll	4.1.108.最終版
io.nettyの	netty-transport-classes-kqueue	4.1.108.最終版
io.nettyの	netty-transport-native-epoll	4.1.108.最終版
io.nettyの	netty-transport-native-epoll	4.1.108.最終版-linux-aarch_64
io.nettyの	netty-transport-native-epoll	4.1.108.最終版-linux-riscv64
io.nettyの	netty-transport-native-epoll	4.1.108.最終版-linux-x86_64
io.nettyの	netty-transport-native-kqueue	4.1.108.最終版 - OSX - aarch_64
io.nettyの	netty-transport-native-kqueue	4.1.108.ファイナル-OSX-x86_64
io.nettyの	netty-transport-native-unix-common	4.1.108.最終版
io.プロメテウス	シンプルクライアント	0.7.0
io.プロメテウス	simpleclient_common	0.7.0
io.プロメテウス	simpleclient_dropwizard	0.7.0
io.プロメテウス	simpleclient_pushgateway	0.7.0
io.プロメテウス	simpleclient_servlet	0.7.0
io.prometheus.jmx	収集家	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet (英語)	jakarta.servlet-api	4.0.3
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.11
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	漬ける	1.3
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.9.3
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.10.11
org.apache.ant	アントJSCH	1.10.11
org.apache.ant	アントランチャー	1.10.11
org.apache.arrow(アパッチ・アロー)	arrow-format	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-core	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-memory-netty	15.0.0
org.apache.arrow(アパッチ・アロー)	arrow-vector	15.0.0
org.apache.avro	AVRO	1.11.3
org.apache.avro	アブロIPC	1.11.3
org.apache.avro	アブロマップド	1.11.3
org.apache.commonsの	コモンズコレクション4	4.4
org.apache.commonsの	コモンズ圧縮	1.23.0
org.apache.commonsの	コモンズ-クリプト	1.1.0
org.apache.commonsの	コモンズ-LANG3	3.12.0
org.apache.commonsの	コモンズ-数学3	3.6.1
org.apache.commonsの	コモンズテキスト	1.10.0
org.apache.curator (英語)	キュレーター・クライアント	2.13.0
org.apache.curator (英語)	キュレーターフレームワーク	2.13.0
org.apache.curator (英語)	キュレーターレシピ	2.13.0
org.apache.datasketches (英語)	データスケッチ-Java	3.1.0
org.apache.datasketches (英語)	datasketches-memory	2.0.0
org.apache.derbyの	ダービー	10.14.2.0
org.apache.hadoop です。	hadoop クライアント ランタイム	3.3.6
org.apache.hive です。	ハイブビーライン	2.3.9
org.apache.hive です。	ハイブ CLI	2.3.9
org.apache.hive です。	ハイブ-JDBC	2.3.9
org.apache.hive です。	ハイブ - llap クライアント	2.3.9
org.apache.hive です。	ハイブ - llap - 共通	2.3.9
org.apache.hive です。	ハイブセルデ	2.3.9
org.apache.hive です。	ハイブシム	2.3.9
org.apache.hive です。	ハイブストレージAPI	2.8.1
org.apache.hive.shims	ハイブシム-0.23	2.3.9
org.apache.hive.shims	ハイブシム-共通	2.3.9
org.apache.hive.shims	ハイブシムススケジューラ	2.3.9
org.apache.httpコンポーネント	httpクライアント	4.5.14
org.apache.httpコンポーネント	httpコア	4.4.16
org.apache.ivy	蔦	2.5.2
org.apache.logging.log4j	ログ4J-1.2-API	2.22.1
org.apache.logging.log4j	ログ4J-API	2.22.1
org.apache.logging.log4j	log4j-コア	2.22.1
org.apache.logging.log4j	log4j-layout-template-JSON	2.22.1
org.apache.logging.log4j	log4j-slf4j2-impl	2.22.1
org.apache.orc	オークコア	1.9.2-シェード-protobuf
org.apache.orc	orc-mapreduce	1.9.2-シェード-protobuf
org.apache.orc	オークシム	1.9.2
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.ws.xmlスキーマ	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded (英語)	4.23
org.apache.yetus (英語)	オーディエンスアノテーション	0.13.0
org.apache.zookeeper	動物園の飼育係	3.9.2
org.apache.zookeeper	動物園の飼育係ジュート	3.9.2
org.checkerフレームワーク	チェッカークォール	3.31.0
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
org.Eclipse.collections	Eclipseコレクション	11.1.0
org.Eclipse.collections	Eclipse-collections-api	11.1.0
組織Eclipse.jetty	桟橋クライアント	9.4.52.v20230823
組織Eclipse.jetty	桟橋の続き	9.4.52.v20230823
組織Eclipse.jetty	桟橋-HTTP	9.4.52.v20230823
組織Eclipse.jetty	桟橋-IO	9.4.52.v20230823
組織Eclipse.jetty	桟橋-JNDI	9.4.52.v20230823
組織Eclipse.jetty	桟橋プラス	9.4.52.v20230823
組織Eclipse.jetty	桟橋プロキシ	9.4.52.v20230823
組織Eclipse.jetty	桟橋警備	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーバー	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util-ajax	9.4.52.v20230823
組織Eclipse.jetty	桟橋-webapp	9.4.52.v20230823
組織Eclipse.jetty	桟橋XML	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-クライアント	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-共通	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーバー	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーブレット	9.4.52.v20230823
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.40
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.40
org.glassfish.jersey.coreの	ジャージークライアント	2.40
org.glassfish.jersey.coreの	ジャージー共通	2.40
org.glassfish.jersey.coreの	ジャージーサーバー	2.40
org.glassfish.jersey.inject	ジャージ-HK2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.ファイナル
org.ini4jの	ini4j(イニ4J)	0.5.4
org.javassist	ジャバス奏者	3.29.2-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.jetbrainsの	注釈	17.0.0
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.7.0-M11
org.json4sの	json4s-core_2.12	3.7.0-M11
org.json4sの	json4s-jackson_2.12	3.7.0-M11
org.json4sの	json4s-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Javaの	1.8.0-データブリックス-1
org.mlflowの	mlflow-spark_2.12	2.9.1
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.6.1
org.roaringbitmap	ロアリングビットマップ	0.9.45-データブリック
org.roaringbitmap	シム	0.9.45-データブリック
org.rocksdbの	ロックスDBJNI	9.2.1
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.15
組織Scala-lang	Scala-library_2.12	2.12.15
組織Scala-lang	Scala-reflect_2.12	2.12.15
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.11.0
組織Scala-lang.modules	Scala-java8-compat_2.12	0.9.1
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.16
org.scalanlp	そよ風-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatestの	scalatest対応	3.2.16
org.scalatestの	scalatest-core_2.12	3.2.16
org.scalatestの	scalatest-diagrams_2.12	3.2.16
org.scalatestの	scalatest-featurespec_2.12	3.2.16
org.scalatestの	scalatest-flatspec_2.12	3.2.16
org.scalatestの	scalatest-freespec_2.12	3.2.16
org.scalatestの	scalatest-funspec_2.12	3.2.16
org.scalatestの	scalatest-funsuite_2.12	3.2.16
org.scalatestの	scalatest-matchers-core_2.12	3.2.16
org.scalatestの	scalatest-mustmatchers_2.12	3.2.16
org.scalatestの	scalatest-propspec_2.12	3.2.16
org.scalatestの	scalatest-refspec_2.12	3.2.16
org.scalatestの	scalatest-shouldmatchers_2.12	3.2.16
org.scalatestの	scalatest-wordspec_2.12	3.2.16
org.scalatestの	scalatest_2.12	3.2.16
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	7月-slf4j	2.0.7
org.slf4j	SLF4J-APIの	2.0.7
org.slf4j	SLF4J-シンプル	1.7.25
org.threetenさん	スリーテンエクストラ	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	スパイア-macros_2.12	0.17.0
org.typelevel	スパイア-platform_2.12	0.17.0
org.typelevel	スパイア-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	ワイルドフライ-openssl	1.1.3.ファイナル
org.xerial	sqlite-JDBC の	3.42.0.0
org.xerial.snappy(英語)	スナッピージャワ	1.1.10.3
org.yaml の	スネークヤム	2.0
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.cryptools	AmazonCorrettoCryptoProvider	2.4.1-linux-x86_64
スタックス	スタックス-API	1.0.1