Databricks Runtime 14.2 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートでは、Databricks Runtime Apache Spark3.5.0 を搭載した 14.2 に関する情報を提供しています。

Databricks は 2023 年 11 月にこのバージョンをリリースしました。

注記

これらのリリースノートには、このリリースの時点で Google Cloud で利用できない機能への参照が含まれている場合があります。

ヒント

サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

新機能と改善点

• CACHE SELECT は無視されるようになりました
• キャッシュ動作の改善
• DML コマンドでの破損したファイル処理を修正
• 共有クラスターにおける protobuf および Avro 関連関数の Schema Registry のサポート
• foreachBatch および StreamingListener サポート
• 行レベルの同時実行は一般公開され、デフォルトでオンになっています
• Delta Sharing: 受信者は、削除ベクトルを使用して共有テーブルに対してバッチ、CDF、ストリーミング クエリを実行できます (パブリック プレビュー)
• シャロークローン for Unity Catalog 外部テーブル (パブリック プレビュー)
• 新しいディスク キャッシュ割り当てアルゴリズム
• 共有クラスターでの Python スカラーユーザー定義関数のサポート (パブリック プレビュー)
• from_avro スキーマレジストリコネクタにより、スキーマ進化のサポートが追加されました
• マルチスレッド統計収集の高速化
• Delta ファイルの DeltaSource のプッシュダウン フィルター
• 共有クラスターでの Scala スカラーユーザー定義関数のサポート (パブリック プレビュー)

CACHE SELECT が無視されるようになりました

SQL コマンド CACHE SELECT は無視され、キャッシング・アルゴリズムが改善されました。 「Databricks でのキャッシュによるパフォーマンスの最適化」を参照してください。

キャッシュ動作の改善

Spark スケジューラによる DiskCache の配置により、パーティションの割り当てが高速化され、クラスター オートスケール中のバランスが改善され、クエリの実行の一貫性が向上しました。

DML コマンドでの破損したファイル処理を修正

DML コマンド DELETE、 UPDATE、および MERGE INTO は、読み取りオプション ignoreCorruptFiles と ignoreMissingFilesを考慮しなくなりました。 テーブル内で読み取り不能なファイルが検出された場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。

共有クラスターでのprotobufおよび Avro 関連関数のスキーマレジストリのサポート

これで、共有クラスターの Schema Registry で from_avro、to_avro、from_protobuf、および to_protobuf Python 関数を使用できるようになりました。

foreachBatch および StreamingListener のサポート

これで、共有クラスターでforeachBatch()とStreamingListener APIs を構造化ストリーミングで使用できるようになりました。 「foreachBatch を使用して任意のデータ シンクに書き込む」および「Databricksでのモニタリング 構造化ストリーミング クエリ」を参照してください。

行レベルの同時実行性は、デフォルトによって一般公開され、オンになっています

行レベルの同時実行性は、行レベルで変更を検出することにより、並列書き込み操作間の競合を減らします。 行レベルの同時実行性は、パーティション分割のないテーブル (リキッドクラスタリングのあるテーブルを含む) でのみサポートされます。 行レベルの同時実行性は、削除ベクトルが有効になっている Delta テーブルでデフォルトによって有効になります。 「行レベルの同時実行性との書き込みの競合」を参照してください。

Delta Sharing: 受信者は、削除ベクトルを使用して共有テーブルに対してバッチ、CDF、ストリーミング クエリを実行できます (パブリック プレビュー)

Delta Sharing の受信者は、削除ベクトルを使用する共有テーブルに対してバッチ、CDF、ストリーミング クエリを実行できるようになりました。 Databricks Runtime 14.1 では、バッチ クエリのみを実行できます。 「削除ベクトルまたは列マッピングを持つテーブルを共有に追加する」、「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」、および「削除ベクトルまたは列マッピングが有効になっているテーブルを読み取る」を参照してください。

シャロークローン for Unity Catalog 外部テーブル (パブリック プレビュー)

これで、 Unity Catalog 外部テーブルでシャロークローンを使用できるようになりました。 Unity Catalogテーブルについては、シャロークローンを参照してください。

新しいディスク キャッシュ割り当てアルゴリズム

Spark スケジューラは、新しいディスク キャッシュ アルゴリズムを使用するようになりました。 このアルゴリズムにより、ノード間のディスク使用量とパーティション割り当てが改善され、クラスター スケーリング イベントの最初と後の両方で割り当てが高速化されます。 スティッカー キャッシュの割り当てにより、実行間の一貫性が向上し、リバランス操作中に移動されるデータが削減されます。

共有クラスターでの Python スカラーユーザー定義関数のサポート (パブリック プレビュー)

共有アクセス・モードで構成されたクラスターで Python スカラー・ユーザー定義関数を使用できるようになりました。 ユーザー定義のスカラー関数 - Pythonを参照してください。

スキーマレジストリコネクタを使用したfrom_avroにより、スキーマ進化のサポートが追加されました

進化したレコードが検出されたときにパイプラインを再起動できるようになりました。 以前は、 from_avro コネクタでスキーマの進化が発生した場合、新しい列は nullを返します。 ストリーミング Avro データの読み取りと書き込みを参照してください。

マルチスレッド統計収集の高速化

統計の収集は、小規模なクラスターで CONVERT TO DELTA を実行したり、 Iceberg テーブルや Parquet テーブルからクローニングしたりするときに、最大 10 倍高速になります。 「Delta Lake への変換」および「Parquet テーブルと Iceberg テーブルのクローン作成」を参照してください。

Delta ファイルの DeltaSource のプッシュダウン フィルター

使用率を向上させるために、Delta テーブルのストリーミング クエリのパーティション フィルターは、レート制限の前に Delta にプッシュダウンされるようになりました。

共有クラスターでの Scala スカラーユーザー定義関数のサポート (パブリック プレビュー)

共有アクセス モードで構成された Unity Catalog 対応クラスターで、 Scala スカラーユーザー定義関数を使用できるようになりました。 ユーザー定義のスカラー関数 - Scalaを参照してください。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:

  • FastJsonSchema 2.18.0 から 2.19.0 へ
  • 3.12.3 から 3.12.4 へのファイルロック
  • googleapis-common-protos を 1.60.0 から 1.61.0 に変更

• アップグレードされた R ライブラリ:

• アップグレードされた Java ライブラリ:

Apache Spark

Databricks Runtime 14.2 には Apache Spark 3.5.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 14.1 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。

• [SPARK-45592] [DBRRM-624] 「[SC-146977][sql] InMemoryTableScanExecを使用したAQEの正確性の問題」を元に戻す
• [SPARK-45524] [DBRRM-625] 「[SC-146319]Python][SQL] 初期サポートを元に戻す
• [SPARK-45433] [DBRRM-621] 「[SC-145163][sql] CSV/JSONスキーマの推論を修正」を元に戻す
• [SPARK-45592] [SC-146977][sql] InMemoryTableScanExecを使用したAQEの正確性の問題
• [スパーク-45354] 「[SC-143991][sql] 関数をボトムアップで解決」を元に戻す
• [SPARK-45680] [テスト専用][sasp-2347][CONNECT] テストを修正
• [SPARK-45680] [CONNECT]リリースセッション
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro読み取りの速度低下を修正
• [SPARK-45649] [SC-146742][sql] 準備フレームワークを統一 OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727]Python][SQL] JSON から StructType を作成
• [SPARK-45620] [SC-146225][]Python APIsPythonキャメルケースを使用するように UDTF に関連するユーザー向け を修正
• [SPARK-45727] [SC-146978][ss] ウォーターマーク伝播シミュレーションで未使用のマップを削除
• [SPARK-45723] [SC-146890]Python][CONNECT] カタログ方式で Pandas 変換が回避される
• [SPARK-45574] [SC-146106][sql] キャストの短縮形として:: 構文を追加
• [SPARK-45670] [SC-146725][core][3.5] K8sにデプロイする際にSparkSubmitが --total-executor-cores をサポートしない
• [SPARK-45661] [SC-146594][sql][Python] StructType、MapType、ArrayTypeにtoNullableを追加
• [SPARK-45524] [SC-146319]Python][SQL] Python データソースの読み取りAPIの初期サポート
• [SPARK-45542] [SC-145892][core] setSafeMode(HdfsConstants.SafeModeAction, boolean) を setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641] [sql] SPJ:動的フィルタリング後に空の入力パーティションを処理する
• [SPARK-45454] [SC-144846][sql] テーブルのデフォルト所有者を current_user に設定
• [SPARK-45554] [SC-146875] [Python] 柔軟なパラメーターを導入 assertSchemaEqual
• [SPARK-45242] [SC-143410][sql] DataFrame IDを使用してCollectMetricsをセマンティックに検証
• [SPARK-45674] [SC-146862][接続][]Python JVMSparkConnectの 依存属性のエラーメッセージを改善します。
• [SPARK-45646] [SC-146276][sql] Hive 2.0より前のハードコーディング時間変数を削除
• [SPARK-43380] [SC-146726][es-897115][SQL] Avro読み取りの速度低下を修正
• [SPARK-45545] [SC-146484][core] SparkTransportConfを作成する場所であればどこでもSSLOptionsを渡す
• [SPARK-45641] [SC-146260][ui] AllJobsPageにアプリケーションの開始時間を表示する
• [SPARK-40154] [SC-146491][Python][ドキュメント] Dataframe.cache docstringのストレージレベルを修正
• [SPARK-45626] [SC-146259][sql] _LEGACY_ERROR_TEMP_1055をREQUIRES_SINGLE_PART_NAMESPACEに変換する
• [SPARK-45507] [SC-145900][sql] COUNT集計を持つネストされた相関スカラーサブクエリの正確性の修正
• [SPARK-45619] [SC-146226][接続][Python] 観測されたメトリクスをObservationオブジェクトに適用
• [SPARK-45588] [SC-145909][protobuf][CONNECT][マイナー] StreamingForeachBatchHelperのScaladocの改善
• [SPARK-45616] [SC-146120][core] ThreadLocalsまたはSparkSessionを伝播しないParVectorを避ける
• [SPARK-45604] [SC-146105][sql] Parquet Vectorized ReaderのINT64 -> DateTime変換にLogicalTypeチェックを追加
• [SPARK-44649] [SC-145891][sql] Runtime フィルタが同等の作成側の式を渡すことをサポート
• [SPARK-41674] [SC-128408][sql] Runtime フィルターは、フィルター作成側としてマルチレベルシャッフル結合側をサポートする必要があります
• [SPARK-45547] [SC-146228][ml] 組み込み関数によるベクトルの検証
• [SPARK-45558] [SC-145890][ss] ストリーミングステートフルオペレーターのメタデータファイルを導入
• [SPARK-45618] [SC-146252][core] BaseErrorHandlerを削除
• [SPARK-45638] [SC-146251][sql][Avro] 10進数変換のテストカバレッジを改善
• [SPARK-44837] [SC-146020][sql] ALTER TABLE ALTER PARTITION 列の変更エラーメッセージ
• [SPARK-45561] [SC-146264][sql] MySQLDialectのTINYINTの適切な変換を追加
• [SPARK-45632] [SC-146255][sql] AQEを有効にするときに、テーブルキャッシュは不要なColumnarToRowを避けるべき
• [SPARK-45569] [SC-145932][sql] エラー_LEGACY_ERROR_TEMP_2152に名前を割り当てる
• [SPARK-44784] [SC-141015][接続] SBTテストを密閉します。
• [SPARK-45452] [SC-144836][sql] FileSystem.listFiles APIの使用InMemoryFileIndexを改善
• [SPARK-44735] [SC-146186][sql] 一致しない行ごとに同じ名前の列を挿入するときに警告メッセージを追加
• [SPARK-45351] [SC-144791][core] デフォルト値 spark.shuffle.service.db.backend ROCKSDBに変更
• [SPARK-45553] [SC-145906][ps] 非推奨 assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] DeterministicLevelをDeveloperApiとして公開
• [SPARK-45549] [SC-145895][core] 未使用の numExistingExecutors を削除 CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][connect] SparkThrowable プロトメッセージに SqlState を含める
• [SPARK-45595] [SC-146037] エラーメッセージでsqlstateが表示される
• [SPARK-45628] [SC-146123][ml] vector_to_array の改善 .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][sql][FOLLOW UP] AQE InSubqueryテストの結合条件の非相関化をオフにする
• [SPARK-45576] [SC-145883][core] ReloadingX509TrustManagerSuiteの不要なデバッグログを削除
• [SPARK-45485] [SC-145719][接続] ユーザーエージェントの改善：SPARK_CONNECT_USER_AGENT環境変数を使用し、環境固有の属性を含める
• [SPARK-45508] [SC-145513][core] 「–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED」を追加 プラットフォームがJava 9+でクリーナーにアクセスできるように
• 【スパーク-45595】 「[SC-146037] エラーメッセージでSQLSTATEを公開します」を元に戻します
• [SPARK-45595] [SC-146037] エラーメッセージでSQLSTATEを公開する
• 【スパーク-45112】 「[SC-143259][sql] 未解決の関数を使用...
• [SPARK-45257] [SC-143411][core] デフォルトで spark.eventLog.compress を有効にする
• [SPARK-45586] [SC-145899][sql] 大きな式ツリーを持つプランのコンパイラのレイテンシを削減
• [SPARK-45517] [SC-145691][接続][14.x] エラーフレームワークパラメーターをサポートするために、より多くの例外コンストラクターを拡張
• [SPARK-45581] [SC-145896] SQLSTATEを必須にする。
• [SPARK-45427] [SC-145590][core] RPC SSL設定をSSLOptionsおよびSparkTransportConfに追加
• [SPARK-45261] [SC-143357][core] noneをコーデックとして扱うようにEventLogFileWritersを修正
• [SPARK-45582] [SC-145897][ss] 出力モードのストリーミングアグリゲーション内でコミットを呼び出した後、ストアインスタンスが使用されないように確認
• [SPARK-45562] [SC-145720][sc-144650][SQL] XML: 'rowTag' を必須オプションにする
• [SPARK-45392] [SC-144362][core][SQL][ss] Class.newInstance() を Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][sql] タイムスタンプが指定されたtimestampFormatと一致しない場合のCSV/JSONスキーマ推論を修正
• [SPARK-45458] [SC-145011][sql] ビットごとの式でIllegalArgumentExceptionをSparkIllegalArgumentExceptionに変換する
• [SPARK-45564] [SC-145735][sql] 'DataFrameStatFunctions.bloomFilter' を 'BloomFilterAggregate' 式で簡略化
• [SPARK-45566] [SC-145777][ps] Spark上のPandas APIのPandasライクなテストユーティリティをサポート
• [SPARK-45498] [SC-145509][core] 補足情報: 古いステージからのタスク完了を無視する
• [SPARK-45483] [SC-145152][connect] connect.functionsの関数グループを修正
• [SPARK-45577] [SC-145781][Python] UserDefinedPythonTableFunctionAnalyzeRunnerが名前付き引数から折りたたまれた値を渡すように修正
• [SPARK-45009] [SC-138223][フォローアップ] AetherSQLQuerySuiteの結合条件の非相関をオフにする
• [SPARK-45415] [SC-145344] RocksDBステートストアの「fallocate」を選択的に無効化できるようにする
• [SPARK-45500] [SC-145134][core][WEBUI] マスターページに異常終了したドライバーの数を表示する
• [SPARK-44120] [SC-144349] [Python] サポート Python 3.12
• [SPARK-45439] [SC-145589][sql][UI] LiveStageMetrics.accumIdsToMetricTypeのメモリ使用量を削減します。
• [SPARK-45565] [SC-145717][ui] ステージ詳細のタスクリストに不要なJSON.stringifyおよびJSON.parseループがある
• [SPARK-45567] [SC-145718][connect] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#実行のifの冗長を削除
• [SPARK-45112] [SC-143259][sql] SQL データセット関数で UnresolvedFunction ベースの解像度を使用
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] リクエストadd_artifactべき等にする
• [SPARK-44913] [SC-144326][sql] DS V2は、マジックメソッドを持つプッシュダウンV2 UDFをサポートします
• [SPARK-45538] [SC-145635] [Python][CONNECT]PySpark connect overwrite_partitions バグ
• [SPARK-45491] [SC-145622] 欠落しているSQLSTATES 2/2を追加
• [SPARK-45009] [SC-145620][sc-138223][SQL] 結合条件で述語サブクエリを関連付け解除
• [SPARK-45377] [SC-144377][core] NettyLoggerでInputStreamを処理する
• [SPARK-45248] [SC-143759][core]spark uiサーバーのタイムアウトを設定
• [SPARK-44594] [SC-145611][ss] Kafka コネクタの冗長メソッドパラメーターを削除
• [SPARK-45539] [SC-145621][ss] アペンドモードでのストリーミング集計クエリにウォーターマーク定義が必要であることを示すために、アサートとログを追加
• [SPARK-44262] [SC-145639][sql] JdbcDialectに dropTable と getInsertStatement を追加
• [SPARK-45516] [SC-145480][接続] SparkThrowable プロトタイプ メッセージに QueryContext を含める
• [SPARK-45310] [SC-145127][core] デコミッション移行中にシャッフル ブロック ステータスをレポートでシャッフル サービスに準拠させる必要がある
• [SPARK-45521] [SC-145487] [ml] nnzの再計算を VectorAssembler
• [SPARK-45418] [SC-145485][sql][Python][connect] current_database()カラムエイリアスをcurrent_schema()に変更
• [SPARK-45116] [SC-145142][sql] JdbcDialectのパラメータにコメントを追加 createTable
• [SPARK-45495] [SC-145529][core] 動的割り当てが無効になっている場合に、k8sクラスターのステージレベルのタスクリソースプロファイルをサポート
• [SPARK-45487] [SC-145559] SQLSTATEと一時エラーを修正
• [SPARK-45505] [SC-145550][Python] analyzeInPythonを再利用可能にリファクタリング
• [SPARK-45132] [SC-145425][sql] 関数呼び出しの識別子を修正
• [SPARK-45213] [SC-145020][sql] エラー_LEGACY_ERROR_TEMP_2151に名前を割り当てる
• [SPARK-45416] [SC-145126][接続] Arrowの結果のサニティチェックの一貫性
• [SPARK-45163] [SC-143386][sql] UNSUPPORTED_VIEW_OPERATION と UNSUPPORTED_TABLE_OPERATION をマージし、一部の問題を修正
• [SPARK-45421] [SC-144814][sql] InlineCTEに対するAnalysisExceptionのキャッチ
• [SPARK-43664] [SC-145404][connect][PS] Spark ConnectでPandas-on-Sparkオブジェクトを持つ ps.sql の例外を発生させる。
• [SPARK-45402] [SC-145371][sql][Python] 以前の「analyze」結果を消費するための「eval」および「terminate」メソッドのUDTF API を追加
• [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQueryフレームワークを使用して、相関EXISTSおよびINサブクエリをサポート
• [SPARK-45383] [SC-144929][sql] 存在しないテーブルでのタイムトラベルのエラーメッセージを修正
• [SPARK-43254] [SC-143318][sql] エラー_LEGACY_ERROR_TEMP_2018に名前を割り当てる
• [SPARK-45204] [SC-145167][connect] オプションのExecuteHolderをSparkConnectPlannerに追加
• [SPARK-45451] [SC-145144][sql] データセットキャッシュのデフォルトストレージレベルを設定可能に
• [SPARK-45192] [SC-143194][ui] graphviz edgeの期限切れのlineInterpolateパラメーターを修正
• [SPARK-45467] [SC-145146][core] Proxy.getProxyClass() を Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] 配列アセンブラ機能トランスを追加
• [SPARK-44855] [SC-145226][接続] ExecuteGrpcResponseSenderをExecuteResponseObserverにアタッチするための小さな調整
• [SPARK-45398] [SC-144796][sql] Like式のsql()にESCAPEを追加
• [SPARK-45494] [SC-145129][core][Python] PythonWorkerUtils のバイト配列を読み書きする util 関数を導入
• [SPARK-45464] [SC-145125][core] ネットワーク糸配布ビルドを修正
• [SPARK-45461] [SC-144851][core][SQL][MLlib] StorageLevelのマッパーを導入
• [SPARK-45450] [SC-145009] [Python] PEP8 に従ってインポートを修正: PySpark.pandas と PySpark (コア)
• [SPARK-45475] [SC-145018][sql] DataFrame.foreachPartitionを使用 JdbcUtils の RDD.foreachPartition の代わりに
• [SPARK-45271] [SC-143778][sql] _LEGACY_ERROR_TEMP_1113をTABLE_OPERATIONにマージし、QueryCompilationErrorsの未使用のメソッドを削除
• [SPARK-45449] [SC-145013][sql] JDBCテーブルのキャッシュ無効化の問題
• [SPARK-45473] [SC-145017][sql] RoundBaseの誤ったエラーメッセージを修正
• [SPARK-43299] [SC-145022][ss][CONNECT] ScalaクライアントでStreamingQueryExceptionを変換
• [SPARK-45474] [SC-145014][core][WEBUI] MasterPage JSON APIでトップレベルのフィルタリングをサポート
• [SPARK-45205] [SC-145012][sql] CommandResultExec がイテレータメソッドをオーバーライドして、複数のジョブがトリガーされないようにする。
• [SPARK-45472] [SC-145004][ss] RocksDB 状態ストアがチェックポイントパスの存在を再確認する必要がない
• [SPARK-45470] [SC-145010][sql] ハイブオーク圧縮の種類の文字列値の貼り付けを避ける
• [SPARK-45448] [SC-144829][Python] PEP8: PySpark.testing、 PySpark。MLlib、 PySpark.リソース と PySpark.ストリーミング
• [SPARK-45446] [SC-144828][Python] PEP8 に従ってインポートを修正: PySpark.errors および PySpark.ml
• [SPARK-45239] [SC-144832][connect] デフォルトのspark.connect.jvmStacktrace.maxSizeを縮小
• [SPARK-45436] [SC-144831] [Python][CONNECT] DataFrame メソッドが同じセッションをチェックする
• [SPARK-45413] [SC-144847][core] 準備ドロップLevelDBサポートの警告を追加
• [SPARK-45462] [SC-144848][core][WEBUI] Duration を表示 ApplicationPage
• [SPARK-44527] [SC-144855][sql] maxRowsが0の場合、ScalarSubqueryをnullに置換
• [SPARK-45401] [SC-144854] [Python] UDTF インターフェイスに新しいメソッド cleanupを追加
• [SPARK-43704] [SC-144849][接続][PS] サポートMultiIndex to_series()
• [SPARK-45424] [SC-144888][sql] プレフィックスのみが一致する場合にTimestampFormatterがオプションの解析結果を返す問題を修正
• [SPARK-45441] [SC-144833] [Python] PythonWorkerUtils の util 関数を追加
• [SPARK-45412] [SC-144803]Python][CONNECT] プランとセッションを検証します。 DataFrame.__init__
• [SPARK-45408] [SC-144810][core] RPC SSL設定をTransportConfに追加
• [SPARK-45432] [SC-144818][core] 非推奨のHadoop-2 LocatedFileStatus コンストラクタを削除
• [SPARK-45434] [SC-144819][ml][CONNECT] LogisticRegressionがトレーニングラベルをチェック
• [SPARK-45420] [SC-144808][sql][Python][connect] DataType.fromDDLをPySparkに追加
• [SPARK-45406] [SC-144793][Python][CONNECT] コンストラクタからschemaを削除DataFrame
• [SPARK-45404] [SC-144799][core] 環境変数 AWS_ENDPOINT_URL をサポート
• [SPARK-43620] [SC-144792][接続][PS] サポートされていない機能に依存する Pandas APIs を修正
• [SPARK-45354] [SC-143991][sql] 関数のボトムアップ解決
• [SPARK-45394] [SASP-1480][sc-144712][Python][connect] アーティファクト の再試行を追加 API. エラー処理を改善します([SPARK-45093]のフォローアップ)。
• [SPARK-45120] [SC-142780][spark-45150][UI] d3をv3からv7(v7.8.5)にアップグレードし、UIでAPIの変更を適用
• [SPARK-44838] [SC-143983][sql] raise_errorの改善
• [SPARK-45312] [SC-143754][sql][UI] 実行ページでプランsvgの表示/非表示の切り替えをサポート
• [SPARK-45378] [SC-144448][core] convertToNettyForSslをManagedBufferに追加
• [SPARK-44762] [SC-144338][接続][CORE] SparkConnect.addJobTagおよび接続SparkSession.addTagのドキュメント
• [SPARK-45383] 未解決の RelationTimeTravel を適切に処理します
• [SPARK-45347] [SC-144512][sql][CONNECT] FetchErrorDetailsResponseにSparkThrowableを含める
• [SPARK-45012] [SC-141512][sql] CheckAnalysisはAnalysisExceptionでインライン化されたプランをスローすべきです
• [SPARK-45359] [SC-144336][Python][CONNECT] プランが無効な場合に例外を発生させDataFrame.{columns, colRegex, explain}
• [SPARK-45227] [SC-144233][core] CoarseGrainedExecutorBackendの微妙なスレッドセーフの問題を修正
• [SPARK-45266] [SC-144171][Python] テーブル引数の使用時に横方向の結合を遅らせるResolveFunctionsアナライザールールのリファクタリング
• [スパーク-45266] 「[SC-144171][Python] テーブル引数の使用時に横方向の結合を遅らせるために、ResolveFunctions アナライザーのルールをリファクタリングする」を元に戻す
• [SPARK-45371] [SC-144389][connect] Spark Connect Scalaクライアントのシェーディングの問題を修正
• [SPARK-45057] [SC-144214][core] keepReadLockがfalseの場合、読み取りロックの取得を回避します
• [SPARK-45385] [SC-144357][sql] 非推奨 spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] SQL設定を削除 spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][Python] テーブル引数の使用時に横方向の結合を遅らせるResolveFunctionsアナライザールールのリファクタリング
• [SPARK-45362] [SC-144198][Python] UDTF の 'eval' メソッドが PARTITION BY 式を消費する前に Python PARTITION BY 式を投影する
• [SPARK-45346] [SC-143925][sql] Parquetスキーマ推論は、スキーマをマージするときに大文字と小文字を区別するフラグを尊重する必要がある
• [SPARK-45341] [SC-143933][core] KVStore.javaのコメントのタイトルレベルを修正して、Java 17で sbt doc を正常に実行できるようにしました
• [SPARK-45334] [SC-143914][sql] parquetSchemaConverterの誤解を招くコメントを削除
• [SPARK-45337] [SC-143932][core] Scala 2.12のチェックを削除するためのリファクタリングAbstractCommandBuilder#getScalaVersion
• [SPARK-45329] [SC-143918] [Python][CONNECT] DataFrame メソッドが Pandas 変換をスキップする
• [SPARK-43662] [SC-143923][ps][CONNECT] Spark Connectでのサポートmerge_asof
• [SPARK-44126] [SC-143751][core] ターゲットエグゼキューターが廃止されたときにシャッフル移行の失敗数が増加しないようにする
• [SPARK-44550] [SC-119768][sql] ANSIの null IN (empty list) の正確性修正を有効にする
• [SPARK-45316] [SC-143783][core][SQL] 新しいパラメーター ignoreCorruptFiles/ignoreMissingFiles を HadoopRDD に追加し、 NewHadoopRDD
• [SPARK-45093] [SC-143414][接続][Python] addArtifactsクエリのエラー報告
• [SPARK-44756] [SC-143787][core] RetryingBlockTransferorが再試行の開始に失敗すると、エグゼキューターがハングアップする
• [SPARK-45333] [SC-143768][core] spark.eventLog.buffer.kbに関連する1ユニットの間違いを修正
• [SPARK-45317] [SC-143750][sql][CONNECT] 例外のスタックトレースでヌルファイル名を処理する
• [SPARK-45191] [SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeIdが列情報を追加
• [SPARK-45235] [SC-143314][接続][Python] マップと配列のパラメーターをサポート sql()
• [SPARK-45138] [SC-143309][ss] 新しいエラークラスを定義し、DFSへのチェックポイント状態が失敗した場合に適用します
• [SPARK-45297] [SC-143644][sql] SPARK-31827で追加されたdateformatterの回避策を削除
• [SPARK-44345] [SC-143593][core] シャッフル移行が有効な場合、 unknown shuffle map output ログレベルをWARNに下げる
• [SPARK-44463] [SC-143251][ss][CONNECT] Connect steaming のエラー処理を改善 Python ワーカー
• [SPARK-45207] [SC-143603][sql][CONNECT] Scalaクライアントのエラーエンリッチメントを実装
• [SPARK-45240] [SC-143602][sql][CONNECT] Pythonクライアントのエラーエンリッチメントを実装
• [SPARK-45216] [SC-143288][sql] 非決定論的なシードデータセットを修正 APIs
• [SPARK-45251] [SC-143419][connect] FetchErrorDetailsのclient_typeフィールドを追加
• [SPARK-45137] [SC-143001][connect] パラメーター化されたマップ/配列パラメーターをサポート sql()
• [SPARK-45224] [SC-143257] [Python] マップと配列を含む例をパラメーターとして追加 sql()
• [SPARK-44622] [SC-143205][sql][CONNECT] FetchErrorDetails RPCを実装
• [SPARK-45178] [SC-136089] ラッパーを使用するのではなく、サポートされていないソースでTrigger.AvailableNowの単一バッチを実行するためのフォールバック
• [SPARK-44823] [14.x][sc-142979][Python] 黒を23.9.1に更新し、誤ったチェックを修正します
• [SPARK-45078] [SC-142954][sql] ImplicitCastInputTypesが機能しない array_insert 修正
• [SPARK-44579] [SC-138428][sql] SQLExecutionのキャンセル時の割り込みをサポート
• [SPARK-45252] [SC-143371][core] コメント内の大なり記号/小なり記号をエスケープして、 sbt doc を正常に実行するようにします
• [SPARK-45189] [SC-142973][sql] TableIdentifierからUnresolvedRelationを作成するには、カタログフィールドを含める必要がある
• [SPARK-45229] [SC-143254][core][UI] MasterPageでSUBMITTEDステータスで待機しているドライバーの数を表示する
• [SPARK-43453]「[SC-143135][ps] concat``axis=1時にMultiIndexのnamesを無視する」を差し戻します。

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。 最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロード、 JDBC のダウンロード)。

「Databricks Runtime 14.2 メンテナンスの更新」を参照してください。

システム環境

• オペレーティングシステム :Ubuntu 22.04.3 LTSの
• Java の:Zulu 8.72.0.17-CA-linux64
• Scala : 2.12.15
• Pythonの :3.10.12
• R :4.3.1
• Delta Lake : 3.0.0

インストール済み Python ライブラリ

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
アニオ	3.5.0	アルゴン2-CFFI	21.3.0	argon2-cffi-結合	21.2.0
アストトークンズ	2.0.5	属性	22.1.0	バックコール	0.2.0
美しいスープ4	4.11.1	黒い	22.6.0	ブリーチ	4.1.0
ウィンカー	1.4	ボト3	1.24.28	ボトコア	1.27.96
認証	2022.12.7	cffi	1.15.1	シャルデ	4.0.0
文字セット・ノーマライザー	2.0.4	クリック	8.0.4	通信	0.1.2
コントルピー	1.0.5	暗号化手法	39.0.1	サーマルサイクラー	0.11.0
シトン	0.29.32	Databricks の SDK	0.1.6	DBUSPython	1.2.18
デバッグ	1.6.7	デコレータ	5.1.1	デフューズドXML	0.7.1
ディストリビューション	0.3.7	docstring-to-markdown	0.11	エントリポイント	0.4
実行	0.8.3	facets-概要	1.1.1	fastjsonスキーマ	2.19.0
ファイルロック	3.12.4	fonttools	4.25.0	googleapis-common-protos	1.61.0
grpcio	1.48.2	grpcio-ステータス	1.48.1	httplib2の	0.20.2
イドナ	3.4	importlib-metadata	4.6.4	ipykernel(英語)	6.25.0
アイパイソン	8.14.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
ジェダイ	0.18.1	ジープニー	0.7.1	ジンジャ2	3.1.2
jmespathの	0.10.0	ジョブリブ	1.2.0	jsonschema(jsonschema)	4.17.3
jupyter-クライアント	7.3.4	jupyter-server	1.23.4	jupyter_core	5.2.0
jupyterlab-pygmentsの	0.1.2	jupyterlab-widgetsの	1.0.0	キーリング	23.5.0
キウイソルバー	1.4.4	ローンチパッドリブ	1.10.16	lazr.restfulクライアント	0.14.4
lazr.uri です。	1.0.6	lxml の	4.9.1	マークアップセーフ	2.1.1
Matplotlib	3.7.0	matplotlib-インライン	0.1.6	マッケイブ	0.7.0
ミスチューン	0.8.4	もっと-itertools	8.10.0	mypy-extensions	0.4.3
NBクラシック	0.5.2	NBクライアント	0.5.13	NBコンバート	6.5.4
NBフォーマット	5.7.0	ネスト-アシンシオ	1.5.6	ノードenv	1.8.0
ノートブック	6.5.2	ノートブック	0.2.2	ナムピー	1.23.5
OAuthlib	3.2.0	包装	22.0	pandas	1.5.3
pandocフィルター	1.5.0	パルソ	0.8.3	パススペック	0.10.3
パッツィ	0.5.3	pexpect	4.8.0	ピクルシェア	0.7.5
枕	9.4.0	種	22.3.1	プラットフォームディレクトリ	2.5.2
Plotly	5.9.0	プラギー	1.0.0	prometheus-クライアント	0.14.1
プロンプトツールキット	3.0.36	プロトブフ	4.24.0	psutil の	5.9.0
サイコップ2	2.9.3	PTYPROCESSの	0.7.0	ピュア評価	0.2.2
ピアロー	8.0.0	pyarrow-ホットフィックス	0.4	pycparser	2.21
ピダンティック	1.10.6	パイフレーク	3.1.0	ピグメント	2.11.2
PyGObject	3.42.1	PyJWTの	2.3.0	pyodbc	4.0.32
pyparsing (英語)	3.0.9	パイライト	1.1.294	ピルシステント	0.18.0
Python-dateutil	2.8.2	Python-lsp-jsonrpc	1.1.1	Python-lsp-server	1.8.0
pytoolconfig(ピーツールコンフィグ)	1.2.5	ピッツ	2022.7	ピズム	23.2.0
要求	2.28.1	縄	1.7.0	S3トランスファー	0.6.2
Scikit-Learn	1.1.1	scipy(サイピー)	1.10.0	シーボーン	0.12.2
シークレットストレージ	3.3.1	Send2Trash(センド2トラッシュ)	1.8.0	セットアップツール	65.6.3
6	1.16.0	スニフィオ	1.2.0	スープふるい	2.3.2.投稿1
ssh-import-id	5.11	スタックデータ	0.2.0	統計モデル	0.13.5
持久力	8.1.0	テルミナド	0.17.1	スレッドプールctl	2.2.0
tinycss2	1.2.1	トークン化-RT	4.2.1	トムリ	2.0.1
竜巻	6.1	トレイトレット	5.7.1	typing_extensions	4.4.0
ujson	5.4.0	無人アップグレード	0.1	urllib3 の	1.26.14
virtualenv	20.16.7	ワドリブ	1.3.6	WC幅	0.2.5
webエンコーディング	0.5.1	websocket-クライアント	0.58.0	パッチ	1.0.2
輪	0.38.4	widgetsnb拡張機能	3.6.1	ヤップ	0.33.0
ジップ	1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ	バージョン	ライブラリ	バージョン	ライブラリ	バージョン
矢	12.0.1	アスクパス	1.1	assertthat	0.2.1
バックポート	1.4.1	基	4.3.1	base64enc	0.1-3
bit	4.0.5	ビット64	4.0.5	ブロッブ	1.2.4
ブート	1.3-28	醸成	1.0-8	ブリオ	1.1.3
箒	1.0.5	bslibの	0.5.0	カケム	1.0.8
コール	3.7.3	キャレット	6.0-94	セルレンジャー	1.1.0
クロン	2.3-61	クラス	7.3-22	CLI	3.6.1
clipr	0.8.0	時計	0.7.0	クラスター	2.1.4
コードツール	0.2-19	カラースペース	2.1-0	コモンマーク	1.9.0
コンパイラ	4.3.1	コンフィグ	0.3.1	競合	1.2.0
CPP11の	0.4.4	クレヨン	1.5.2	資格情報	1.3.2
Curl	5.0.1	データ.テーブル	1.14.8	データセット	4.3.1
DBI	1.1.3	dbplirの	2.3.3	DESC	1.4.2
開発ツール	2.4.5	ダイアグラム	1.6.5	ディフobj	0.3.5
ダイジェスト	0.6.33	ダウンライト	0.4.3	dplyrの	1.1.2
DTPLyr	1.3.1	E1071	1.7-13	省略記号	0.3.2
評	0.21	ファンシ	1.0.4	ファーバー	2.1.1
ファストマップ	1.1.1	フォントオーサム	0.5.1	フォーキャッツ	1.0.0
For each	1.5.2	外国の	0.8-82	鍛える	0.2.0
FSの	1.6.2	未来	1.33.0	future.お申込み	1.11.0
嗽	1.5.1	ジェネリック	0.1.3	ゲルト	1.9.2
ggplot2の	3.4.2	gh	1.4.0	ギットレッズ	0.1.2
glmnet	4.1-7	グローバル	0.16.2	膠	1.6.2
グーグルドライブ	2.1.1	グーグルシート4	1.1.1	ガウアー	1.0.1
グラフィックス	4.3.1	grDevicesの	4.3.1	グリッド	4.3.1
グリッドエクストラ	2.3	gsubfnの	0.7	GTABLE(GTABLE)	0.3.3
ヘルメット	1.3.0	避難所	2.5.3	高い	0.10
HMSの	1.1.3	htmlツール[htmltools]	0.5.5	htmlウィジェット	1.6.2
httpuv	1.6.11	httr	1.4.6	HTTR2	0.2.3
ids	1.0.1	イニ	0.3.1	イプレッド	0.9-14
アイソバンド	0.2.7	反復 子	1.0.14	jquerylib	0.1.4
jsonlite	1.8.7	カーンスムース	2.23-21	ニット	1.43
ラベリング	0.4.2	あとで	1.3.1	格子	0.21-8
溶岩	1.7.2.1	ライフサイクル	1.0.3	リッスン	0.9.0
ルブリデート	1.9.2	マグリット	2.0.3	Markdown	1.7
質量	7.3-60	マトリックス	1.5-4.1	メモ	2.0.1
メソッド	4.3.1	mgcv	1.8-42	マイム	0.12
ミニUI	0.1.1.1	モデルメトリクス	1.2.2.2	モデラー	0.1.11
マンセル	0.5.0	nlme	3.1-162	ネット	7.3-19
numDerivの	2016.8-1.1	オープンSSL	2.0.6	並列	4.3.1
並行して	1.36.0	柱	1.9.0	pkgbuild の	1.4.2
pkgconfig	2.0.3	pkgdown (英語)	2.0.7	pkgload(パッケージロード)	1.3.2.1
plogrの	0.2.0	プライル	1.8.8	褒める	1.0.0
プリティユニット	1.1.1	pROC	1.18.4	プロセスX	3.8.2
製品	2023.03.31	プロヴィス	0.3.8	経過	1.2.2
プログレッサー	0.13.0	約束	1.2.0.1	プロト	1.0.0
プロキシ	0.4-27	PS	1.7.5	ゴロゴロ	1.0.1
R2D3の	0.2.6	R6の	2.5.1	ラグ	1.2.5
ランダムフォレスト	4.7-1.1	ラプディレクトリ	0.3.3	rcmdcheckの	1.4.0
RColorブリューワー	1.1-3	Rcpp	1.0.11	RcppEigen	0.3.3.9.3
読み取り	2.1.4	readxlの	1.4.3	レシピ	1.0.6
再戦	1.0.1	再戦2	2.1.2	リモコン	2.4.2
レプレックス	2.0.2	形状変更2	1.4.4	ラン	1.1.1
rmarkdown	2.23	RODBC	1.3-20	リオキシジェン2	7.2.3
rpart	4.1.19	rprojroot さん	2.0.3	サーブ	1.8-11
RSQLite (英語)	2.3.1	rstudioapi	0.15.0	rversions	2.1.2
アヴェスト	1.0.3	サス	0.4.6	秤	1.2.1
セレクタ	0.4-2	セッション情報	1.2.2	形	1.4.6
shiny	1.7.4.1	ソースツール	0.1.7-1	sparklyr	1.8.1
空間的	7.3-15	スプライン	4.3.1	sqldf	0.4-11
スクエアム	2021.1	統計	4.3.1	統計4	4.3.1
ストリンギ	1.7.12	ストリンガー	1.5.0	生存	3.5-5
SYSの	3.4.2	システムフォント	1.0.4	tcltk	4.3.1
テストを	3.1.10	テキストシェーピング	0.3.6	ティブル	3.2.1
ティディル	1.3.0	ティディセレクト	1.2.0	ティディバース	2.0.0
時間変更	0.2.0	日時	4022.108	タイニーテックス	0.45
ツール	4.3.1	tzdb	0.4.0	urlchecker(英語)	1.0.1
usethisさん	2.2.2	UTF8	1.2.3	ユーティリティ	4.3.1
UUIDの	1.1-0	vctrs	0.6.3	viridisライト	0.4.2
ブルーム	1.6.3	ワルド	0.5.1	ウイスカー	0.4.1
ウィザー	2.5.0	xfun	0.39	XML2の	1.3.5
xopen(オーペン)	1.0.0	エクステーブル	1.8-4	ヤムラ	2.3.7
郵便番号	2.3.0

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID	アーティファクト ID	バージョン
アントル	アントル	2.7.7
com.amazonawsの	Amazon-kinesis-client	1.12.0
com.amazonawsの	aws-java-sdk-オートスケール	1.12.390
com.amazonawsの	aws-java-sdk-cloudformation	1.12.390
com.amazonawsの	aws-java-sdk-cloudfront	1.12.390
com.amazonawsの	aws-java-sdk-cloudhsm	1.12.390
com.amazonawsの	aws-java-sdk-cloudsearch(英語)	1.12.390
com.amazonawsの	aws-java-sdk-cloudtrail	1.12.390
com.amazonawsの	aws-java-sdk-cloudwatch	1.12.390
com.amazonawsの	aws-java-sdk-cloudwatchメトリクス	1.12.390
com.amazonawsの	aws-java-sdk-コードデプロイ	1.12.390
com.amazonawsの	aws-java-sdk-cognitoアイデンティティ	1.12.390
com.amazonawsの	aws-java-sdk-cognitosync	1.12.390
com.amazonawsの	aws-java-sdk-configの	1.12.390
com.amazonawsの	aws-java-sdk-コア	1.12.390
com.amazonawsの	aws-java-sdk-データパイプライン	1.12.390
com.amazonawsの	aws-java-sdk-directconnectの	1.12.390
com.amazonawsの	aws-java-sdkディレクトリ	1.12.390
com.amazonawsの	aws-java-sdk-ダイナモDB	1.12.390
com.amazonawsの	aws-java-sdk-ec2 の	1.12.390
com.amazonawsの	aws-java-sdk-ecsの	1.12.390
com.amazonawsの	aws-java-sdk-efs	1.12.390
com.amazonawsの	aws-java-sdk-elasticache	1.12.390
com.amazonawsの	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonawsの	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonawsの	aws-java-sdk-elasticトランスコーダー	1.12.390
com.amazonawsの	aws-java-sdk-emr	1.12.390
com.amazonawsの	aws-java-sdk-glacier	1.12.390
com.amazonawsの	aws-java-sdk-グルー	1.12.390
com.amazonawsの	aws-java-sdk-iam	1.12.390
com.amazonawsの	aws-java-sdk-importexport	1.12.390
com.amazonawsの	aws-java-sdk-キネシス	1.12.390
com.amazonawsの	aws-java-sdk-kmsの	1.12.390
com.amazonawsの	aws-java-sdk-ラムダ	1.12.390
com.amazonawsの	aws-java-sdk-logs	1.12.390
com.amazonawsの	aws-java-sdk-機械学習	1.12.390
com.amazonawsの	aws-java-sdk-opsworks	1.12.390
com.amazonawsの	aws-java-sdk-rds	1.12.390
com.amazonawsの	aws-java-sdk-レッドシフト	1.12.390
com.amazonawsの	aws-java-sdk-ルート53	1.12.390
com.amazonawsの	aws-java-sdk-s3 の	1.12.390
com.amazonawsの	aws-java-sdk-ses	1.12.390
com.amazonawsの	aws-java-sdk-simpledb	1.12.390
com.amazonawsの	aws-java-sdk-シンプルなワークフロー	1.12.390
com.amazonawsの	aws-java-sdk-snsの	1.12.390
com.amazonawsの	aws-java-sdk-sqs	1.12.390
com.amazonawsの	aws-java-sdk-ssm	1.12.390
com.amazonawsの	aws-java-sdk-storagegateway	1.12.390
com.amazonawsの	aws-java-sdk-sts	1.12.390
com.amazonawsの	aws-java-sdk-サポート	1.12.390
com.amazonawsの	aws-java-sdk-swf-ライブラリ	1.11.22
com.amazonawsの	aws-java-sdk-ワークスペース	1.12.390
com.amazonawsの	jmespath-java	1.12.390
com.clearspring.アナリティクス	stream	2.9.6
com.databricksの	サーブ	1.8-3
com.databricksの	Databricks の SDK の java	0.7.0
com.databricksの	ジェット3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapbのruntime_2.12	0.4.15-10
com.esotericソフトウェア	kryo-shaded(クリョシェード)	4.0.2
com.esotericソフトウェア	ミンログ	1.3.0
com.fasterxmlの	クラスメイト	1.3.4
com.fasterxml.jackson.core	ジャクソン-注釈	2.15.2
com.fasterxml.jackson.core	ジャクソンコア	2.15.2
com.fasterxml.jackson.core	ジャクソン-データバインド	2.15.2
com.fasterxml.jackson.dataformat	ジャクソン-データフォーマット-CBOR	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JODA	2.15.2
com.fasterxml.jackson.datatype	ジャクソン-データ型-JSR310	2.15.1
com.fasterxml.jackson.module	ジャクソン-モジュール-パラナマー	2.15.2
com.fasterxml.jackson.module	ジャクソンモジュール-Scala.12	2.15.2
com.github.ben-manes.caffeine	カフェイン	2.9.3
com.github.fommil (英語)	Jniloader	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1
com.github.fommil.netlib (英語)	native_ref-ジャワ	1.1-ネイティブ
com.github.fommil.netlib (英語)	native_system-Javaの	1.1
com.github.fommil.netlib (英語)	native_system-Javaの	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_ref-linux-x86_64	1.1-ネイティブ
com.github.fommil.netlib (英語)	netlib-native_system-linux-x86_64	1.1-ネイティブ
com.github.luben	ZSTD-JNI	1.5.5-4
com.github.wendykierp (英語)	JTransformsの	3.1
com.google.code.findbugs	JSR305	3.0.0
com.google.code.gson(英語)	gson	2.10.1
com.google.crypto.tink	ティンク	1.9.0
com.google.errorが発生しやすい	error_prone_annotations	2.10.0
com.google.flatbuffers	フラットバッファ-Java	1.12.0
com.google.guava	グアバ	15.0
com.google.protobuf	protobuf-java	2.6.1
com.helger	プロファイラー	1.1.1
com.jcraftの	jsch	0.1.55
com.jolboxの	ボーンカップ	0.8.0.リリース
com.lihaoyi	sourcecode_2月12日	0.1.9
com.microsoft.azure	azure-データレイク-store-sdk	2.3.9
com.microsoft.sqlserver	mssqlの-JDBC	11.2.2.JRE8
com.ningの	圧縮-LZF	1.1.2
com.sun.mail	javax.mail	1.5.2
com.sun.xml.バインド	jaxb-コア	2.2.11
com.sun.xml.バインド	jaxb-impl	2.2.11
com.tdunning	JSON	1.8
com.thoughtworks.paranamer	パラナマー	2.8
com.trueaccord.lensesの	lenses_2.12	0.4.12
コム。囀る	チルジャワ	0.10.0
コム。囀る	chill_2.12	0.10.0
コム。囀る	util-app_2.12	7.1.0
コム。囀る	util-core_2.12	7.1.0
コム。囀る	util-function_2.12	7.1.0
コム。囀る	util-jvm_2.12	7.1.0
コム。囀る	util-lint_2.12	7.1.0
コム。囀る	util-registry_2.12	7.1.0
コム。囀る	util-stats_2.12	7.1.0
com.タイプセーフ	コンフィグ	1.2.1
Scala-logging	Scala-logging_2.12	3.7.2
com.uberの	H3	3.7.3
com.univocityの	univocity-パーサー	2.9.1
com.zaxxerの	ひかりCP	4.0.3
コモンズCLI	コモンズCLI	1.5.0
コモンズコーデック	コモンズコーデック	1.16.0
コモンズコレクション	コモンズコレクション	3.2.2
コモンズ-DBCP	コモンズ-DBCP	1.4
コモンズファイルアップロード	コモンズファイルアップロード	1.5
commons-httpクライアント	commons-httpクライアント	3.1
コモンズ-IO	コモンズ-IO	2.13.0
コモンズ-ラング	コモンズ-ラング	2.6
コモンズロギング	コモンズロギング	1.1.3
コモンズプール	コモンズプール	1.5.4
dev.ludovic.netlib さん	アーパック	3.0.3
dev.ludovic.netlib さん	ブラス	3.0.3
dev.ludovic.netlib さん	ラパック	3.0.3
info.ganglia.gmetric4j	gmetric4jの	1.0.10
io.エアリフト	エアコンプレッサー	0.25
io.delta	デルタシェアリング-client_2.12	1.0.2
io.dropwizard.メトリクス	メトリクスアノテーション	4.2.19
io.dropwizard.メトリクス	メトリクスコア	4.2.19
io.dropwizard.メトリクス	メトリクス-グラファイト	4.2.19
io.dropwizard.メトリクス	メトリクス-healthchecks	4.2.19
io.dropwizard.メトリクス	メトリクス-jetty9	4.2.19
io.dropwizard.メトリクス	メトリクス-JMX	4.2.19
io.dropwizard.メトリクス	メトリクス-JSON	4.2.19
io.dropwizard.メトリクス	メトリクス-JVM	4.2.19
io.dropwizard.メトリクス	メトリクスサーブレット	4.2.19
io.nettyの	netty-すべて	4.1.96.ファイナル
io.nettyの	netty-buffer	4.1.96.ファイナル
io.nettyの	netty-codec (英語)	4.1.96.ファイナル
io.nettyの	netty-codec-http	4.1.96.ファイナル
io.nettyの	netty-codec-http2	4.1.96.ファイナル
io.nettyの	netty-codec-socksの	4.1.96.ファイナル
io.nettyの	netty-共通	4.1.96.ファイナル
io.nettyの	netty-ハンドラ	4.1.96.ファイナル
io.nettyの	netty-handler-proxy	4.1.96.ファイナル
io.nettyの	netty-リゾルバ	4.1.96.ファイナル
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.最終版-linux-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナル-OSX-aarch_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.ファイナルOSX-x86_64
io.nettyの	netty-tcnative-boringssl-static	2.0.61.Final-windows-x86_64
io.nettyの	netty-tcnative-クラス	2.0.61.ファイナル
io.nettyの	netty-トランスポート	4.1.96.ファイナル
io.nettyの	netty-transport-classes-epoll	4.1.96.ファイナル
io.nettyの	netty-transport-classes-kqueue	4.1.96.ファイナル
io.nettyの	netty-transport-native-epoll	4.1.96.ファイナル
io.nettyの	netty-transport-native-epoll	4.1.96.最終版 linux-aarch_64
io.nettyの	netty-transport-native-epoll	4.1.96.最終版 linux-x86_64
io.nettyの	netty-transport-native-kqueue	4.1.96.ファイナルOSX-aarch_64
io.nettyの	netty-transport-native-kqueue	4.1.96.ファイナルOSX-x86_64
io.nettyの	netty-transport-native-unix-common	4.1.96.ファイナル
io.プロメテウス	シンプルクライアント	0.7.0
io.プロメテウス	simpleclient_common	0.7.0
io.プロメテウス	simpleclient_dropwizard	0.7.0
io.プロメテウス	simpleclient_pushgateway	0.7.0
io.プロメテウス	simpleclient_servlet	0.7.0
io.prometheus.jmx	収集家	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet (英語)	jakarta.servlet-api	4.0.3
jakarta.validation(ジャカルタ検証)	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activationの	アクティベーション	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1.1
javax.transaction	トランザクションAPI	1.1
javax.xml.バインド	ヤックスビーAPI	2.2.11
ジャボリューション	ジャボリューション	5.5.1
ジェイライン	ジェイライン	2.14.6
ジョダタイム	ジョダタイム	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	漬ける	1.3
net.sf.jpam (英語)	JPAMの	1.1
net.sf.opencsv	opencsvの	2.3
net.sf.supercsv (英語)	スーパーCSV	2.2.0
ネット.スノーフレーク	snowflake-ingest-sdk	0.9.6
net.sourceforge.f2j (英語)	arpack_combined_all	0.1
org.acplt.remoteteaの	リモートTEA-ONCRPC	1.1.2
org.antlr	ST4の	4.0.4
org.antlr	antlrランタイム	3.5.2
org.antlr	antlr4ランタイム	4.9.3
org.antlr	文字列テンプレート	3.2.1
org.apache.ant	蟻	1.9.16
org.apache.ant	アントJSCH	1.9.16
org.apache.ant	アントランチャー	1.9.16
org.apache.arrow(アパッチ・アロー)	arrow-format	12.0.1
org.apache.arrow(アパッチ・アロー)	arrow-memory-core	12.0.1
org.apache.arrow(アパッチ・アロー)	arrow-memory-netty	12.0.1
org.apache.arrow(アパッチ・アロー)	arrow-vector	12.0.1
org.apache.avro	AVRO	1.11.2
org.apache.avro	アブロIPC	1.11.2
org.apache.avro	アブロマップド	1.11.2
org.apache.commonsの	コモンズコレクション4	4.4
org.apache.commonsの	コモンズ圧縮	1.23.0
org.apache.commonsの	コモンズ-クリプト	1.1.0
org.apache.commonsの	コモンズ-LANG3	3.12.0
org.apache.commonsの	コモンズ-数学3	3.6.1
org.apache.commonsの	コモンズテキスト	1.10.0
org.apache.curator (英語)	キュレーター・クライアント	2.13.0
org.apache.curator (英語)	キュレーターフレームワーク	2.13.0
org.apache.curator (英語)	キュレーターレシピ	2.13.0
org.apache.datasketches (英語)	データスケッチ-Java	3.1.0
org.apache.datasketches (英語)	datasketches-memory	2.0.0
org.apache.derbyの	ダービー	10.14.2.0
org.apache.hadoop です。	hadoop クライアント ランタイム	3.3.6
org.apache.hive です。	ハイブビーライン	2.3.9
org.apache.hive です。	ハイブ CLI	2.3.9
org.apache.hive です。	ハイブ-JDBC	2.3.9
org.apache.hive です。	ハイブ - llap クライアント	2.3.9
org.apache.hive です。	ハイブ - llap - 共通	2.3.9
org.apache.hive です。	ハイブセルデ	2.3.9
org.apache.hive です。	ハイブシム	2.3.9
org.apache.hive です。	ハイブストレージAPI	2.8.1
org.apache.hive.shims	ハイブシム-0.23	2.3.9
org.apache.hive.shims	ハイブシム-共通	2.3.9
org.apache.hive.shims	ハイブシムススケジューラ	2.3.9
org.apache.httpコンポーネント	httpクライアント	4.5.14
org.apache.httpコンポーネント	httpコア	4.4.16
org.apache.ivy	蔦	2.5.1
org.apache.logging.log4j	ログ4J-1.2-API	2.20.0
org.apache.logging.log4j	ログ4J-API	2.20.0
org.apache.logging.log4j	log4j-コア	2.20.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.20.0
org.apache.mesos	メソス	1.11.0-シェード-protobuf
org.apache.orc	オークコア	1.9.1-シェード-protobuf
org.apache.orc	orc-mapreduce	1.9.1-シェード-protobuf
org.apache.orc	オークシム	1.9.1
org.apache.thrift	libfb303の	0.9.3
org.apache.thrift	リブスリフト	0.12.0
org.apache.ws.xmlスキーマ	xmlschema-core	2.3.0
org.apache.xbean	xbean-asm9-shaded (英語)	4.23
org.apache.yetus (英語)	オーディエンスアノテーション	0.13.0
org.apache.zookeeper	動物園の飼育係	3.6.3
org.apache.zookeeper	動物園の飼育係ジュート	3.6.3
org.checkerフレームワーク	チェッカークォール	3.31.0
org.codehaus.jackson	ジャクソン-コア-ASL	1.9.13
org.codehaus.jackson	ジャクソン-マッパー-ASL	1.9.13
org.codehaus.janino	commons-コンパイラ	3.0.16
org.codehaus.janino	ジャニーノ	3.0.16
org.datanucleus (英語)	データ核-API-JDO	4.2.4
org.datanucleus (英語)	データ核コア	4.1.17
org.datanucleus (英語)	データ核-RDBMS	4.1.19
org.datanucleus (英語)	javax.jdo	3.2.0-m3
組織Eclipse.jetty	桟橋クライアント	9.4.52.v20230823
組織Eclipse.jetty	桟橋の続き	9.4.52.v20230823
組織Eclipse.jetty	桟橋-HTTP	9.4.52.v20230823
組織Eclipse.jetty	桟橋-IO	9.4.52.v20230823
組織Eclipse.jetty	桟橋-JNDI	9.4.52.v20230823
組織Eclipse.jetty	桟橋プラス	9.4.52.v20230823
組織Eclipse.jetty	桟橋プロキシ	9.4.52.v20230823
組織Eclipse.jetty	桟橋警備	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーバー	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋サーブレット	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util	9.4.52.v20230823
組織Eclipse.jetty	桟橋-util-ajax	9.4.52.v20230823
組織Eclipse.jetty	桟橋-webapp	9.4.52.v20230823
組織Eclipse.jetty	桟橋XML	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-api	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-クライアント	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-共通	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーバー	9.4.52.v20230823
組織Eclipse.jetty.websocket	websocket-サーブレット	9.4.52.v20230823
org.fusesource.leveldbjni	レベルdbjni-すべて	1.8
org.glassfish.hk2	HK2-API	2.6.1
org.glassfish.hk2	HK2ロケーター	2.6.1
org.glassfish.hk2	hk2-utilsの	2.6.1
org.glassfish.hk2	osgi-リソースロケーター	1.0.3
org.glassfish.hk2.external (英語)	AOPALLIANCE-再パッケージ化	2.6.1
org.glassfish.hk2.external (英語)	jakarta.inject です。	2.6.1
org.glassfish.jersey.containers	ジャージーコンテナサーブレット	2.40
org.glassfish.jersey.containers	ジャージーコンテナサーブレットコア	2.40
org.glassfish.jersey.coreの	ジャージークライアント	2.40
org.glassfish.jersey.coreの	ジャージー共通	2.40
org.glassfish.jersey.coreの	ジャージーサーバー	2.40
org.glassfish.jersey.inject	ジャージ-HK2	2.40
org.hibernate.validator	hibernate-validator	6.1.7.ファイナル
org.ini4jの	ini4j(イニ4J)	0.5.4
org.javassist	ジャバス奏者	3.29.2-GAの
org.jboss.logging	jboss-ロギング	3.3.2.ファイナル
org.jdbi	DBI	2.63.1
org.jetbrainsの	注釈	17.0.0
org.joda	ジョダ変換	1.7
org.jodd さん	ジョッドコア	3.5.2
org.json4sの	json4s-ast_2.12	3.7.0-M11
org.json4sの	json4s-core_2.12	3.7.0-M11
org.json4sの	json4s-jackson_2.12	3.7.0-M11
org.json4sの	json4s-scalap_2.12	3.7.0-M11
org.lz4	LZ4-Javaの	1.8.0
org.mariadb.JDBC	mariadb-java-クライアント	2.7.9
org.mlflowの	mlflow-spark	2.2.0
org.objenesis	オブジェネシス	2.5.1
org.postgresql	PostgreSQL	42.6.0
org.roaringbitmap	ロアリングビットマップ	0.9.45
org.roaringbitmap	シム	0.9.45
org.rocksdbの	ロックスDBJNI	8.3.2
org.rosuda.REngine	レンジン	2.1.0
組織Scala-lang	Scala-compiler_2.12	2.12.15
組織Scala-lang	Scala-Library.12	2.12.15
組織Scala-lang	Scala-reflect_2.12	2.12.15
組織Scala-lang.modules	Scalaコレクションcompat_2.12	2.9.0
組織Scala-lang.modules	Scala-parser-combinators_2.12	1.1.2
組織Scala-lang.modules	Scala-xml_2.12	1.2.0
組織Scala-sbt	テストインターフェース	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.2.15
org.scalanlp	そよ風-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatestの	scalatest対応	3.2.15
org.scalatestの	scalatest-core_2.12	3.2.15
org.scalatestの	scalatest-diagrams_2.12	3.2.15
org.scalatestの	scalatest-featurespec_2.12	3.2.15
org.scalatestの	scalatest-flatspec_2.12	3.2.15
org.scalatestの	scalatest-freespec_2.12	3.2.15
org.scalatestの	scalatest-funspec_2.12	3.2.15
org.scalatestの	scalatest-funsuite_2.12	3.2.15
org.scalatestの	scalatest-matchers-core_2.12	3.2.15
org.scalatestの	scalatest-mustmatchers_2.12	3.2.15
org.scalatestの	scalatest-propspec_2.12	3.2.15
org.scalatestの	scalatest-refspec_2.12	3.2.15
org.scalatestの	scalatest-shouldmatchers_2.12	3.2.15
org.scalatestの	scalatest-wordspec_2.12	3.2.15
org.scalatestの	scalatest_2.12	3.2.15
org.slf4j	jcl-over-slf4j	2.0.7
org.slf4j	7月-slf4j	2.0.7
org.slf4j	SLF4J-APIの	2.0.7
org.threetenさん	スリーテンエクストラ	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	スパイア-macros_2.12	0.17.0
org.typelevel	スパイア-platform_2.12	0.17.0
org.typelevel	スパイア-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	ワイルドフライ-openssl	1.1.3.ファイナル
org.xerial	sqlite-JDBC の	3.42.0.0
org.xerial.snappy(英語)	スナッピージャワ	1.1.10.3
org.yaml の	スネークヤム	2.0
オロ	オロ	2.0.8
pl.edu.icm	JLarge配列	1.5
ソフトウェア.Amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
ソフトウェア.Amazon.ion	イオンジャワ	1.0.2
スタックス	スタックス-API	1.0.1