メインコンテンツまでスキップ

Databricks Runtime 17.1 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、 「サポート終了履歴」を参照してください。サポートされているすべてのDatabricks Runtimeバージョンについては、 Databricks Runtimeリリースノートのバージョンと互換性」を参照してください。

次のリリース ノートには、 Apache Spark 4.0.0 を搭載したDatabricks Runtime 17.1 に関する情報が記載されています。

Databricks はこのバージョンを 2025 年 8 月にリリースしました。

新機能と改善点

拡張された空間 SQL 式と GEOMETRY および GEOGRAPHY データ型

空間クエリのパフォーマンスを向上させるために、組み込みのGEOMETRY列とGEOGRAPHY列に地理空間データを保存できるようになりました。このリリースでは、インポート、エクスポート、測定、構築、編集、検証、変換、空間結合によるトポロジ関係の決定などの関数を含む、80 を超える新しい空間 SQL 式が追加されています。ST 地理空間関数GEOGRAPHYタイプ、およびGEOMETRYタイプを参照してください。

再帰共通テーブル式(GA)

再帰共通テーブル式 (rCTE)が一般提供されました。自己参照 CTE を持つ階層型データをナビゲートするには rCTE を使用し、再帰的な関係をたどるにはUNION ALLを使用します。

Unity Catalog Pythonユーザー定義テーブル関数 (UDTF)

Unity CatalogにPython UDTF を登録して、一元的なガバナンスとSQLクエリ全体での再利用可能なロジックを実現できるようになりました。 Unity Catalog の Python ユーザー定義テーブル関数 (UDTF) を参照してください。

スキーマおよびカタログレベルのデフォルト照合のサポート

Databricks Runtime 17.1 でスキーマとカタログの照合順序を設定できるようになりました。 これにより、スキーマまたはカタログ内で作成されたすべてのオブジェクトに適用される照合を定義し、データ全体で一貫した照合動作を確保できます。

バッチUnity Catalog Python UDFの共有分離実行環境

同じ所有者を持つバッチUnity Catalog Python UDFは、安全に分離環境を共有できるようになりました。 これにより、起動する必要がある個別の環境の数が減り、パフォーマンスが向上し、メモリ使用量が削減されます。

UDF が常に完全に分離された環境で実行されるようにするには、 STRICT ISOLATION特性句を追加します。環境の分離を参照してください。

JSONオプションの扱いを改善 VARIANT

from_jsonおよびto_json関数は、最上位レベルのVARIANTスキーマを操作するときに JSON オプションを正しく適用するようになりました。これにより、サポートされている他のデータ型との動作の一貫性が確保されます。

display()はストリーミングModeをサポートします

リアルタイム トリガーを使用するストリーミング クエリでdisplay()関数を使用できます。このモードでは、 display()自動的にupdate出力モードを使用し、 updateではサポートされていないLIMIT句の追加を回避します。リアルタイムの応答性をより適切にサポートするために、表示の更新間隔もバッチ期間から切り離されています。

レートソースはストリーミングストリーミングModeをサポートします

構造化ストリーミングのレート ソースが議事トリガで動作するようになり、ストリーミング ストリーミングModeを使用してストリーミング パイプラインの連続データ生成が可能になります。

時間ベースのウィンドウでイベント時間タイマーがサポートされる

Databricks 、ストリーミングModeでの時間ベースのウィンドウ操作のためのイベント時間ベースのトリガーをサポートします。 これにより、リアルタイム ストリーミング クエリで遅延データとウォーターマークをより正確に処理できるようになります。

スカラーPython UDFはサービス資格情報をサポートします

スカラーPython UDF は、 Unity Catalogサービスの認証情報を使用して、外部のクラウド サービスに安全にアクセスできます。 これは、クラウドベースのトークン化、暗号化、秘密管理などの操作をデータ変換に直接統合するのに役立ちます。

スキーマリストの改善

Snowflake コネクタは、スキーマを一覧表示するためにSHOW SCHEMASコマンドではなくINFORMATION_SCHEMAテーブルを使用します。この変更により、以前のアプローチの 10,000 スキーマ制限がなくなり、多数のスキーマを持つデータベースのサポートが改善されます。

Redshift 書き込みにおける文字列列マッピングの改善

spark.writeを使用して Redshift にテーブルを書き込む場合、明示的な長さのない文字列の列はTEXTではなくVARCHAR(MAX)にマップされます。これにより、長い文字列を書き込むときにエラーが発生する可能性がある、 TEXT VARCHAR(256)として解釈する Redshift のデフォルトの動作が回避されます。

アクセス制御されたテーブルでの DDL、SHOW、DESCRIBE のサポート

DDLSHOWDESCRIBEなどの SQL コマンドは、専用クラスターを使用してきめ細かなアクセス制御が行われたテーブルで実行されるようになりました。アクセス制御を強制する必要がある場合、 Databricks読み取り、マージ、追加の場合と同様に、これらのコマンドをサーバーレス コンピュート経由でルーティングします。 DDL、SHOW、DESCRIBE、およびその他のコマンドのサポートを参照してください。

Photonライターのワイドスキーマのメモリ使用量を削減

Photon エンジンに機能強化が加えられ、ワイド スキーマのメモリ使用量が大幅に削減され、以前はメモリ不足エラーが発生していたシナリオに対処できるようになりました。

TIMESTAMP WITHOUT TIME ZONE構文のサポート

TIMESTAMP_NTZの代わりにTIMESTAMP WITHOUT TIME ZONE指定できるようになりました。この変更により、SQL 標準との互換性が向上します。

挙動の変更

サブクエリの相関問題を解決しました

Databricks は、サブクエリとその外部クエリ間で意味的に等しい集計式を誤って相関させなくなりました。以前は、これによりクエリ結果が不正確になる可能性がありました。

タイムスタンプNTZリテラルがプッシュダウンされなくなりました

SnowflakeコネクタとSnowflakeレイクハウスフェデレーションの両方で、 TIMESTAMP_NTZ (タイムゾーンなしのタイムスタンプ) リテラルがSnowflakeにプッシュダウンされなくなりました。 この変更により、互換性のないタイムスタンプ処理によって発生するクエリの失敗が防止され、影響を受けるクエリの信頼性が向上します。

無効なCHECK制約によりエラーが発生しました

制約検証中にCHECK制約式を解決できない場合、Databricks はAnalysisExceptionをスローするようになりました。

PulsarコネクタでBouncy Castleが露出しなくなりました

クラスパスの競合を防ぐために、Bouncy Castle ライブラリが Pulsar コネクタでシェーディングされるようになりました。その結果、Spark ジョブはコネクタからorg.bouncycastle.*クラスにアクセスできなくなります。アプリケーション コードが Bouncy Castle に依存している場合は、クラスターにライブラリを手動でインストールします。

Auto Loader利用可能な場合はファイル イベントを安全に使用します

ロード パスがファイル イベントが有効になっている外部ロケーションである場合、 Auto Loaderディレクトリ リストの代わりにファイル イベントを使用します。 useManagedFileEventsデフォルトはif_availableになりました (以前はfalseでした)。これにより、取り込みのパフォーマンスが向上し、ファイル イベントがまだ有効になっていない場合に警告が記録されます。

内部テーブルプロパティは以下からフィルタリングされます SHOW CREATE TABLE

SHOW CREATE TABLE 手動で設定したり、 CREATE TABLEに渡すことができない内部プロパティは含まれなくなりました。これにより混乱が軽減され、出力がユーザー設定可能なオプションに合わせて調整されます。

追加モードでのストリーム-ストリーム結合のより厳格なルール

Databricksでは、両側でウォーターマークが定義されていない限り、ストリームストリーム結合とそれに続くウィンドウ集約を使用する追加モードでのストリーミング クエリが禁止されるようになりました。 適切なウォーターマークのないクエリでは最終的でない結果が生成され、追加モードの保証に違反する可能性があります。

Teradataコネクタは大文字と小文字を区別する文字列比較を修正しました

Teradata コネクタのデフォルトはTMODE=ANSIになり、大文字と小文字を区別することで文字列の比較動作が Databricks と一致するようになりました。この変更は構成可能であり、既存のユーザーがオプトインしない限り影響はありません。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ :

    • google-auth 2.40.1 から 2.40.0 へ
    • mlflow-skinny 3.0.0 から 3.0.1 へ
    • opentelemetry-api 1.33.0 から 1.32.1 へ
    • opentelemetry-sdk 1.33.0 から 1.32.1 へ
    • opentelemetry-semantic-conventions 0.54b0 から 0.53b1 へ
    • 24.1から24.2へのパッケージング
    • pip 24.2 から 25.0.1 へ
  • アップグレードされた R ライブラリ :

  • CLI 3.6.4 から 3.6.5 へ

  • curl 6.2.1 から 6.4.0 へ

  • 0.1.3からのジェネリック0.1.4まで

  • 0.16.3 から 0.18.0 までのグローバル

  • openssl 2.3.2 から 2.3.3 へ

  • 柱 1.10.1 から 1.11.0 へ

  • rlang 1.1.5 から 1.1.6 へ

  • Sparklyr 1.9.0 から 1.9.1 へ

  • stringi 1.8.4 から 1.8.7 へ

  • tibble 3.2.1 から 3.3.0 へ

  • utf8 1.2.4 から 1.2.6 へ

  • アップグレードされた Java ライブラリ :

    • ソフトウェア。 Amazon .cryptools.AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64 から 2.5.0-linux-x86_64

Apache Spark

Databricks Runtime 17.1 にはApache Spark 4.0.0が含まれています。このリリースには、以前のバージョンに含まれていたすべての Spark の修正と改善に加えて、次の内容が含まれています。

  • SPARK-52721 CANNOT_PARSE_DATATYPE のメッセージを修正
  • SPARK-51919静的に登録された Python データソースの上書きを許可する
  • SPARK-52632 元に戻す: Pretty display V2 書き込みプランノード
  • SPARK-52715 TIME - DAY-TIME INTERVAL のきれいな SQL 文字列
  • SPARK-51268 TreeNode をロックフリーにする
  • SPARK-52701 ANSI における bool を使用した mod での float32 型の拡張を修正
  • SPARK-52563 _assert_pandas_almost_equal の変数命名バグを修正
  • SPARK-52541宣言型パイプラインのプログラミングガイドを追加
  • SPARK-51695 CHECK CONSTRAINT構文の変更によるテスト失敗を修正
  • SPARK-52666ユーザー定義型をSpecificInternalRowのMutableValueを修正するようにマップする
  • SPARK-52660 CodeGenerator#javaClass に時間型を追加
  • SPARK-52693 TIME からの +/- ANSI 曜日間隔のサポート
  • SPARK-52705グループ化式の決定論的チェックをリファクタリングする
  • SPARK-52699解釈モードでのTIME型の集計をサポート
  • SPARK-52503入力列が存在しない場合にドロップする問題を修正
  • SPARK-52535ルール ApplyColumnarRulesAndInsertTransitions のコード可読性を改善
  • SPARK-52551新しいv2述語BOOLEAN_EXPRESSIONを追加
  • SPARK-52698元に戻す: データソースモジュールの型ヒントを改善
  • SPARK-52684実行エラーが発生したときにCACHE TABLEコマンドをアトミックにする
  • SPARK-52671 RowEncoderは解決されたUDTを検索してはならない
  • SPARK-52670 HiveResult を UserDefinedType#stringifyValue で動作させる
  • SPARK-52692 TIME型のキャッシュをサポート
  • SPARK-51516 ThriftサーバーによるTIMEのサポート
  • SPARK-52674 RandomStringUtilsに関連する非推奨APIsの使用をクリーンアップ
  • SPARK-51428照合式ツリーのエイリアスを決定論的に割り当てる
  • SPARK-52672集計に式が存在する場合、Sort/Having式をエイリアスに置き換えない
  • SPARK-52618 TIME(n) を TIME(m) にキャスト
  • SPARK-52656 current_time() を修正
  • SPARK-52630ストリーミングオペレータと状態管理コードおよびディレクトリを再編成します
  • SPARK-52649 buildAggExprList の Sort/Having/Filter 式を一致させる前にエイリアスをトリムする
  • SPARK-52578 MergeRowsExec でケースとアクションを追跡するために行にメトリクスを追加する
  • SPARK-49428 Scalaクライアントの接続をコネクタからSQLに移動する
  • SPARK-52494バリアントフィールドにアクセスするためのコロン記号演算子構文をサポート
  • SPARK-52642 idleWorkers と daemonWorkers 間の予期せぬ同期外れを回避するために daemonWorkers.get(ワーカー) を使用します
  • SPARK-52570 ANSI が有効になっている数値 rmod のゼロ除算を有効にする
  • SPARK-52633 DeduplicateRelations の前に単一の Union 子出力を重複排除する
  • SPARK-52600 CompletionIterator を common/utils に移動
  • SPARK-52626時間タイプによるグループ化を許可する
  • SPARK-52395 Prism のフェッチリクエストが失敗した場合、Reducer タスクを直ちに失敗させる
  • SPARK-52596 DATEとTIMEからTIMESTAMP_NTZを作成してみてください
  • SPARK-52595 TimeAdd式の名前をTimestampAddIntervalに変更します
  • SPARK-52586 AnyTimeTypeの導入
  • SPARK-52583 UserDefinedType の値を文字列化するための開発者 API を追加
  • SPARK-52354 UnionLoop に型強制を追加
  • SPARK-52579 Pythonの定期的なトレースバック ダンプを設定する
  • SPARK-52456 spark.eventLog.rolling.maxFileSize の最小制限を下げる
  • SPARK-52536 AsyncProfilerLoader 抽出ディレクトリを Spark ローカル ディレクトリに設定する
  • SPARK-52405 V2JDBCTest を拡張して複数パーティションの読み取りをテストする
  • SPARK-52303外部コマンドランナーを安定版に昇格
  • SPARK-52572 ANSIモードでDataFrame.isinのCAST_INVALID_INPUTを回避する
  • SPARK-52349 ANSI を有効にしてブール除算テストを有効にする
  • SPARK-52402 ANSIモードでのケンドールとピアソンの相関におけるゼロ除算エラーを修正
  • SPARK-52356 ANSI が有効になっている場合のブール mod/rmod のゼロ除算を有効にする
  • SPARK-52288 ANSIモードがオンの場合、split/rsplitでINVALID_ARRAY_INDEXを回避する
  • SPARK-52557 ANSIモードでto_numeric(errors='coerce')のCAST_INVALID_INPUTを回避する
  • SPARK-52440宣言型パイプラインにPythonインストール追加を追加
  • SPARK-52569 SecondsOfTimeWithFraction のクラスキャスト例外を修正
  • SPARK-52540 DATEとTIMEからTIMESTAMP_NTZを作成する
  • SPARK-52539セッションフックの導入
  • SPARK-52554 Spark Connect での設定チェックの複数回のラウンドトリップを回避する
  • SPARK-52553 v1の変更ログの読み取り時に発生するNumberFormatExceptionを修正
  • SPARK-52534 MLCacheとMLHandlerをスレッドセーフにする
  • SPARK-52460内部のTIME値をナノ秒単位で保存する
  • SPARK-52482ファイルデータソースリーダーのZStandardサポート
  • SPARK-52531サブクエリ集計の OuterReference が外部クエリ集計に誤って関連付けられています
  • SPARK-52339 InMemoryFileIndexインスタンスの比較を修正
  • SPARK-52418 isEmpty() の繰り返し計算を避けるために、PercentileHeap に noElements 状態変数を追加します。
  • SPARK-52537一時ディレクトリの作成失敗時にスタックトレースを印刷する
  • SPARK-52462ユニオンで子出力の重複排除を行う前に型強制を強制する
  • SPARK-52528 ANSI が有効になっている場合の数値 mod のゼロ除算を有効にする
  • SPARK-52458 spark.eventLog.excludedPatterns のサポート
  • SPARK-52493タイムゾーンなしのタイムスタンプをサポート
  • SPARK-51563完全修飾型名TIME(n) WITHOUT TIME ZONEをサポートします
  • SPARK-52450スキーマディープコピーのパフォーマンスを向上
  • SPARK-52519 ANSI が有効になっている場合の数値 floordiv のゼロ除算を有効にする
  • SPARK-52489 SQL スクリプト内で重複する SQLEXCEPTION および NOT FOUND ハンドラーを禁止します
  • SPARK-52488 HAVING で外部参照をラップする前にエイリアスを削除します
  • SPARK-52383 SparkConnectPlanner のエラーを改善する
  • SPARK-52335 ConnectとClassicの両方で無効なバケット数エラーを統合
  • SPARK-52337 InvalidPlanInput をユーザー向けエラーにする
  • SPARK-52312 DataFrame をキャッシュするときに V2WriteCommand を無視する
  • SPARK-52487ステージ送信時間と期間をステージページの詳細に追加
  • SPARK-52433 createDataFrame における文字列の強制を統一する
  • SPARK-52427プロジェクトでカバーされる集計式リストを正規化する
  • SPARK-51745 RocksDBStateStore のステートマシンの強制
  • SPARK-52447 GetViewColumnByNameAndOrdinal 正規化を SessionCatalogSuite に移動
  • SPARK-52397冪等実行プラン: 同じ操作IDとプランを持つ2番目の実行プランが再アタッチされる
  • SPARK-52355 DataFrame を作成するときに VariantVal オブジェクト型を VariantType として推論する
  • SPARK-52425シングルパス実装で再利用できるようにExtractValueをリファクタリングする
  • SPARK-52249 ANSI が有効になっている数値の truediv のゼロ除算を有効にする
  • SPARK-52228状態相互作用マイクロベンチマークをQuicksilver(TCP)に統合
  • SPARK-48356 FOR文の列スキーマ推論の改善
  • SPARK-48353例外処理の改善
  • SPARK-52060 OneRowRelationExecノードを作成する
  • SPARK-52391 TransformWithStateExec 関数/変数を Scala および Python の基本クラスにリファクタリングする
  • SPARK-52218現在の日付時刻関数を再び評価可能にする
  • SPARK-52350 4.0のSSプログラミングガイドへのリンクを修正
  • SPARK-52385 InheritAnalysisRules 名から TempResolvedColumns を削除
  • SPARK-52392新しいシングルパスアナライザー機能
  • SPARK-52243スキーマ関連のInvalidPlanInputエラーに対するNERFサポートを追加
  • SPARK-52338スキーマからビューへのデフォルトの照合順序を継承する
  • SPARK-52307スカラー矢印イテレータ UDF のサポート
  • SPARK-52300 SQL UDTVF 解決でビュー解決と一貫した構成を使用するようにする
  • SPARK-52219テーブルのスキーマレベル照合のサポート
  • SPARK-52272 V2SessionCatalog は Hive Catalog のスキーマを変更しません
  • SPARK-51890 optionsを論理計画ビューに追加します
  • SPARK-51936 ReplaceTableAsSelect は追加ではなく新しいテーブルを上書きする必要があります
  • SPARK-51302 Spark ConnectはJDBCをサポートしており、DataFrameReader APIを使用する必要があります。
  • SPARK-50137テーブル作成失敗時にHive非互換の方法へのフォールバックを回避する
  • SPARK-52184外部エンジンのJDBC構文エラーを統一された例外でラップする
  • SPARK-47618すべての S3 バケットにデフォルトで Magic Committer を使用する
  • SPARK-52305 isnotnull、equal_null、nullif、nullifzero、nvl、nvl2、zeroifnull のドキュメント文字列を改良しました
  • SPARK-52174デフォルトで spark.checkpoint.compress を有効にする
  • SPARK-52224 Pythonクライアントの依存関係としてpyyamlを導入
  • SPARK-52233浮動小数点型の map_zip_with を修正
  • SPARK-52036 v2.FileScan に SQLConfHelper 特性を追加
  • SPARK-52159 MariaDB方言の条件が広すぎるのを削除
  • SPARK-50104 Connect で SparkSession.executeCommand をサポート
  • SPARK-52240ベクトル化されたリーダーでパックされた配列を展開する際の行インデックスの使用を修正しました
  • SPARK-52153バリアントの from_json と to_json を修正
  • SPARK-48618存在しないテストを改善し、3部構成の名前と2部構成の名前の両方をチェックする
  • SPARK-52216 InvalidCommandInput をユーザー向けエラーにする
  • SPARK-52299非推奨のJsonNode.fieldsを置き換える
  • SPARK-52287 oasinternal.io.Cloud.* を設定しないように SparkContext を改善します。 存在しない場合の設定
  • SPARK-51430 PySpark コンテキスト ロガーがログを標準出力に伝播するのを停止します
  • SPARK-52278スカラー矢印UDFは名前付き引数をサポートします
  • SPARK-52026 ANSI モードのSparkでPandas API確実にブロックする
  • SPARK-52171 Statev3 の StateDataSource 結合実装
  • SPARK-52159 JDBC方言のテーブル存在チェックを適切に処理します
  • SPARK-52158 SparkConnectPlanner のエラーを一元管理するために InvalidInputErrors オブジェクトを追加しました
  • SPARK-52195 Python TWSの初期状態列の削除問題を修正
  • SPARK-52211 SparkConnectServer INFO ログから $ サフィックスを削除します
  • SPARK-52239 arrow UDFをサポート登録する
  • SPARK-52215スカラー矢印UDFの実装
  • SPARK-52188 StreamExecution.RUN_ID_KEY が設定されていない StateDataSource の修正
  • SPARK-52189 Group BY、HAVING、ORDER BY、LCA を使用した NATURAL JOIN の新しいゴールデンファイルテスト
  • SPARK-52079内部プロジェクトリスト内の属性の順序を正規化する
  • SPARK-52234 schema_of_csv/xmlへの文字列以外の入力に関するエラーを修正
  • SPARK-52221 SqlScriptingLocalVariableManager をより汎用的なコンテキスト マネージャーにリファクタリングします
  • SPARK-52181バリアントのサイズ制限を128MiBに増加
  • SPARK-52217シングルパスリゾルバのフィルタで外部参照の検証をスキップする
  • SPARK-51260 V2ExpressionBuilderとPushableExpressionをCatalystモジュールに移動
  • SPARK-52156レガシーCREATE TEMPORARY TABLE ... USINGプロバイダーをフラグの下に置く
  • SPARK-51012 Connect Shims から SparkStrategy を削除する
  • SPARK-52109 listTableSummaries APIをデータソース V2 テーブル カタログAPIに追加する
  • SPARK-50915 PySparkException に getCondition を追加し、getErrorClass を非推奨にする
  • SPARK-52022 SparkThrowable.getQueryContext のデフォルトメソッドにチェックインを追加
  • SPARK-51147ストリーミング関連クラスを専用のストリーミングディレクトリにリファクタリングする
  • SPARK-52120セッションをConnectHelperに渡す
  • SPARK-52021演算子と式パターンを分離する
  • SPARK-51722 ParseException から「stop」オリジンを削除
  • SPARK-52096再分類 Kafka ソースオフセットアサーションエラー
  • SPARK-51985 AccumulatorSource から実験的なものを削除
  • SPARK-51156 Spark Connectにおける静的トークン認証のサポート
  • SPARK-52157シングルパス リゾルバーのアウターリファレンスに以前のコンピュート名を使用する
  • SPARK-52100構文の再帰レベル制限のオーバーライドを有効にする
  • SPARK-51605ログファイルを変更する前に親ディレクトリを作成する
  • SPARK-52127 PySpark の transformWithState の MapState KEYS / VALUES / ITERATOR プロトコルを絞り込む
  • SPARK-52040 ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
  • SPARK-51638外部シャッフルサービス経由でリモートディスクに保存されたRDDブロックを取得する際の修正
  • SPARK-51983 ANSIモードを有効にしてSpark上のPandas APIのテスト環境を準備する
  • SPARK-52087 AliasHelper.trimNonTopLevelAliases にタグとオリジンのコピーを追加
  • SPARK-51210 Java 24+ の Java オプションに --enable-native-access=ALL-UNNAMED を追加
  • SPARK-52052 SerializableConfiguration のコンパニオンオブジェクトに .broadcast を追加します
  • SPARK-51823エグゼキューターの状態ストアを永続化しない構成を追加します
  • SPARK-51291状態ストアの読み込みからスローされた検証エラーを再分類します
  • SPARK-52006 Spark UI + イベント ログ + メトリクス ハートビートから CollectMetricsExec アキュムレータを除外する
  • SPARK-52076使用後にExecutePlanResponseReattachableIteratorを明示的に閉じます
  • SPARK-51428照合式ツリーのエイリアスを決定論的に割り当てる
  • SPARK-52079内部プロジェクトリスト内の属性の順序を正規化する
  • SPARK-52033子ノードの出力に同じ属性の複数のコピーが含まれる可能性があるノード生成のバグを修正
  • SPARK-51428照合式ツリーのエイリアスを決定論的に割り当てる
  • SPARK-52055 ExecutePlanResponseReattachableIterator の例外を抑制します 。del
  • SPARK-51921 transformWithState の TTL 期間(ミリ秒単位)には long 型を使用します
  • SPARK-50763 SQLテーブル関数を解決するためのアナライザールールを追加
  • SPARK-51884 SubqueryExpression の外部スコープ属性を追加
  • SPARK-50762 SQLスカラーUDFを解決するためのアナライザールールを追加
  • SPARK-51814古いバージョンとの互換性のため、StructType.fields の代わりに list(self) を使用します。
  • SPARK-51537エグゼキューター上の確実なセッション クラスローダーに基づいてセッション固有のクラスローダーを構築する
  • SPARK-50777フィルタークラスから冗長なno-op init/destroyメソッドを削除
  • SPARK-51691シリアル化の問題の原因を見つけようとするときに、SerializationDebugger は例外を飲み込む必要があります。
  • SPARK-51386エラー条件に名前を割り当てる_LEGACY_ERROR_TEMP_3300-3302
  • SPARK-50734 SQL UDF を作成および登録するためのカタログAPIを追加する
  • SPARK-51989データソース内の すべての リストに不足しているフィルターサブクラスを追加します
  • SPARK-52037 LCA 内部プロジェクト リストの順序は、元のプロジェクト リストの順序を尊重する必要があります。
  • SPARK-52007グループ化セットを使用する場合、グループ化式に式IDが存在してはいけません
  • SPARK-51860デフォルトで spark.connect.grpc.debug.enabled を無効にする
  • SPARK-47952 Yarn 上で実行しているときに、実際の SparkConnectService GRPC アドレスとポートをプログラムで取得する機能をサポート
  • SPARK-50906 to_avroの入力がスキーマと一致するかどうかのnull可能性チェックを追加
  • SPARK-50581 Dataset.observe() での UDAF のサポートを修正しました。
  • SPARK-49946 SparkOutOfMemoryError にエラークラスが必要
  • SPARK-49748 SparkThrowable に getCondition を追加し、getErrorClass を非推奨にする
  • SPARK-51959関数が ParentDataFrame をインポートしないようにする
  • SPARK-51964シングルパスアナライザーの集計の上にあるORDER BYとHAVINGの非表示の出力から属性を正しく解決します
  • SPARK-49942 classifyException() の condition に errorClass の名前を変更します
  • SPARK-51963 IndexToString.transform を簡素化
  • SPARK-51946パーティション名が 'col' である、Hive 非互換のデータソース テーブルの作成に失敗しました
  • SPARK-51553 EXTRACT を修正して TIME データ型をサポートする
  • SPARK-51891 PySpark の transformWithState の ListState GET / PUT / APPENDLIST プロトコルを絞り込む
  • SPARK-51931 Arrow出力バッチのバイト数を制限するためにmaxBytesPerOutputBatchを追加しました
  • SPARK-51441制約用の DSv2 APIsを追加
  • SPARK-51814古いpyarrowとの互換性のため、column_namesの代わりにRecordBatch.schema.namesを使用する
  • SPARK-51913 JDBCTableCatalog#loadTable は no such table エラーを正しくスローするはずです
  • SPARK-51840 HiveExternalCatalog#alterTable のパーティション列を復元する
  • SPARK-51414 make_time() 関数を追加
  • SPARK-49700 Connect と Classic の統合 Scala インターフェース
  • SPARK-51914 spark.sql に com.mysql.cj を追加します。Hive Hive metastore .sharedPrefixes
  • SPARK-51827 PySpark の transformWithState で Spark Connect をサポート
  • SPARK-51901グループ化セットでジェネレータ関数を許可しない
  • SPARK-51423 TIMEデータ型にcurrent_time()関数を追加
  • SPARK-51680 ParquetライターでTIMEの論理型を設定する
  • SPARK-51889 Python TWSのMapState clear()のバグを修正
  • SPARK-51869 Scala TransformWithState の UDF 内でユーザーエラーの分類を作成する
  • SPARK-51878折りたたみ可能なデフォルト式を実行して fillDefaultValue を改善します。
  • SPARK-51757 LEAD/LAG関数のオフセットがウィンドウグループサイズを超える問題を修正
  • SPARK-51805不適切な引数を持つ Get 関数は、内部例外ではなく適切な例外をスローする必要があります。
  • SPARK-51900シングルパスアナライザーでデータ型の不一致を適切にスローする
  • SPARK-51421 TIMEデータ型の秒数を取得する
  • SPARK-51661 TIME列値のパーティション検出
  • SPARK-51687 TIME値を持つフィルターをParquetにプッシュダウンする
  • SPARK-51419 TIMEデータ型の時間を取得する
  • SPARK-51881 AvroOptions を比較可能にする
  • SPARK-51861 InMemoryRelationプラン詳細の重複/不要な情報を削除します
  • SPARK-51814 PySparkに新しいAPI transformWithStateを導入
  • SPARK-51779ストリームストリーム結合に仮想列ファミリーを使用する
  • SPARK-51649 TIMEパーティションの動的書き込み/読み取り
  • SPARK-51634オフヒープ列ベクトルでTIMEをサポート
  • SPARK-51877関数「chr」、「random」、「uuid」を追加
  • SPARK-51610 ParquetデータソースでTIMEデータ型をサポートする
  • SPARK-51420 TIMEデータ型の分を取得する
  • SPARK-51822 StatefulProcessor.init() 中に許可されていない関数が呼び出されると分類エラーが発生します
  • SPARK-51868型強制検証を別のオブジェクトに移動する
  • SPARK-49747 connect/ ファイルを構造化ログに移行

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。最近リリースされたドライバーをダウンロードして アップグレード ( ODBC のダウンロードJDBC のダウンロード)。

メンテナンスアップデート

Databricks Runtime 17.1 のメンテナンス更新を参照してください。

システム環境

  • オペレーティングシステム : Ubuntu 24.04.2LTS
  • Java :ズールー語17.58+21-CA
  • Scala : 2.13.16
  • Python : 3.12.3
  • R : 4.4.2
  • Delta Lake : 4.0.0

インストールされたPython

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

注釈付き型

0.7.0

どれでも

4.6.2

アルゴン2-cffi

21.3.0

アルゴン2-cffi-結合

21.2.0

矢印

1.3.0

astトークン

2.0.5

astunparse

1.6.3

非同期LRU

2.0.4

属性

24.3.0

自動コマンド

2.2.2

azure - コモン

1.1.28

azureコア

1.34.0

azureアイデンティティ

1.20.0

azure -mgmt-core

1.5.0

azure -mgmt-web

8.0.0

azureストレージ BLOB

12.23.0

azureストレージファイルデータレイク

12.17.0

バベル

2.16.0

バックポート.tarファイル

1.2.0

美しいスープ4

4.12.3

24.10.0

bleach

6.2.0

ウィンカー

1.7.0

ボト3

1.36.2

ボトコア

1.36.3

キャッシュツール

5.5.1

認定

2025年1月31日

cffi

1.17.1

chardet

4.0.0

charset-normalizer

3.3.2

クリック

8.1.7

クラウドピクル

3.0.0

通信

0.2.1

輪郭線

1.3.1

cryptography

43.0.3

サイクラー

0.11.0

シトン

3.0.12

databricks-sdk

0.49.0

dbus- Python

1.3.2

デバッグ

1.8.11

デコレータ

5.1.1

defusedxml

0.7.1

非推奨

1.2.13

ディストリビューション

0.3.9

docstring-to-markdown

0.11

実行中

0.8.3

ファセットの概要

1.1.1

fastapi

0.115.12

fastjsonschema

2.21.1

ファイルロック

3.18.0

フォントツール

4.55.3

FQDN

1.5.1

ファイルシステムスペック

2023年5月0日

gitdb

4.0.11

GitPython

3.1.43

Google API コア

2.20.0

Google認証

2.40.0

google-クラウド-コア

2.4.3

Google Cloud Storage

3.1.0

google-crc32c

1.7.1

Google 再開可能メディア

2.7.2

googleapis-common-protos

1.65.0

grpcio

1.67.0

grpcio-status

1.67.0

h11

0.14.0

httpcore

1.0.2

httplib2

0.20.4

httpx

0.27.0

イドナ

3.7

importlib-メタデータ

6.6.0

インポートライブラリリソース

6.4.0

語形変化

7.3.1

iniconfig

1.1.1

ipyflow-core

0.0.209

ipyカーネル

6.29.5

iPython

8.30.0

ipython-genutils

0.2.0

ipywidgets

7.8.1

同位体

0.6.1

等張性

20.11.0

jaraco.context

5.3.0

jaraco.functools

4.0.1

jaraco.text

3.12.1

ジェダイ

0.19.2

ジンジャ2

3.1.5

jmespath

1.0.1

joblib

1.4.2

json5

0.9.25

JSONポインタ

3.0.0

jsonschema

4.23.0

jsonschema仕様

2023年7月1日

jupyterイベント

0.10.0

jupyter-lsp

2.2.0

jupyter_クライアント

8.6.3

jupyter_core

5.7.2

jupyter_server

2.14.1

jupyter_server_terminals

0.4.4

JupyterLab

4.3.4

jupyterlab-pygments

0.1.2

JupyterLabウィジェット

1.0.0

jupyterlab_サーバー

2.27.3

キウイソルバー

1.4.8

ランチパッドライブラリ

1.11.0

lazr.restfulclient

0.14.6

lazr.uri

1.0.6

マークダウン・イット・パイ

2.2.0

マークアップセーフ

3.0.2

Matplotlib

3.10.0

matplotlibインライン

0.1.7

マッケイブ

0.7.0

mdurl

0.1.0

不調

2.0.4

mlflow-skinny

3.0.1

mmh3

5.1.0

より多くのitertools

10.3.0

msal

1.32.3

msal拡張機能

1.3.1

mypy拡張機能

1.0.0

nbクライアント

0.8.0

nbconvert

7.16.4

nbフォーマット

5.10.4

ネスト非同期

1.6.0

ノードenv

1.9.1

notebook

7.3.2

ノートブックシム

0.2.3

numpy

2.1.3

oauthlib

3.2.2

オープンテレメトリAPI

1.32.1

オープンテレメトリSDK

1.32.1

オープンテレメトリのセマンティック規約

0.53b1

オーバーライド

7.4.0

packaging

24.2

pandas

2.2.3

パンドックフィルター

1.5.0

パルソ

0.8.4

パススペック

0.10.3

patsy

1.0.1

期待する

4.8.0

11.1.0

ピップ

25.0.1

プラットフォームディレクトリ

3.10.0

Plotly

5.24.1

プラグ状の

1.5.0

プロメテウスクライアント

0.21.0

プロンプトツールキット

3.0.43

プロトプラス

1.26.1

protobuf

5.29.4

psutil

5.9.0

サイコップ2

2.9.3

ptyプロセス

0.7.0

純粋評価

0.2.2

pyarrow

19.0.1

ピヤスン1

0.4.8

pyasn1モジュール

0.2.8

ピッコロ

0.0.71

pycパーサー

2.21

ピダンティック

2.10.6

pydantic_core

2.27.2

パイフレーク

3.2.0

ピグメント

2.15.1

PyGオブジェクト

3.48.2

PyIceberg

0.9.0

ピジョンJWT

2.10.1

pyodbc

5.2.0

pyparsing

3.2.0

海賊権

1.1.394

pytest

8.3.5

Python-dateutil

2.9.0.post0

Python-JSON-ロガー

3.2.1

Python-lsp-jsonrpc

1.1.2

Python-lsp-サーバー

1.12.0

pytoolconfig

1.2.6

pytz

2024.1

ピヤム

6.0.2

ピズムク

26.2.0

参照

0.30.2

リクエスト

2.32.3

rfc3339バリデータ

0.1.4

rfc3986 バリデータ

0.1.1

リッチ

13.9.4

ロープ

1.12.0

rpds-py

0.22.3

rsa

4.9.1

s3転送

0.11.3

scikit-learn

1.6.1

scipy

1.15.1

シーボーン

0.13.2

ゴミ箱へ送信

1.8.2

setuptools

74.0.0

six

1.16.0

smmap

5.0.0

スニッフィオ

1.3.0

ソートされたコンテナ

2.4.0

スープふるい

2.5

sqlparse

0.5.3

sshインポートID

5.11

スタックデータ

0.2.0

スターレット

0.46.2

statsmodels

0.14.4

厳格な

1.7.3

粘り強さ

9.0.0

終了する

0.17.1

threadpoolctl

3.5.0

タイニーCSS2

1.4.0

トークン化_rt

6.1.0

トムリ

2.0.1

竜巻

6.4.2

特性レット

5.14.3

タイプガード

4.3.0

タイプ-Python-dateutil

2.9.0.20241206

タイピング拡張機能

4.12.2

tzdata

2024.1

ujson

5.10.0

無人アップグレード

0.1

uriテンプレート

1.3.0

urllib3

2.3.0

ウビコーン

0.34.2

仮想環境

20.29.3

ワドリブ

1.3.6

トイレ幅

0.2.5

ウェブカラー

24.11.1

webencodings

0.5.1

Websocketクライアント

1.8.0

パッチ

1.0.2

車輪

0.45.1

ウィジェットnb拡張機能

3.6.6

ラップト

1.17.0

ヤップ

0.40.2

ジップ

3.21.0

インストールされたRライブラリ

R ライブラリは、2025 年 3 月 20 日の Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

矢印

19.0.1

アスクパス

1.2.1

主張する

0.2.1

バックポート

1.5.0

ベース

4.4.2

base64enc

0.1~3

ビッグD

0.3.0

bit

4.6.0

ビット64

4.6.0-1

ビトプス

1.0-9

ブロブ

1.2.4

ブート

1.3-30

醸造

1.0~10

ブリオ

1.1.5

ほうき

1.0.7

bslib

0.9.0

カチェム

1.1.0

発信者

3.7.6

キャレット

7.0-1

セルレンジャー

1.1.0

クロン

2.3-62

クラス

7.3-22

CLI

3.6.5

clipr

0.8.0

クロック

0.7.2

クラスター

2.1.6

コードツール

0.2-20

カラースペース

2.1-1

コモンマーク

1.9.5

コンパイラ

4.4.2

設定

0.3.2

葛藤

1.2.0

cpp11

0.5.2

クレヨン

1.5.3

credentials

2.0.2

Curl

6.4.0

データテーブル

1.17.0

データセット

4.4.2

DBI

1.2.3

dbplyr

2.5.0

説明

1.4.3

開発ツール

2.4.5

1.6.5

diffobj

0.3.5

ダイジェスト

0.6.37

ダウンライト

0.4.4

dplyr

1.1.4

dtplyr

1.3.1

e1071

1.7-16

省略記号

0.3.2

評価する

1.0.3

ファンシー

1.0.6

ファーバー

2.1.2

ファストマップ

1.2.0

素晴らしいフォント

0.5.3

1.0.0

For each

1.5.2

外部

0.8-86

フォージ

0.2.0

fs

1.6.5

未来

1.34.0

将来適用

1.11.3

うがい

1.5.2

ジェネリック医薬品

0.1.4

ゲルト

2.1.4

ggplot2

3.5.1

gh

1.4.1

git2r

0.35.0

gitcreds

0.1.2

glmnet

4.1-8

グローバル

0.18.0

のり

1.8.0

Google Drive

2.1.1

googlesheets4

1.1.1

ガワー

1.0.2

グラフィック

4.4.2

grデバイス

4.4.2

グリッド

4.4.2

グリッドエクストラ

2.3

gsubfn

0.7

GT

0.11.1

gテーブル

0.3.6

ヘルメット

1.4.1

避難所

2.5.4

高い

0.11

HMS

1.1.3

htmlツール

0.5.8.1

htmlウィジェット

1.6.4

httpuv

1.6.15

httr

1.4.7

httr2

1.1.1

ids

1.0.1

ini

0.3.1

ipred

0.9-15

等バンド

0.2.7

イテレータ

1.0.14

jQueryライブラリ

0.1.4

jsonlite

1.9.1

ジューシージュース

0.1.0

カーンスムーズ

2.23-22

ニット

1.50

ラベリング

0.4.3

後で

1.4.1

格子

0.22-5

溶岩

1.8.1

ライフサイクル

1.0.4

聞く

0.9.1

潤滑する

1.9.4

マグリット

2.0.3

Markdown

1.13

質量

7.3-60.0.1

マトリックス

1.6-5

メモワーズ

2.0.1

方法

4.4.2

mgcv

1.9-1

パントマイム

0.13

ミニUI

0.1.1.1

MLflow

2.20.4

モデルメトリクス

1.2.2.2

モデラー

0.1.11

マンセル

0.5.1

nlme

3.1-164

ネット

7.3-19

numDeriv

2016年8月1日

オープンSSL

2.3.3

平行

4.4.2

並行して

1.42.0

1.11.0

パッケージビルド

1.4.6

パッケージコンフィグ

2.0.3

パッケージダウン

2.1.1

パッケージロード

1.4.0

プロガー

0.2.0

プライヤー

1.8.9

賞賛

1.0.0

プリティユニット

1.2.0

pROC

1.18.5

プロセスx

3.8.6

プロリム

2024年6月25日

プロフィス

0.4.0

進捗

1.2.3

進歩者

0.15.1

約束

1.3.2

プロト

1.0.0

プロキシ

0.4-27

PS

1.9.0

ゴロゴロ

1.0.4

R6

2.6.1

ラグ

1.3.3

ランダムフォレスト

4.7-1.2

ラップディレクトリ

0.3.3

rcmdcheck

1.4.0

RColorBrewer

1.1-3

Rcpp

1.0.14

RcppEigen

0.3.4.0.2

反応可能

0.4.4

反応R

0.6.1

読者

2.1.5

リードXL

1.4.5

レシピ

1.2.0

再戦

2.0.0

再戦2

2.1.2

リモコン

2.5.0

再プレックス

2.1.1

再形成2

1.4.4

rlang

1.1.6

rmarkdown

2.29

RODBC

1.3-26

ロキシゲン2

7.3.2

rpart

4.1.23

rprojroot

2.0.4

Rserve

1.8-15

RSQLite

2.3.9

rstudioapi

0.17.1

リバース

2.1.2

ベスト

1.0.4

生意気な

0.4.9

スケール

1.3.0

セレクター

0.4-2

セッション情報

1.2.3

1.4.6.1

shiny

1.10.0

ソースツール

0.1.7-1

sparklyr

1.9.1

SparkR

4.0.0

スパースベクトル

0.3.1

空間

7.3-17

スプライン

4.4.2

sqldf

0.4-11

スクエア

2021.1

統計

4.4.2

統計4

4.4.2

ストリング

1.8.7

ストリンガー

1.5.1

生存

3.5-8

威勢のいい

5.17.14.1

システム

3.4.3

システムフォント

1.2.1

tcltk

4.4.2

テストする

3.2.3

テキストシェーピング

1.0.0

ティブル

3.3.0

ティディル

1.3.1

tidyselect

1.2.1

整頓されたバース

2.0.0

時間変更

0.3.0

時刻日付

4041.110

タイニーテックス

0.56

ツール

4.4.2

tzdb

0.5.0

URLチェッカー

1.0.1

使用方法

3.1.0

UTF8

1.2.6

ユーティリティ

4.4.2

uuid

1.2-1

V8

6.0.2

vctrs

0.6.5

ビリディスライト

0.4.2

ブーーン

1.6.5

ワルド

0.6.1

ひげ

0.4.1

ウィザー

3.0.2

xfun

0.51

xml2

1.3.8

xopen

1.0.1

xテーブル

1.8-4

ヤムル

2.3.10

熱狂者

0.1.0

ジップ

2.3.2

インストールされた Java および Scala ライブラリ (Scala 2.13 クラスター バージョン)

グループID

アーティファクトID

バージョン

アリ

アリ

2.7.7

com.amazonaws

Amazon Kinesisクライアント

1.12.0

com.amazonaws

aws-java-sdk-オートスケール

1.12.638

com.amazonaws

aws-java-sdk-cloudformation

1.12.638

com.amazonaws

aws-java-sdk-cloudfront

1.12.638

com.amazonaws

aws-java-sdk-cloudhsm

1.12.638

com.amazonaws

aws-java-sdk-クラウドサーチ

1.12.638

com.amazonaws

aws-java-sdk-cloudtrail

1.12.638

com.amazonaws

aws-java-sdk-cloudwatch

1.12.638

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.12.638

com.amazonaws

aws-java-sdk-codedeploy

1.12.638

com.amazonaws

aws-java-sdk-cognitoidentity

1.12.638

com.amazonaws

aws-java-sdk-cognitosync

1.12.638

com.amazonaws

aws-java-sdk-config

1.12.638

com.amazonaws

aws-java-sdk-core

1.12.638

com.amazonaws

aws-java-sdk-データパイプライン

1.12.638

com.amazonaws

aws-java-sdk-ダイレクトコネクト

1.12.638

com.amazonaws

aws-java-sdk-ディレクトリ

1.12.638

com.amazonaws

aws-java-sdk-dynamodb

1.12.638

com.amazonaws

aws-java-sdk-ec2

1.12.638

com.amazonaws

aws-java-sdk-ecs

1.12.638

com.amazonaws

aws-java-sdk-efs

1.12.638

com.amazonaws

aws-java-sdk-elasticache

1.12.638

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.12.638

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.12.638

com.amazonaws

aws-java-sdk-elastictranscoder

1.12.638

com.amazonaws

aws-java-sdk-emr

1.12.638

com.amazonaws

aws-java-sdk-glacier

1.12.638

com.amazonaws

aws-java-sdk-glue

1.12.638

com.amazonaws

aws-java-sdk-iam

1.12.638

com.amazonaws

aws-java-sdk-importexport

1.12.638

com.amazonaws

aws-java-sdk-kinesis

1.12.638

com.amazonaws

aws-java-sdk-kms

1.12.638

com.amazonaws

aws-java-sdk-lambda

1.12.638

com.amazonaws

aws-java-sdk-ログ

1.12.638

com.amazonaws

aws-java-sdk-機械学習

1.12.638

com.amazonaws

aws-java-sdk-opsworks

1.12.638

com.amazonaws

aws-java-sdk-rds

1.12.638

com.amazonaws

aws-java-sdk-redshift

1.12.638

com.amazonaws

aws-java-sdk-route53

1.12.638

com.amazonaws

aws-java-sdk-s3

1.12.638

com.amazonaws

aws-java-sdk-ses

1.12.638

com.amazonaws

aws-java-sdk-simpledb

1.12.638

com.amazonaws

aws-java-sdk-シンプルワークフロー

1.12.638

com.amazonaws

aws-java-sdk-sns

1.12.638

com.amazonaws

aws-java-sdk-sqs

1.12.638

com.amazonaws

aws-java-sdk-ssm

1.12.638

com.amazonaws

aws-java-sdk-storagegateway

1.12.638

com.amazonaws

aws-java-sdk-sts

1.12.638

com.amazonaws

aws-java-sdk-サポート

1.12.638

com.amazonaws

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonaws

aws-java-sdk-ワークスペース

1.12.638

com.amazonaws

jmespath-java

1.12.638

com.clearspring.アナリティクス

stream

2.9.8

com.databricks

Rserve

1.8-3

com.databricks

データブリックス SDK Java

0.27.0

com.databricks

ジェッツ3t

0.7.1-0

com.databricks.scalapb

scalapb-runtime_2.13

0.4.15-11

com.esotericsoftware

クリオシェーディング

4.0.3

com.esotericsoftware

最小ログ

1.3.0

com.fasterxml

同級生

1.5.1

com.fasterxml.jackson.core

ジャクソン注釈

2.18.2

com.fasterxml.jackson.core

ジャクソンコア

2.18.2

com.fasterxml.jackson.core

ジャクソンデータバインド

2.18.2

com.fasterxml.jackson.dataformat

ジャクソンデータフォーマットCBO

2.18.2

com.fasterxml.jackson.dataformat

ジャクソンデータフォーマットyaml

2.15.2

com.fasterxml.jackson.データ型

ジャクソンデータ型joda

2.18.2

com.fasterxml.jackson.データ型

ジャクソンデータ型jsr310

2.18.2

com.fasterxml.jackson.モジュール

ジャクソンモジュールパラメータ

2.18.2

com.fasterxml.jackson.モジュール

ジャクソンモジュールscala_2.13

2.18.2

com.github.ben-manes.caffeine

カフェイン

2.9.3

com.github.blemale

カフェイン_2.13

4.1.0

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

ネイティブ参照Java

1.1

com.github.fommil.netlib

ネイティブ参照Java

1.1ネイティブ

com.github.fommil.netlib

ネイティブシステムJava

1.1

com.github.fommil.netlib

ネイティブシステムJava

1.1ネイティブ

com.github.fommil.netlib

netlib-native_ref-linux-x86_64

1.1ネイティブ

com.github.fommil.netlib

netlib-native_system-linux-x86_64

1.1ネイティブ

com.github.luben

zstd-jni

1.5.6-10

com.github.virtuald

カーブサピ

1.08

com.github.wendykierp

JTransforms

3.1

com.google.api.grpc

proto-google-common-protos

2.5.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.11.0

com.google.crypto.tink

ティンク

1.16.0

com.google.errorprone

エラーが発生しやすい注釈

2.36.0

com.google.flatbuffers

フラットバッファ-Java

24.3.25

com.google.guava

失敗アクセス

1.0.2

com.google.guava

グアバ

33.4.0-jre

com.google.guava

聴ける未来

グアバとの衝突を避けるため、9999.0 を空にする

com.google.j2objc

j2objcアノテーション

3.0.0

com.google.protobuf

プロトコルバッファJava

3.25.5

com.google.protobuf

プロトコルバッファJavaユーティリティ

3.25.5

com.helger

プロファイラー

1.1.1

com.ibm.icu

icu4j

75.1

com.jcraft

jsch

0.1.55

com.lihaoyi

ファンシ_2.13

0.5.0

com.lihaoyi

ソースコード_2.13

0.1.9

com.microsoft.azure

azure -データレイク-ストア-sdk

2.3.10

com.microsoft.sqlserver

mssql-JDBC

11.2.2.jre8

com.microsoft.sqlserver

mssql-JDBC

12.8.0.jre8

com.ning

圧縮-lzf

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.bind

jaxbコア

2.2.11

com.sun.xml.bind

jaxb実装

2.2.11

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

パラメータ

2.8

com.trueaccord.lenses

レンズ_2.13

0.4.13

com.Twitter

チルジャバ

0.10.0

com.Twitter

チル_2.13

0.10.0

com.Twitter

ユーティリティアプリ_2.13

19.8.1

com.Twitter

ユーティリティコア_2.13

19.8.1

com.Twitter

ユーティリティ関数_2.13

19.8.1

com.Twitter

ユーティリティ-jvm_2.13

19.8.1

com.Twitter

ユーティリティlint_2.13

19.8.1

com.Twitter

ユーティリティレジストリ_2.13

19.8.1

com.Twitter

ユーティリティ統計_2.13

19.8.1

com.typesafe

設定

1.4.3

com.typesafe. Scala -logging

Scala -logging_2.13

3.9.2

com.uber

h3

3.7.3

com.univocity

単一性パーサー

2.9.1

com.zaxxer

ひかりCP

4.0.3

com.zaxxer

スパースビットセット

1.3

コモンズ CLI

コモンズ CLI

1.9.0

コモンズコーデック

コモンズコーデック

1.17.2

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズファイルアップロード

コモンズファイルアップロード

1.5

コモンズhttpクライアント

コモンズhttpクライアント

3.1

コモンズIO

コモンズIO

2.18.0

コモンズランゲージ

コモンズランゲージ

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズプール

コモンズプール

1.5.4

dev.ludovic.netlib

アーパック

3.0.3

dev.ludovic.netlib

ブラス

3.0.3

dev.ludovic.netlib

ラパック

3.0.3

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

エアコンプレッサー

2.0.2

io.デルタ

デルタ共有クライアント_2.13

1.3.3

io.dropwizard.メトリクス

メトリクス注釈

4.2.30

io.dropwizard.メトリクス

メトリクスコア

4.2.30

io.dropwizard.メトリクス

メトリクス-グラファイト

4.2.30

io.dropwizard.メトリクス

メトリクスヘルスチェック

4.2.30

io.dropwizard.メトリクス

メトリクス-jetty9

4.2.30

io.dropwizard.メトリクス

メトリクス-jmx

4.2.30

io.dropwizard.メトリクス

メトリクスJSON

4.2.30

io.dropwizard.メトリクス

メトリクス-JVM

4.2.30

io.dropwizard.メトリクス

メトリクスサーブレット

4.2.30

io.github.java-diff-utils

java-diff-utils

4.15

io.netty

ネットティオール

4.1.118.最終

io.netty

nettyバッファ

4.1.118.最終

io.netty

nettyコーデック

4.1.118.最終

io.netty

netty-codec-http

4.1.118.最終

io.netty

netty-codec-http2

4.1.118.最終

io.netty

netty コーデック ソックス

4.1.118.最終

io.netty

ネットティコモン

4.1.118.最終

io.netty

nettyハンドラ

4.1.118.最終

io.netty

nettyハンドラプロキシ

4.1.118.最終

io.netty

nettyリゾルバ

4.1.118.最終

io.netty

netty-tcnative-boringssl-static

2.0.70.Final-db-r0-linux-aarch_64

io.netty

netty-tcnative-boringssl-static

2.0.70.Final-db-r0-linux-x86_64

io.netty

netty-tcnative-boringssl-static

2.0.70.Final-db-r0-osx-aarch_64

io.netty

netty-tcnative-boringssl-static

2.0.70.Final-db-r0-osx-x86_64

io.netty

netty-tcnative-boringssl-static

2.0.70.Final-db-r0-windows-x86_64

io.netty

netty-tcnative クラス

2.0.70.最終版

io.netty

ネット輸送

4.1.118.最終

io.netty

netty-トランスポートクラス-epoll

4.1.118.最終

io.netty

netty トランスポートクラス kqueue

4.1.118.最終

io.netty

netty-transport-native-epoll

4.1.118.最終

io.netty

netty-transport-native-epoll

4.1.118.Final-linux-aarch_64

io.netty

netty-transport-native-epoll

4.1.118.Final-linux-riscv64

io.netty

netty-transport-native-epoll

4.1.118.Final-linux-x86_64

io.netty

nettyトランスポートネイティブkqueue

4.1.118.Final-osx-aarch_64

io.netty

nettyトランスポートネイティブkqueue

4.1.118.Final-osx-x86_64

io.netty

nettyトランスポートネイティブUNIX共通

4.1.118.最終

io.プロメテウス

シンプルクライアント

0.16.1-データブリックス

io.プロメテウス

シンプルクライアント共通

0.16.1-データブリックス

io.プロメテウス

シンプルクライアントドロップウィザード

0.16.1-データブリックス

io.プロメテウス

シンプルクライアントプッシュゲートウェイ

0.16.1-データブリックス

io.プロメテウス

シンプルクライアントサーブレット

0.16.1-データブリックス

io.プロメテウス

シンプルクライアントサーブレット共通

0.16.1-データブリックス

io.プロメテウス

シンプルクライアントトレーサーコモン

0.16.1-データブリックス

io.プロメテウス

シンプルクライアントトレーサーホテル

0.16.1-データブリックス

io.プロメテウス

シンプルクライアントトレーサーホテルエージェント

0.16.1-データブリックス

io.prometheus.jmx

コレクタ

0.18.0

ジャカルタ注釈

jakarta.annotation-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

ジャカルタ検証

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.アクティベーション

アクティベーション

1.1.1

javax.アノテーション

javax.annotation-api

1.3.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.メディア

ジェイコア

jai_core_dummy

javax.トランザクション

jta

1.1

javax.トランザクション

トランザクションAPI

1.1

javax.xml.bind

jaxb-api

2.2.11

ジャボリューション

ジャボリューション

5.5.1

jline

jline

2.14.6

ジョダタイム

ジョダタイム

2.13.0

net.java.dev.jna

jna

5.8.0

ネット.razorvine

ピクルス

1.5

net.sf.jpam

jpam

1.1

net.sf.opencsv

オープンCSV

2.3

net.sf.supercsv

スーパーCSV

2.2.0

ネットスノーフレーク

スノーフレークインジェストSDK

0.9.6

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

リモートティーオンcrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-ランタイム

3.5.2

org.antlr

antlr4 ランタイム

4.13.1

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

アリ

1.10.11

org.apache.ant

アリ・ジシュ

1.10.11

org.apache.ant

アリランチャー

1.10.11

org.apache.arrow

arrow-format

18.2.0

org.apache.arrow

arrow-memory-core

18.2.0

org.apache.arrow

arrow-memory-netty

18.2.0

org.apache.arrow

arrow-memory-netty-buffer-patch

18.2.0

org.apache.arrow

arrow-vector

18.2.0

org.apache.avro

AVRO

1.12.0

org.apache.avro

アブロIPC

1.12.0

org.apache.avro

アブロマップレッド

1.12.0

org.apache.commons

コモンズコレクション4

4.4

org.apache.commons

コモンズ圧縮

1.27.1

org.apache.commons

コモンズ暗号

1.1.0

org.apache.commons

コモンズ言語3

3.17.0

org.apache.commons

コモンズ-math3

3.6.1

org.apache.commons

コモンズテキスト

1.13.0

org.apache.curator

キュレーター-クライアント

5.7.1

org.apache.curator

キュレーターフレームワーク

5.7.1

org.apache.curator

キュレーターレシピ

5.7.1

org.apache.データスケッチ

データスケッチ-Java

6.1.1

org.apache.データスケッチ

データスケッチメモリ

3.0.2

org.apache.derby

ダービー

10.14.2.0

org.apache.hadoop

hadoopクライアントランタイム

3.4.1

org.apache.hive

ハイブビーライン

2.3.10

org.apache.hive

hive- CLI

2.3.10

org.apache.hive

ハイブJDBC

2.3.10

org.apache.hive

hive-llap-クライアント

2.3.10

org.apache.hive

ハイブラップコモン

2.3.10

org.apache.hive

ハイブ・サーデ

2.3.10

org.apache.hive

ハイブシム

2.3.10

org.apache.hive

ハイブストレージAPI

2.8.1

org.apache.hive.shims

ハイブシム 0.23

2.3.10

org.apache.hive.shims

ハイブシム共通

2.3.10

org.apache.hive.shims

hive-shims-スケジューラ

2.3.10

org.apache.httpコンポーネント

httpクライアント

4.5.14

org.apache.httpコンポーネント

httpcore

4.4.16

org.apache.ivy

Ivy

2.5.3

org.apache.logging.log4j

log4j-1.2-api

2.24.3

org.apache.logging.log4j

log4j-api

2.24.3

org.apache.logging.log4j

log4j-core

2.24.3

org.apache.logging.log4j

log4j-レイアウトテンプレート- JSON

2.24.3

org.apache.logging.log4j

log4j-slf4j2-impl

2.24.3

org.apache.orc

オークコア

2.1.1-シェーディングプロトコルバッファ

org.apache.orc

orc 形式

1.1.0-シェーディングプロトコルバッファ

org.apache.orc

orc-mapreduce

2.1.1-シェーディングプロトコルバッファ

org.apache.orc

オークシム

2.1.1

org.apache.poi

ポイ

5.4.1

org.apache.poi

poi-ooxml

5.4.1

org.apache.poi

poi-ooxml-full

5.4.1

org.apache.poi

poi-ooxml-lite

5.4.1

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

リブスリフト

0.16.0

org.apache.ws.xmlスキーマ

xmlschema-core

2.3.1

org.apache.xbean

xbean-asm9-シェーディング

4.26

org.apache.xmlbeans

XMLBeans

5.3.0

org.apache.yetus

視聴者注釈

0.13.0

org.apache.zookeeper

動物園の飼育員

3.9.3

org.apache.zookeeper

動物園飼育員-ジュート

3.9.3

org.checkerframework

チェッカー資格

3.43.0

org.codehaus.janino

コモンズコンパイラ

3.0.16

org.codehaus.janino

ジャニーノ

3.0.16

org.datanucleus

データニュークリアスAPIJDO

4.2.4

org.datanucleus

データニュークリアスコア

4.1.17

org.datanucleus

データニュークリアス-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org. Eclipse .jetty

桟橋クライアント

9.4.53.v20231009

org. Eclipse .jetty

桟橋の延長

9.4.53.v20231009

org. Eclipse .jetty

ジェティ-http

9.4.53.v20231009

org. Eclipse .jetty

ジェティイオ

9.4.53.v20231009

org. Eclipse .jetty

ジェティ・ジャンディ

9.4.53.v20231009

org. Eclipse .jetty

桟橋プラス

9.4.53.v20231009

org. Eclipse .jetty

桟橋プロキシ

9.4.53.v20231009

org. Eclipse .jetty

桟橋のセキュリティ

9.4.53.v20231009

org. Eclipse .jetty

桟橋サーバー

9.4.53.v20231009

org. Eclipse .jetty

jettyサーブレット

9.4.53.v20231009

org. Eclipse .jetty

jettyサーブレット

9.4.53.v20231009

org. Eclipse .jetty

桟橋ユーティリティ

9.4.53.v20231009

org. Eclipse .jetty

jetty-util-ajax

9.4.53.v20231009

org. Eclipse .jetty

jettyウェブアプリ

9.4.53.v20231009

org. Eclipse .jetty

ジェティ-xml

9.4.53.v20231009

org. Eclipse .jetty.websocket

ウェブソケットAPI

9.4.53.v20231009

org. Eclipse .jetty.websocket

Websocketクライアント

9.4.53.v20231009

org. Eclipse .jetty.websocket

websocket-共通

9.4.53.v20231009

org. Eclipse .jetty.websocket

Websocketサーバー

9.4.53.v20231009

org. Eclipse .jetty.websocket

Websocketサーブレット

9.4.53.v20231009

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2ロケーター

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-リソースロケーター

1.0.3

org.glassfish.hk2.外部

aopalliance-再パッケージ

2.6.1

org.glassfish.hk2.外部

ジャカルタ.インジェクト

2.6.1

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.41

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.41

org.glassfish.jersey.core

ジャージクライアント

2.41

org.glassfish.jersey.core

ジャージーコモン

2.41

org.glassfish.jersey.core

ジャージサーバー

2.41

org.glassfish.jersey.inject

ジャージー-hk2

2.41

org.hibernate.validator

Hibernateバリデータ

6.2.5.最終

org.ini4j

ini4j

0.5.4

org.javassist

ジャバシスト

3.29.2-GA

org.jboss.logging

jbossロギング

3.4.1.最終

org.jdbi

DBI

2.63.1

org.jetbrains

注釈

17.0.0

org.jline

jline

3.27.1-jdk8

org.joda

joda-convert

1.7

org.jodd

ジョッドコア

3.5.2

org.json4s

json4s-ast_2.13

4.0.7

org.json4s

json4s-core_2.13

4.0.7

org.json4s

json4s-ジャクソン-core_2.13

4.0.7

org.json4s

json4s-jackson_2.13

4.0.7

org.json4s

json4s-scalap_2.13

4.0.7

org.lz4

lz4-java

1.8.0-データブリックス-1

org.mlflow

mlflow-spark_2.13

2.9.1

org.objenesis

オブジェクト

3.3

org.postgresql

PostgreSQL

42.6.1

org.roaringbitmap

ロアリングビットマップ

1.2.1

org.rocksdb

rocksdbjni

9.8.4

org.rosuda.Rエンジン

Rエンジン

2.1.0

org. Scala言語

Scala -compiler_2.13

2.13.16

org. Scala言語

Scala -library_2.13

2.13.16

org. Scala言語

Scala -reflect_2.13

2.13.16

org. Scala -lang.modules

Scala -コレクション-compat_2.13

2.11.0

org. Scala -lang.modules

Scala -java8-compat_2.13

0.9.1

org. Scala -lang.modules

Scala -並列コレクション_2.13

1.2.0

org. Scala -lang.modules

Scala -パーサーコンビネーター_2.13

2.4.0

org. Scala -lang.modules

Scala -xml_2.13

2.3.0

org. Scala -sbt

テストインターフェース

1.0

org.scalacheck

スカラチェック_2.13

1.18.0

org.scalactic

スカルラクティック_2.13

3.2.19

org.scalameta

共通_2.13

4.13.5

org.scalameta

io_2.13

4.13.5

org.scalameta

mdoc-parser_2.13

2.6.4

org.scalameta

メタコンフィグコア_2.13

0.15.0

org.scalameta

メタコンフィグ-pprint_2.13

0.15.0

org.scalameta

メタコンフィグタイプセーフ構成_2.13

0.15.0

org.scalameta

パーサー_2.13

4.13.5

org.scalameta

スカラフムト構成_2.13

3.9.6

org.scalameta

スカラフムトコア_2.13

3.9.6

org.scalameta

scalafmt-マクロ_2.13

3.9.6

org.scalameta

scalafmt-sysops_2.13

3.9.6

org.scalameta

スカラメタ_2.13

4.13.5

org.scalameta

木_2.13

4.13.5

org.scalanlp

breeze-macros_2.13

2.1.0

org.scalanlp

そよ風_2.13

2.1.0

org.scalatest

スケーラテスト互換

3.2.19

org.scalatest

スケーラテストコア_2.13

3.2.19

org.scalatest

スケーラテストダイアグラム_2.13

3.2.19

org.scalatest

スケーラテスト機能仕様_2.13

3.2.19

org.scalatest

スケーラテストフラットスペック_2.13

3.2.19

org.scalatest

スケーラテストフリースペック_2.13

3.2.19

org.scalatest

スケーラテストファンスペック_2.13

3.2.19

org.scalatest

スケーラテストファンスイート_2.13

3.2.19

org.scalatest

スケーラテストマッチャーコア_2.13

3.2.19

org.scalatest

スケーラテスト-マストマッチ_2.13

3.2.19

org.scalatest

スケーラテストプロパティスペック_2.13

3.2.19

org.scalatest

スケーラテスト refspec_2.13

3.2.19

org.scalatest

スケーラテスト-shouldmatchers_2.13

3.2.19

org.scalatest

スケーラテスト-ワードスペック_2.13

3.2.19

org.scalatest

スケーラテスト_2.13

3.2.19

org.slf4j

jcl-over-slf4j

2.0.16

org.slf4j

jul-to-slf4j

2.0.16

org.slf4j

slf4j-api

2.0.16

org.slf4j

slf4j-シンプル

1.7.25

org.threeten

30追加

1.8.0

org.tukaani

xz

1.10

org.typelevel

代数_2.13

2.8.0

org.typelevel

猫カーネル_2.13

2.8.0

org.typelevel

ページスコア_2.13

0.4.4

org.typelevel

spire-macros_2.13

0.18.0

org.typelevel

尖塔プラットフォーム_2.13

0.18.0

org.typelevel

spire-util_2.13

0.18.0

org.typelevel

尖塔_2.13

0.18.0

org.wildfly.openssl

ワイルドフライ-openssl

1.1.3.最終

org.xerial

sqlite-JDBC

3.42.0.0

org.xerial.snappy

スナッピーJava

1.1.10.3

org.yaml

スネークヤムル

2.0

オロ

オロ

2.0.8

pl.edu.icm

JLargeArrays

1.5

ソフトウェア。 Amazon

AmazonCorrettoCryptoProvider

2.5.0-linux-x86_64

スタックス

スタックスAPI

1.0.1

ヒント

サポート終了 (EoS) に達したDatabricks Runtimeバージョンのリリース ノートを確認するには、 「サポート終了Databricks Runtimeノート」を参照してください。 EoS Databricks Runtime バージョンは廃止されており、更新されない可能性があります。