メインコンテンツまでスキップ

Databricks Runtime 15.2 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

次のリリースノートでは、Databricks Runtime Apache Spark3.5.0 を搭載した 15.2 に関する情報を提供しています。

Databricks は 2024 年 5 月にこのバージョンをリリースしました。

ヒント

サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

行動の変化

vacuum は COPY INTO メタデータファイルをクリーンアップします

COPY INTO で記述されたテーブルで vacuum を実行すると、取り込まれたファイルの追跡に関連付けられた参照されていないメタデータがクリーンアップされるようになりました。COPY INTOの操作セマンティクスへの影響はありません。

レイクハウスフェデレーションの一般提供開始 (GA)

Databricks Runtime 15.2 以降では、次のデータベースの種類にわたるレイクハウスフェデレーションコネクタが一般提供 (GA) されています。

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse(SQLデータウェアハウス)
  • Databricks

このリリースでは、次の改善も導入されています。

  • SnowflakeおよびMicrosoft SQL Serverコネクタでのシングルサインオン(SSO)認証のサポート。

  • サーバレス コンピュート環境での安定したエグレス IP のサポート。 「ステップ 1: ネットワーク接続構成を作成し、安定した IP をコピーする」を参照してください

  • 追加のプッシュダウン (文字列関数、数学関数、その他の関数) のサポート。

  • さまざまなクエリ図形間でのプッシュダウン成功率が向上しました。

  • 追加のプッシュダウン デバッグ機能:

    • EXPLAIN FORMATTED出力には、プッシュダウンされたクエリ テキストが表示されます。
    • クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーテッド ノード識別子、および JDBC クエリの実行時間 (詳細モード) が表示されます。 システム生成の横串検索の表示を参照してください。

BY POSITION ヘッダーレス CSV ファイルを使用した COPY INTO を使用した列マッピング

Databricks Runtime 15.2 以降では、ヘッダーレス CSV ファイルの COPY INTOBY POSITION キーワード (または代替構文 ( col_name [ , <col_name> ... ] )) を使用して、ソース列からターゲット テーブル列へのマッピングを簡略化できます。パラメーターを参照してください。

Spark タスクが Resubmitted エラーで失敗したときのメモリ消費量を減らす

Databricks Runtime 15.2 以降では、タスクがResubmittedエラーで失敗した場合、Spark TaskInfo.accumulables() メソッドの戻り値は空です。以前は、このメソッドは以前に成功したタスクの試行の値を返していました。 この動作の変更は、次のコンシューマーに影響します。

  • EventLoggingListener クラスを使用する Spark タスク。
  • カスタム Spark リスナー。

以前の動作に戻すには、 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabledfalseに設定します。

アダプティブ クエリ実行プランのバージョンの表示は無効です

メモリ消費量を削減するために、アダプティブ クエリ実行 (AQE) プラン バージョンは、 Spark UIのデフォルトによって無効になりました。 Spark UI で AQE プランのバージョンを表示できるようにするには、 spark.databricks.sql.aqe.showPlanChangesInUI.enabledtrueに設定します。

Spark UI のメモリ使用量を減らすために、保持クエリの制限が引き下げられました

Databricks Runtime15.2Spark UI Databricks以降では、 コンピュートの によって消費されるメモリを減らすために、UI に表示されるクエリの数の制限が 1000 から 100 に引き下げられます。制限を変更するには、 spark.sql.ui.retainedExecutions Spark 構成を使用して新しい値を設定します。

DESCRIBE HISTORY で、リキッドクラスタリングを使用するテーブルのクラスタリング列が表示されるようになりました

DESCRIBE HISTORYクエリを実行すると、operationParameters列には、CREATE OR REPLACEおよびOPTIMIZE操作のclusterByフィールドがデフォルトで表示されます。リキッドクラスタリングを使用する Delta テーブルの場合、clusterBy フィールドにはテーブルのクラスタリング列が入力されます。 テーブルがリキッドクラスタリングを使用していない場合、フィールドは空です。

新機能と改善点

プライマリキーと外部キーのサポートはGAです

Databricks Runtime での主キーと外部キーのサポートは、一般提供されています。 GA リリースには、プライマリ・キーと外部キーを使用するために必要な権限に対する次の変更が含まれています。

  • 外部キーを定義するには、外部キーが参照するプライマリ・キーを持つテーブルに対する SELECT 権限が必要です。 以前に必要だったプライマリキーを持つテーブルを所有する必要はありません。
  • CASCADE 句を使用してプライマリ・キーを削除する場合、プライマリ・キーを参照する外部キーを定義するテーブルに対する権限は必要ありません。以前は、参照テーブルを所有する必要がありました。
  • 制約を含むテーブルの削除には、制約を含まないテーブルの削除と同じ権限が必要になりました。

テーブルまたはビューでプライマリ・キーと外部キーを使用する方法については、 CONSTRAINT 句ADD CONSTRAINT 句DROP CONSTRAINT 句を参照してください。

リキッドクラスタリング is GA

リキッドクラスタリングのサポートは、 Databricks Runtime 15.2 以降を使用して一般提供が開始されました。 「Deltaテーブルにリキッドクラスタリングを使用する」を参照してください。

タイプの拡大はパブリック プレビュー段階です

Delta Lake を基盤とするテーブルで型の拡大を有効にできるようになりました。 型の拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「タイプ拡幅区間」を参照してください。

SQL マージ構文に追加されたスキーマ進化節

これで、WITH SCHEMA EVOLUTION 句を SQL merge ステートメントに追加して、操作のスキーマ進化を有効にできるようになりました。 マージのスキーマ進化構文を参照してください。

PySpark カスタムデータソースがパブリックプレビューで利用可能に

PySpark データソースは、Python (PySpark) データソース API を使用して作成でき、これにより、カスタム データ ソースからの読み取りと、Python を使用した Apache Spark のカスタム データ シンクへの書き込みが可能になります。 「PySpark カスタムデータソース」を参照してください。

ユーザー定義関数 (UDF) が Unity Catalog 対応の Graviton インスタンスで使用できるようになりました

Unity Catalog 対応の Graviton インスタンスで UDF を使用して、Python と SQL のカスタムロジックを保存して再利用できるようになりました。 「Unity Catalog のユーザー定義関数 (UDF)」を参照してください。

applyInPandasとmapInPandasが共有アクセスモードの Unity Catalog コンピュートで利用可能になりました

Databricks Runtime 14.3 LTS メンテナンス リリースの一部として、applyInPandasmapInPandas UDF の種類が、Databricks Runtime 14.3 以降で実行されている共有アクセス モード コンピュートでサポートされるようになりました。

dbutils.widgets.getAll() を使用します ノートブック内のすべてのウィジェットを取得するには

dbutils.widgets.getAll() を使用して、ノートブック内のすべてのウィジェット値を取得します。これは、複数のウィジェット値をSpark SQLクエリに渡す場合に特に役立ちます。

vacuum インベントリのサポート

Delta テーブルで VACUUM コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 OSS Delta のドキュメントを参照してください。

Zstandard 圧縮関数のサポート

これで、 zst_compresszstd_decompress、および try_zstd_decompress 関数を使用して、 BINARY データを圧縮および圧縮解除できるようになりました。

バグの修正

SQL UI のクエリ プランが正しく表示されるようになりました PhotonWriteStage

SQL UI で表示すると、クエリ プランの write コマンドで PhotonWriteStage が誤って演算子として表示されていました。 このリリースでは、UI が更新され、 PhotonWriteStage がステージとして表示されます。 これは UI の変更であり、クエリの実行方法には影響しません。

Ray クラスターの開始に関する問題を修正するために Ray が更新されました

このリリースには、Ray クラスターが Databricks Runtime for Machine Learning から開始できない破壊的変更を修正する修正プログラムが適用されたバージョンの Ray が含まれています。 この変更により、Ray の機能は 15.2 より前のバージョンの Databricks Runtime と同じになります。

DataFrame.sort()関数とDataFrame.sortWithinPartitions()関数のエラークラスを修正

このリリースには、インデックス引数として 0 が渡されたときに ZERO_INDEX エラー クラスがスローされるようにするための PySpark DataFrame.sort() 関数と DataFrame.sortWithinPartitions() 関数の更新プログラムが含まれています。以前は、エラー クラス ( INDEX_NOT_POSITIVE ) がスローされていました。

ipywidgets が 8.0.4 から 7.7.2 にダウングレードされました

Databricks Runtime 15.0 で ipywidgets を 8.0.4 にアップグレードした際に発生したエラーを修正するために、Databricks Runtime 15.2 では ipywidgets が 7.7.2 にダウングレードされます。 これは、以前の Databricks Runtime バージョンに含まれていたものと同じバージョンです。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:

    • 3.1.42 からの GitPython 3.1.43 まで
    • google-api-core を 2.17.1 から 2.18.0 に変更
    • google-auth を 2.28.1 から 2.29.0 に変更
    • 2.15.0 から 2.16.0 へのGoogle Cloud Storage
    • googleapis-common-protos を 1.62.0 から 1.63.0 へ
    • ipywidgets 8.0.4 から 7.7.2 へ
    • mlflow-skinny を 2.11.1 から 2.11.3 に変更
    • s3 0.10.0 から 0.10.1 への転送
    • sqlparse を 0.4.4 から 0.5.0 へ
    • 4.7.1 から 4.10.0 までのtyping_extensions
  • アップグレードされた R ライブラリ:

  • アップグレードされた Java ライブラリ:

    • com.amazonaws.aws-java-sdk-オートスケール 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cloudformation 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cloudfront (英語) 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cloudhsm (英語) 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cloudsearch 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cloudwatchメトリクス 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-codedeploy 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-cognitosync (英語) 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-configの 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-core 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-directconnect 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdkディレクトリ 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-ec2 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-ecs 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-efs 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-elasticache 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-elasticトランスコーダー 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-emr 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-glacier 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-glue 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-iam 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-importexport 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-kinesis 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-kmsの 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-ラムダ 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-logs 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-machinelearning 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-opsworks (英語) 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-rds 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-redshift 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-route53 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-s3 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-ses 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-simpledb 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-simpleワークフロー 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-sns 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-sqs 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-ssm 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-sts 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-サポート 1.12.390 から 1.12.610 まで
    • com.amazonaws.aws-java-sdk-ワークスペース 1.12.390 から 1.12.610 まで
    • com.amazonaws.jmespath-java 1.12.390 から 1.12.610 まで

Apache Spark

Databricks Runtime 15.2 には Apache Spark 3.5.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 15.1 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-47941] [SC-163568] [SS] [Connect] ForeachBatchワーカーの初期化エラーをユーザーに伝播 PySpark
  • [SPARK-47412] [SC-163455][sql] LPad/RPadの照合サポートを追加。
  • [SPARK-47907] [SC-163408][sql] 設定の下に bang を置く
  • [SPARK-46820] [SC-157093][Python] 復元によるエラーメッセージのリグレッションを修正 new_msg
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]コア/MLlib/リソースマネージャー:構造化ロギングの移行
  • [SPARK-47890] [SC-163324][接続][Python] Scala および Pythonにバリアント関数を追加。
  • [SPARK-47894] [SC-163086][core][WEBUI] マスターUIに Environment ページを追加
  • [SPARK-47805] [SC-163459][ss] MapStateのTTLの実装
  • [SPARK-47900] [SC-163326] 暗黙的な(UTF8_BINARY)照合のチェックを修正
  • [SPARK-47902] [SC-163316][sql]コンピュートCurrent Time*式を折りたたみ可能に
  • [SPARK-47845] [SC-163315][sql][Python][connect] ScalaおよびPythonの分割関数で列タイプをサポート
  • [SPARK-47754] [SC-162144][sql] Postgres:多次元配列の読み取りをサポート
  • [SPARK-47416] [SC-163001][sql] CollationBenchmark #90339に新しい関数を追加
  • [SPARK-47839] [SC-163075][sql] RewriteWithExpressionの集約バグを修正
  • [SPARK-47821] [SC-162967][sql] is_variant_null式を実装
  • [SPARK-47883] [SC-163184][sql] RowQueueで CollectTailExec.doExecute を遅延させる
  • [SPARK-47390] [SC-163306][sql] PostgresDialect が TIMESTAMP と TIMESTAMP_TZ を区別します
  • [SPARK-47924] [SC-163282][core] DEBUGログを DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][sql][3.5] Scala 2.12 での ExpressionSet パフォーマンスのリグレッションを修正
  • [SPARK-47565] [ SC-161786 ] [Python] PySpark ワーカー プールのクラッシュ耐性
  • [SPARK-47885] [SC-162989] [Python][CONNECT] PySpark.リソースを PySpark-connectと互換性を持たせる
  • [SPARK-47887] [SC-163122][接続] 未使用のインポート spark/connect/common.proto を削除 spark/connect/relations.proto
  • [SPARK-47751] [SC-161991] [Python][CONNECT] PySpark.ワーカーを作る PySpark-connectに対応
  • [SPARK-47691] [SC-161760][sql] Postgres:書き込み側で多次元配列をサポート
  • [SPARK-47617] [SC-162513][sql] 照合用のTPC-DSテストインフラストラクチャを追加
  • [SPARK-47356] [SC-162858][sql] ConcatWs と Elt のサポートを追加 (すべての照合)
  • [SPARK-47543] [SC-161234][接続][Python] Pandas DataFrame からdictMapTypeとして推論して DataFrame 作成を可能にする
  • [SPARK-47863] [SC-162974][sql] ICUのstartsWith & endsWith照合対応実装を修正
  • [SPARK-47867] [SC-162966][sql] JSONスキャンでバリアントをサポートします。
  • [SPARK-47366] [SC-162475][sql][Python] PySparkのVariantValを追加
  • [SPARK-47803] [SC-162726][sql] バリアントへのキャストをサポートします。
  • [SPARK-47769] [SC-162841][sql] schema_of_variant_agg式を追加します。
  • [SPARK-47420] [SC-162842][sql] テスト出力を修正
  • [SPARK-47430] [SC-161178][sql] MapTypeのサポートグループ BY
  • [SPARK-47357] [SC-162751][sql] Upper、Lower、InitCap(すべての照合順序)のサポートを追加
  • [SPARK-47788] [SC-162729][ss] ストリーミングステートフル操作で同じハッシュパーティショニングを確保
  • [SPARK-47776] [SC-162291][ss] ステートフル演算子のキースキーマでバイナリの不等式照合の使用を許可しない
  • [SPARK-47673] [SC-162824][ss] ListStateのTTLの実装
  • [SPARK-47818] [SC-162845][connect] SparkConnectPlannerにプランキャッシュを導入し、Analyzeリクエストのパフォーマンスを向上させる
  • [SPARK-47694] [SC-162783][connect] クライアント側で最大メッセージサイズを設定可能に
  • [SPARK-47274] 「[SC-162479][Python][SQL] より多くの使用を提供してください...
  • [SPARK-47616] [SC-161193][sql] MySQLからSpark SQLデータ型をマッピングするためのユーザードキュメントを追加
  • [SPARK-47862] [SC-162837]Python][CONNECT]プロトファイルの生成を修正
  • [SPARK-47849] [SC-162724][Python][CONNECT] リリーススクリプトをリリース PySpark-connectに変更
  • [SPARK-47410] [SC-162518][sql] UTF8StringとCollationFactoryのリファクタリング
  • [SPARK-47807] [SC-162505]Python][ML] PySpark.ml を PySpark-connect と互換性を持たせる
  • [SPARK-47707] [SC-161768][sql] MySQL Connector/J 5.xのJSONタイプの特別な処理
  • [SPARK-47765] 「[SC-162636][sql] SET COLLATIONをparsに追加...
  • [SPARK-47081] [SC-162151][接続][FOLLOW] プログレスハンドラーの使い勝手を改善
  • [SPARK-47289] [SC-161877][sql] 説明プランの拡張情報をログに記録する拡張機能の許可
  • [SPARK-47274] [SC-162479]Python][SQL] PySpark DataFrame API エラーに対してより有用なコンテキストを提供
  • [SPARK-47765] [SC-162636][sql] パーサールールにSET COLLATIONを追加
  • [SPARK-47828] [SC-162722][接続][Python] DataFrameWriterV2.overwrite無効なプランで失敗する
  • [SPARK-47812] [SC-162696][connect] ForEachBatch ワーカーの SparkSession のシリアル化をサポート
  • [SPARK-47253] [SC-162698][core] イベントキューが完全に枯渇することなくLiveEventBusを停止させる
  • [SPARK-47827] [SC-162625][Python] 非推奨の機能の警告が表示されない
  • [SPARK-47733] [SC-162628][ss] クエリの進行状況のtransformWithState演算子部分にカスタムメトリクスを追加
  • [SPARK-47784] [SC-162623][ss] TTLMode と TimeoutMode を 1 つの TimeMode に統合します。
  • [SPARK-47775] [SC-162319][sql] バリアント仕様の残りのスカラータイプをサポートします。
  • [SPARK-47736] [SC-162503][sql] AbstractArrayTypeのサポートを追加
  • [SPARK-47081] [SC-161758][connect] クエリ実行の進行状況をサポート
  • [SPARK-47682] [SC-162138][sql] バリアントからのキャストをサポートします。
  • [SPARK-47802] [SC-162478][sql] ( )をstruct()の意味から *の意味に戻します
  • [SPARK-47680] [SC-162318][sql] variant_explode式を追加します。
  • [SPARK-47809] [SC-162511][sql] 各コード生成モードのエラーをチェックcheckExceptionInExpression
  • [SPARK-41811] [SC-162470]Python][CONNECT] でSQLStringFormatterを実装 WithRelations
  • [SPARK-47693] [SC-162326][sql] UTF8_BINARY_LCASE照合で使用されるUTF8Stringの小文字比較の最適化を追加
  • [SPARK-47541] [SC-162006][sql] リバース、array_join、コンキャット、マップの操作をサポートする複合型の照合文字列
  • [SPARK-46812] [SC-161535][接続][Python] mapInPandas / mapInArrow サポートの ResourceProfile を作成
  • [SPARK-47727] [SC-161982][Python] SparkSession とSparkContextの両方でSparkConfをルートレベルに
  • [SPARK-47406] [SC-159376][sql] MYSQLDialectでTIMESTAMPとDATETIMEを処理する
  • 【スパーク-47081】 「[SC-161758][connect] Support Query Executi... を元に戻す
  • [SPARK-47681] [SC-162043][sql] schema_of_variant式を追加します。
  • [SPARK-47783] [SC-162222] 欠落しているSQLSTATEをいくつか追加し、使用するYY000をクリーンアップします...
  • [SPARK-47634] [SC-161558][sql] マップキーの正規化を無効にするためのレガシーサポートを追加
  • [SPARK-47746] [SC-162022] RocksDBStateEncoderに序数ベースの範囲エンコーディングを実装
  • [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExecは常にcontext.sessionを使用すべき
  • [SPARK-47643] [SC-161534][ss][]Python PySparkPythonストリーミング ソースの テストを追加
  • [SPARK-47582] [SC-161943][sql] 変数を含む Catalyst logInfo を構造化ロギングフレームワークに移行
  • [SPARK-47558] [SC-162007][ss] ValueStateに対する状態TTLのサポート
  • [SPARK-47358] [SC-160912][sql][照合] 正しいデータ型を返すように繰り返し式のサポートを改善
  • [SPARK-47504] [SC-162044][sql] StringTypeCollatedのAbstractDataType simpleStringsを解決
  • [スパーク-47719] 「[SC-161909][sql] spark.sql.legacy.tを変更...
  • [SPARK-47657] [SC-162010][sql] ファイルソースごとに照合フィルタのプッシュダウンサポートを実装
  • [SPARK-47081] [SC-161758][connect] クエリ実行の進行状況をサポート
  • [SPARK-47744] [SC-161999] 範囲エンコーダーに負の値のバイトのサポートを追加
  • [SPARK-47713] [SC-162009][sql][CONNECT] 自己結合の失敗を修正
  • [SPARK-47310] [SC-161930][ss] 状態ストアの値部分に複数の値のマージ操作のためのマイクロベンチマークを追加
  • [SPARK-47700] [SC-161774][sql] treeNodeのエラーメッセージのフォーマットを修正
  • [SPARK-47752] [SC-161993][ps][CONNECT] PySpark.pandasを PySpark-connectと互換性を持たせる
  • [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] 構造化ロギングフレームワークにlogWarning/logInfo APIを実装
  • [SPARK-47107] [SC-161201][ss][Python] Python ストリーミング データソースのパーティションリーダーを実装
  • [SPARK-47553] [SC-161772][ss]Java transformWithState演算子 のサポート を追加APIs
  • [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParserPolicyを変更 デフォルトは CORRECTED です
  • [SPARK-47655] [SC-161761][ss] state-v2の初期状態処理にタイマーを統合
  • [SPARK-47665] [SC-161550][sql] SMALLINTを使用してShortTypeをMYSQLに書き込む
  • [SPARK-47210] [SC-161777][sql] 不確定なサポートなしの暗黙的なキャストの追加
  • [SPARK-47653] [SC-161767][ss] 負の数値タイプと範囲スキャンキーエンコーダーのサポートを追加
  • [SPARK-46743] [SC-160777][sql] 定数フォールディング後のカウントバグ
  • [SPARK-47525] [SC-154568][sql] マップ属性のサブクエリ相関結合をサポート
  • [SPARK-46366] [SC-151277][sql] BETWEEN で WITH 式を使用して、式の重複を避ける
  • [SPARK-47563] [SC-161183][sql] 作成時にマップの正規化を追加
  • [SPARK-42040] [SC-161171][sql] SPJ:パーティション統計を報告するためのV2入力パーティション用の新しいAPIを導入
  • [SPARK-47679] [SC-161549][sql] HiveConf.getConfVars またはHiveのconf名を直接使用
  • [SPARK-47685] [SC-161566][sql] Stream タイプのサポートを復元 Dataset#groupBy
  • [SPARK-47646] [SC-161352][sql] 不正な入力に対してtry_to_numberをNULLに戻すように修正
  • [SPARK-47366] [SC-161324][Python] PySpark およびデータフレームparse_jsonエイリアスを追加
  • [SPARK-47491] [SC-161176][core] slf4j-api ディレクトリの他のものよりも先に jars jarをクラスパスに追加する
  • [SPARK-47270] [SC-158741][sql] データセット.isEmpty projects CommandResults locally
  • [SPARK-47364] [SC-158927][core] プラグインが一方向のメッセージに対して応答するときに警告 PluginEndpoint ように修正
  • [SPARK-47280] [SC-158350][sql] ORACLE TIMESTAMP WITH TIMEZONEのタイムゾーン制限を削除
  • [SPARK-47551] [SC-161542][sql] variant_get式を追加します。
  • [SPARK-47559] [SC-161255][sql] バリアントのCodegenサポート parse_json
  • [SPARK-47572] [SC-161351][sql] ウィンドウのpartitionSpecを強制する順序付けが可能にしました。
  • [SPARK-47546] [SC-161241][sql] Parquetからバリアントを読み取る際の検証を改善
  • [SPARK-47543] [SC-161234][接続][Python] Pandas DataFrame からdictMapTypeとして推論して DataFrame 作成を可能にする
  • [SPARK-47485] [SC-161194][sql][Python][connect] データフレームAPIで照合順序を含む列を作成
  • [SPARK-47641] [SC-161376][sql] UnaryMinusAbs
  • [SPARK-47631] [SC-161325][sql] 未使用の SQLConf.parquetOutputCommitterClass メソッドを削除
  • [SPARK-47674] [SC-161504][core] デフォルトで spark.metrics.appStatusSource.enabled を有効にする
  • [SPARK-47273] [SC-161162][ss][Python] Python データストリームライターインターフェースを実装します。
  • [SPARK-47637] [SC-161408][sql] errorCapturingIdentifierをより多くの場所で使用する
  • [SPARK-47497] 元に戻す "[SC-160724][sql] 配列/構造体/マップ/バイナリの出力をきれいな文字列としてサポートto_csv
  • [SPARK-47492] [SC-161316][sql] 字句解析器の空白ルールを広げる
  • [SPARK-47664] [SC-161475][Python][CONNECT] キャッシュされたスキーマで列名を検証します
  • [SPARK-47638] [SC-161339][ps][CONNECT] PSで列名の検証をスキップする
  • [SPARK-47363] [SC-161247][ss] State API v2 のステートリーダー実装なしの初期ステート。
  • [SPARK-47447] [SC-160448][sql] Parquet TimestampLTZをTimestampNTZとして読み取れるように
  • [SPARK-47497]「[SC-160724][sql] array/struct/map/binaryの出力をきれいな文字列としてサポートするようにto_csv」を差し戻します。
  • [SPARK-47434] [SC-160122][webui] statistics リンクを修正 StreamingQueryPage
  • [SPARK-46761] [SC-159045][sql] JSONパス内の引用符で囲まれた文字列は?文字
  • [SPARK-46915] [SC-155729][sql] UnaryMinus Abs の簡略化とエラークラスの整列
  • [SPARK-47431] [SC-160919][sql] セッションレベルのデフォルトの照合を追加
  • [SPARK-47620] [SC-161242]Python][CONNECT] 列をソートするヘルパー機能を追加
  • [SPARK-47570] [SC-161165][ss] レンジスキャンエンコーダーの変更をタイマー実装と統合
  • [SPARK-47497] [SC-160724][sql] array/struct/map/binaryの出力をきれいな文字列としてサポートするようにto_csv
  • [SPARK-47562] [SC-161166][connect] 要素リテラルの処理が plan.py
  • [SPARK-47509] [SC-160902][sql] ラムダ関数および高階関数のサブクエリ式をブロックする
  • [SPARK-47539] [SC-160750][sql] メソッド castToString の戻り値を Any => UTF8String
  • [SPARK-47372] [SC-160905][ss] 状態ストアプロバイダーで使用するための範囲スキャンベースのキー状態エンコーダーのサポートを追加
  • [SPARK-47517] [SC-160642][core][SQL] サイズ表示にUtils.bytesToStringを優先
  • [SPARK-47243] [SC-158059][ss] のパッケージ名を修正 StateMetadataSource.scala
  • [SPARK-47367] [SC-160913]][CONNECT]Python PythonSparkConnectによる データソースのサポート
  • [SPARK-47521] [SC-160666][core] 外部ストレージからのシャッフルデータの読み取り中に Utils.tryWithResource を使用する
  • [SPARK-47474] [SC-160522][core] SPARK-47461を元に戻し、コメントを追加
  • [SPARK-47560] [SC-160914] [Python][CONNECT] キャッシュされたスキーマで列名を検証するRPCを避ける
  • [SPARK-47451] [SC-160749][sql] to_json(バリアント) をサポートします。
  • [SPARK-47528] [SC-160727][sql] UserDefinedTypeのサポートをDataTypeUtils.canWriteに追加
  • [スパーク-44708] 「[SC-160734][Python] assertDataFrameEqual を使用するようにtest_reset_index assert_eqを移行する」を元に戻す
  • [SPARK-47506] [SC-160740][sql] 照合データタイプのすべてのファイルソース形式にサポートを追加
  • [SPARK-47256] [SC-160784][sql] エラークラス_LEGACY_ERROR_TEMP_102[4-7]に名前を割り当てる
  • [SPARK-47495] [SC-160720][core] k8sクラスターモードでspark.jarsに2回追加されたプライマリリソースjarを修正
  • [SPARK-47398] [SC-160572][sql] InMemoryTableScanExec の特性を抽出して、機能を拡張できるようにしました
  • [SPARK-47479] [SC-160623][sql] オプティマイズが複数のパスを持つリレーションにデータを書き込めないエラーログ
  • [SPARK-47483] [SC-160629][sql] 照合された文字列の配列に対する集計および結合操作のサポートを追加
  • [SPARK-47458] [SC-160237][core] バリアステージの最大並列タスクの計算に関する問題を修正
  • [SPARK-47534] [SC-160737][sql] o.a.s.varianto.a.s.types.variant
  • [SPARK-47396] [SC-159312][sql] TIME WITHOUT TIME ZONEの一般的なマッピングをTimestampNTZTypeに追加
  • [SPARK-44708] [SC-160734][Python] assertDataFrameEqual を使用するようにtest_reset_index assert_eqを移行する
  • [SPARK-47309] [SC-157733][sc-160398][SQL] XML: 値タグのスキーマ推論テストを追加
  • [SPARK-47007] [SC-160630][sql] MapSort 式を追加
  • [SPARK-47523] [SC-160645][sql] 非推奨の JsonParser#getCurrentNameJsonParser#currentName
  • [SPARK-47440] [SC-160635][sql] サポートされていない構文をMsSqlServerにプッシュする問題を修正
  • [SPARK-47512] [SC-160617][ss] RocksDB 状態ストアインスタンスのロック取得/解放で使用されるタグ操作タイプ
  • [SPARK-47346] [SC-159425]Python] Python プランナーワーカーの作成時にデーモンモードを設定可能に
  • [SPARK-47446] [SC-160163][core] 前に警告BlockManager removeBlockInternal
  • [SPARK-46526] [SC-156099][sql] 述語が外部テーブルのみを参照する相関サブクエリに対するLIMITのサポート
  • [SPARK-47461] [SC-160297][core] プライベート機能 totalRunningTasksPerResourceProfile の削除 ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][sql] 配列操作での照合文字列のサポート
  • [SPARK-47500] [SC-160627]Python][CONNECT] 因子列名の処理が外れています plan.py
  • [SPARK-47383] [SC-160144][core] spark.shutdown.timeout 設定をサポート
  • [SPARK-47342] [SC-159049]「[SQL] DB2 TIMESTAMP WITH TIME ZONE」のTimestampNTZを元に戻す
  • [SPARK-47486] [SC-160491][接続] 未使用のプライベート ArrowDeserializers.getString メソッドを削除
  • [SPARK-47233] [SC-154486][接続][SS][2/2] クライアント側ストリーミングクエリリスナーのクライアントおよびサーバーロジック
  • [SPARK-47487] [SC-160534][sql] AnsiTypeCoercionのコードを簡略化
  • [SPARK-47443] [SC-160459][sql] 照合順序のWindow Aggregateサポート
  • [SPARK-47296] [SC-160457][sql][COLLATION] 非バイナリ照合でサポートされていない関数が失敗する
  • [SPARK-47380] [SC-160164][connect] サーバー側でSparkSessionが同じであることを確認してください
  • [SPARK-47327] [SC-160069][sql] ソートキーの同時実行性テストをCollationFactorySuiteに移動
  • [SPARK-47494] [SC-160495][doc] Spark 3.3以降のParquetタイムスタンプ推論の動作変更に関する移行ドキュメントを追加
  • [SPARK-47449] [SC-160372][ss] リファクタリングおよび分割リスト/タイマーユニットのテスト
  • [SPARK-46473] [SC-155663][sql] getPartitionedFile の再利用方法
  • [SPARK-47423] [SC-160068][sql] 照合 - 照合順序を持つ文字列の設定操作のサポート
  • [SPARK-47439] [SC-160115] []Python Pythonリファレンス ページの データソースAPIAPI
  • [SPARK-47457] [SC-160234][sql] Hadoop 3.4+を処理するように IsolatedClientLoader.supportsHadoopShadedClient を修正
  • [SPARK-47366] [SC-159348][sql] parse_jsonを実装します。
  • [SPARK-46331] [SC-152982][sql] DateTime式とversion()式のサブセットからCodegenFallbackを削除
  • [SPARK-47395] [SC-159404] 他のAPIsに照合と照合を追加
  • [SPARK-47437] [SC-160117] [Python][CONNECT] のエラークラスを修正 DataFrame.sort*
  • [SPARK-47174] [SC-154483][接続][SS][1/2] クライアント側のストリーミングクエリリスナー用のサーバー側のSparkConnectListenerBusListener
  • [SPARK-47324] [SC-158720][sql] JDBC ネストされた型の欠落しているタイムスタンプ変換を追加
  • [SPARK-46962] [SC-158834][ss][Python] Python ストリーミング データソース API のインターフェイスを追加し Python Python ワーカーが ストリーミング データソースを実行できるように実装
  • [SPARK-45827] [SC-158498][sql] データ型チェックをCreatableRelationProviderに移動
  • [SPARK-47342] [SC-158874][sql] DB2 TIMESTAMP WITH TIME ZONEのTimestampNTZをサポート
  • [SPARK-47399] [SC-159378][sql] 照合順序を持つ式で生成された列を無効にする
  • [SPARK-47146] [SC-158247][core] ソートマージ結合を行う際にスレッドリークが発生する可能性
  • [SPARK-46913] [SC-159149][ss] transformWithState演算子による処理/イベント時間ベースのタイマーのサポートを追加
  • [SPARK-47375] [SC-159063][sql] タイムスタンプマッピングのガイドラインを追加 JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][sql] H2Dialectのタイムゾーン付きタイムスタンプをサポート
  • [スパーク-45827] 「[SC-158498][sql] データ型チェックを...
  • [SPARK-47208] [SC-159279][core] ベースオーバーヘッドメモリの上書きを許可
  • [SPARK-42627] [SC-158021][spark-26494][SQL] Oracle TIMESTAMPをローカルタイムゾーンでサポート
  • [SPARK-47055] [ SC-156916] [Python] MyPy 1.8.0 のアップグレード
  • [SPARK-46906] [SC-157205][ss] ストリーミングのステートフルなオペレーター変更のチェックを追加
  • [SPARK-47391] [SC-159283][sql] JDK 8のテストケース回避策を削除
  • [SPARK-47272] [SC-158960][ss] State API v2のMapState実装を追加。
  • [SPARK-47375] [SC-159278][ドキュメント][フォローアップ] JDBCのpreferTimestampNTZオプションドキュメントの誤りを修正
  • [SPARK-42328] [SC-157363][sql] エラークラスから_LEGACY_ERROR_TEMP_1175を削除
  • [SPARK-47375] [SC-159261][ドキュメント][フォローアップ] JDBCドキュメントのpreferTimestampNTZオプションの説明を修正
  • [SPARK-47344] [SC-159146] 引用符で囲まれていない識別子の「-」をキャッチするだけでなくINVALID_IDENTIFIERエラーを拡張し、「IS ! NULL」他。
  • [SPARK-47340] [SC-159039][sql] StringType typenameの「collate」を小文字に変更
  • [SPARK-47087] [SC-157077][sql] 設定値チェックでエラークラスでSparkの例外を発生させる
  • [SPARK-47327] [SC-158824][sql] ICU Collatorのスレッドセーフの問題を修正
  • [SPARK-47082] [SC-157058][sql] 領域外エラー状態を修正
  • [SPARK-47331] [SC-158719][ss] Arbitrary State API v2 の SQL エンコーダーに基づくケースクラス/プリミティブ/POJO を使用したシリアル化。
  • [SPARK-47250] [SC-158840][ss] RocksDB状態プロバイダーと列ファミリーの使用に対する検証とNERFの変更を追加
  • [SPARK-47328] [SC-158745][sql] UCS_BASIC照合の名前をUTF8_BINARYに変更
  • [SPARK-47207] [SC-157845][core] サポート spark.driver.timeoutDriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][doc] Parquetファイルに移行ドキュメント:TimestampNTZ型推論を追加
  • [SPARK-47309] [SC-158827][sql][XML] スキーマ推論ユニットテストを追加
  • [SPARK-47295] [SC-158850][sql] startsWith および endsWith 関数のICU StringSearchを追加
  • [SPARK-47343] [SC-158851][sql] 即時実行で変数値がnull文字列の場合 sqlString NPEを修正
  • [SPARK-46293] [SC-150117][接続][Python] protobuf推移的な依存関係の使用
  • [SPARK-46795] [SC-154143][sql] UnsupportedOperationExceptionSparkUnsupportedOperationException に置き換える sql/core
  • [SPARK-46087] [SC-149023] [Python] ドキュメントおよび開発要件の PySpark 依存関係の同期
  • [SPARK-47169] [SC-158848][sql] 照合された列のバケット化を無効にする
  • [SPARK-42332] [SC-153996][sql] ComplexTypeMergingExpressionでrequireをSparkExceptionに変更
  • [SPARK-45827] [SC-158498][sql] データ型チェックをCreatableRelationProviderに移動
  • [SPARK-47341] [SC-158825][connect] SparkConnectClientSuiteのいくつかのテストでコマンドをリレーションに置き換える
  • [SPARK-43255] [SC-158026][sql] エラークラス_LEGACY_ERROR_TEMP_2020を内部エラーに置き換えてください
  • [SPARK-47248] [SC-158494][sql][照合順序] 文字列関数のサポートが改善されました。
  • [SPARK-47334] [SC-158716][sql] の実装 withColumnRenamed 再利用 withColumnsRenamed
  • [SPARK-46442] [SC-153168] [sql] DS V2はプッシュダウンPERCENTILE_CONTとPERCENTILE_DISCをサポートします
  • [SPARK-47313] [SC-158747][sql] Scalaを追加しました。QueryExecution.toInternalError 内での MatchError 処理
  • [SPARK-45827] [SC-158732][sql] Javaのバリアントシングルトンタイプを追加
  • [SPARK-47337] [SC-158743][sql][Docker] DB2 Dockerイメージバージョンを11.5.8.0にアップグレード
  • [SPARK-47302] [SC-158609][sql] 識別子としてキーワードを照合する
  • [SPARK-46817] [SC-154196][core] decommissionコマンドを追加してspark-daemon.shの使用を修正
  • [SPARK-46739] [SC-153553][sql] エラークラスを追加 UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][sql] COLLATION_ENABLED 設定フラグを追加
  • [SPARK-46774] [SC-153925][sql][AVRO] Avroの書き込みジョブで非推奨のmapred.output.compressの代わりにmapreduce.output.fileoutputformat.compressを使用
  • [SPARK-45245] [SC-146961]Python][CONNECT] PythonWorkerFactory: ワーカーが再接続しない場合にタイムアウトします。
  • [SPARK-46835] [SC-158355][sql][照合] 非バイナリ照合のサポートに参加
  • [SPARK-47131] [SC-158154][sql][COLLATION] 文字列関数のサポート: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][sql] JdbcDialect.compileValue の TimestampNTZConverter によって生成された型について考えてみます。
  • [SPARK-47311] [SC-158465][sql][]Python PythonPySparkが パスにない場合の 例外を抑制Python
  • [SPARK-47319] [SC-158599][sql] missingInputの計算を改善
  • [SPARK-47316] [SC-158606][sql] Postgres配列のTimestampNTZを修正
  • [SPARK-47268] [SC-158158][sql][照合] 照合による再パーティションのサポート
  • [SPARK-47191] [SC-157831][sql] テーブル/ビューのキャッシュ解除時に不要なリレーション検索を回避
  • [SPARK-47168] [SC-158257][sql] デフォルト以外の照合済み文字列を操作するときにParquetフィルターのプッシュダウンを無効にする
  • [SPARK-47236] [SC-158015][core] 存在しないファイル入力をスキップするように deleteRecursivelyUsingJavaIO を修正
  • [SPARK-47238] [SC-158466][sql] WSCGで生成されたコードをブロードキャスト変数にすることで、エグゼキューターのメモリ使用量を削減します。
  • [SPARK-47249] [SC-158133][connect] 実際のステータスに関係なく、すべての接続実行が放棄されたと見なされるバグを修正
  • [SPARK-47202] [ SC-157828][Python] tzinfoで日付時刻を改めるタイプミスを修正
  • [SPARK-46834] [SC-158139][sql][照合順序] 集計のサポート
  • [スパーク-47277] [SC-158351][3.5] PySpark util 関数 assertDataFrameEqual はストリーミング DF をサポートしないでください
  • [SPARK-47155] [SC-158473][Python] エラークラスの問題を修正
  • [SPARK-47245] [SC-158163][sql] INVALID_PARTITION_COLUMN_DATA_TYPEのエラーコードの改善
  • [SPARK-39771] [SC-158425][core] シャッフルブロックの数が多すぎる場合に Dependency に警告メッセージを追加。
  • [SPARK-47277] [SC-158329] PySpark util関数assertDataFrameEqualはストリーミングDFをサポートしない
  • [SPARK-47293] [SC-158356][core] 1つずつ追加するのではなく、sparkSchemaを使用してbatchSchemaをビルド
  • [SPARK-46732] [SC-153517][connect]サブクエリ/ブロードキャストスレッドをConnectのアーティファクト管理と連携させる
  • [SPARK-44746] [SC-158332] [Python] 入力テーブルを受け入れる関数の Python UDTFドキュメントを追加
  • [SPARK-47120] [SC-157517][sql] サブクエリからのデータフィルターのヌル比較プッシュダウンがParquetフィルターのNPEで生成
  • [SPARK-47251] [SC-158291][Python] sqlコマンドのargs引数から無効なタイプをブロック
  • [スパーク-47251] 「[SC-158121][Python] argsコマンドの引数から無効な型をブロックする」を元に戻すsql
  • [SPARK-47015] [SC-157900][sql] 照合された列のパーティショニングを無効にする
  • [SPARK-46846] [SC-154308][core] Serializableを明示的に拡張WorkerResourceInfo
  • [SPARK-46641] [SC-156314][ss] maxBytesPerTriggerしきい値を追加
  • [SPARK-47244] [SC-158122][接続] 内部機能をプライベートにするSparkConnectPlanner
  • [SPARK-47266] [SC-158146][connect] 入力と同じタイプを返すようにProtoUtils.abbreviate
  • [SPARK-46961] [SC-158183][ss] ProcessorContextを使用したハンドルの保存と取得
  • [SPARK-46862] [SC-154548][sql] 複数行モードでのCSV列のプルーニングを無効にする
  • [SPARK-46950] [SC-155803][core][SQL] エラークラス not available codec 整列
  • [SPARK-46368] [SC-153236][core] REST送信APIでのサポートreadyz
  • [SPARK-46806] [SC-154108][Python] 引数の型が間違っている場合のspark.tableのエラーメッセージを改善
  • [SPARK-47211] [SC-158008][connect][Python] 無視される PySpark Connect文字列の照合を修正
  • [SPARK-46552] [SC-151366][sql] UnsupportedOperationExceptionSparkUnsupportedOperationException に置き換える catalyst
  • [SPARK-47147] [SC-157842]Python][SQL] 照合された文字列変換エラー PySpark 修正
  • [SPARK-47144] [SC-157826][接続][SQL][Python] collateId protobufフィールドを追加して Spark 接続照合エラーを修正
  • [SPARK-46575] [SC-153200][sql][HIVE] HiveThriftServer2.startWithContextを作成 DevelopApi を再試行可能にし、ThriftServerWithSparkContextInHttpSuite の不安定さを修正
  • [SPARK-46696] [SC-153832][core] ResourceProfileManagerでは、変数宣言の後に関数呼び出しを行うべき
  • [SPARK-47214] [SC-157862][Python] 定数のNULL引数と他のタイプの引数を区別するために、「analyze」メソッドのUDTF API を作成する
  • [SPARK-46766] [SC-153909][sql][AVRO] AVROデータソースのZSTDバッファプールサポート
  • [SPARK-47192] [SC-157819] 一部の_LEGACY_ERROR_TEMP_0035エラーを変換する
  • [SPARK-46928] [SC-157341][ss] Arbitrary State API v2にListStateのサポートを追加。
  • [SPARK-46881] [SC-154612][core] サポート spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][core] サポート spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] 不正なParquet圧縮コーデックlz4rawを使用するバグを修正
  • [SPARK-46791] [SC-154018][sql] JavaTypeInferenceでJavaセットをサポート
  • [SPARK-46332] [SC-150224][sql] CatalogNotFoundException をエラークラスに移行 CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][sql] v2 の Wider Type Narrow リテラルのデフォルト値を v1 と同じように動作させるように修正
  • [SPARK-46664] [SC-153181][core] ワーカーとアプリがゼロの場合に迅速に回復するように Master を改善
  • [SPARK-46759] [SC-153839][sql][AVRO] Codec xzおよびzstandardがavroファイルの圧縮レベルをサポート

Databricks ODBC/JDBC ドライバーのサポート

Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。 最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロードJDBC のダウンロード)。

「Databricks Runtime 15.2 メンテナンスの更新」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 22.04.4 LTSの
  • Java:Zulu 8.74.0.17-CA-linux64
  • Scala : 2.12.15
  • Python : 3.11.0
  • R :4.3.2
  • Delta Lake : 3.2.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

アストトークンズ

2.0.5

アストゥンパース

1.6.3

azure-core

1.30.1

azure-storage-blob

12.19.1

azure-storage-file-datalake

12.14.0

バックコール

0.2.0

黒い

23.3.0

ウィンカー

1.4

ボト3

1.34.39

ボトコア

1.34.39

cachetools

5.3.3

認証

2023.7.22

cffi

1.15.1

シャルデ

4.0.0

文字セット・ノーマライザー

2.0.4

クリック

8.0.4

クラウドピクルス

2.2.1

通信

0.1.2

コントルピー

1.0.5

暗号化手法

41.0.3

サーマルサイクラー

0.11.0

シトン

0.29.32

Databricks の SDK

0.20.0

DBUSPython

1.2.18

デバッグ

1.6.7

デコレータ

5.1.1

ディストリビューション

0.3.8

エントリポイント

0.4

実行

0.8.3

facets-概要

1.1.1

ファイルロック

3.13.1

fonttools

4.25.0

ギットDB

4.0.11

ギットパイソン

3.1.43

グーグルAPIコア

2.18.0

グーグル認証

2.29.0

グーグルクラウドコア

2.4.1

Google Cloud Storage

2.16.0

グーグル-CRC32C

1.5.0

Googleの再開可能なメディア

2.7.0

googleapis-common-protos

1.63.0

grpcio

1.60.0

grpcio-ステータス

1.60.0

httplib2の

0.20.2

イドナ

3.4

importlib-metadata

6.0.0

ipyflow-コア

0.0.198

ipykernel(英語)

6.25.1

アイパイソン

8.15.0

ipython-genutils

0.2.0

ipywidgets

7.7.2

イソデート

0.6.1

ジェダイ

0.18.1

ジープニー

0.7.1

jmespathの

0.10.0

ジョブリブ

1.2.0

jupyter_client

7.4.9

jupyter_core

5.3.0

キーリング

23.5.0

キウイソルバー

1.4.4

ローンチパッドリブ

1.10.16

lazr.restfulクライアント

0.14.4

lazr.uri です。

1.0.6

Matplotlib

3.7.2

matplotlib-インライン

0.1.6

mlflow-skinny

2.11.3

もっと-itertools

8.10.0

mypy-extensions

0.4.3

ネスト-アシンシオ

1.5.6

ナムピー

1.23.5

OAuthlib

3.2.0

包装

23.2

pandas

1.5.3

パルソ

0.8.3

パススペック

0.10.3

パッツィ

0.5.3

pexpect

4.8.0

ピクルシェア

0.7.5

9.4.0

23.2.1

プラットフォームディレクトリ

3.10.0

Plotly

5.9.0

プロンプトツールキット

3.0.36

プロトプラス

1.23.0

プロトブフ

4.24.1

psutil の

5.9.0

サイコップ2

2.9.3

PTYPROCESSの

0.7.0

ピュア評価

0.2.2

ピアロー

14.0.1

pyasn1

0.4.8

pyasn1モジュール

0.2.8

ピッコロ

0.0.52

pycparser

2.21

ピダンティック

1.10.6

ピグメント

2.15.1

PyGObject

3.42.1

PyJWTの

2.3.0

pyodbc

4.0.38

pyparsing (英語)

3.0.9

Python-dateutil

2.8.2

Python-lsp-jsonrpc

1.1.1

ピッツ

2022.7

PyYAML (英語)

6.0

ピズム

23.2.0

要求

2.31.0

rsa

4.9

S3トランスファー

0.10.1

Scikit-Learn

1.3.0

scipy(サイピー)

1.11.1

シーボーン

0.12.2

シークレットストレージ

3.3.1

セットアップツール

68.0.0

6

1.16.0

SMMAPの

5.0.1

sqlparse

0.5.0

ssh-import-id

5.11

スタックデータ

0.2.0

統計モデル

0.14.0

持久力

8.2.2

スレッドプールctl

2.2.0

トークン化-RT

4.2.1

竜巻

6.3.2

トレイトレット

5.7.1

typing_extensions

4.10.0

tzdata (英語)

2022.1

ujson

5.4.0

無人アップグレード

0.1

urllib3 の

1.26.16

virtualenv

20.24.2

ワドリブ

1.3.6

WC幅

0.2.5

0.38.4

ジップ

3.11.0

インストールされている R ライブラリ

R ライブラリは、 Posit Package Manager CRAN スナップショットからインストールされます。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

14.0.0.2

アスクパス

1.2.0

assertthat

0.2.1

バックポート

1.4.1

4.3.2

base64enc

0.1-3

bigDの

0.2.0

bit

4.0.5

ビット64

4.0.5

ビットプス

1.0-7

ブロッブ

1.2.4

ブート

1.3-28

醸成

1.0-10

ブリオ

1.1.4

1.0.5

bslibの

0.6.1

カケム

1.0.8

コール

3.7.3

キャレット

6.0-94

セルレンジャー

1.1.0

クロン

2.3-61

クラス

7.3-22

CLI

3.6.2

clipr

0.8.0

時計

0.7.0

クラスター

2.1.4

コードツール

0.2-19

カラースペース

2.1-0

コモンマーク

1.9.1

コンパイラ

4.3.2

コンフィグ

0.3.2

競合

1.2.0

CPP11の

0.4.7

クレヨン

1.5.2

資格情報

2.0.1

Curl

5.2.0

データ.テーブル

1.15.0

データセット

4.3.2

DBI

1.2.1

dbplirの

2.4.0

DESC

1.4.3

開発ツール

2.4.5

ダイアグラム

1.6.5

ディフobj

0.3.5

ダイジェスト

0.6.34

ダウンライト

0.4.3

dplyrの

1.1.4

DTPLyr

1.3.1

E1071

1.7-14

省略記号

0.3.2

0.23

ファンシ

1.0.6

ファーバー

2.1.1

ファストマップ

1.1.1

フォントオーサム

0.5.2

フォーキャッツ

1.0.0

For each

1.5.2

外国の

0.8-85

鍛える

0.2.0

fs

1.6.3

未来

1.33.1

future.お申込み

1.11.1

1.5.2

ジェネリック

0.1.3

ゲルト

2.0.1

ggplot2の

3.4.4

gh

1.4.0

ギット2R

0.33.0

ギットレッズ

0.1.2

glmnet

4.1-8

グローバル

0.16.2

1.7.0

グーグルドライブ

2.1.1

グーグルシート4

1.1.1

ガウアー

1.0.1

グラフィックス

4.3.2

grDevicesの

4.3.2

グリッド

4.3.2

グリッドエクストラ

2.3

gsubfnの

0.7

GT

0.10.1

GTABLE(GTABLE)

0.3.4

ヘルメット

1.3.1

避難所

2.5.4

高い

0.10

HMSの

1.1.3

htmlツール[htmltools]

0.5.7

htmlウィジェット

1.6.4

httpuv

1.6.14

httr

1.4.7

HTTR2

1.0.0

ids

1.0.1

イニ

0.3.1

イプレッド

0.9-14

アイソバンド

0.2.7

反復 子

1.0.14

jquerylib

0.1.4

jsonlite

1.8.8

ジューシージュース

0.1.0

カーンスムース

2.23-21

ニット

1.45

ラベリング

0.4.3

あとで

1.3.2

格子

0.21-8

溶岩

1.7.3

ライフサイクル

1.0.4

リッスン

0.9.1

ルブリデート

1.9.3

マグリット

2.0.3

Markdown

1.12

質量

7.3-60

マトリックス

1.5-4.1

メモ

2.0.1

メソッド

4.3.2

mgcv

1.8-42

マイム

0.12

ミニUI

0.1.1.1

MLflow

2.10.0

モデルメトリクス

1.2.2.2

モデラー

0.1.11

マンセル

0.5.0

nlme

3.1-163

ネット

7.3-19

numDerivの

2016.8-1.1

オープンSSL

2.1.1

並列

4.3.2

並行して

1.36.0

1.9.0

pkgbuild の

1.4.3

pkgconfig

2.0.3

pkgdown (英語)

2.0.7

pkgload(パッケージロード)

1.3.4

plogrの

0.2.0

プライル

1.8.9

褒める

1.0.0

プリティユニット

1.2.0

pROC

1.18.5

プロセスX

3.8.3

製品

2023.08.28

プロヴィス

0.3.8

経過

1.2.3

プログレッサー

0.14.0

約束

1.2.1

プロト

1.0.0

プロキシ

0.4-27

PS

1.7.6

ゴロゴロ

1.0.2

R6の

2.5.1

ラグ

1.2.7

ランダムフォレスト

4.7-1.1

ラプディレクトリ

0.3.3

rcmdcheckの

1.4.0

RColorブリューワー

1.1-3

Rcpp

1.0.12

RcppEigen

0.3.3.9.4

反応可能

0.4.4

リアクターR

0.5.0

読み取り

2.1.5

readxlの

1.4.3

レシピ

1.0.9

再戦

2.0.0

再戦2

2.1.2

リモコン

2.4.2.1

レプレックス

2.1.0

形状変更2

1.4.4

ラン

1.1.3

rmarkdown

2.25

RODBC

1.3-23

リオキシジェン2

7.3.1

rpart

4.1.21

rprojroot さん

2.0.4

サーブ

1.8-13

RSQLite (英語)

2.3.5

rstudioapi

0.15.0

rversions

2.1.2

アヴェスト

1.0.3

サス

0.4.8

1.3.0

セレクタ

0.4-2

セッション情報

1.2.2

1.4.6

shiny

1.8.0

ソースツール

0.1.7-1

sparklyr

1.8.4

空間的

7.3-15

スプライン

4.3.2

sqldf

0.4-11

スクエアム

2021.1

統計

4.3.2

統計4

4.3.2

ストリンギ

1.8.3

ストリンガー

1.5.1

生存

3.5-5

闊歩

3.33.1

SYSの

3.4.2

システムフォント

1.0.5

tcltk

4.3.2

テストを

3.2.1

テキストシェーピング

0.3.7

ティブル

3.2.1

ティディル

1.3.1

ティディセレクト

1.2.0

ティディバース

2.0.0

時間変更

0.3.0

日時

4032.109

タイニーテックス

0.49

ツール

4.3.2

tzdb

0.4.0

urlchecker(英語)

1.0.1

usethisさん

2.2.2

UTF8

1.2.4

ユーティリティ

4.3.2

UUIDの

1.2-0

V8の

4.4.1

vctrs

0.6.5

viridisライト

0.4.2

ブルーム

1.6.5

ワルド

0.5.2

ウイスカー

0.4.1

ウィザー

3.0.0

xfun

0.41

XML2の

1.3.6

xopen(オーペン)

1.0.0

エクステーブル

1.8-4

ヤムラ

2.3.8

ジーロット

0.1.0

郵便番号

2.3.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.12.0

com.amazonawsの

aws-java-sdk-オートスケール

1.12.610

com.amazonawsの

aws-java-sdk-cloudformation

1.12.610

com.amazonawsの

aws-java-sdk-cloudfront

1.12.610

com.amazonawsの

aws-java-sdk-cloudhsm

1.12.610

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.12.610

com.amazonawsの

aws-java-sdk-cloudtrail

1.12.610

com.amazonawsの

aws-java-sdk-cloudwatch

1.12.610

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.12.610

com.amazonawsの

aws-java-sdk-コードデプロイ

1.12.610

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.12.610

com.amazonawsの

aws-java-sdk-cognitosync

1.12.610

com.amazonawsの

aws-java-sdk-configの

1.12.610

com.amazonawsの

aws-java-sdk-コア

1.12.610

com.amazonawsの

aws-java-sdk-データパイプライン

1.12.610

com.amazonawsの

aws-java-sdk-directconnectの

1.12.610

com.amazonawsの

aws-java-sdkディレクトリ

1.12.610

com.amazonawsの

aws-java-sdk-ダイナモDB

1.12.610

com.amazonawsの

aws-java-sdk-ec2 の

1.12.610

com.amazonawsの

aws-java-sdk-ecsの

1.12.610

com.amazonawsの

aws-java-sdk-efs

1.12.610

com.amazonawsの

aws-java-sdk-elasticache

1.12.610

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.12.610

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.12.610

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.12.610

com.amazonawsの

aws-java-sdk-emr

1.12.610

com.amazonawsの

aws-java-sdk-glacier

1.12.610

com.amazonawsの

aws-java-sdk-グルー

1.12.610

com.amazonawsの

aws-java-sdk-iam

1.12.610

com.amazonawsの

aws-java-sdk-importexport

1.12.610

com.amazonawsの

aws-java-sdk-キネシス

1.12.610

com.amazonawsの

aws-java-sdk-kmsの

1.12.610

com.amazonawsの

aws-java-sdk-ラムダ

1.12.610

com.amazonawsの

aws-java-sdk-logs

1.12.610

com.amazonawsの

aws-java-sdk-機械学習

1.12.610

com.amazonawsの

aws-java-sdk-opsworks

1.12.610

com.amazonawsの

aws-java-sdk-rds

1.12.610

com.amazonawsの

aws-java-sdk-レッドシフト

1.12.610

com.amazonawsの

aws-java-sdk-ルート53

1.12.610

com.amazonawsの

aws-java-sdk-s3 の

1.12.610

com.amazonawsの

aws-java-sdk-ses

1.12.610

com.amazonawsの

aws-java-sdk-simpledb

1.12.610

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.12.610

com.amazonawsの

aws-java-sdk-snsの

1.12.610

com.amazonawsの

aws-java-sdk-sqs

1.12.610

com.amazonawsの

aws-java-sdk-ssm

1.12.610

com.amazonawsの

aws-java-sdk-storagegateway

1.12.610

com.amazonawsの

aws-java-sdk-sts

1.12.610

com.amazonawsの

aws-java-sdk-サポート

1.12.610

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.12.610

com.amazonawsの

jmespath-java

1.12.610

com.clearspring.アナリティクス

stream

2.9.6

com.databricksの

サーブ

1.8-3

com.databricksの

Databricks の SDK の java

0.17.1

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapbのruntime_2.12

0.4.15-10

com.esotericソフトウェア

kryo-shaded(クリョシェード)

4.0.2

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.3.4

com.fasterxml.jackson.core

ジャクソン-注釈

2.15.2

com.fasterxml.jackson.core

ジャクソンコア

2.15.2

com.fasterxml.jackson.core

ジャクソン-データバインド

2.15.2

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.15.2

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-yaml

2.15.2

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.15.2

com.fasterxml.jackson.datatype

ジャクソン-データ型-JSR310

2.16.0

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.15.2

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.12

2.15.2

com.github.ben-manes.caffeine

カフェイン

2.9.3

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1-ネイティブ

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1-ネイティブ

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64

1.1-ネイティブ

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64

1.1-ネイティブ

com.github.luben

ZSTD-JNI

1.5.5-4

com.github.wendykierp (英語)

JTransformsの

3.1

com.google.code.findbugs

JSR305

3.0.0

com.google.code.gson(英語)

gson

2.10.1

com.google.crypto.tink

ティンク

1.9.0

com.google.errorが発生しやすい

error_prone_annotations

2.10.0

com.google.flatbuffers

フラットバッファ-Java

23.5.26

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.helger

プロファイラー

1.1.1

com.ibm.icu

ICU4Jの

72.1

com.jcraftの

jsch

0.1.55

com.jolboxの

ボーンカップ

0.8.0.リリース

com.lihaoyi

sourcecode_2月12日

0.1.9

com.microsoft.azure

azure-データレイク-store-sdk

2.3.9

com.microsoft.sqlserver

mssqlの-JDBC

11.2.2.JRE8

com.ningの

圧縮-LZF

1.1.2

com.sun.mail

javax.mail

1.5.2

com.sun.xml.バインド

jaxb-コア

2.2.11

com.sun.xml.バインド

jaxb-impl

2.2.11

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.12

0.4.12

コム。囀る

チルジャワ

0.10.0

コム。囀る

chill_2.12

0.10.0

コム。囀る

util-app_2.12

7.1.0

コム。囀る

util-core_2.12

7.1.0

コム。囀る

util-function_2.12

7.1.0

コム。囀る

util-jvm_2.12

7.1.0

コム。囀る

util-lint_2.12

7.1.0

コム。囀る

util-registry_2.12

7.1.0

コム。囀る

util-stats_2.12

7.1.0

com.タイプセーフ

コンフィグ

1.4.3

Scala-logging

Scala-logging_2.12

3.7.2

com.uberの

H3

3.7.3

com.univocityの

univocity-パーサー

2.9.1

com.zaxxerの

ひかりCP

4.0.3

コモンズCLI

コモンズCLI

1.5.0

コモンズコーデック

コモンズコーデック

1.16.0

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズファイルアップロード

コモンズファイルアップロード

1.5

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.13.0

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズプール

コモンズプール

1.5.4

dev.ludovic.netlib さん

アーパック

3.0.3

dev.ludovic.netlib さん

ブラス

3.0.3

dev.ludovic.netlib さん

ラパック

3.0.3

info.ganglia.gmetric4j

gmetric4jの

1.0.10

io.エアリフト

エアコンプレッサー

0.25

io.delta

デルタシェアリング-client_2.12

1.0.5

io.dropwizard.メトリクス

メトリクスアノテーション

4.2.19

io.dropwizard.メトリクス

メトリクスコア

4.2.19

io.dropwizard.メトリクス

メトリクス-グラファイト

4.2.19

io.dropwizard.メトリクス

メトリクス-healthchecks

4.2.19

io.dropwizard.メトリクス

メトリクス-jetty9

4.2.19

io.dropwizard.メトリクス

メトリクス-JMX

4.2.19

io.dropwizard.メトリクス

メトリクス-JSON

4.2.19

io.dropwizard.メトリクス

メトリクス-JVM

4.2.19

io.dropwizard.メトリクス

メトリクスサーブレット

4.2.19

io.nettyの

netty-すべて

4.1.96.ファイナル

io.nettyの

netty-buffer

4.1.96.ファイナル

io.nettyの

netty-codec (英語)

4.1.96.ファイナル

io.nettyの

netty-codec-http

4.1.96.ファイナル

io.nettyの

netty-codec-http2

4.1.96.ファイナル

io.nettyの

netty-codec-socksの

4.1.96.ファイナル

io.nettyの

netty-共通

4.1.96.ファイナル

io.nettyの

netty-ハンドラ

4.1.96.ファイナル

io.nettyの

netty-handler-proxy

4.1.96.ファイナル

io.nettyの

netty-リゾルバ

4.1.96.ファイナル

io.nettyの

netty-tcnative-boringssl-static

2.0.61.最終版-linux-aarch_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.最終版-linux-x86_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.ファイナル-OSX-aarch_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.ファイナルOSX-x86_64

io.nettyの

netty-tcnative-boringssl-static

2.0.61.Final-windows-x86_64

io.nettyの

netty-tcnative-クラス

2.0.61.ファイナル

io.nettyの

netty-トランスポート

4.1.96.ファイナル

io.nettyの

netty-transport-classes-epoll

4.1.96.ファイナル

io.nettyの

netty-transport-classes-kqueue

4.1.96.ファイナル

io.nettyの

netty-transport-native-epoll

4.1.96.ファイナル

io.nettyの

netty-transport-native-epoll

4.1.96.最終版 linux-aarch_64

io.nettyの

netty-transport-native-epoll

4.1.96.最終版 linux-x86_64

io.nettyの

netty-transport-native-kqueue

4.1.96.ファイナルOSX-aarch_64

io.nettyの

netty-transport-native-kqueue

4.1.96.ファイナルOSX-x86_64

io.nettyの

netty-transport-native-unix-common

4.1.96.ファイナル

io.プロメテウス

シンプルクライアント

0.7.0

io.プロメテウス

simpleclient_common

0.7.0

io.プロメテウス

simpleclient_dropwizard

0.7.0

io.プロメテウス

simpleclient_pushgateway

0.7.0

io.プロメテウス

simpleclient_servlet

0.7.0

io.prometheus.jmx

収集家

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet (英語)

jakarta.servlet-api

4.0.3

jakarta.validation(ジャカルタ検証)

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activationの

アクティベーション

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.transaction

jta

1.1

javax.transaction

トランザクションAPI

1.1

javax.xml.バインド

ヤックスビーAPI

2.2.11

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.14.6

ジョダタイム

ジョダタイム

2.12.1

net.java.dev.jna

jna

5.8.0

net.razorvine

漬ける

1.3

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

snowflake-ingest-sdk

0.9.6

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt.remoteteaの

リモートTEA-ONCRPC

1.1.2

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.5.2

org.antlr

antlr4ランタイム

4.9.3

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.10.11

org.apache.ant

アントJSCH

1.10.11

org.apache.ant

アントランチャー

1.10.11

org.apache.arrow(アパッチ・アロー)

arrow-format

15.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-core

15.0.0

org.apache.arrow(アパッチ・アロー)

矢印メモリネット

15.0.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

15.0.0

org.apache.avro

AVRO

1.11.3

org.apache.avro

アブロIPC

1.11.3

org.apache.avro

アブロマップド

1.11.3

org.apache.commonsの

コモンズコレクション4

4.4

org.apache.commonsの

コモンズ圧縮

1.23.0

org.apache.commonsの

コモンズ-クリプト

1.1.0

org.apache.commonsの

コモンズ-LANG3

3.12.0

org.apache.commonsの

コモンズ-数学3

3.6.1

org.apache.commonsの

コモンズテキスト

1.10.0

org.apache.curator (英語)

キュレーター・クライアント

2.13.0

org.apache.curator (英語)

キュレーターフレームワーク

2.13.0

org.apache.curator (英語)

キュレーターレシピ

2.13.0

org.apache.datasketches (英語)

データスケッチ-Java

3.1.0

org.apache.datasketches (英語)

datasketches-memory

2.0.0

org.apache.derbyの

ダービー

10.14.2.0

org.apache.hadoop です。

hadoop クライアント ランタイム

3.3.6

org.apache.hive です。

ハイブビーライン

2.3.9

org.apache.hive です。

ハイブ CLI

2.3.9

org.apache.hive です。

ハイブ-JDBC

2.3.9

org.apache.hive です。

ハイブ - llap クライアント

2.3.9

org.apache.hive です。

ハイブ - llap - 共通

2.3.9

org.apache.hive です。

ハイブセルデ

2.3.9

org.apache.hive です。

ハイブシム

2.3.9

org.apache.hive です。

ハイブストレージAPI

2.8.1

org.apache.hive.shims

ハイブシム-0.23

2.3.9

org.apache.hive.shims

ハイブシム-共通

2.3.9

org.apache.hive.shims

ハイブシムススケジューラ

2.3.9

org.apache.httpコンポーネント

httpクライアント

4.5.14

org.apache.httpコンポーネント

httpコア

4.4.16

org.apache.ivy

2.5.1

org.apache.logging.log4j

ログ4J-1.2-API

2.22.1

org.apache.logging.log4j

ログ4J-API

2.22.1

org.apache.logging.log4j

log4j-コア

2.22.1

org.apache.logging.log4j

log4j-layout-template-JSON

2.22.1

org.apache.logging.log4j

log4j-slf4j2-impl

2.22.1

org.apache.orc

オークコア

1.9.2-シェード-protobuf

org.apache.orc

orc-mapreduce

1.9.2-シェード-protobuf

org.apache.orc

オークシム

1.9.2

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.12.0

org.apache.ws.xmlスキーマ

xmlschema-core

2.3.0

org.apache.xbean

xbean-asm9-shaded (英語)

4.23

org.apache.yetus (英語)

オーディエンスアノテーション

0.13.0

org.apache.zookeeper

動物園の飼育係

3.6.3

org.apache.zookeeper

動物園の飼育係ジュート

3.6.3

org.checkerフレームワーク

チェッカークォール

3.31.0

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.16

org.codehaus.janino

ジャニーノ

3.0.16

org.datanucleus (英語)

データ核-API-JDO

4.2.4

org.datanucleus (英語)

データ核コア

4.1.17

org.datanucleus (英語)

データ核-RDBMS

4.1.19

org.datanucleus (英語)

javax.jdo

3.2.0-m3

org.Eclipse.collections

Eclipseコレクション

11.1.0

org.Eclipse.collections

Eclipse-collections-api

11.1.0

組織Eclipse.jetty

桟橋クライアント

9.4.52.v20230823

組織Eclipse.jetty

桟橋の続き

9.4.52.v20230823

組織Eclipse.jetty

桟橋-HTTP

9.4.52.v20230823

組織Eclipse.jetty

桟橋-IO

9.4.52.v20230823

組織Eclipse.jetty

桟橋-JNDI

9.4.52.v20230823

組織Eclipse.jetty

桟橋プラス

9.4.52.v20230823

組織Eclipse.jetty

桟橋プロキシ

9.4.52.v20230823

組織Eclipse.jetty

桟橋警備

9.4.52.v20230823

組織Eclipse.jetty

桟橋サーバー

9.4.52.v20230823

組織Eclipse.jetty

桟橋サーブレット

9.4.52.v20230823

組織Eclipse.jetty

桟橋サーブレット

9.4.52.v20230823

組織Eclipse.jetty

桟橋-util

9.4.52.v20230823

組織Eclipse.jetty

桟橋-util-ajax

9.4.52.v20230823

組織Eclipse.jetty

桟橋-webapp

9.4.52.v20230823

組織Eclipse.jetty

桟橋XML

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-api

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-クライアント

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-共通

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-サーバー

9.4.52.v20230823

組織Eclipse.jetty.websocket

websocket-サーブレット

9.4.52.v20230823

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.6.1

org.glassfish.hk2

HK2ロケーター

2.6.1

org.glassfish.hk2

hk2-utilsの

2.6.1

org.glassfish.hk2

osgi-リソースロケーター

1.0.3

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.6.1

org.glassfish.hk2.external (英語)

jakarta.inject です。

2.6.1

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.40

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.40

org.glassfish.jersey.coreの

ジャージークライアント

2.40

org.glassfish.jersey.coreの

ジャージー共通

2.40

org.glassfish.jersey.coreの

ジャージーサーバー

2.40

org.glassfish.jersey.inject

ジャージ-HK2

2.40

org.hibernate.validator

hibernate-validator

6.1.7.ファイナル

org.ini4jの

ini4j(イニ4J)

0.5.4

org.javassist

ジャバス奏者

3.29.2-GAの

org.jboss.logging

jboss-ロギング

3.3.2.ファイナル

org.jdbi

DBI

2.63.1

org.jetbrainsの

注釈

17.0.0

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.12

3.7.0-M11

org.json4sの

json4s-core_2.12

3.7.0-M11

org.json4sの

json4s-jackson_2.12

3.7.0-M11

org.json4sの

json4s-scalap_2.12

3.7.0-M11

org.lz4

LZ4-Javaの

1.8.0

org.mlflowの

mlflow-spark_2.12

2.9.1

org.objenesis

オブジェネシス

2.5.1

org.postgresql

PostgreSQL

42.6.1

org.roaringbitmap

ロアリングビットマップ

0.9.45-データブリック

org.roaringbitmap

シム

0.9.45-データブリック

org.rocksdbの

ロックスDBJNI

8.3.2

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.12

2.12.15

組織Scala-lang

Scala-Library.12

2.12.15

組織Scala-lang

Scala-reflect_2.12

2.12.15

組織Scala-lang.modules

Scalaコレクションcompat_2.12

2.11.0

組織Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

組織Scala-lang.modules

Scala-xml_2.12

1.2.0

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.2.15

org.scalanlp

そよ風-macros_2.12

2.1.0

org.scalanlp

breeze_2.12

2.1.0

org.scalatestの

scalatest対応

3.2.15

org.scalatestの

scalatest-core_2.12

3.2.15

org.scalatestの

scalatest-diagrams_2.12

3.2.15

org.scalatestの

scalatest-featurespec_2.12

3.2.15

org.scalatestの

scalatest-flatspec_2.12

3.2.15

org.scalatestの

scalatest-freespec_2.12

3.2.15

org.scalatestの

scalatest-funspec_2.12

3.2.15

org.scalatestの

scalatest-funsuite_2.12

3.2.15

org.scalatestの

scalatest-matchers-core_2.12

3.2.15

org.scalatestの

scalatest-mustmatchers_2.12

3.2.15

org.scalatestの

scalatest-propspec_2.12

3.2.15

org.scalatestの

scalatest-refspec_2.12

3.2.15

org.scalatestの

scalatest-shouldmatchers_2.12

3.2.15

org.scalatestの

scalatest-wordspec_2.12

3.2.15

org.scalatestの

scalatest_2.12

3.2.15

org.slf4j

jcl-over-slf4j

2.0.7

org.slf4j

7月-slf4j

2.0.7

org.slf4j

SLF4J-APIの

2.0.7

org.slf4j

SLF4J-シンプル

1.7.25

org.threetenさん

スリーテンエクストラ

1.7.1

org.tukaani

xz

1.9

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

スパイア-macros_2.12

0.17.0

org.typelevel

スパイア-platform_2.12

0.17.0

org.typelevel

スパイア-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

ワイルドフライ-openssl

1.1.3.ファイナル

org.xerial

sqlite-JDBC の

3.42.0.0

org.xerial.snappy(英語)

スナッピージャワ

1.1.10.3

org.yaml の

スネークヤム

2.0

オロ

オロ

2.0.8

pl.edu.icm

JLarge配列

1.5

ソフトウェア.Amazon.cryptools

AmazonCorrettoCryptoProvider

1.6.1-linux-x86_64

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1