Databricks Runtime 15.2 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
次のリリースノートでは、Databricks Runtime Apache Spark3.5.0 を搭載した 15.2 に関する情報を提供しています。
Databricks は 2024 年 5 月にこのバージョンをリリースしました。
サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。
挙動の変更
vacuum は COPY INTO メタデータファイルをクリーンアップします
COPY INTO で記述されたテーブルで vacuum を実行すると、取り込まれたファイルの追跡に関連付けられた参照されていないメタデータがクリーンアップされるようになりました。COPY INTOの操作セマンティクスへの影響はありません。
レイクハウスフェデレーションの一般提供開始 (GA)
Databricks Runtime 15.2 以降では、次のデータベースの種類にわたるレイクハウスフェデレーションコネクタが一般提供 (GA) されています。
- MySQL
- PostgreSQL
- Amazon Redshift
- Snowflake
- Microsoft SQL Server
- Azure Synapse（SQLデータウェアハウス）
- Databricks
このリリースでは、次の改善も導入されています。
-
SnowflakeおよびMicrosoft SQL Serverコネクタでのシングルサインオン(SSO)認証のサポート。
-
サーバレス コンピュート環境での安定したエグレス IP のサポート。 「ステップ 1: ネットワーク接続構成を作成し、安定した IP をコピーする」を参照してください。
-
追加のプッシュダウン (文字列関数、数学関数、その他の関数) のサポート。
-
さまざまなクエリ図形間でのプッシュダウン成功率が向上しました。
-
追加のプッシュダウン デバッグ機能:
EXPLAIN FORMATTED出力には、プッシュダウンされたクエリ テキストが表示されます。- クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーテッド ノード識別子、および JDBC クエリの実行時間 (詳細モード) が表示されます。 システム生成の横串検索の表示を参照してください。
BY POSITION ヘッダーレス CSV ファイルを使用した COPY INTO を使用した列マッピング
Databricks Runtime 15.2 以降では、ヘッダーレス CSV ファイルの COPY INTO で BY POSITION キーワード (または代替構文 ( col_name [ , <col_name> ... ] )) を使用して、ソース列からターゲット テーブル列へのマッピングを簡略化できます。パラメーターを参照してください。
Spark タスクが Resubmitted エラーで失敗したときのメモリ消費量を減らす
Databricks Runtime 15.2 以降では、タスクがResubmittedエラーで失敗した場合、Spark TaskInfo.accumulables() メソッドの戻り値は空です。以前は、このメソッドは以前に成功したタスクの試行の値を返していました。 この動作の変更は、次のコンシューマーに影響します。
EventLoggingListenerクラスを使用する Spark タスク。- カスタム Spark リスナー。
以前の動作に戻すには、 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled を falseに設定します。
アダプティブ クエリ実行プランのバージョンの表示は無効です
メモリ消費量を削減するために、アダプティブ クエリ実行 (AQE) プラン バージョンは、 Spark UIのデフォルトによって無効になりました。 Spark UI で AQE プランのバージョンを表示できるようにするには、 spark.databricks.sql.aqe.showPlanChangesInUI.enabled を trueに設定します。
Spark UI のメモリ使用量を減らすために、保持クエリの制限が引き下げられました
Databricks Runtime15.2Spark UI Databricks以降では、 コンピュートの によって消費されるメモリを減らすために、UI に表示されるクエリの数の制限が 1000 から 100 に引き下げられます。制限を変更するには、 spark.sql.ui.retainedExecutions Spark 構成を使用して新しい値を設定します。
DESCRIBE HISTORY で、リキッドクラスタリングを使用するテーブルのクラスタリング列が表示されるようになりました
DESCRIBE HISTORYクエリを実行すると、operationParameters列には、CREATE OR REPLACEおよびOPTIMIZE操作のclusterByフィールドがデフォルトで表示されます。リキッドクラスタリングを使用する Delta テーブルの場合、 clusterBy フィールドにはテーブルのクラスタリング列が入力されます。 テーブルがリキッドクラスタリングを使用していない場合、フィールドは空です。
ノートブック・ウィジェットの構文は非推奨です
Databricks Runtime 15.2 以降では、SQL セル内のノートブック ウィジェット値にアクセスするための ${param} 構文は非推奨になりました。代わりに、パラメーター・マーカー構文 (:param) を使用してください。パラメーター マーカー構文を使用すると、 SQL インジェクション保護が向上し、クエリのパフォーマンスが向上します。
移行のガイダンスと例については、「 レガシ ノートブック ウィジェット」を参照してください。現在推奨されているアプローチに関する情報については、ウィジェットDatabricksを参照してください。
新機能と改善点
プライマリキーと外部キーのサポートはGAです
Databricks Runtime での主キーと外部キーのサポートは、一般提供されています。 GA リリースには、プライマリ・キーと外部キーを使用するために必要な権限に対する次の変更が含まれています。
- 外部キーを定義するには、外部キーが参照するプライマリ・キーを持つテーブルに対する
SELECT権限が必要です。 以前に必要だったプライマリキーを持つテーブルを所有する必要はありません。 CASCADE句を使用してプライマリ・キーを削除する場合、プライマリ・キーを参照する外部キーを定義するテーブルに対する権限は必要ありません。以前は、参照テーブルを所有する必要がありました。- 制約を含むテーブルの削除には、制約を含まないテーブルの削除と同じ権限が必要になりました。
テーブルまたはビューでプライマリ・キーと外部キーを使用する方法については、 CONSTRAINT 句、 ADD CONSTRAINT 句、 DROP CONSTRAINT 句を参照してください。
リキッドクラスタリング はGAです
リキッドクラスタリングのサポートは、 Databricks Runtime 15.2 以降を使用して一般提供が開始されました。 「テーブルにリキッドクラスタリングを使用する」を参照してください。
タイプの拡大はパブリック プレビュー段階です
Delta Lake を基盤とするテーブルで型の拡大を有効にできるようになりました。 型の拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「タイプ拡幅区間」を参照してください。
SQL マージ構文に追加されたスキーマ進化節
これで、WITH SCHEMA EVOLUTION 句を SQL merge ステートメントに追加して、操作のスキーマ進化を有効にできるようになりました。 マージのスキーマ進化構文を参照してください。
PySpark カスタムデータソースがパブリックプレビューで利用可能に
PySpark データソースは、Python (PySpark) データソース API を使用して作成でき、これにより、カスタム データ ソースからの読み取りと、Python を使用した Apache Spark のカスタム データ シンクへの書き込みが可能になります。 「PySpark カスタムデータソース」を参照してください。
ユーザー定義関数 (UDF) が Unity Catalog 対応の Graviton インスタンスで使用できるようになりました
Unity Catalog 対応の Graviton インスタンスで UDF を使用して、Python と SQL のカスタムロジックを保存して再利用できるようになりました。 「Unity Catalog のユーザー定義関数 (UDF)」を参照してください。
applyInPandasとmapInPandasが共有アクセスモードの Unity Catalog コンピュートで利用可能になりました
Databricks Runtime 14.3 LTS メンテナンス リリースの一部として、applyInPandas と mapInPandas UDF の種類が、Databricks Runtime 14.3 以降で実行されている共有アクセス モード コンピュートでサポートされるようになりました。
dbutils.widgets.getAll() を使用します ノートブック内のすべてのウィジェットを取得するには
dbutils.widgets.getAll() を使用して、ノートブック内のすべてのウィジェット値を取得します。これは、複数のウィジェット値をSpark SQLクエリに渡す場合に特に役立ちます。
vacuum インベントリのサポート
Delta テーブルで VACUUM コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 OSS Delta のドキュメントを参照してください。
Zstandard 圧縮関数のサポート
これで、 zst_compress、 zstd_decompress、および try_zstd_decompress 関数を使用して、 BINARY データを圧縮および圧縮解除できるようになりました。
バグの修正
SQL UI のクエリ プランが正しく表示されるようになりました PhotonWriteStage
SQL UI で表示すると、クエリ プランの write コマンドで PhotonWriteStage が誤って演算子として表示されていました。 このリリースでは、UI が更新され、 PhotonWriteStage がステージとして表示されます。 これは UI の変更であり、クエリの実行方法には影響しません。
Ray クラスターの開始に関する問題を修正するために Ray が更新されました
このリリースには、Ray クラスターが Databricks Runtime for Machine Learning から開始できない破壊的変更を修正する修正プログラムが適用されたバージョンの Ray が含まれています。 この変更により、Ray の機能は 15.2 より前のバージョンの Databricks Runtime と同じになります。
DataFrame.sort()関数とDataFrame.sortWithinPartitions()関数のエラークラスを修正
このリリースには、インデックス引数として 0 が渡されたときに ZERO_INDEX エラー クラスがスローされるようにするための PySpark DataFrame.sort() 関数と DataFrame.sortWithinPartitions() 関数の更新プログラムが含まれています。以前は、エラー クラス ( INDEX_NOT_POSITIVE ) がスローされていました。
ipywidgets が 8.0.4 から 7.7.2 にダウングレードされました
Databricks Runtime 15.0 で ipywidgets を 8.0.4 にアップグレードした際に発生したエラーを修正するために、Databricks Runtime 15.2 では ipywidgets が 7.7.2 にダウングレードされます。 これは、以前の Databricks Runtime バージョンに含まれていたものと同じバージョンです。
ライブラリのアップグレード
-
アップグレードされた Python ライブラリ:
- 3.1.42 からの GitPython 3.1.43 まで
- google-api-core を 2.17.1 から 2.18.0 に変更
- google-auth を 2.28.1 から 2.29.0 に変更
- 2.15.0 から 2.16.0 へのGoogle Cloud Storage
- googleapis-common-protos を 1.62.0 から 1.63.0 へ
- ipywidgets 8.0.4 から 7.7.2 へ
- mlflow-skinny を 2.11.1 から 2.11.3 に変更
- s3 0.10.0 から 0.10.1 への転送
- sqlparse を 0.4.4 から 0.5.0 へ
- 4.7.1 から 4.10.0 までのtyping_extensions
-
アップグレードされた R ライブラリ:
-
アップグレードされた Java ライブラリ:
- com.amazonaws.aws-java-sdk-オートスケール 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cloudformation 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cloudfront (英語) 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cloudhsm (英語) 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cloudsearch 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cloudtrail 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cloudwatchメトリクス 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-codedeploy 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cognitoidentity 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-cognitosync (英語) 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-configの 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-core 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-datapipeline 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-directconnect 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdkディレクトリ 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-dynamodb 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-ec2 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-ecs 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-efs 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-elasticache 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-elasticloadbalancing 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-elasticトランスコーダー 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-emr 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-glacier 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-glue 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-iam 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-importexport 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-kinesis 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-kmsの 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-ラムダ 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-logs 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-machinelearning 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-opsworks (英語) 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-rds 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-redshift 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-route53 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-s3 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-ses 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-simpledb 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-simpleワークフロー 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-sns 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-sqs 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-ssm 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-storagegateway 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-sts 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-サポート 1.12.390 から 1.12.610 まで
- com.amazonaws.aws-java-sdk-ワークスペース 1.12.390 から 1.12.610 まで
- com.amazonaws.jmespath-java 1.12.390 から 1.12.610 まで
Apache Spark
Databricks Runtime 15.2 には Apache Spark 3.5.0 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 15.1 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-47941] [SC-163568] [SS] [Connect] ForeachBatchワーカーの初期化エラーをユーザーに伝播 PySpark
- [SPARK-47412] [SC-163455][sql] LPad/RPadの照合サポートを追加。
- [SPARK-47907] [SC-163408][sql] 設定の下に bang を置く
- [SPARK-46820] [SC-157093][Python] 復元によるエラーメッセージのリグレッションを修正
new_msg - [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]コア/MLlib/リソースマネージャー:構造化ロギングの移行
- [SPARK-47890] [SC-163324][接続][Python] Scala および Pythonにバリアント関数を追加。
- [SPARK-47894] [SC-163086][core][WEBUI] マスターUIに
Environmentページを追加 - [SPARK-47805] [SC-163459][ss] MapStateのTTLの実装
- [SPARK-47900] [SC-163326] 暗黙的な(UTF8_BINARY)照合のチェックを修正
- [SPARK-47902] [SC-163316][sql]コンピュートCurrent Time*式を折りたたみ可能に
- [SPARK-47845] [SC-163315][sql][Python][connect] ScalaおよびPythonの分割関数で列タイプをサポート
- [SPARK-47754] [SC-162144][sql] Postgres:多次元配列の読み取りをサポート
- [SPARK-47416] [SC-163001][sql] CollationBenchmark #90339に新しい関数を追加
- [SPARK-47839] [SC-163075][sql] RewriteWithExpressionの集約バグを修正
- [SPARK-47821] [SC-162967][sql] is_variant_null式を実装
- [SPARK-47883] [SC-163184][sql] RowQueueで
CollectTailExec.doExecuteを遅延させる - [SPARK-47390] [SC-163306][sql] PostgresDialect が TIMESTAMP と TIMESTAMP_TZ を区別します
- [SPARK-47924] [SC-163282][core] DEBUGログを
DiskStore.moveFileToBlock - [SPARK-47897] [SC-163183][sql][3.5] Scala 2.12 での ExpressionSet パフォーマンスのリグレッションを修正
- [SPARK-47565] [ SC-161786 ] [Python] PySpark ワーカー プールのクラッシュ耐性
- [SPARK-47885] [SC-162989] [Python][CONNECT] PySpark.リソースを PySpark-connectと互換性を持たせる
- [SPARK-47887] [SC-163122][接続] 未使用のインポート
spark/connect/common.protoを削除spark/connect/relations.proto - [SPARK-47751] [SC-161991] [Python][CONNECT] PySpark.ワーカーを作る PySpark-connectに対応
- [SPARK-47691] [SC-161760][sql] Postgres:書き込み側で多次元配列をサポート
- [SPARK-47617] [SC-162513][sql] 照合用のTPC-DSテストインフラストラクチャを追加
- [SPARK-47356] [SC-162858][sql] ConcatWs と Elt のサポートを追加 (すべての照合)
- [SPARK-47543] [SC-161234][接続][Python] Pandas データフレーム から
dictをMapTypeとして推論して データフレーム 作成を可能にする - [SPARK-47863] [SC-162974][sql] ICUのstartsWith & endsWith照合対応実装を修正
- [SPARK-47867] [SC-162966][sql] JSONスキャンでバリアントをサポートします。
- [SPARK-47366] [SC-162475][sql][Python] PySparkのVariantValを追加
- [SPARK-47803] [SC-162726][sql] バリアントへのキャストをサポートします。
- [SPARK-47769] [SC-162841][sql] schema_of_variant_agg式を追加します。
- [SPARK-47420] [SC-162842][sql] テスト出力を修正
- [SPARK-47430] [SC-161178][sql] MapTypeのサポートグループ BY
- [SPARK-47357] [SC-162751][sql] Upper、Lower、InitCap(すべての照合順序)のサポートを追加
- [SPARK-47788] [SC-162729][ss] ストリーミングステートフル操作で同じハッシュパーティショニングを確保
- [SPARK-47776] [SC-162291][ss] ステートフル演算子のキースキーマでバイナリの不等式照合の使用を許可しない
- [SPARK-47673] [SC-162824][ss] ListStateのTTLの実装
- [SPARK-47818] [SC-162845][connect] SparkConnectPlannerにプランキャッシュを導入し、Analyzeリクエストのパフォーマンスを向上させる
- [SPARK-47694] [SC-162783][connect] クライアント側で最大メッセージサイズを設定可能に
- [SPARK-47274] 「[SC-162479][Python][SQL] より多くの使用を提供してください...
- [SPARK-47616] [SC-161193][sql] MySQLからSpark SQLデータ型をマッピングするためのユーザードキュメントを追加
- [SPARK-47862] [SC-162837]Python][CONNECT]プロトファイルの生成を修正
- [SPARK-47849] [SC-162724][Python][CONNECT] リリーススクリプトをリリース PySpark-connectに変更
- [SPARK-47410] [SC-162518][sql] UTF8StringとCollationFactoryのリファクタリング
- [SPARK-47807] [SC-162505]Python][ML] PySpark.ml を PySpark-connect と互換性を持たせる
- [SPARK-47707] [SC-161768][sql] MySQL Connector/J 5.xのJSONタイプの特別な処理
- [SPARK-47765] 「[SC-162636][sql] SET COLLATIONをparsに追加...
- [SPARK-47081] [SC-162151][接続][FOLLOW] プログレスハンドラーの使い勝手を改善
- [SPARK-47289] [SC-161877][sql] 説明プランの拡張情報をログに記録する拡張機能の許可
- [SPARK-47274] [SC-162479]Python][SQL] PySpark データフレーム API エラーに対してより有用なコンテキストを提供
- [SPARK-47765] [SC-162636][sql] パーサールールにSET COLLATIONを追加
- [SPARK-47828] [SC-162722][接続][Python]
DataFrameWriterV2.overwrite無効なプランで失敗する - [SPARK-47812] [SC-162696][connect] ForEachBatch ワーカーの SparkSession のシリアル化をサポート
- [SPARK-47253] [SC-162698][core] イベントキューが完全に枯渇することなくLiveEventBusを停止させる
- [SPARK-47827] [SC-162625][Python] 非推奨の機能の警告が表示されない
- [SPARK-47733] [SC-162628][ss] クエリの進行状況のtransformWithState演算子部分にカスタムメトリクスを追加
- [SPARK-47784] [SC-162623][ss] TTLMode と TimeoutMode を 1 つの TimeMode に統合します。
- [SPARK-47775] [SC-162319][sql] バリアント仕様の残りのスカラータイプをサポートします。
- [SPARK-47736] [SC-162503][sql] AbstractArrayTypeのサポートを追加
- [SPARK-47081] [SC-161758][connect] クエリ実行の進行状況をサポート
- [SPARK-47682] [SC-162138][sql] バリアントからのキャストをサポートします。
- [SPARK-47802] [SC-162478][sql] ( )をstruct()の意味から *の意味に戻します
- [SPARK-47680] [SC-162318][sql] variant_explode式を追加します。
- [SPARK-47809] [SC-162511][sql] 各コード生成モードのエラーをチェック
checkExceptionInExpression - [SPARK-41811] [SC-162470]Python][CONNECT] で
SQLStringFormatterを実装WithRelations - [SPARK-47693] [SC-162326][sql] UTF8_BINARY_LCASE照合で使用されるUTF8Stringの小文字比較の最適化を追加
- [SPARK-47541] [SC-162006][sql] リバース、array_join、コンキャット、マップの操作をサポートする複合型の照合文字列
- [SPARK-46812] [SC-161535][接続][Python] mapInPandas / mapInArrow サポートの ResourceProfile を作成
- [SPARK-47727] [SC-161982][Python] SparkSession とSparkContextの両方でSparkConfをルートレベルに
- [SPARK-47406] [SC-159376][sql] MYSQLDialectでTIMESTAMPとDATETIMEを処理する
- 【スパーク-47081】 「[SC-161758][connect] Support Query Executi... を元に戻す
- [SPARK-47681] [SC-162043][sql] schema_of_variant式を追加します。
- [SPARK-47783] [SC-162222] 欠落しているSQLSTATEをいくつか追加し、使用するYY000をクリーンアップします...
- [SPARK-47634] [SC-161558][sql] マップキーの正規化を無効にするためのレガシーサポートを追加
- [SPARK-47746] [SC-162022] RocksDBStateEncoderに序数ベースの範囲エンコーディングを実装
- [SPARK-47285] [SC-158340][sql] AdaptiveSparkPlanExecは常にcontext.sessionを使用すべき
- [SPARK-47643] [SC-161534][ss][]Python PySparkPythonストリーミング ソースの テストを追加
- [SPARK-47582] [SC-161943][sql] 変数を含む Catalyst logInfo を構造化ロギングフレームワークに移行
- [SPARK-47558] [SC-162007][ss] ValueStateに対する状態TTLのサポート
- [SPARK-47358] [SC-160912][sql][照合] 正しいデータ型を返すように繰り返し式のサポートを改善
- [SPARK-47504] [SC-162044][sql] StringTypeCollatedのAbstractDataType simpleStringsを解決
- [スパーク-47719] 「[SC-161909][sql] spark.sql.legacy.tを変更...
- [SPARK-47657] [SC-162010][sql] ファイルソースごとに照合フィルタのプッシュダウンサポートを実装
- [SPARK-47081] [SC-161758][connect] クエリ実行の進行状況をサポート
- [SPARK-47744] [SC-161999] 範囲エンコーダーに負の値のバイトのサポートを追加
- [SPARK-47713] [SC-162009][sql][CONNECT] 自己結合の失敗を修正
- [SPARK-47310] [SC-161930][ss] 状態ストアの値部分に複数の値のマージ操作のためのマイクロベンチマークを追加
- [SPARK-47700] [SC-161774][sql] treeNodeのエラーメッセージのフォーマットを修正
- [SPARK-47752] [SC-161993][ps][CONNECT] PySpark.pandasを PySpark-connectと互換性を持たせる
- [SPARK-47575] [SC-161402][spark-47576][SPARK-47654] 構造化ロギングフレームワークにlogWarning/logInfo APIを実装
- [SPARK-47107] [SC-161201][ss][Python] Python ストリーミング データソースのパーティションリーダーを実装
- [SPARK-47553] [SC-161772][ss]Java transformWithState演算子 のサポート を追加API
- [SPARK-47719] [SC-161909][sql] spark.sql.legacy.timeParserPolicyを変更 デフォルトは CORRECTED です
- [SPARK-47655] [SC-161761][ss] state-v2の初期状態処理にタイマーを統合
- [SPARK-47665] [SC-161550][sql] SMALLINTを使用してShortTypeをMYSQLに書き込む
- [SPARK-47210] [SC-161777][sql] 不確定なサポートなしの暗黙的なキャストの追加
- [SPARK-47653] [SC-161767][ss] 負の数値タイプと範囲スキャンキーエンコーダーのサポートを追加
- [SPARK-46743] [SC-160777][sql] 定数フォールディング後のカウントバグ
- [SPARK-47525] [SC-154568][sql] マップ属性のサブクエリ相関結合をサポート
- [SPARK-46366] [SC-151277][sql] BETWEEN で WITH 式を使用して、式の重複を避ける
- [SPARK-47563] [SC-161183][sql] 作成時にマップの正規化を追加
- [SPARK-42040] [SC-161171][sql] SPJ:パーティション統計を報告するためのV2入力パーティション用の新しいAPIを導入
- [SPARK-47679] [SC-161549][sql]
HiveConf.getConfVarsまたはHiveのconf名を直接使用 - [SPARK-47685] [SC-161566][sql]
Streamタイプのサポートを復元Dataset#groupBy - [SPARK-47646] [SC-161352][sql] 不正な入力に対してtry_to_numberをNULLに戻すように修正
- [SPARK-47366] [SC-161324][Python] PySpark およびデータフレームparse_jsonエイリアスを追加
- [SPARK-47491] [SC-161176][core]
slf4j-apiディレクトリの他のものよりも先にjarsjarをクラスパスに追加する - [SPARK-47270] [SC-158741][sql] データセット.isEmpty projects CommandResults locally
- [SPARK-47364] [SC-158927][core] プラグインが一方向のメッセージに対して応答するときに警告
PluginEndpointように修正 - [SPARK-47280] [SC-158350][sql] ORACLE TIMESTAMP WITH TIMEZONEのタイムゾーン制限を削除
- [SPARK-47551] [SC-161542][sql] variant_get式を追加します。
- [SPARK-47559] [SC-161255][sql] バリアントのCodegenサポート
parse_json - [SPARK-47572] [SC-161351][sql] ウィンドウのpartitionSpecを強制する順序付けが可能にしました。
- [SPARK-47546] [SC-161241][sql] Parquetからバリアントを読み取る際の検証を改善
- [SPARK-47543] [SC-161234][接続][Python] Pandas データフレーム から
dictをMapTypeとして推論して データフレーム 作成を可能にする - [SPARK-47485] [SC-161194][sql][Python][connect] データフレームAPIで照合順序を含む列を作成
- [SPARK-47641] [SC-161376][sql]
UnaryMinusとAbs - [SPARK-47631] [SC-161325][sql] 未使用の
SQLConf.parquetOutputCommitterClassメソッドを削除 - [SPARK-47674] [SC-161504][core] デフォルトで
spark.metrics.appStatusSource.enabledを有効にする - [SPARK-47273] [SC-161162][ss][Python] Python データストリームライターインターフェースを実装します。
- [SPARK-47637] [SC-161408][sql] errorCapturingIdentifierをより多くの場所で使用する
- [SPARK-47497] 元に戻す "[SC-160724][sql] 配列/構造体/マップ/バイナリの出力をきれいな文字列としてサポートto_csv
- [SPARK-47492] [SC-161316][sql] 字句解析器の空白ルールを広げる
- [SPARK-47664] [SC-161475][Python][CONNECT] キャッシュされたスキーマで列名を検証します
- [SPARK-47638] [SC-161339][ps][CONNECT] PSで列名の検証をスキップする
- [SPARK-47363] [SC-161247][ss] State API v2 のステートリーダー実装なしの初期ステート。
- [SPARK-47447] [SC-160448][sql] Parquet TimestampLTZをTimestampNTZとして読み取れるように
- [SPARK-47497]「[SC-160724][sql]
array/struct/map/binaryの出力をきれいな文字列としてサポートするようにto_csv」を差し戻します。 - [SPARK-47434] [SC-160122][webui]
statisticsリンクを修正StreamingQueryPage - [SPARK-46761] [SC-159045][sql] JSONパス内の引用符で囲まれた文字列は?文字
- [SPARK-46915] [SC-155729][sql]
UnaryMinusAbsの簡略化とエラークラスの整列 - [SPARK-47431] [SC-160919][sql] セッションレベルのデフォルトの照合を追加
- [SPARK-47620] [SC-161242]Python][CONNECT] 列をソートするヘルパー機能を追加
- [SPARK-47570] [SC-161165][ss] レンジスキャンエンコーダーの変更をタイマー実装と統合
- [SPARK-47497] [SC-160724][sql]
array/struct/map/binaryの出力をきれいな文字列としてサポートするようにto_csv - [SPARK-47562] [SC-161166][connect] 要素リテラルの処理が
plan.py - [SPARK-47509] [SC-160902][sql] ラムダ関数および高階関数のサブクエリ式をブロックする
- [SPARK-47539] [SC-160750][sql] メソッド
castToStringの戻り値をAny => UTF8String - [SPARK-47372] [SC-160905][ss] 状態ストアプロバイダーで使用するための範囲スキャンベースのキー状態エンコーダーのサポートを追加
- [SPARK-47517] [SC-160642][core][SQL] サイズ表示にUtils.bytesToStringを優先
- [SPARK-47243] [SC-158059][ss] のパッケージ名を修正
StateMetadataSource.scala - [SPARK-47367] [SC-160913]][CONNECT]Python PythonSparkConnectによる データソースのサポート
- [SPARK-47521] [SC-160666][core] 外部ストレージからのシャッフルデータの読み取り中に
Utils.tryWithResourceを使用する - [SPARK-47474] [SC-160522][core] SPARK-47461を元に戻し、コメントを追加
- [SPARK-47560] [SC-160914] [Python][CONNECT] キャッシュされたスキーマで列名を検証するRPCを避ける
- [SPARK-47451] [SC-160749][sql] to_json(バリアント) をサポートします。
- [SPARK-47528] [SC-160727][sql] UserDefinedTypeのサポートをDataTypeUtils.canWriteに追加
- [スパーク-44708] 「[SC-160734][Python] assertデータフレームEqual を使用するようにtest_reset_index assert_eqを移行する」を元に戻す
- [SPARK-47506] [SC-160740][sql] 照合データタイプのすべてのファイルソース形式にサポートを追加
- [SPARK-47256] [SC-160784][sql] エラークラス_LEGACY_ERROR_TEMP_102[4-7]に名前を割り当てる
- [SPARK-47495] [SC-160720][core] k8sクラスターモードでspark.jarsに2回追加されたプライマリリソースjarを修正
- [SPARK-47398] [SC-160572][sql] InMemoryTableScanExec の特性を抽出して、機能を拡張できるようにしました
- [SPARK-47479] [SC-160623][sql] オプティマイズが複数のパスを持つリレーションにデータを書き込めないエラーログ
- [SPARK-47483] [SC-160629][sql] 照合された文字列の配列に対する集計および結合操作のサポートを追加
- [SPARK-47458] [SC-160237][core] バリアステージの最大並列タスクの計算に関する問題を修正
- [SPARK-47534] [SC-160737][sql]
o.a.s.variantをo.a.s.types.variant - [SPARK-47396] [SC-159312][sql] TIME WITHOUT TIME ZONEの一般的なマッピングをTimestampNTZTypeに追加
- [SPARK-44708] [SC-160734][Python] assertデータフレームEqual を使用するようにtest_reset_index assert_eqを移行する
- [SPARK-47309] [SC-157733][sc-160398][SQL] XML: 値タグのスキーマ推論テストを追加
- [SPARK-47007] [SC-160630][sql]
MapSort式を追加 - [SPARK-47523] [SC-160645][sql] 非推奨の
JsonParser#getCurrentNameをJsonParser#currentName - [SPARK-47440] [SC-160635][sql] サポートされていない構文をMsSqlServerにプッシュする問題を修正
- [SPARK-47512] [SC-160617][ss] RocksDB 状態ストアインスタンスのロック取得/解放で使用されるタグ操作タイプ
- [SPARK-47346] [SC-159425]Python] Python プランナーワーカーの作成時にデーモンモードを設定可能に
- [SPARK-47446] [SC-160163][core] 前に警告
BlockManagerremoveBlockInternal - [SPARK-46526] [SC-156099][sql] 述語が外部テーブルのみを参照する相関サブクエリに対するLIMITのサポート
- [SPARK-47461] [SC-160297][core] プライベート機能
totalRunningTasksPerResourceProfileの削除ExecutorAllocationManager - [SPARK-47422] [SC-160219][sql] 配列操作での照合文字列のサポート
- [SPARK-47500] [SC-160627]Python][CONNECT] 因子列名の処理が外れています
plan.py - [SPARK-47383] [SC-160144][core]
spark.shutdown.timeout設定をサポート - [SPARK-47342] [SC-159049]「[SQL] DB2 TIMESTAMP WITH TIME ZONE」のTimestampNTZを元に戻す
- [SPARK-47486] [SC-160491][接続] 未使用のプライベート
ArrowDeserializers.getStringメソッドを削除 - [SPARK-47233] [SC-154486][接続][SS][2/2] クライアント側ストリーミングクエリリスナーのクライアントおよびサーバーロジック
- [SPARK-47487] [SC-160534][sql] AnsiTypeCoercionのコードを簡略化
- [SPARK-47443] [SC-160459][sql] 照合順序のWindow Aggregateサポート
- [SPARK-47296] [SC-160457][sql][COLLATION] 非バイナリ照合でサポートされていない関数が失敗する
- [SPARK-47380] [SC-160164][connect] サーバー側でSparkSessionが同じであることを確認してください
- [SPARK-47327] [SC-160069][sql] ソートキーの同時実行性テストをCollationFactorySuiteに移動
- [SPARK-47494] [SC-160495][doc] Spark 3.3以降のParquetタイムスタンプ推論の動作変更に関する移行ドキュメントを追加
- [SPARK-47449] [SC-160372][ss] リファクタリングおよび分割リスト/タイマーユニットのテスト
- [SPARK-46473] [SC-155663][sql]
getPartitionedFileの再利用方法 - [SPARK-47423] [SC-160068][sql] 照合 - 照合順序を持つ文字列の設定操作のサポート
- [SPARK-47439] [SC-160115] []Python Pythonリファレンス ページの データソースAPIAPI
- [SPARK-47457] [SC-160234][sql] Hadoop 3.4+を処理するように
IsolatedClientLoader.supportsHadoopShadedClientを修正 - [SPARK-47366] [SC-159348][sql] parse_jsonを実装します。
- [SPARK-46331] [SC-152982][sql] DateTime式とversion()式のサブセットからCodegenFallbackを削除
- [SPARK-47395] [SC-159404] 他のAPIに照合と照合を追加
- [SPARK-47437] [SC-160117] [Python][CONNECT] のエラークラスを修正
DataFrame.sort* - [SPARK-47174] [SC-154483][接続][SS][1/2] クライアント側のストリーミングクエリリスナー用のサーバー側のSparkConnectListenerBusListener
- [SPARK-47324] [SC-158720][sql] JDBC ネストされた型の欠落しているタイムスタンプ変換を追加
- [SPARK-46962] [SC-158834][ss][Python] Python ストリーミング データソース API のインターフェイスを追加し Python Python ワーカーが ストリーミング データソースを実行できるように実装
- [SPARK-45827] [SC-158498][sql] データ型チェックをCreatableRelationProviderに移動
- [SPARK-47342] [SC-158874][sql] DB2 TIMESTAMP WITH TIME ZONEのTimestampNTZをサポート
- [SPARK-47399] [SC-159378][sql] 照合順序を持つ式でジェネレーテッドカラムを無効にする
- [SPARK-47146] [SC-158247][core] ソートマージ結合を行う際にスレッドリークが発生する可能性
- [SPARK-46913] [SC-159149][ss] transformWithState演算子による処理/イベント時間ベースのタイマーのサポートを追加
- [SPARK-47375] [SC-159063][sql] タイムスタンプマッピングのガイドラインを追加
JdbcDialect#getCatalystType - [SPARK-47394] [SC-159282][sql] H2Dialectのタイムゾーン付きタイムスタンプをサポート
- [スパーク-45827] 「[SC-158498][sql] データ型チェックを...
- [SPARK-47208] [SC-159279][core] ベースオーバーヘッドメモリの上書きを許可
- [SPARK-42627] [SC-158021][spark-26494][SQL] Oracle TIMESTAMPをローカルタイムゾーンでサポート
- [SPARK-47055] [ SC-156916] [Python] MyPy 1.8.0 のアップグレード
- [SPARK-46906] [SC-157205][ss] ストリーミングのステートフルなオペレーター変更のチェックを追加
- [SPARK-47391] [SC-159283][sql] JDK 8のテストケース回避策を削除
- [SPARK-47272] [SC-158960][ss] State API v2のMapState実装を追加。
- [SPARK-47375] [SC-159278][ドキュメント][フォローアップ] JDBCのpreferTimestampNTZオプションドキュメントの誤りを修正
- [SPARK-42328] [SC-157363][sql] エラークラスから_LEGACY_ERROR_TEMP_1175を削除
- [SPARK-47375] [SC-159261][ドキュメント][フォローアップ] JDBCドキュメントのpreferTimestampNTZオプションの説明を修正
- [SPARK-47344] [SC-159146] 引用符で囲まれていない識別子の「-」をキャッチするだけでなくINVALID_IDENTIFIERエラーを拡張し、「IS !NULL」他。
- [SPARK-47340] [SC-159039][sql] StringType typenameの「collate」を小文字に変更
- [SPARK-47087] [SC-157077][sql] 設定値チェックでエラークラスでSparkの例外を発生させる
- [SPARK-47327] [SC-158824][sql] ICU Collatorのスレッドセーフの問題を修正
- [SPARK-47082] [SC-157058][sql] 領域外エラー状態を修正
- [SPARK-47331] [SC-158719][ss] Arbitrary State API v2 の SQL エンコーダーに基づくケースクラス/プリミティブ/POJO を使用したシリアル化。
- [SPARK-47250] [SC-158840][ss] RocksDB状態プロバイダーと列ファミリーの使用に対する検証とNERFの変更を追加
- [SPARK-47328] [SC-158745][sql] UCS_BASIC照合の名前をUTF8_BINARYに変更
- [SPARK-47207] [SC-157845][core] サポート
spark.driver.timeoutとDriverTimeoutPlugin - [SPARK-47370] [SC-158956][doc] Parquetファイルに移行ドキュメント:TimestampNTZ型推論を追加
- [SPARK-47309] [SC-158827][sql][XML] スキーマ推論ユニットテストを追加
- [SPARK-47295] [SC-158850][sql]
startsWithおよびendsWith関数のICU StringSearchを追加 - [SPARK-47343] [SC-158851][sql] 即時実行で変数値がnull文字列の場合
sqlStringNPEを修正 - [SPARK-46293] [SC-150117][接続][Python]
protobuf推移的な依存関係の使用 - [SPARK-46795] [SC-154143][sql]
UnsupportedOperationExceptionをSparkUnsupportedOperationExceptionに置き換えるsql/core - [SPARK-46087] [SC-149023] [Python] ドキュメントおよび開発要件の PySpark 依存関係の同期
- [SPARK-47169] [SC-158848][sql] 照合された列のバケット化を無効にする
- [SPARK-42332] [SC-153996][sql] ComplexTypeMergingExpressionでrequireをSparkExceptionに変更
- [SPARK-45827] [SC-158498][sql] データ型チェックをCreatableRelationProviderに移動
- [SPARK-47341] [SC-158825][connect] SparkConnectClientSuiteのいくつかのテストでコマンドをリレーションに置き換える
- [SPARK-43255] [SC-158026][sql] エラークラス_LEGACY_ERROR_TEMP_2020を内部エラーに置き換えてください
- [SPARK-47248] [SC-158494][sql][照合順序] 文字列関数のサポートが改善されました。
- [SPARK-47334] [SC-158716][sql] の実装
withColumnRenamed再利用withColumnsRenamed - [SPARK-46442] [SC-153168] [sql] DS V2はプッシュダウンPERCENTILE_CONTとPERCENTILE_DISCをサポートします
- [SPARK-47313] [SC-158747][sql] Scalaを追加しました。QueryExecution.toInternalError 内での MatchError 処理
- [SPARK-45827] [SC-158732][sql] Javaのバリアントシングルトンタイプを追加
- [SPARK-47337] [SC-158743][sql][Docker] DB2 Dockerイメージバージョンを11.5.8.0にアップグレード
- [SPARK-47302] [SC-158609][sql] 識別子としてキーワードを照合する
- [SPARK-46817] [SC-154196][core]
decommissionコマンドを追加してspark-daemon.shの使用を修正 - [SPARK-46739] [SC-153553][sql] エラークラスを追加
UNSUPPORTED_CALL - [SPARK-47102] [SC-158253][sql]
COLLATION_ENABLED設定フラグを追加 - [SPARK-46774] [SC-153925][sql][AVRO] Avroの書き込みジョブで非推奨のmapred.output.compressの代わりにmapreduce.output.fileoutputformat.compressを使用
- [SPARK-45245] [SC-146961]Python][CONNECT] PythonWorkerFactory: ワーカーが再接続しない場合にタイムアウトします。
- [SPARK-46835] [SC-158355][sql][照合] 非バイナリ照合のサポートに参加
- [SPARK-47131] [SC-158154][sql][COLLATION] 文字列関数のサポート: contains, startswith, endswith
- [SPARK-46077] [SC-157839][sql] JdbcDialect.compileValue の TimestampNTZConverter によって生成された型について考えてみます。
- [SPARK-47311] [SC-158465][sql][]Python PythonPySparkが パスにない場合の 例外を抑制Python
- [SPARK-47319] [SC-158599][sql] missingInputの計算を改善
- [SPARK-47316] [SC-158606][sql] Postgres配列のTimestampNTZを修正
- [SPARK-47268] [SC-158158][sql][照合] 照合による再パーティションのサポート
- [SPARK-47191] [SC-157831][sql] テーブル/ビューのキャッシュ解除時に不要なリレーション検索を回避
- [SPARK-47168] [SC-158257][sql] デフォルト以外の照合済み文字列を操作するときにParquetフィルターのプッシュダウンを無効にする
- [SPARK-47236] [SC-158015][core] 存在しないファイル入力をスキップするように
deleteRecursivelyUsingJavaIOを修正 - [SPARK-47238] [SC-158466][sql] WSCGで生成されたコードをブロードキャスト変数にすることで、エグゼキューターのメモリ使用量を削減します。
- [SPARK-47249] [SC-158133][connect] 実際のステータスに関係なく、すべての接続実行が放棄されたと見なされるバグを修正
- [SPARK-47202] [ SC-157828][Python] tzinfoで日付時刻を改めるタイプミスを修正
- [SPARK-46834] [SC-158139][sql][照合順序] 集計のサポート
- [スパーク-47277] [SC-158351][3.5] PySpark util 関数 assertデータフレームEqual はストリーミング DF をサポートしないでください
- [SPARK-47155] [SC-158473][Python] エラークラスの問題を修正
- [SPARK-47245] [SC-158163][sql] INVALID_PARTITION_COLUMN_DATA_TYPEのエラーコードの改善
- [SPARK-39771] [SC-158425][core] シャッフルブロックの数が多すぎる場合に
Dependencyに警告メッセージを追加。 - [SPARK-47277] [SC-158329] PySpark util関数assertデータフレームEqualはストリーミングDFをサポートしない
- [SPARK-47293] [SC-158356][core] 1つずつ追加するのではなく、sparkSchemaを使用してbatchSchemaをビルド
- [SPARK-46732] [SC-153517][connect]サブクエリ/ブロードキャストスレッドをConnectのアーティファクト管理と連携させる
- [SPARK-44746] [SC-158332] [Python] 入力テーブルを受け入れる関数の Python UDTFドキュメントを追加
- [SPARK-47120] [SC-157517][sql] サブクエリからのデータフィルターのヌル比較プッシュダウンがParquetフィルターのNPEで生成
- [SPARK-47251] [SC-158291][Python]
sqlコマンドのargs引数から無効なタイプをブロック - [スパーク-47251] 「[SC-158121][Python]
argsコマンドの引数から無効な型をブロックする」を元に戻すsql - [SPARK-47015] [SC-157900][sql] 照合された列のパーティショニングを無効にする
- [SPARK-46846] [SC-154308][core]
Serializableを明示的に拡張WorkerResourceInfo - [SPARK-46641] [SC-156314][ss] maxBytesPerTriggerしきい値を追加
- [SPARK-47244] [SC-158122][接続] 内部機能をプライベートにする
SparkConnectPlanner - [SPARK-47266] [SC-158146][connect] 入力と同じタイプを返すように
ProtoUtils.abbreviate - [SPARK-46961] [SC-158183][ss] ProcessorContextを使用したハンドルの保存と取得
- [SPARK-46862] [SC-154548][sql] 複数行モードでのCSV列のプルーニングを無効にする
- [SPARK-46950] [SC-155803][core][SQL] エラークラス
not available codec整列 - [SPARK-46368] [SC-153236][core] REST送信APIでのサポート
readyz - [SPARK-46806] [SC-154108][Python] 引数の型が間違っている場合のspark.tableのエラーメッセージを改善
- [SPARK-47211] [SC-158008][connect][Python] 無視される PySpark Connect文字列の照合を修正
- [SPARK-46552] [SC-151366][sql]
UnsupportedOperationExceptionをSparkUnsupportedOperationExceptionに置き換えるcatalyst - [SPARK-47147] [SC-157842]Python][SQL] 照合された文字列変換エラー PySpark 修正
- [SPARK-47144] [SC-157826][接続][SQL][Python] collateId protobufフィールドを追加して Spark 接続照合エラーを修正
- [SPARK-46575] [SC-153200][sql][HIVE] HiveThriftServer2.startWithContextを作成 DevelopApi を再試行可能にし、ThriftServerWithSparkContextInHttpSuite の不安定さを修正
- [SPARK-46696] [SC-153832][core] ResourceProfileManagerでは、変数宣言の後に関数呼び出しを行うべき
- [SPARK-47214] [SC-157862][Python] 定数のNULL引数と他のタイプの引数を区別するために、「analyze」メソッドのUDTF API を作成する
- [SPARK-46766] [SC-153909][sql][AVRO] AVROデータソースのZSTDバッファプールサポート
- [SPARK-47192] [SC-157819] 一部の_LEGACY_ERROR_TEMP_0035エラーを変換する
- [SPARK-46928] [SC-157341][ss] Arbitrary State API v2にListStateのサポートを追加。
- [SPARK-46881] [SC-154612][core] サポート
spark.deploy.workerSelectionPolicy - [SPARK-46800] [SC-154107][core] サポート
spark.deploy.spreadOutDrivers - [SPARK-45484] [SC-146014][sql] 不正なParquet圧縮コーデックlz4rawを使用するバグを修正
- [SPARK-46791] [SC-154018][sql] JavaTypeInferenceでJavaセットをサポート
- [SPARK-46332] [SC-150224][sql]
CatalogNotFoundExceptionをエラークラスに移行CATALOG_NOT_FOUND - [SPARK-47164] [SC-157616][sql] v2 の Wider Type Narrow リテラルのデフォルト値を v1 と同じように動作させるように修正
- [SPARK-46664] [SC-153181][core] ワーカーとアプリがゼロの場合に迅速に回復するように
Masterを改善 - [SPARK-46759] [SC-153839][sql][AVRO] Codec xzおよびzstandardがavroファイルの圧縮レベルをサポート
Databricks ODBC/JDBC ドライバーのサポート
Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。 最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロード、 JDBC のダウンロード)。
「Databricks Runtime 15.2 メンテナンスの更新」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 22.04.4 LTSの
- Java の:Zulu 8.74.0.17-CA-linux64
- Scala : 2.12.15
- Python : 3.11.0
- R :4.3.2
- Delta Lake : 3.2.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アストトークンズ | 2.0.5 | アストゥンパース | 1.6.3 | azure-core | 1.30.1 |
azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | バックコール | 0.2.0 |
黒い | 23.3.0 | ウィンカー | 1.4 | ボト3 | 1.34.39 |
ボトコア | 1.34.39 | cachetools | 5.3.3 | 認証 | 2023.7.22 |
cffi | 1.15.1 | シャルデ | 4.0.0 | 文字セット・ノーマライザー | 2.0.4 |
クリック | 8.0.4 | クラウドピクルス | 2.2.1 | 通信 | 0.1.2 |
コントルピー | 1.0.5 | 暗号化手法 | 41.0.3 | サーマルサイクラー | 0.11.0 |
シトン | 0.29.32 | Databricks の SDK | 0.20.0 | DBUSPython | 1.2.18 |
デバッグ | 1.6.7 | デコレータ | 5.1.1 | ディストリビューション | 0.3.8 |
エントリポイント | 0.4 | 実行 | 0.8.3 | facets-概要 | 1.1.1 |
ファイルロック | 3.13.1 | fonttools | 4.25.0 | ギットDB | 4.0.11 |
ギットパイソン | 3.1.43 | グーグルAPIコア | 2.18.0 | グーグル認証 | 2.29.0 |
グーグルクラウドコア | 2.4.1 | Google Cloud Storage | 2.16.0 | グーグル-CRC32C | 1.5.0 |
Googleの再開可能なメディア | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
grpcio-ステータス | 1.60.0 | httplib2の | 0.20.2 | イドナ | 3.4 |
importlib-metadata | 6.0.0 | ipyflow-コア | 0.0.198 | ipykernel(英語) | 6.25.1 |
アイパイソン | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
イソデート | 0.6.1 | ジェダイ | 0.18.1 | ジープニー | 0.7.1 |
jmespathの | 0.10.0 | ジョブリブ | 1.2.0 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | キーリング | 23.5.0 | キウイソルバー | 1.4.4 |
ローンチパッドリブ | 1.10.16 | lazr.restfulクライアント | 0.14.4 | lazr.uri です。 | 1.0.6 |
Matplotlib | 3.7.2 | matplotlib-インライン | 0.1.6 | mlflow-skinny | 2.11.3 |
もっと-itertools | 8.10.0 | mypy-extensions | 0.4.3 | ネスト-アシンシオ | 1.5.6 |
ナムピー | 1.23.5 | OAuthlib | 3.2.0 | 包装 | 23.2 |
pandas | 1.5.3 | パルソ | 0.8.3 | パススペック | 0.10.3 |
パッツィ | 0.5.3 | pexpect | 4.8.0 | ピクルシェア | 0.7.5 |
枕 | 9.4.0 | 種 | 23.2.1 | プラットフォームディレクトリ | 3.10.0 |
Plotly | 5.9.0 | プロンプトツールキット | 3.0.36 | プロトプラス | 1.23.0 |
プロトブフ | 4.24.1 | psutil の | 5.9.0 | サイコップ2 | 2.9.3 |
PTYPROCESSの | 0.7.0 | ピュア評価 | 0.2.2 | ピアロー | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 | ピッコロ | 0.0.52 |
pycparser | 2.21 | ピダンティック | 1.10.6 | ピグメント | 2.15.1 |
PyGObject | 3.42.1 | PyJWTの | 2.3.0 | pyodbc | 4.0.38 |
pyparsing (英語) | 3.0.9 | Python-dateutil | 2.8.2 | Python-lsp-jsonrpc | 1.1.1 |
ピッツ | 2022.7 | PyYAML (英語) | 6.0 | ピズム | 23.2.0 |
要求 | 2.31.0 | rsa | 4.9 | S3トランスファー | 0.10.1 |
Scikit-Learn | 1.3.0 | scipy(サイピー) | 1.11.1 | シーボーン | 0.12.2 |
シークレットストレージ | 3.3.1 | セットアップツール | 68.0.0 | 6 | 1.16.0 |
SMMAPの | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
スタックデータ | 0.2.0 | 統計モデル | 0.14.0 | 持久力 | 8.2.2 |
スレッドプールctl | 2.2.0 | トークン化-RT | 4.2.1 | 竜巻 | 6.3.2 |
トレイトレット | 5.7.1 | typing_extensions | 4.10.0 | tzdata (英語) | 2022.1 |
ujson | 5.4.0 | 無人アップグレード | 0.1 | urllib3 の | 1.26.16 |
virtualenv | 20.24.2 | ワドリブ | 1.3.6 | WC幅 | 0.2.5 |
輪 | 0.38.4 | ジップ | 3.11.0 |
インストールされている R ライブラリ
R ライブラリは、 Posit Package Manager CRAN スナップショットからインストールされます。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
矢 | 14.0.0.2 | アスクパス | 1.2.0 | assertthat | 0.2.1 |
バックポート | 1.4.1 | 基 | 4.3.2 | base64enc | 0.1-3 |
bigDの | 0.2.0 | bit | 4.0.5 | ビット64 | 4.0.5 |
ビットプス | 1.0-7 | ブロッブ | 1.2.4 | ブート | 1.3-28 |
醸成 | 1.0-10 | ブリオ | 1.1.4 | 箒 | 1.0.5 |
bslibの | 0.6.1 | カケム | 1.0.8 | コール | 3.7.3 |
キャレット | 6.0-94 | セルレンジャー | 1.1.0 | クロン | 2.3-61 |
クラス | 7.3-22 | CLI | 3.6.2 | clipr | 0.8.0 |
時計 | 0.7.0 | クラスター | 2.1.4 | コードツール | 0.2-19 |
カラースペース | 2.1-0 | コモンマーク | 1.9.1 | コンパイラ | 4.3.2 |
コンフィグ | 0.3.2 | 競合 | 1.2.0 | CPP11の | 0.4.7 |
クレヨン | 1.5.2 | 資格情報 | 2.0.1 | Curl | 5.2.0 |
データ.テーブル | 1.15.0 | データセット | 4.3.2 | DBI | 1.2.1 |
dbplirの | 2.4.0 | DESC | 1.4.3 | 開発ツール | 2.4.5 |
ダイアグラム | 1.6.5 | ディフobj | 0.3.5 | ダイジェスト | 0.6.34 |
ダウンライト | 0.4.3 | dplyrの | 1.1.4 | DTPLyr | 1.3.1 |
E1071 | 1.7-14 | 省略記号 | 0.3.2 | 評 | 0.23 |
ファンシ | 1.0.6 | ファーバー | 2.1.1 | ファストマップ | 1.1.1 |
フォントオーサム | 0.5.2 | フォーキャッツ | 1.0.0 | For each | 1.5.2 |
外国の | 0.8-85 | 鍛える | 0.2.0 | fs | 1.6.3 |
未来 | 1.33.1 | future.お申込み | 1.11.1 | 嗽 | 1.5.2 |
ジェネリック | 0.1.3 | ゲルト | 2.0.1 | ggplot2の | 3.4.4 |
gh | 1.4.0 | ギット2R | 0.33.0 | ギットレッズ | 0.1.2 |
glmnet | 4.1-8 | グローバル | 0.16.2 | 膠 | 1.7.0 |
グーグルドライブ | 2.1.1 | グーグルシート4 | 1.1.1 | ガウアー | 1.0.1 |
グラフィックス | 4.3.2 | grDevicesの | 4.3.2 | グリッド | 4.3.2 |
グリッドエクストラ | 2.3 | gsubfnの | 0.7 | GT | 0.10.1 |
GTABLE(GTABLE) | 0.3.4 | ヘルメット | 1.3.1 | 避難所 | 2.5.4 |
高い | 0.10 | HMSの | 1.1.3 | htmlツール[htmltools] | 0.5.7 |
htmlウィジェット | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
HTTR2 | 1.0.0 | ids | 1.0.1 | イニ | 0.3.1 |
イプレッド | 0.9-14 | アイソバンド | 0.2.7 | 反復 子 | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | ジューシージュース | 0.1.0 |
カーンスムース | 2.23-21 | ニット | 1.45 | ラベリング | 0.4.3 |
あとで | 1.3.2 | 格子 | 0.21-8 | 溶岩 | 1.7.3 |
ライフサイクル | 1.0.4 | リッスン | 0.9.1 | ルブリデート | 1.9.3 |
マグリット | 2.0.3 | Markdown | 1.12 | 質量 | 7.3-60 |
マトリックス | 1.5-4.1 | メモ | 2.0.1 | メソッド | 4.3.2 |
mgcv | 1.8-42 | マイム | 0.12 | ミニUI | 0.1.1.1 |
MLflow | 2.10.0 | モデルメトリクス | 1.2.2.2 | モデラー | 0.1.11 |
マンセル | 0.5.0 | nlme | 3.1-163 | ネット | 7.3-19 |
numDerivの | 2016.8-1.1 | オープンSSL | 2.1.1 | 並列 | 4.3.2 |
並行して | 1.36.0 | 柱 | 1.9.0 | pkgbuild の | 1.4.3 |
pkgconfig | 2.0.3 | pkgdown (英語) | 2.0.7 | pkgload(パッケージロード) | 1.3.4 |
plogrの | 0.2.0 | プライル | 1.8.9 | 褒める | 1.0.0 |
プリティユニット | 1.2.0 | pROC | 1.18.5 | プロセスX | 3.8.3 |
製品 | 2023.08.28 | プロヴィス | 0.3.8 | 経過 | 1.2.3 |
プログレッサー | 0.14.0 | 約束 | 1.2.1 | プロト | 1.0.0 |
プロキシ | 0.4-27 | PS | 1.7.6 | ゴロゴロ | 1.0.2 |
R6の | 2.5.1 | ラグ | 1.2.7 | ランダムフォレスト | 4.7-1.1 |
ラプディレクトリ | 0.3.3 | rcmdcheckの | 1.4.0 | RColorブリューワー | 1.1-3 |
Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | 反応可能 | 0.4.4 |
リアクターR | 0.5.0 | 読み取り | 2.1.5 | readxlの | 1.4.3 |
レシピ | 1.0.9 | 再戦 | 2.0.0 | 再戦2 | 2.1.2 |
リモコン | 2.4.2.1 | レプレックス | 2.1.0 | 形状変更2 | 1.4.4 |
ラン | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
リオキシジェン2 | 7.3.1 | rpart | 4.1.21 | rprojroot さん | 2.0.4 |
サーブ | 1.8-13 | RSQLite (英語) | 2.3.5 | rstudioapi | 0.15.0 |
rversions | 2.1.2 | アヴェスト | 1.0.3 | サス | 0.4.8 |
秤 | 1.3.0 | セレクタ | 0.4-2 | セッション情報 | 1.2.2 |
形 | 1.4.6 | shiny | 1.8.0 | ソースツール | 0.1.7-1 |
sparklyr | 1.8.4 | 空間的 | 7.3-15 | スプライン | 4.3.2 |
sqldf | 0.4-11 | スクエアム | 2021.1 | 統計 | 4.3.2 |
統計4 | 4.3.2 | ストリンギ | 1.8.3 | ストリンガー | 1.5.1 |
生存 | 3.5-5 | 闊歩 | 3.33.1 | SYSの | 3.4.2 |
システムフォント | 1.0.5 | tcltk | 4.3.2 | テストを | 3.2.1 |
テキストシェーピング | 0.3.7 | ティブル | 3.2.1 | ティディル | 1.3.1 |
ティディセレクト | 1.2.0 | ティディバース | 2.0.0 | 時間変更 | 0.3.0 |
日時 | 4032.109 | タイニーテックス | 0.49 | ツール | 4.3.2 |
tzdb | 0.4.0 | urlchecker(英語) | 1.0.1 | usethisさん | 2.2.2 |
UTF8 | 1.2.4 | ユーティリティ | 4.3.2 | UUIDの | 1.2-0 |
V8の | 4.4.1 | vctrs | 0.6.5 | viridisライト | 0.4.2 |
ブルーム | 1.6.5 | ワルド | 0.5.2 | ウイスカー | 0.4.1 |
ウィザー | 3.0.0 | xfun | 0.41 | XML2の | 1.3.6 |
xopen(オーペン) | 1.0.0 | エクステーブル | 1.8-4 | ヤムラ | 2.3.8 |
ジーロット | 0.1.0 | 郵便番号 | 2.3.1 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.12.610 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.12.610 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.12.610 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.12.610 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.12.610 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.12.610 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.12.610 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.12.610 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.12.610 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.12.610 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.12.610 |
com.amazonawsの | aws-java-sdk-configの | 1.12.610 |
com.amazonawsの | aws-java-sdk-コア | 1.12.610 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.12.610 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.12.610 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.12.610 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.12.610 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.12.610 |
com.amazonawsの | aws-java-sdk-ecsの | 1.12.610 |
com.amazonawsの | aws-java-sdk-efs | 1.12.610 |
com.amazonawsの | aws-java-sdk-elasticache | 1.12.610 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.12.610 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.12.610 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.12.610 |
com.amazonawsの | aws-java-sdk-emr | 1.12.610 |
com.amazonawsの | aws-java-sdk-glacier | 1.12.610 |
com.amazonawsの | aws-java-sdk-グルー | 1.12.610 |
com.amazonawsの | aws-java-sdk-iam | 1.12.610 |
com.amazonawsの | aws-java-sdk-importexport | 1.12.610 |
com.amazonawsの | aws-java-sdk-キネシス | 1.12.610 |
com.amazonawsの | aws-java-sdk-kmsの | 1.12.610 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.12.610 |
com.amazonawsの | aws-java-sdk-logs | 1.12.610 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.12.610 |
com.amazonawsの | aws-java-sdk-opsworks | 1.12.610 |
com.amazonawsの | aws-java-sdk-rds | 1.12.610 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.12.610 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.12.610 |
com.amazonawsの | aws-java-sdk-s3 の | 1.12.610 |
com.amazonawsの | aws-java-sdk-ses | 1.12.610 |
com.amazonawsの | aws-java-sdk-simpledb | 1.12.610 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.12.610 |
com.amazonawsの | aws-java-sdk-snsの | 1.12.610 |
com.amazonawsの | aws-java-sdk-sqs | 1.12.610 |
com.amazonawsの | aws-java-sdk-ssm | 1.12.610 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.12.610 |
com.amazonawsの | aws-java-sdk-sts | 1.12.610 |
com.amazonawsの | aws-java-sdk-サポート | 1.12.610 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.12.610 |
com.amazonawsの | jmespath-java | 1.12.610 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | Databricks の SDK の java | 0.17.1 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.15.2 |
com.fasterxml.jackson.core | ジャクソンコア | 2.15.2 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.15.2 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.15.2 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.15.2 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JSR310 | 2.16.0 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.15.2 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.15.2 |
com.github.ben-manes.caffeine | カフェイン | 2.9.3 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1-ネイティブ |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1-ネイティブ |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64 | 1.1-ネイティブ |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64 | 1.1-ネイティブ |
com.github.luben | ZSTD-JNI | 1.5.5-4 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.10.1 |
com.google.crypto.tink | ティンク | 1.9.0 |
com.google.errorが発生しやすい | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | フラットバッファ-Java | 23.5.26 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | プロファイラー | 1.1.1 |
com.ibm.icu | ICU4Jの | 72.1 |
com.jcraftの | jsch | 0.1.55 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssqlの-JDBC | 11.2.2.JRE8 |
com.ningの | 圧縮-LZF | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.バインド | jaxb-コア | 2.2.11 |
com.sun.xml.バインド | jaxb-impl | 2.2.11 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.10.0 |
コム。囀る | chill_2.12 | 0.10.0 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.4.3 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uberの | H3 | 3.7.3 |
com.univocityの | univocity-パーサー | 2.9.1 |
com.zaxxerの | ひかりCP | 4.0.3 |
コモンズCLI | コモンズCLI | 1.5.0 |
コモンズコーデック | コモンズコーデック | 1.16.0 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.5 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.13.0 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズプール | コモンズプール | 1.5.4 |
dev.ludovic.netlib さん | アーパック | 3.0.3 |
dev.ludovic.netlib さん | ブラス | 3.0.3 |
dev.ludovic.netlib さん | ラパック | 3.0.3 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.25 |
io.delta | デルタシェアリング-client_2.12 | 1.0.5 |
io.dropwizard.メトリクス | メトリクスアノテーション | 4.2.19 |
io.dropwizard.メトリクス | メトリクスコア | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.2.19 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.2.19 |
io.nettyの | netty-すべて | 4.1.96.ファイナル |
io.nettyの | netty-buffer | 4.1.96.ファイナル |
io.nettyの | netty-codec (英語) | 4.1.96.ファイナル |
io.nettyの | netty-codec-http | 4.1.96.ファイナル |
io.nettyの | netty-codec-http2 | 4.1.96.ファイナル |
io.nettyの | netty-codec-socksの | 4.1.96.ファイナル |
io.nettyの | netty-共通 | 4.1.96.ファイナル |
io.nettyの | netty-ハンドラ | 4.1.96.ファイナル |
io.nettyの | netty-handler-proxy | 4.1.96.ファイナル |
io.nettyの | netty-リゾルバ | 4.1.96.ファイナル |
io.nettyの | netty-tcnative-boringssl-static | 2.0.61.最終版-linux-aarch_64 |
io.nettyの | netty-tcnative-boringssl-static | 2.0.61.最終版-linux-x86_64 |
io.nettyの | netty-tcnative-boringssl-static | 2.0.61.ファイナル-OSX-aarch_64 |
io.nettyの | netty-tcnative-boringssl-static | 2.0.61.ファイナルOSX-x86_64 |
io.nettyの | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
io.nettyの | netty-tcnative-クラス | 2.0.61.ファイナル |
io.nettyの | netty-トランスポート | 4.1.96.ファイナル |
io.nettyの | netty-transport-classes-epoll | 4.1.96.ファイナル |
io.nettyの | netty-transport-classes-kqueue | 4.1.96.ファイナル |
io.nettyの | netty-transport-native-epoll | 4.1.96.ファイナル |
io.nettyの | netty-transport-native-epoll | 4.1.96.最終版 linux-aarch_64 |
io.nettyの | netty-transport-native-epoll | 4.1.96.最終版 linux-x86_64 |
io.nettyの | netty-transport-native-kqueue | 4.1.96.ファイナルOSX-aarch_64 |
io.nettyの | netty-transport-native-kqueue | 4.1.96.ファイナルOSX-x86_64 |
io.nettyの | netty-transport-native-unix-common | 4.1.96.ファイナル |
io.プロメテウス | シンプルクライアント | 0.7.0 |
io.プロメテウス | simpleclient_common | 0.7.0 |
io.プロメテウス | simpleclient_dropwizard | 0.7.0 |
io.プロメテウス | simpleclient_pushgateway | 0.7.0 |
io.プロメテウス | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 収集家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet (英語) | jakarta.servlet-api | 4.0.3 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.11 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | 漬ける | 1.3 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.9.3 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.10.11 |
org.apache.ant | アントJSCH | 1.10.11 |
org.apache.ant | アントランチャー | 1.10.11 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 15.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-core | 15.0.0 |
org.apache.arrow(アパッチ・アロー) | 矢印メモリネット | 15.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 15.0.0 |
org.apache.avro | AVRO | 1.11.3 |
org.apache.avro | アブロIPC | 1.11.3 |
org.apache.avro | アブロマップド | 1.11.3 |
org.apache.commonsの | コモンズコレクション4 | 4.4 |
org.apache.commonsの | コモンズ圧縮 | 1.23.0 |
org.apache.commonsの | コモンズ-クリプト | 1.1.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.12.0 |
org.apache.commonsの | コモンズ-数学3 | 3.6.1 |
org.apache.commonsの | コモンズテキスト | 1.10.0 |
org.apache.curator (英語) | キュレーター・クライアント | 2.13.0 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.13.0 |
org.apache.curator (英語) | キュレーターレシピ | 2.13.0 |
org.apache.datasketches (英語) | データスケッチ-Java | 3.1.0 |
org.apache.datasketches (英語) | datasketches-memory | 2.0.0 |
org.apache.derbyの | ダービー | 10.14.2.0 |
org.apache.hadoop です。 | hadoop クライアント ランタイム | 3.3.6 |
org.apache.hive です。 | ハイブビーライン | 2.3.9 |
org.apache.hive です。 | ハイブ CLI | 2.3.9 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.9 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.9 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.9 |
org.apache.hive です。 | ハイブセルデ | 2.3.9 |
org.apache.hive です。 | ハイブシム | 2.3.9 |
org.apache.hive です。 | ハイブストレージAPI | 2.8.1 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.9 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.9 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.9 |
org.apache.httpコンポーネント | httpクライアント | 4.5.14 |
org.apache.httpコンポーネント | httpコア | 4.4.16 |
org.apache.ivy | 蔦 | 2.5.1 |
org.apache.logging.log4j | ログ4J-1.2-API | 2.22.1 |
org.apache.logging.log4j | ログ4J-API | 2.22.1 |
org.apache.logging.log4j | log4j-コア | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-JSON | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | オークコア | 1.9.2-シェード-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-シェード-protobuf |
org.apache.orc | オークシム | 1.9.2 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.ws.xmlスキーマ | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded (英語) | 4.23 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.13.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.6.3 |
org.apache.zookeeper | 動物園の飼育係ジュート | 3.6.3 |
org.checkerフレームワーク | チェッカークォール | 3.31.0 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
org.Eclipse.collections | Eclipseコレクション | 11.1.0 |
org.Eclipse.collections | Eclipse-collections-api | 11.1.0 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋の続き | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋-IO | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋プラス | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋警備 | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋-util | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋-util-ajax | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.52.v20230823 |
組織Eclipse.jetty | 桟橋XML | 9.4.52.v20230823 |
組織Eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
組織Eclipse.jetty.websocket | websocket-クライアント | 9.4.52.v20230823 |
組織Eclipse.jetty.websocket | websocket-共通 | 9.4.52.v20230823 |
組織Eclipse.jetty.websocket | websocket-サーバー | 9.4.52.v20230823 |
組織Eclipse.jetty.websocket | websocket-サーブレット | 9.4.52.v20230823 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.40 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.40 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.40 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.40 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.40 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.ファイナル |
org.ini4jの | ini4j(イニ4J) | 0.5.4 |
org.javassist | ジャバス奏者 | 3.29.2-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.jetbrainsの | 注釈 | 17.0.0 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.7.0-M11 |
org.json4sの | json4s-core_2.12 | 3.7.0-M11 |
org.json4sの | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4sの | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | LZ4-Javaの | 1.8.0 |
org.mlflowの | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.6.1 |
org.roaringbitmap | ロアリングビットマップ | 0.9.45-データブリック |
org.roaringbitmap | シム | 0.9.45-データブリック |
org.rocksdbの | ロックスDBJNI | 8.3.2 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.15 |
組織Scala-lang | Scala-Library.12 | 2.12.15 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.15 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.11.0 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | そよ風-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatestの | scalatest対応 | 3.2.15 |
org.scalatestの | scalatest-core_2.12 | 3.2.15 |
org.scalatestの | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatestの | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatestの | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-freespec_2.12 | 3.2.15 |
org.scalatestの | scalatest-funspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatestの | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatestの | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatestの | scalatest-propspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-refspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatestの | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatestの | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | 7月-slf4j | 2.0.7 |
org.slf4j | SLF4J-APIの | 2.0.7 |
org.slf4j | SLF4J-シンプル | 1.7.25 |
org.threetenさん | スリーテンエクストラ | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0 |
org.typelevel | スパイア-platform_2.12 | 0.17.0 |
org.typelevel | スパイア-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | ワイルドフライ-openssl | 1.1.3.ファイナル |
org.xerial | sqlite-JDBC の | 3.42.0.0 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.10.3 |
org.yaml の | スネークヤム | 2.0 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |