Databricks Runtime 14.0 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
次のリリースノートは、Databricks Runtime Apache Spark3.5.0 を搭載した 14.0 に関する情報を提供します。
Databricks は 2023 年 9 月にこのバージョンをリリースしました。
これらのリリースノートには、このリリースの時点で Google Cloud で利用できない機能への参照が含まれている場合があります。
新機能と改善点
- 行追跡はGAです
- 更新の予測 I/O が GA に
- 削除ベクトルはGAです
- Spark 3.5.0 は GA です
- Python のユーザー定義テーブル関数のパブリック プレビュー
- 行レベルのコンカレンシーのパブリック プレビュー
- デフォルトの現在の作業ディレクトリが変更されました
- Sparklyr の既知の問題
- 共有クラスター アーキテクチャでの Spark Connect の導入
- 利用可能な Spark バージョンを一覧表示する API 更新プログラム
行追跡はGAです
Delta Lake の行追跡が一般公開されました。 「Delta テーブルの行追跡を使用する」を参照してください。
更新の予測 I/O が GA に
更新の予測 I/O が一般公開されました。 「予測 I/O とは」を参照してください。
削除ベクトルはGAです
削除ベクトルが一般公開されました。 削除ベクトルとはを参照してください。
Spark 3.5.0 は GA です
Apache Spark 3.5.0 が一般公開されました。 Spark リリース 3.5.0を参照してください。
Python のユーザー定義テーブル関数のパブリック プレビュー
ユーザー定義テーブル関数 (UDTF) を使用すると、スカラー値の代わりにテーブルを返す関数を登録できます。 Python ユーザー定義テーブル関数 (UDTFs)を参照してください。
行レベルのコンカレンシーのパブリック プレビュー
行レベルの同時実行性は、行レベルで変更を検出し、同じデータ・ファイル内の異なる行を更新または削除する並列書き込みの競合する変更を自動的に解決することにより、並列書き込み操作間の競合を減らします。 「行レベルの同時実行性との書き込みの競合」を参照してください。
デフォルトの現在の作業ディレクトリが変更されました
ローカルで実行されるコードのデフォルト カレント作業ディレクトリ (CWD) は、実行されているノートブックまたはスクリプトを含むディレクトリになりました。 これには、 %sh や Python などのコードや、Spark を使用しない R コードが含まれます。 「デフォルトの現在の作業ディレクトリとは」を参照してください。
Sparklyr の既知の問題
インストールされている sparklyr パッケージのバージョン (バージョン 1.8.1) は、Databricks Runtime 14.0 と互換性がありません。 sparklyrを使用するには、バージョン1.8.3以降をインストールします。
共有クラスター アーキテクチャでの Spark Connect の導入
Databricks Runtime14.0 以降では、共有クラスターでSpark ConnectSpark とPython REPL by default の Driver が使用されるようになりました。内部 Spark APIs は、ユーザー・コードからアクセスできなくなりました。
Spark Connect は、従来の REPL 統合ではなく、REPL の Spark ドライバーと対話するようになりました。
利用可能な Spark バージョンを一覧表示する API 更新プログラム
Photon を有効にするには runtime_engine = PHOTONを設定し、 aarch64 を有効にするには Graviton インスタンスタイプを選択します。 Databricks は、正しい Databricks Runtime バージョンを設定します。 以前は、Spark バージョン API は、バージョンごとに実装固有のランタイムを返していました。 GETを参照してください
/api/2.0/クラスター/spark-versions (REST APIリファレンス)
破壊的変更
Databricks Runtime 14.0 以降では、標準アクセス モード (以前の共有アクセス モード) を使用したクラスターでは、クライアントとサーバー間の通信に Spark Connect が使用されます。これには、次の変更が含まれます。
標準アクセスモードの制限について詳しくは、Unity Catalogのコンピュートアクセスモードの制限を参照してください。
標準アクセスモード(旧共有アクセスモード)でのクラスターに関するPython
-
sqlContextは使用できません。 Databricks では、SparkSessionインスタンスにspark変数を使用することをお勧めします。 -
Spark Context (
sc) は、ノートブックで使用できなくなったり、標準アクセスモードでクラスターで Databricks Connect を使用したりする場合には使用できません。 次のsc関数は使用できなくなりました。emptyRDD、range、init_batched_serializer、parallelize、pickleFile、textFile、wholeTextFiles、binaryFiles、binaryRecords、sequenceFile、newAPIHadoopFile、newAPIHadoopRDD、hadoopFile、hadoopRDD、union、runJob、setSystemProperty、uiWebUrl、stop、setJobGroup、setLocalProperty,getConf
-
データセット情報機能はサポートされなくなりました。
-
クエリを実行するときに JVMApache SparkAPIsJVM
_jscへの依存性がなくなり、その結果、_jconf、 、_jvm、_jsparkSession、_jreader、_jc、_jseq、_jdf、_jmap、 などの に関連する内部 はサポートされなくなりました。_jcols -
spark.confを使用して設定値にアクセスする場合、アクセスできるのは動的なランタイム設定値のみです。 -
DLT 分析コマンドは、共有クラスタリングではまだサポートされていません。
標準アクセスモード(旧共有アクセスモード)でのクラスターに関するDelta
- Python では、Apache Spark のクエリを実行するときに JVM に依存する必要がなくなりました。 APIsJVM
DeltaTable._jdt``DeltaTableBuilder._jbuilder``DeltaMergeBuilder._jbuilder、 、 、 などのDeltaOptimizeBuilder._jbuilderに関連する内部 はサポートされなくなりました。
標準アクセスモード(旧共有アクセスモード)でのクラスターに関するSQL
DBCACHEまた、DBUNCACHEコマンドはサポートされなくなりました。cache table db as show databasesのようなまれなユースケースはサポートされなくなりました。
ライブラリのアップグレード
-
アップグレードされた Python ライブラリ:
- astToken 2.2.1 から 2.0.5 まで
- 21.4.0 から 22.1.0 までの属性
- Botocore 1.27.28 から 1.27.96 へ
- 2022.9.14〜2022.12.7まで認証取得
- 37.0.1 から 39.0.1 までの暗号化
- 1.6.0 から 1.6.7 までの debugpy
- 0.12 から 0.11 までの docstring-to-markdown
- 1.2.0 から 0.8.3 までの実行
- facets-1.0.3から1.1.1までの概要
- googleapis-common-protos を 1.56.4 から 1.60.0 へ
- grpcio 1.48.1 から 1.48.2 へ
- IDNA 3.3 から 3.4 へ
- ipykernel 6.17.1 から 6.25.0 まで
- 8.10.0 から 8.14.0 への ipython
- Jinja2 から 2.11.3 から 3.1.2 へ
- 4.16.0 から 4.17.3 までの jsonschema
- 4.11.2 から 5.2.0 へのjupyter_core
- KiwiSolver 1.4.2 から 1.4.4 へ
- MarkupSafe 2.0.1 から 2.1.1 まで
- matplotlib を 3.5.2 から 3.7.0 へ
- nbconvert を 6.4.4 から 6.5.4 に変更
- nb 5.5.0 から 5.7.0 へのフォーマット
- nest-asyncio を 1.5.5 から 1.5.6 へ
- ノートブック 6.4.12 から 6.5.2 まで
- 1.21.5 から 1.23.5 への numpy
- 21.3 から 22.0 までのパッケージ
- 1.4.4から1.5.3までのpandas
- pathspec を 0.9.0 から 0.10.3 まで
- 0.5.2 から 0.5.3 への Patsy
- 9.2.0から9.4.0までの枕
- pip を 22.2.2 から 22.3.1 へ
- protobuf 3.19.4 から 4.24.0 へ
- pytoolconfig を 1.2.2 から 1.2.5 へ
- 2022.1 から 2022.7 までの Pytz
- s3 0.6.0 から 0.6.1 への転送
- 0.11.2 から 0.12.2 への seaborn
- 63.4.1 から 65.6.3 への setuptools
- 2.3.1から2.3.2.post1へのsoupsieve
- 0.6.2 から 0.2.0 までのスタックデータ
- statsは 0.13.2 から 0.13.5 までモデル化します。
- 0.13.1から0.17.1までのターミナル
- 5.1.1 から 5.7.1 までのトレイトレット
- 4.3.0 から 4.4.0 へのtyping_extensions
- urllib3 を 1.26.11 から 1.26.14 に変更
- virtualenv を 20.16.3 から 20.16.7 に変更
- 0.37.1 から 0.38.4 までのホイール
-
アップグレードされた R ライブラリ:
- 10.0.1から12.0.1までのarrow
- 4.2.2 から 4.3.1 へのベース
- 1.2.3 から 1.2.4 への BLOB
- 1.0.3から1.0.5までのほうき
- bslib を 0.4.2 から 0.5.0 に
- cachem 1.0.6 から 1.0.8 へ
- 6.0-93 から 6.0-94 までのキャレット
- 2.3-59 から 2.3-61 までの CHRON
- 7.3-21 から 7.3-22 までのクラス
- 3.6.0 から 3.6.1 までの CLI
- 0.6.1 から 0.7.0 までのクロック
- commonmark 1.8.1 から 1.9.0 へ
- 4.2.2 から 4.3.1 へのコンパイラ
- cpp11 を 0.4.3 から 0.4.4 に
- 5.0.0 から 5.0.1 への curl
- data.table を 1.14.6 から 1.14.8 に変更
- 4.2.2 から 4.3.1 までのデータセット
- dbplyr を 2.3.0 から 2.3.3 へ
- 0.6.31 から 0.6.33 までのダイジェスト
- 0.4.2から0.4.3にダウンライト
- 1.1.0 からの dplyr 1.1.2 へ
- dtplyr 1.2.2 から 1.3.1 へ
- 0.20から0.21まで評価します
- 1.1.0 からの fastmap 1.1.1 へ
- 0.5.0 から 0.5.1 への fontawesome
- fs を 1.6.1 から 1.6.2 に
- 1.31.0 から 1.33.0 への将来
- future.1.10.0から1.11.0まで適用
- 1.3.0から1.5.1へのうがい
- ggplot2 を 3.4.0 から 3.4.2 へ
- gh を 1.3.1 から 1.4.0 に
- glmnet 4.1-6 から 4.1-7 へ
- GoogleDrive の 2.0.0 から 2.1.1 へ
- googlesheets4 の 1.0.1 から 1.1.1 まで
- 4.2.2 から 4.3.1 までのグラフィック
- grDevices 4.2.2 から 4.3.1 まで
- 4.2.2 から 4.3.1 へのグリッド
- 0.3.1 から 0.3.3 まで調整可能
- 1.2.0から1.3.0へのhardhat
- haven を 2.5.1 から 2.5.3 へ
- HMS 1.1.2 以降 1.1.3 へ
- 0.5.4 から 0.5.5 までの htmltools
- htmlwidgets 1.6.1 から 1.6.2 まで
- httpuv 1.6.8 から 1.6.11 へ
- HTTR 1.4.4 から 1.4.6 へ
- 0.9-13 から 0.9-14 までの IPRED
- jsonlite 1.8.4 から 1.8.7 へ
- KernSmooth 2.23-20 から 2.23-21 へ
- 1.42から1.43へのknitr
- 1.3.0 から 1.3.1 へ
- 0.20-45から0.21-8までの格子
- 溶岩 1.7.1 から 1.7.2.1 へ
- lubridate 1.9.1 から 1.9.2 まで
- 1.5から1.7への値下げ
- 7.3-58.2から7.3-60までのMASS
- 1.5-1 から 1.5-4.1 までの行列
- 4.2.2 から 4.3.1 までのメソッド
- 1.8-41から1.8-42までのmgcv
- 0.1.10からのモデラー 0.1.11 まで
- nnet 7.3-18 から 7.3-19 まで
- openssl 2.0.5 から 2.0.6 へ
- 4.2.2 から 4.3.1 への並列
- 1.34.0 から 1.36.0 に並行して
- 1.8.1 から 1.9.0 へのピラー
- pkgbuild を 1.4.0 から 1.4.2 へ
- pkgload を 1.3.2 から 1.3.2.1 へ
- pROC 1.18.0 から 1.18.4 へ
- processx 3.8.0 から 3.8.2 へ
- 2019.11.13から2023.03.31までの製品
- 0.3.7 から 0.3.8 への profvis
- PS 1.7.2 から 1.7.5 へ
- 1.0.10 から 1.0.11 への rcpp
- 2.1.3 からの読み取り 2.1.4 へ
- 1.4.2 から 1.4.3 への ReadXL
- 1.0.4から1.0.6までのレシピ
- rlang を 1.0.6 から 1.1.1 へ
- 2.20から2.23までのrmarkdown
- 1.8-12 から 1.8-11 までの Rserve
- RSQLite 2.2.20 から 2.3.1 へ
- rstudioapi を 0.14 から 0.15.0 に変更
- 0.4.5 から 0.4.6 への sass
- 1.7.4から1.7.4.1までの光沢
- Sparklyr 1.7.9 から 1.8.1 へ
- SparkR の 3.4.1 から 3.5.0 へ
- 4.2.2 から 4.3.1 へのスプライン
- 4.2.2 から 4.3.1 までの統計
- stats4 から 4.2.2 から 4.3.1 まで
- 3.5-3から3.5-5までの生存率
- sys を 3.4.1 から 3.4.2 へ
- 4.2.2 から 4.3.1 への tcltk
- 3.1.6 からの testthat 3.1.10 まで
- 3.1.8 からの tibble 3.2.1 へ
- Tidyverse 1.3.2 から 2.0.0 へ
- 0.44から0.45までのTinytex
- 4.2.2 から 4.3.1 までのツール
- 0.3.0 から 0.4.0 までの tzdb
- 2.1.6 から Usethis から 2.2.2 へ
- 4.2.2 から 4.3.1 までのユーティリティ
- 0.5.2 から 0.6.3 までの VCTRS
- viridisLite 0.4.1 から 0.4.2 へ
- vroom 1.6.1 から 1.6.3 へ
- 0.4.0から0.5.1へのwaldo
- 0.37から0.39へのxfun
- xml2 から 1.3.3 から 1.3.5 まで
- 2.2.2 から 2.3.0 までの zip
-
アップグレードされた Java ライブラリ:
- com.fasterxml.jackson.core.jackson-annotations 2.14.2 から 2.15.2 へ
- com.fasterxml.jackson.core.jackson-core 2.14.2 から 2.15.2 へ
- com.fasterxml.jackson.core.jackson-databind 2.14.2 から 2.15.2 へ
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.14.2 から 2.15.2 へ
- com.fasterxml.jackson.datatype.jackson-datatype-joda 2.14.2 から 2.15.2 へ
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 2.13.4 から 2.15.1 へ
- com.fasterxml.jackson.module.jackson-module-paranamer 2.14.2 から 2.15.2 へ
- com.fasterxml.jackson.module.jackson-module- 2.14.2 から 2.15.2 への .12Scala
- com.github.luben.zstd-jni 1.5.2-5 から 1.5.5-4 へ
- com.google.code.gson.gson を 2.8.9 から 2.10.1 に変更
- com.google.crypto.tink.tink を 1.7.0 から 1.9.0 に変更
- commons-codec.commons-codec を 1.15 から 1.16.0 に変更
- commons-io.commons-io を 2.11.0 から 2.13.0 に変更
- io.airlift.エアコンプレッサー 0.21 から 0.24 まで
- io.dropwizard.メトリクス.メトリクス-core 4.2.10 から 4.2.19 まで
- io.dropwizard.メトリクス.メトリクス-graphite 4.2.10 から 4.2.19 まで
- io.dropwizard.メトリクス.メトリクス-healthchecks 4.2.10 から 4.2.19 まで
- io.dropwizard.メトリクス.メトリクス-jetty9 4.2.10 から 4.2.19 まで
- io.dropwizard.メトリクス.メトリクス-jmx 4.2.10 から 4.2.19 まで
- io.dropwizard.メトリクス.メトリクス-JSON 4.2.10 から 4.2.19 まで
- io.dropwizard.メトリクス.メトリクス-JVM 4.2.10 から 4.2.19 まで
- io.dropwizard.メトリクス.メトリクス-servlets 4.2.10 から 4.2.19 まで
- io.netty.netty-すべて 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-バッファ 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-codec 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-codec-http 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-codec-http2 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-codec-socks 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-共通 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-ハンドラ 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-handler-プロキシ 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-リゾルバ 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-トランスポート 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-transport-classes-epoll 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-transport-classes-kqueue 4.1.87.Finalから4.1.93.Finalまで
- io.netty.netty-transport-native-epoll 4.1.87.Final-linux-x86_64 から 4.1.93.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue 4.1.87.Final-osx-x86_64 から 4.1.93.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common 4.1.87.Finalから4.1.93.Finalまで
- org.apache.arrow.arrow-format 11.0.0 から 12.0.1 まで
- org.apache.arrow.arrow-memory-core 11.0.0 から 12.0.1 まで
- org.apache.arrow.arrow-memory-netty 11.0.0 から 12.0.1 まで
- org.apache.arrow.arrow-ベクター 11.0.0 から 12.0.1 まで
- org.apache.avro.avro を 1.11.1 から 1.11.2 に変更
- org.apache.avro.avro-ipc 1.11.1 から 1.11.2 まで
- org.apache.avro.avro-mapred 1.11.1 から 1.11.2 まで
- org.apache.commons.commons-compress(圧縮) 1.21 から 1.23.0 まで
- org.apache.hadoop.hadoop-client-runtime 3.3.4 から 3.3.6 へ
- org.apache.logging.log4j.log4j-1.2-api 2.19.0 から 2.20.0 まで
- org.apache.logging.log4j.log4j-api 2.19.0 から 2.20.0 まで
- org.apache.logging.log4j.log4j-core 2.19.0 から 2.20.0 まで
- org.apache.logging.log4j.log4j-slf4j2-impl 2.19.0 から 2.20.0 まで
- org.apache.orc.orc-コア 1.8.4-shaded-protobuf から 1.9.0-shaded-protobuf へ
- org.apache.orc.orc-mapreduce 1.8.4-shaded-protobuf から 1.9.0-shaded-protobuf へ
- org.apache.orc.orc-shim 1.8.4 から 1.9.0 へ
- org.apache.xbean.xbean-asm9-shaded 4.22から4.23まで
- org.checkerframework.checker-qual 3.19.0 から 3.31.0 まで
- org.glassfish.jersey.containers.jersey-container-servlet 2.36から2.40まで
- org.glassfish.jersey.containers.jersey-container-servlet-coreの 2.36から2.40まで
- org.glassfish.jersey.core.jersey-client 2.36から2.40まで
- org.glassfish.jersey.core.jersey-common 2.36から2.40まで
- org.glassfish.jersey.core.jersey-server 2.36から2.40まで
- org.glassfish.jersey.inject.jersey-hk2 2.36から2.40まで
- org.javassist.javassist 3.25.0-GAから 3.29.2-GAへ
- org.mariadb.JDBC.mariadb-java-client 2.7.4 から 2.7.9 へ
- org.postgresql.postgresql を 42.3.8 から 42.6.0 へ
- org.roaringbitmap.RoaringBitmap を 0.9.39 から 0.9.45 に変更
- org.roaringbitmap.shims を 0.9.39 から 0.9.45 に変更
- org.rocksdb.rocksdbjni を 7.8.3 から 8.3.2 に変更
- org.Scala-lang.modules.Scala-collection-compat_2.12 を 2.4.3 から 2.9.0 に変更
- org.slf4j.jcl-over-slf4j 2.0.6 から 2.0.7 へ
- org.slf4j.jul-to-slf4j 2.0.6 から 2.0.7 へ
- org.slf4j.slf4j-api 2.0.6 から 2.0.7 へ
- org.xerial.snappy.snappy-java 1.1.10.1 から 1.1.10.3 まで
- org.yaml.snakeyaml を 1.33 から 2.0 へ
Apache Spark
Databricks Runtime 14.0. このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 13.3 LTS に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。
- [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Connectのaes_decryptおよびln関数を修正
- [SPARK-44980] [DBRRM-462][sc-141024][Python][connect] 継承された名前付きタプルがcreateDataFrameで動作するように修正
- [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator キャッシュはクラスローダー固有であるべき
- [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] ストリーミングクエリをConnectのアーティファクト管理と連携させる
- [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] ArrowDeserializerをREPL生成クラスで動作させる
- [SPARK-44876] [DBRRM-480][sc-140431][]Python PythonUDFSparkConnectのArrow最適化 を修正
- [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][]Python PythonSparkConnectの protobuf関数をサポート
- [SPARK-44882] [DBRRM-463][sc-140430] [Python][接続] PySparkから関数uuid/random/chrを削除
- [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] アーティファクトのメタデータ値を修正
- [SPARK-44822] [DBRRM-464][Python][SQL] デフォルトの非決定論的 Python UDTFs
- [SPARK-44836 ] [DBRRM-468][SC-140228][PYTHON] Arrow Python UDFTをリファクタリング
- [SPARK-44738] [DBRRM-462][sc-139347][Python][connect] 欠落しているクライアントメタデータを通話に追加
- [SPARK-44722] [DBRRM-462][sc-139306][接続] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType' オブジェクトに属性 'message' がありません
- [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] すべての実行を追跡するためのSparkConnectExecutionManager
- [スパーク-44663 ] [SC-139020][DBRRM-420][PYTHON] Python UDTF のデフォルトによる arrow の最適化を無効にする
- [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] 新しいスレッドで再アタッチ可能な実行でExecuteGrpcResponseSenderを実行し、フロー制御を修正
- [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] すべてのイテレータをCloseableIteratorにする
- [SPARK-44671] [DBRRM-396][sc-138929][Python][接続] 最初のリクエストがクライアントのサーバーに到達しなかった場合 Python ExecutePlanを再試行する
- [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] 最初のリクエストがサーバーに到達しなかった場合、ExecutePlanを再試行する
- [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] sq/apiに移動したエラーもAnalysisExceptionを使用すべきです
- [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] エンコーダーオブジェクトを追加
- [スパーク-44626 ] [DBRRM-396][SC-138828][SS][接続] Spark Connect ライアントセッションがタイムアウトした場合のストリーミング クエリーの終了に関するフォローアップ
- [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] サーバーからエラーを取得した後、ExecutePlanResponseReattachableIteratorでReleaseExecuteを実行
- [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] ConnectクライアントCatalystの依存関係を削除
- [SPARK-44664] [DBRRM-396][Python][CONNECT] クライアントでイテレータを閉じるときに実行 Python 解放する
- [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][コア][14.0.0] 分離されたセッション・キャッシュが削除されたときのセッション・ベースのディレクトリの削除
- [SPARK-42941] [DBRRM-396] [sc-138389] [SS] [接続] Python StreamingQueryListener
- [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] ダングリングイテレータを残さないようにします
- [SPARK-44424] [DBRRM-396][接続][Python][14.0.0] Spark Connect の既存の実行に再アタッチするための Python クライアント
- [SPARK-44637] [SC-138571] ExecuteResponseObserverへのアクセスを同期
- [SPARK-44538] [SC-138178][接続][SQL] Row.jsonValueとフレンドを復元
- [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connectでの再アタッチ可能な実行
- [SPARK-44418] [SC-136807] [Python][CONNECT] protobuf を 3.19.5 から 3.20.3 にアップグレード
- [SPARK-44587] [SC-138315][sql][CONNECT] protobuf マーシャラーの再帰制限を引き上げます
- [SPARK-44591] [SC-138292][接続][SQL] SparkListenerSQLExecutionStartにjobTagsを追加
- [SPARK-44610] [SC-138368][sql] DeduplicateRelationsは、新しいインスタンスを作成するときにAliasメタデータを保持する必要があります
- [SPARK-44542] [SC-138323][core] 例外ハンドラでSparkExitCodeクラスを熱心に読み込みます
- [SPARK-44264] [SC-138143][Python]E2Eディープスピードのテスト
- [SPARK-43997] [SC-138347][接続] Java UDFsのサポートを追加
- [SPARK-44507] [SQL][接続][14.x][14.0] AnalysisException を sql/api に移動します
- [SPARK-44453] [SC-137013][Python] difflibを使用してassertDataFrameEqualのエラーを表示する
- [SPARK-44394] [SC-138291][接続][WEBUI][14.0] Spark Connect の Spark UI ページを追加する
- [SPARK-44611] [SC-138415][接続] Scala-xml を除外しないでください
- [SPARK-44531] [SC-138044][接続][SQL][14.x][14.0] エンコーダー推論を sql/api に移動する
- [SPARK-43744] [SC-138289][接続][14.x][14.0] クラスの読み込みの問題を修正
- [スパーク-44590 ] [SC-138296][SQL][接続] SqlCommandResult の arrow バッチレコードの制限を削除
- [SPARK-43968] [ SC-138115] [Python] 出力数が正しくない Python UDTF のエラーメッセージを改善
- [SPARK-44432] [SC-138293][ss][CONNECT] Spark Connectでセッションがタイムアウトしたときにストリーミングクエリを終了
- [SPARK-44584] [SC-138295][接続] Scala クライアントでAddArtifactsRequestおよびArtifactStatusesRequestのclient_type情報を設定する
- [SPARK-44552] [14.0][sc-138176][SQL] 定義
private object ParseStateから削除するIntervalUtils - [SPARK-43660] [SC-136183][接続][PS] Spark Connectで
resampleを有効にする - [SPARK-44287] [SC-136223][sql] RowToColumnarExec SQL演算子およびColumnarToRowExec SQL演算子でPartitionEvaluator APIを使用します。
- [SPARK-39634] [SC-137566][sql] 行インデックス生成と組み合わせたファイル分割を許可
- [SPARK-44533] [ SC-138058] []Python SparkPythonUDTFの分析にアキュムレータ、ブロードキャスト、および ファイルのサポートを追加
- [SPARK-44479 ] [SC-138146][Python] ArrowStreamPandasUDFSerializerがカラムなしのpandas DataFrameを受け入れるように修正
- [SPARK-44425] [SC-138177][connect] ユーザーが指定したsessionIdがUUIDであることを検証
- [SPARK-44535] [SC-138038][接続][SQL] 必要なストリーミング API を sql/api に移動
- [SPARK-44264] [SC-136523] [ml] [Python] Deepspeed分散学習クラスDeepspeedTorchDistributorを作成する
- [SPARK-42098] [SC-138164][sql] ResolveInlineTablesがRuntimeReplaceable式で処理できない問題を修正
- [SPARK-44060] [SC-135693][sql] ビルド側外部シャッフルハッシュ結合のコード生成
- [SPARK-44496] [SC-137682][sql][CONNECT] SCSCに必要なインターフェイスをsql/apiに移動
- [SPARK-44532] [SC-137893][接続][SQL] ArrowUtilsをsql/apiに移動
- [SPARK-44413] [SC-137019][Python] assertDataFrameEqual でサポートされていない arg データ型のエラーを明確にする
- [SPARK-44530] [SC-138036][core][CONNECT] SparkBuildInfoをcommon/utilに移動
- [SPARK-36612] [SC-133071][sql] シャッフルされたハッシュ結合で左外部結合ビルドの左または右外部結合ビルドをサポート。
- [SPARK-44519] [SC-137728][connect] SparkConnectServerUtilsがjarファイルに対して誤ったパラメーターを生成した
- [SPARK-44449 ] [SC-137818][CONNECT] Arrowのダイレクト逆シリアル化のためのアップキャスト
- [SPARK-44131] [SC-136346][sql] Scala APIのcall_functionを追加し、call_udfを廃止
- [SPARK-44541] [SQL] 不要な関数
hasRangeExprAgainstEventTimeColをUnsupportedOperationChecker - [SPARK-44523] [SC-137859][sql] 条件がFalseLiteralの場合、フィルターのmaxRows/maxRowsPerPartitionが0になる
- [SPARK-44540] [SC-137873][ui] jsonFormatterの未使用のスタイルシートとjavascriptファイルを削除
- [SPARK-44466] [SC-137856][sql]
SPARK_DRIVER_PREFIXおよびSPARK_EXECUTOR_PREFIXで始まる設定をmodifiedConfigsから除外 - [SPARK-44477] [SC-137508][sql] TYPE_CHECK_FAILURE_WITH_HINTをエラーサブクラスとして扱う
- [SPARK-44509] [SC-137855][][CONNECT]Python APISparkConnect クライアントにジョブキャンセル セットを追加Python
- [SPARK-44059] [SC-137023] 組み込み関数の名前付き引数のアナライザーサポートを追加
- [SPARK-38476] [SC-136448][core] org.apache.spark.storageでエラークラスを使用
- [SPARK-44486] [SC-137817]Python][CONNECT] PyArrow
self_destruct機能の実装toPandas - [SPARK-44361] [SC-137200][sql] MapInBatchExecでPartitionEvaluator APIを使用
- [SPARK-44510] [SC-137652][ui] dataTablesを1.13.5に更新し、未到達のpngファイルを削除
- [SPARK-44503] [SC-137808][sql] TVF呼び出しのTABLE引数の後にPARTITION BY句とORDER BY句のSQL文法を追加
- [SPARK-38477] [SC-136319][core] org.apache.spark.shuffle でエラークラスを使用
- [SPARK-44299] [SC-136088][sql] エラークラス_LEGACY_ERROR_TEMP_227[4-6,8]に名前を割り当てる
- [SPARK-44422] [SC-137567][connect] Spark Connectのきめ細かな割り込み
- [SPARK-44380] [SC-137415][sql][Python] Pythonで分析するためのPython UDTFのサポート
- [SPARK-43923] [SC-137020][connect] ポストリスナーバスイベント中...
- [SPARK-44303] [SC-136108][sql] エラークラス LEGACY_ERROR_TEMP [2320-2324]に名前を割り当てる
- [SPARK-44294] [SC-135885][ui] HeapHistogram列がセレクトオールボックスで予期せず表示される問題を修正
- [SPARK-44409] [SC-136975][sql] データセット.toでchar/varcharを処理して、他のユーザーとの一貫性を保つ
- [SPARK-44334] [SC-136576][sql][UI] ジョブのない失敗したDDL/DMLのREST APIレスポンスのステータスをCOMPLETEDではなくFAILEDにすべき
- [SPARK-42309] [SC-136703][sql]
INCOMPATIBLE_DATA_TO_TABLEクラスとサブクラスを導入します。 - [SPARK-44367] [SC-137418][sql][UI] 失敗したクエリごとにUIにエラーメッセージを表示する
- [SPARK-44474] [SC-137195][connect] SparkConnectServiceSuiteで「テスト監視応答」を再度有効にします
- [SPARK-44320] [SC-136446][sql] エラークラス LEGACY_ERROR_TEMP [1067,1150,1220,1265,1277]に名前を割り当てる
- [SPARK-44310] [SC-136055][connect] Connect Serverの起動ログにホスト名とポートが表示されるようにする問題を修正
- [SPARK-44309] [SC-136193][ui] エグゼキューターの時間の追加/削除時間をエグゼキューター タブに表示する
- [SPARK-42898] [SC-137556][sql] 文字列/日付キャストにタイムゾーンIDが必要ないことをマーク
- [SPARK-44475] [SC-137422][sql][CONNECT] データ型とパーサーをsql/apiに移動
- [SPARK-44484] [SC-137562][ss] StreamingQueryProgress JSON メソッドに batchDuration を追加
- [SPARK-43966] [SC-137559][sql][Python] 非決定論的なテーブル値関数をサポート
- [SPARK-44439] [SC-136973][接続][SS]リストリスナーがIDのみをクライアントに送り返すように修正
- [SPARK-44341] [SC-137054][sql][Python] PartitionEvaluator API を使用してコンピューティングロジックを定義し、WindowExec および WindowInPandasExec で使用します。
- [SPARK-43839] [SC-132680][sql]
_LEGACY_ERROR_TEMP_1337をUNSUPPORTED_FEATURE.TIME_TRAVEL - [SPARK-44244] [SC-135703][sql] エラークラス LEGACY_ERROR_TEMP [2305-2309]に名前を割り当てる
- [SPARK-44201] [SC-136778][接続][SS]Spark ConnectのScalaにストリーミングリスナーのサポートを追加
- [SPARK-44260] [SC-135618][sql] エラークラス LEGACY_ERROR_TEMP [1215-1245-2329]に名前を割り当て、checkError()を使用して_CharVarchar_Suiteの例外を確認する
- [SPARK-42454] [SC-136913] [sql] SPJ:すべてのSPJ関連パラメーターをBatchScanExecにカプセル化します
- [SPARK-44292] [SC-135844][sql] エラークラス LEGACY_ERROR_TEMP [2315-2319]に名前を割り当てる
- [SPARK-44396] [SC-137221][connect] ダイレクトアローの逆シリアル化
- [SPARK-44324] [SC-137172][sql][CONNECT] CaseInsensitiveMapをsql/apiに移動
- [SPARK-44395] [SC-136744][sql] StreamingTableSuiteにテストを追加
- [SPARK-44481] [SC-137401][接続][Python] PySpark.sql.is_remoteをAPIにする
- [SPARK-44278] [SC-137400][connect] スレッドのローカルプロパティをクリーンアップする GRPC サーバーインターセプターを実装します
- [SPARK-44264] [SC-137211][ml][Python] Deepspeedを使用した関数の分散トレーニングをサポート
- [SPARK-44430] [SC-136970][sql] オプションが無効な場合に
AnalysisExceptionに原因を追加 - [SPARK-44264] [SC-137167] [ml] [Python] FunctionPicklerをTorchDistributorに組み込む
- [SPARK-44216] [ SC-137046] [Python] assertSchemaEqual API を公開
- [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
- [SPARK-43203] [SC-134528][sql] すべてのドロップテーブルケースをデータソースV2に移動
- [SPARK-43755] [SC-137171][接続][MINOR] コピーインを使用する代わりに
AdaptiveSparkPlanHelper.allChildrenを開くMetricGenerator - [SPARK-44264] [SC-137187][ml][Python] カスタムの「実行」関数ポインターを可能にするためのリファクタリングTorchDistributor
- [SPARK-43755] [SC-136838][接続] 実行をSparkExecutePlanStreamHandlerから別のスレッドに移動
- [SPARK-44411] [SC-137198][sql] ArrowEvalPythonExecおよびBatchEvalPythonExecでPartitionEvaluator APIを使用
- [SPARK-44375] [SC-137197][sql] DebugExecでPartitionEvaluator APIを使用
- [SPARK-43967] [SC-137057] [Python] 戻り値が空の通常の Python UDTFをサポート
- [SPARK-43915] [SC-134766][sql] エラークラス LEGACY_ERROR_TEMP に名前を割り当てる[2438-2445]
- [SPARK-43965] [SC-136929]][CONNECT]Python PythonConnectでのUDTF サポートSpark
- [SPARK-44154] [SC-137050][sql] BitmapExpressionUtilsSuiteにユニットテストを追加し、Bitmap Aggregate式に若干の改善を加えました
- [SPARK-44169] [SC-135497][sql] エラークラス LEGACY_ERROR_TEMP に名前を割り当てる[2300-2304]
- [SPARK-44353] [SC-136578][接続][SQL] StructType.toAttributesを削除
- [SPARK-43964 ] [SC-136676][SQL][PYTHON] arrowに最適化された Python UDTF をサポートする
- [SPARK-44321] [SC-136308][connect] ParseExceptionをAnalysisExceptionから切り離す
- [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][Python] 関連する変更でtest_artifactを再度有効にします
- [SPARK-44145] [SC-136698][sql] 実行準備完了時のコールバック
- [SPARK-43983] [SC-136404]Python][ML][接続] クロスバリデーター推定器テストを有効にする
- [SPARK-44399] [SC-136669][pyhton][CONNECT] useArrowがNoneの場合にのみPython UDFでSparkSessionをインポート
- [SPARK-43631] [SC-135300][接続][PS] Spark ConnectでSeries.interpolateを有効にする
- [SPARK-44374] [SC-136544][Python][ML] Spark Connectの分散 ML のサンプルコードを追加
- [SPARK-44282] [SC-135948][connect] Spark Connect Scalaクライアントで使用するためのDataType解析の準備
- [SPARK-44052] [SC-134469][接続][PS] Spark Connectの適切なColumnまたはDataFrameクラスを取得するためのutilを追加。
- [SPARK-43983] [SC-136404] [Python][ML][ connect] クロスバリデーター推定器を実装
- [SPARK-44290] [SC-136300][connect] Spark Connectのセッションベースのファイルとアーカイブ
- [SPARK-43710] [SC-134860][ps][CONNECT] Spark Connectのサポート
functions.date_part - [SPARK-44036] [SC-134036][接続][PS] チケットをクリーンアップして統合し、タスクを簡素化します。
- [SPARK-44150 ] [SC-135790] [PYTHON][CONNECT] Arrow Python UDF で不一致の戻り値の型に対する明示的な Arrow のキャスト
- [SPARK-43903] [SC-134754]Python][CONNECT] Arrow Python UDF の ArrayType 入力サポートを改善
- [SPARK-44250] [SC-135819] [ml] [Python][ connect] 分類評価器を実装
- [SPARK-44255] [SC-135704][sql] StorageLevelをcommon/utilsに再配置
- [SPARK-42169] [SC-135735] [SQL] to_csv関数 (StructsToCsv) のコード生成を実装
- [SPARK-44249] [SC-135719][sql][Python] PythonUDTFRunnerをリファクタリングして、戻り値の型を個別に送信するように
- [SPARK-43353] [SC-132734][Python] 残りのセッションエラーをエラークラスに移行
- [SPARK-44133] [SC-134795] [Python] MyPy を 0.920 から 0.982 にアップグレード
- [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON形式のイベントサービス
- [SPARK-43353] 「[SC-132734][es-729763][Python] 残りのセッション エラーをエラー クラスに移行」を差し戻します。
- [SPARK-44100] [SC-134576][ml][CONNECT][Python] 名前空間を
pyspark.mlv2からpyspark.ml.connect - [SPARK-44220] [SC-135484][sql] StringConcat を sql/api に移動
- [SPARK-43992] [SC-133645][sql][Python][connect] Catalog.listFunctionsのオプションパターンを追加
- [SPARK-43982] [SC-134529] [ml] [Python][connect] spark connectに ML 用のパイプライン推定器を実装
- [SPARK-43888] [SC-132893][core] ログをcommon/utilsに移動
- 【スパーク-42941】 「[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - Event Serde in JSON format」を差し戻します。
- [SPARK-43624] [SC-134557][ps][CONNECT] Add
EWMto SparkConnectPlanner. - [SPARK-43981] [SC-134137]Python][ML] Spark Connect での ML の基本的な保存/読み込みの実装
- [SPARK-43205] [SC-133371][sql] SQLQueryTestSuiteを修正
- [SPARK-43376] 「[SC-130433][sql] テーブルキャッシュによるサブクエリの再利用を改善する」を元に戻す
- [SPARK-44040] [SC-134366][sql] QueryStageExec の上にある AggregateExec ノードの場合のコンピュート統計を修正
- [SPARK-43919] [SC-133374][sql] JSON機能を行から抽出
- [SPARK-42618 ] [SC-134433][Python][PS] 次のメジャーリリースでのpandas関連の動作変更に関する警告
- [SPARK-43893 ] [SC-133381][PYTHON][CONNECT] Arrow 最適化 Python UDF での非アトミックデータ型のサポート
- [SPARK-43627] [SC-134290][spark-43626][PS][connect] Spark Connectで
pyspark.pandas.spark.functions.{kurt, skew}を有効にします。 - [SPARK-43798] [SC-133990][sql][Python] ユーザー定義テーブル関数 Python サポート
- [SPARK-43616] [SC-133849][ps][CONNECT] Spark Connectで
pyspark.pandas.spark.functions.modeを有効にする - [SPARK-43133] [SC-133728] ScalaクライアントDataStreamWriter Foreachのサポート
- [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connectの
(NullOps|NumOps).(eq|ne)を修正。 - [SPARK-43645] [SC-134151][spark-43622][PS][connect] Spark Connectで
pyspark.pandas.spark.functions.{var, stddev}を有効にする - [SPARK-43617] [SC-133893][ps][CONNECT] Spark Connectで
pyspark.pandas.spark.functions.productを有効にする - [SPARK-43610] [SC-133832][接続][PS] Spark Connectで
InternalFrame.attach_distributed_columnを有効にします。 - [SPARK-43621] [SC-133852][ps][CONNECT] Spark Connectで
pyspark.pandas.spark.functions.repeatを有効にする - [SPARK-43921] [SC-133461][protobuf] ビルド時にProtobuf記述子ファイルを生成する
- [SPARK-43613] [SC-133727][ps][CONNECT] Spark Connectで
pyspark.pandas.spark.functions.covarを有効にする - [SPARK-43376] [SC-130433][sql] テーブルキャッシュの再利用サブクエリを改善
- [SPARK-43612] [SC-132011][接続][Python] SparkSession.addArtifactをクライアントに実装Python
- [SPARK-43920] [SC-133611][sql][CONNECT] sql/api モジュールを作成
- [SPARK-43097] [SC-133372][ml] ディストリビューターの上に新しい PySpark ML ロジスティック回帰推定器が実装されました
- [SPARK-43783 ] [SC-133240][SPARK-43784][SPARK-43788][機械学習] 機械学習v2 (Spark Connect上の機械学習) がpandas >= 2.0をサポートするようにする
- [SPARK-43024 ] [SC-132716][Python] pandasを2.0.0にアップグレードする
- [SPARK-43881] [SC-133140][sql][Python][connect] Catalog.listDatabasesのオプションパターンを追加
- [SPARK-39281] [SC-131422][sql] JSON/CSV データソースのレガシー形式でのタイムスタンプ型推論の高速化
- [SPARK-43792] [SC-132887][sql][Python][connect] Catalog.listCatalogsにオプションのパターンを追加
- [SPARK-43132] [SC-131623] [SS] [CONNECT] Python クライアント DataStreamWriter foreach() API
- [SPARK-43545] [SC-132378][sql][Python] ネストされたタイムスタンプタイプをサポート
- [SPARK-43353] [SC-132734][Python] 残りのセッションエラーをエラークラスに移行
- [SPARK-43304] [SC-129969][接続][Python]
NotImplementedErrorを移行PySparkNotImplementedError - [SPARK-43516 ] [SC-132202][機械学習][Python][接続] spark3.5 の sparkML の基本インターフェイス: 推定量/トランスフォーマー/モデル/評価器
- 【スパーク-43128】 「[SC-131628][connect][SS]
recentProgressとlastProgressを返すStreamingQueryProgressネイティブのScala APIと一貫性を保つ」を差し戻します。 - [SPARK-43543] [ SC-131839][Python] Pandas UDFのネストされたMapTypeの動作を修正
- [SPARK-38469] [SC-131425][core] org.apache.spark.networkでエラークラスを使用
- [SPARK-43309] [SC-129746][spark-38461][CORE] INTERNAL_ERRORをカテゴリで拡張し、エラークラスを追加INTERNAL_ERROR_BROADCAST
- [SPARK-43265] [SC-129653] エラーフレームワークを共通のutilsモジュールに移動
- [SPARK-43440] [SC-131229] [Python][CONNECT] Arrow最適化Python UDFの登録をサポート
- [SPARK-43528 ] [SC-131531][SQL][Python] pandas DataFrameを使用した作成データフレームでの重複したフィールド名のサポート
- [SPARK-43412] [SC-130990]Python][CONNECT] Arrow
SQL_ARROW_BATCHED_UDF最適化された Python UDFsのEvalTypeを導入 - [SPARK-40912] [SC-130986][core]KryoDeserializationStreamの例外のオーバーヘッド
- [SPARK-39280] [SC-131206][sql] JSON/CSV データソースのユーザー提供形式でタイムスタンプ型の推論を高速化
- [SPARK-43473 ] [SC-131372][Python] pandas DataFrameからの createDataFrame で構造体型をサポート
- [SPARK-43443] [SC-131024][sql] 無効な値を使用する場合のタイムスタンプ型推論のベンチマークを追加
- [SPARK-41532] [SC-130523][接続][CLIENT] 複数のデータフレームが関与する操作のチェックを追加
- [SPARK-43296] [SC-130627][接続][Python] Spark Connectセッションエラーをエラークラスに移行
- [SPARK-43324] [SC-130455][sql] デルタベースのハンドル UPDATE コマンド
- [SPARK-43347] [SC-130148] [Python] Python 3.7 サポートの削除
- [SPARK-43292] [SC-130525][core][CONNECT]
ExecutorClassLoaderをcoreモジュールに移動して簡素化Executor#addReplClassLoaderIfNeeded - [SPARK-43081] [SC-129900] [ML] [CONNECT] Spark パーティションデータからデータをロードするトーチディストリビューターデータローダーを追加
- [SPARK-43331] [SC-130061][connect] Spark Connect SparkSession.interruptAllを追加
- [SPARK-43306] [SC-130320] [Python] Spark SQL タイプからエラークラスへの
ValueError移行 - [SPARK-43261] [SC-129674] [Python] Spark SQL タイプからエラークラスに
TypeErrorを移行します。 - [SPARK-42992] [SC-129465][Python] PySparkRuntimeError を導入
- [SPARK-16484] [SC-129975][sql] Datasketches HllSketch のサポートを追加
- [SPARK-43165] [SC-128823][sql] canWriteをDataTypeUtilsに移動
- [SPARK-43082 ] [SC-129112][CONNECT][PYTHON] Spark Connect の Arrow に最適化された Python UDF
- [SPARK-43084 ] [SC-128654] [SS] spark connectのapplyInPandasWithStateサポートを追加
- [SPARK-42657] [SC-128621][connect] クライアント側のREPLクラスファイルを検索してアーティファクトとしてサーバーに転送するためのサポート
- [SPARK-43098] [SC-77059][sql] スカラーサブクエリにグループby句がある場合のCOUNTの正確性のバグを修正
- [SPARK-42884] [SC-126662][接続] アンモナイトREPL統合を追加
- [SPARK-42994] [SC-128333] [ml] [CONNECT] PyTorch ディストリビューターサポート ローカル Mode
- [SPARK-41498] [SC-125343]「Unionを通じてメタデータを伝播する」を元に戻す
- [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch DistributorをSpark Connectと互換性を持たせる
- [SPARK-42683] [LC-75] 競合するメタデータ列の名前を自動的に変更
- [SPARK-42874] [SC-126442][sql] すべての入力ファイルの分析用に新しいゴールデンファイルテストフレームワークを有効にする
- [SPARK-42779] [SC-126042][sql] アドバイザリシャッフルパーティションサイズを示すV2書き込みを許可
- [SPARK-42891] [SC-126458][接続][Python] CoGrouped Map APIの実装
- [SPARK-42791] [SC-126134][sql] 分析用の新しいゴールデンファイルテストフレームワークを作成
- [SPARK-42615] [SC-124237][接続][Python] AnalyzePlan RPCをリファクタリングし、
session.version - 【スパーク-41302】 「[ALL TESTS][sc-122423][SQL] Assign name to _LEGACY_ERROR_TEMP_1185」を差し戻します。
- [SPARK-40770] [SC-122652][Python] スキーマの不一致に対するapplyInPandasのエラーメッセージを改善
- 【スパーク-40770】 「[ALL TESTS][sc-122652][Python] スキーマの不一致に対するapplyInPandasのエラーメッセージを改善しました」を差し戻します。
- [SPARK-42398] [SC-123500][sql] デフォルトの列値DS v2インターフェースを改良
- [SPARK-40770] [すべてのテスト][sc-122652][Python] スキーマの不一致に対するapplyInPandasのエラーメッセージを改善
- 【スパーク-40770】 「[SC-122652][Python] スキーマの不一致に対するapplyInPandasのエラーメッセージの改善」を元に戻す
- [SPARK-40770] [SC-122652][Python] スキーマの不一致に対するapplyInPandasのエラーメッセージを改善
- [SPARK-42038] [すべてのテスト] 元に戻す "元に戻す" [SC-122533] [sql] SPJ: 部分的にクラスタ化されたディストリビューションをサポートする"
- 【スパーク-42038】 「[SC-122533][sql] SPJ:部分的にクラスタ化された分散をサポート」を差し戻します
- [SPARK-42038] [SC-122533] [sql] SPJ:部分的にクラスタ化された分散をサポート
- [SPARK-40550] [SC-120989] [sql] データソースV2:デルタベースのソースのDELETEコマンドを処理する
- 【スパーク-40770】 「[SC-122652][Python] スキーマの不一致に対するapplyInPandasのエラーメッセージの改善」を元に戻す
- [SPARK-40770] [SC-122652][Python] スキーマの不一致に対するapplyInPandasのエラーメッセージを改善
- 【スパーク-41302】 「[SC-122423][sql] _LEGACY_ERROR_TEMP_1185に名前を割り当てる」を元に戻す
- 【スパーク-40550】 「[SC-120989][sql] DataSource V2: デルタベースのソースの DELETE コマンドを処理する」を元に戻す
- [スパーク-42123] 「[SC-121453][SQL] DESCRIBE および SHOW CREATE TABLE 出力に列のデフォルト値を含める
- [SPARK-42146] [SC-121172][core] SQLモジュールがこの方法を使用する場合に、
Utils#setStringFieldをリファクタリングしてMavenビルドがパスするようにする - 【スパーク-42119】 「[SC-121342][sql] 組み込みテーブル値関数をインラインおよびinline_outer追加」を元に戻す
ハイライト
- Connect SPARK-45109 の
aes_decrypt 関数とln関数の修正 - 継承された名前付きタプルが createDataFrame で動作するように修正 SPARK-44980
- CodeGenerator Cache がクラスローダー固有になりました [SPARK-44795]
SparkListenerConnectOperationStarted.planRequest[SPARK-44861]を追加しました。- ストリーミングクエリを Connect のアーティファクト管理と連携させる [SPARK-44794]
- ArrowDeserializer が REPL 生成クラスと連携する [SPARK-44791]
- Spark Connect の Arrow に最適化された Python UDF を修正した [SPARK-44876]
- Spark Connect SPARK-42554 SPARK-43351 での Scala および Go クライアントのサポート
- Spark Connect の PyTorch ベースの分散 ML サポート SPARK-42471
- Python と Scala での Spark Connect の構造化ストリーミングのサポート SPARK-42938
- Python Spark Connect クライアントに対する Pandas API のサポート SPARK-42497
- Arrow Python UDF SPARK-40307の導入
- Python ユーザー定義テーブル関数のサポート SPARK-43798
- PySpark エラーをエラークラス に移行する SPARK-42986
- PySpark テストフレームワーク SPARK-44042
- Datasketches HllSketch SPARK-16484 のサポートを追加
- 組み込み SQL 関数の改善 SPARK-41231
- IDENTIFIER 句 SPARK-43205
- Scala、Python、R API に SQL 関数を追加する SPARK-43907
- SQL 関数の名前付き引数のサポートを追加 SPARK-43922
- シャッフルデータを移行した場合に廃止されたエグゼキューターで不要なタスクの再実行を回避 SPARK-41469
- 分散 ML <> spark connect SPARK-42471
- DeepSpeed ディストリビューターSPARK-44264
- RocksDB状態ストア SPARK-43421 の変更ログのチェックポイント処理を実装する
- オペレーター間でのウォーターマークの伝播を導入 SPARK-42376
- dropDuplicatesWithinWatermark SPARK-42931 を導入
- RocksDB 状態ストア プロバイダーのメモリ管理の拡張機能 SPARK-43311
Spark コネクト
- sql モジュールを sql と sql-api にリファクタリングして、Scala Spark Connect クライアントと Spark 間で共有できる依存関係の最小セットを生成し、Spark の推移的な依存関係をすべてプルするのを回避します。 スパーク-44273
- Spark Connect SPARK-42554 の Scala クライアントの紹介
- Python Spark Connect クライアントに対する Pandas API のサポート SPARK-42497
- Spark Connect の PyTorch ベースの分散 ML サポート SPARK-42471
- Python と Scala での Spark Connect の構造化ストリーミングのサポート SPARK-42938
- Go クライアントの初期バージョン SPARK-43351
- SparkネイティブとSpark Connectクライアントとの間のPythonおよびScala間の互換性の大幅な改善
- クライアント アプリケーションのデバッグ可能性と要求処理の改善 (非同期処理、再試行、有効期間の長いクエリ)
Spark SQL
顔立ち
- メタデータ列ファイル ブロックの開始と長さ を追加する SPARK-42423
- Scala/Java sql() での位置指定パラメーターのサポート SPARK-44066
- 関数呼び出しのパーサーに名前付きパラメーターのサポートを追加 SPARK-43922
- INSERT ソースリレーション SPARK-43071 の ORDER BY, LIMIT, OFFSET を含む SELECT デフォルトをサポート
- TVF 呼び出しの TABLE 引数の後に PARTITION BY 句と ORDER BY 句の SQL 文法を追加 SPARK-44503
- DESCRIBE および SHOW CREATE TABLE 出力に列のデフォルト値を含める SPARK-42123
- Catalog.listCatalogs のオプションのパターンを追加 スパーク-43792
- Catalog.listDatabases のオプションのパターンを追加 スパーク-43881
- 実行の準備ができたときのコールバック SPARK-44145
- 名前による挿入ステートメントのサポート SPARK-42750
- Scala API SPARK-44131 のcall_functionを追加
- 安定した派生列のエイリアス SPARK-40822
- 一般的な定数式を CREATE/REPLACE TABLE OPTIONS 値としてサポート する SPARK-43529
- INTERSECT/EXCEPT SPARK-36124 による相関関係によるサブクエリのサポート
- IDENTIFIER 句 SPARK-43205
- ANSI モード: 内部変換がオーバーフローした場合、Conv はエラーを返す必要があります SPARK-42427
関数
- Datasketches HllSketch SPARK-16484 のサポートを追加
- aes_encrypt()/aes_decrypt() SPARK-43038によるCBCモードのサポート
- TableValuedFunction の TABLE 引数パーサー規則をサポート SPARK-44200
- ビットマップ関数を実装する SPARK-44154
- try_aes_decrypt() 関数 SPARK-42701 を追加
- array_insert インデックス 0 で失敗する必要があります SPARK-43011
- to_char SPARK-43815 のto_varcharエイリアスを追加
- 高次機能:array_compact実装 SPARK-41235
- 組み込み関数の名前付き引数のアナライザー サポートを追加 SPARK-44059
- ターゲット テーブルよりも列数が少ないユーザー指定のリストを持つ INSERT に NULL を追加する SPARK-42521
- aes_encrypt IV と AAD SPARK-43290 のサポートを追加
- NULL を渡すと DECODE 関数が間違った結果を返す SPARK-41668
- udf 'luhn_check' SPARK-42191をサポート
- Aggregate SPARK-41631 での暗黙的な横列エイリアス解決のサポート
- Window SPARK-42217 を使用したクエリでの暗黙的な横列エイリアスのサポート
- 3 引数関数のエイリアス DATE_ADD と DATE_DIFF SPARK-43492 を追加します。
データソース
- JDBC カタログの char/varchar サポート SPARK-42904
- JDBC APIおよびTVFを介したSQLキーワードの動的な取得をサポート SPARK-43119
- データソースV2:デルタベースのソースSPARK-43885のMERGEコマンドの処理
- データソースV2:グループベースのソースSPARK-43963のMERGEコマンドを処理します
- データソースV2:グループベースの UPDATE コマンドを処理する SPARK-43975
- データソースV2:更新を削除および挿入として表すことを許可する SPARK-43775
- JDBC ダイアレクトがテーブルの作成に使用されたクエリを上書きできるようにする SPARK-41516
- SPJ: 部分的にクラスター化されたディストリビューション SPARK-42038 をサポート
- DSv2 により、CTAS/RTAS でスキーマの null 値の許容を予約できる SPARK-43390
- spark.sql.files.maxPartitionNum を追加します。 スパーク-44021
- デルタベースのソースの UPDATE コマンドを処理する SPARK-43324
- V2 の書き込みでアドバイザリ シャッフル パーティション サイズを示すことを許可する SPARK-42779
- Parquet SPARK-43273 の lz4raw 圧縮コーデックをサポート
- Avro:複雑な組合SPARK-25050を書く
- JSON/CSV データソースのユーザー指定形式によるタイムスタンプ型推論の高速化 SPARK-39280
- Avro to Support custom decimal type by Long SPARK-43901 (英語)
- パーティション キーが一致しない場合のストレージパーティション結合でのシャッフルを回避するが、結合式には互換性がある SPARK-41413
- バイナリを CSV 形式のサポートされていない dataType に変更する SPARK-42237
- Avro が共用体型を SQL に変換し、フィールド名が安定し、型が SPARK-43333 になるようにしました。
- JSON/CSV データソースのレガシー形式でのタイムスタンプ型推論の高速化 SPARK-39281
クエリの最適化
- サブエクスプレッションの削除サポートのショートカット式 SPARK-42815
- 一方の側が一意性を維持できる場合の結合統計の推定を改善 SPARK-39851
- Top-k計算を最適化するためのランクベースフィルタのWindowのグループ制限を導入 SPARK-37099
- 最適化ルールの null IN (空のリスト) の動作を修正 SPARK-44431
- partitionSpec が空の場合に、ウィンドウを通じてウィンドウ制限を推論してプッシュダウンする SPARK-41171
- 外部結合がすべて個別の集計関数である場合は削除します SPARK-42583
- サブクエリ SPARK-42525 で同じパーティション/順序で 2 つの隣接するウィンドウを折りたたむ
- Python UDFsによるプッシュダウン制限 SPARK-42115
- 述語のフィルタリング順序の最適化 SPARK-40045
コード生成とクエリの実行
- Runtime フィルターは、フィルター作成側としてマルチレベルシャッフル結合側をサポートする必要があります SPARK-41674
- HiveSimpleUDF SPARK-42052 の Codegen サポート
- HiveGenericUDF SPARK-42051 の Codegen サポート
- ビルド側外部シャッフルハッシュ結合の Codegen サポート SPARK-44060
- to_csv関数 (StructsToCsv) のコード生成を実装する SPARK-42169
- AQE を InMemoryTableScanExec SPARK-42101 でサポートします
- 左外部結合ビルドのサポート シャッフルされたハッシュ結合での左または右外部結合ビルド SPARK-36612
- CTAS/RTAS SPARK-43088 の RequiresDistributionAndOrdering を尊重する
- ブロードキャスト結合ストリーム側に適用される結合の結合バケット SPARK-43107
- 完全外部の結合結合キーに null 許容を正しく設定する USING 結合 SPARK-44251
- IN サブクエリ ListQuery の null 可能性を修正 SPARK-43413
その他の注目すべき変更点
- USING 結合のキーに対して null 許容を正しく設定する SPARK-43718
- 相関スカラー サブクエリ SPARK-43156 の COUNT(*) が null バグである問題を修正
- Dataframe.joinWith outer-join は、一致しない行に対して null 値を返す必要があります SPARK-37829
- 競合するメタデータ列の名前を自動的に変更する SPARK-42683
- Spark SQL エラー クラスをユーザー向けドキュメントに文書化する SPARK-42706
PySparkの
顔立ち
- Python sql() での位置指定パラメーターのサポート SPARK-44140
- sql() によるパラメーター化された SQL のサポート SPARK-41666
- Python ユーザー定義テーブル関数のサポート SPARK-43797
- 実行時にワーカーでUDFおよびpandas関数APIのPython実行ファイルを設定するサポート SPARK-43574
- DataFrame.offset を PySpark に追加する SPARK-43213
- .sql.dataframe.DataFrame に dir()を実装して、列 SPARK-43270PySparkを含めます。
- Arrow UDF 操作に大きな可変幅ベクトルを使用するオプションを追加 SPARK-39979
- mapInPandas / mapInArrowがバリアモードの実行 SPARK-42896をサポート
- JobTagAPIs をPySpark SparkContextに追加する SPARK-44194
- Python UDTF を Python で分析するためのサポート SPARK-44380
- PySpark.sql.types での TimestampNTZType の公開 SPARK-43759
- ネストされたタイムスタンプ型 SPARK-43545 をサポート
- Pandas DataFrame および toPandas の createDataFrame での UserDefinedType のサポート [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
- ディスクリプタバイナリオプションをPySpark Protobuf APISPARK-43799に追加
- ジェネリックスタプルをPandasのタイピングヒントとして受け入れる UDF SPARK-43886
- array_prepend機能 を追加 SPARK-41233
- assertDataFrameEqual util 関数 SPARK-44061 を追加
- Arrow に最適化された Python UDTF をサポートする SPARK-43964
- fp approx equality SPARK-44217 のカスタム精度を許可
- assertSchemaEqual API を公開 SPARK-44216
- psのサポートfill_value。シリーズ SPARK-42094
- pandas DataFrame からの createDataFrame での構造体型のサポート SPARK-43473
その他の注目すべき変更点
- PySpark.sql.dataframe.DataFrame に df[|] のオートコンプリートサポートを追加 [SPARK-43892]
- pandas 2.0 で削除される APIs を非推奨にして削除する [SPARK-42593]
- Python をコード例の最初のタブにする - Spark SQL、DataFrames、データセット ガイド SPARK-42493
- を示すための残りのSpark ドキュメントのコード例の更新Python SPARK-42642
- Arrow RecordBatch の作成時に重複排除されたフィールド名を使用する [SPARK-41971]
- pandas DataFrame を使用した作成データフレームで重複するフィールド名をサポートする[SPARK-43528]
- Series で DataFrame を作成するときに columns パラメーターを許可する [SPARK-42194]
コア
- プッシュマージシャッフルMapStageの再試行時にマージをスケジュールするが、実行中のタスクがない SPARK-40082
- SQL 演算子の実行に PartitionEvaluator を導入 SPARK-43061
- シャッフル データが確実に格納されている場合に ShuffleDriverComponent が宣言できるようにする SPARK-42689
- ステージの最大試行回数制限を追加して、無限の再試行の可能性を回避します SPARK-42577
- 静的な Spark conf SPARK-43782 によるログレベルの設定をサポート
- PercentileHeap の最適化 SPARK-42528
- TaskScheduler.cancelTasks に reason 引数を追加 SPARK-42602
- シャッフルデータを移行した場合に廃止されたエグゼキューターで不要なタスクの再実行を回避 SPARK-41469
- rdd キャッシュを使用した再試行タスクの場合のアキュムレータの過小カウントの修正 SPARK-41497
- デフォルトでspark.history.store.hybridStore.diskBackendにRocksDBを使用します SPARK-42277
- Guava Cache の NonFateSharingCache ラッパー SPARK-43300
- MapOutputTracker.updateMapOutput のパフォーマンスを向上させる スパーク-43043
- 外部シャッフル サービスによってメタデータをデータベースに保存するかどうかをアプリで制御できるようにする SPARK-43179
- エグゼキューターポッドに環境変数SPARK_DRIVER_POD_IPを追加 SPARK-42769
- hadoop 設定マップをエグゼキューターポッドにマウントします SPARK-43504
構造化ストリーミング
- RocksDB状態ストア SPARK-43120 のピン留めブロックのメモリ使用量の追跡のサポートを追加
- RocksDB状態ストア プロバイダーのメモリ管理拡張機能を追加する SPARK-43311
- dropDuplicatesWithinWatermark SPARK-42931 を導入
- StreamingQueryListener に新しいコールバック onQueryIdle() を導入 SPARK-43183
- DSv2 ソース/シンクの StreamingWrite API の一部としてコミット コーディネーターをスキップするオプションを追加 SPARK-42968
- StreamingQueryListener に新しいコールバック "onQueryIdle" を導入 SPARK-43183
- RocksDB 状態ストア プロバイダー SPARK-43421 の変更ログベースのチェックポイント処理を実装する
- ストリーミングステートフルオペレーターで使用される RocksDB の WRITE_FLUSH_BYTES のサポートを追加 SPARK-42792
- ストリーミングで使用される RocksDB のmax_write_buffer_numberとwrite_buffer_sizeの設定のサポートを追加 SPARK-42819
- RocksDB StateStore のロック取得は、inputRDD SPARK-42566 から入力イテレータを取得した後に行う必要があります
- オペレーター間でのウォーターマークの伝播を導入 SPARK-42376
- RocksDB チェックポイント ディレクトリの孤立した SST ファイルとログ ファイルをクリーンアップします SPARK-42353
- QueryTerminatedEvent を展開して、例外 SPARK-43482 に存在する場合はエラー クラスを含めます
ML
- Deepspeed SPARK-44264を使用した機能の分散トレーニングをサポート
- spark3.5 の sparkML の基本インターフェイス: 推定器/変圧器/モデル/評価器 SPARK-43516
- 機械学習v2 (機械学習 on Spark Connect )でpandas >= 2.0をサポートする SPARK-43783
- MLv2 Transformer インターフェイス の更新 SPARK-43516
- ディストリビューターSPARK-43097 の上に実装された新しいPySparkML ロジスティック回帰推定器
- Classifier.getNumClasses を SPARK-42526 に戻しました。
- Deepspeed分散学習クラスDeepspeedTorchDistributor SPARK-44264を書く
- Spark Connect SPARK-43981 での ML の基本的な保存/読み込みの実装
- ロジスティック回帰モデルの節約を改善する SPARK-43097
- Spark Connect SPARK-43982 に ML のパイプライン推定機能を実装する
- クロスバリデーター推定器SPARK-43983の実装
- 分類評価器 SPARK-44250 の実装
- PyTorch Distributor を Spark Connect SPARK-42993 と互換性を持たせる
UIの
- Spark Connect SPARK-44394 の Spark UI ページを追加する
- エグゼキューター タブのヒープ ヒストグラム列をサポート SPARK-44153
- 失敗したクエリごとに UI にエラー メッセージを表示する SPARK-44367
- エグゼキューターの時間追加/削除時間をエグゼキューター タブに表示 SPARK-44309
ビルド&その他
- Python 3.7 サポートの削除 SPARK-43347
- PyArrow の最小バージョンを 4.0.0 に作成 スパーク-44183
- R 4.3.1 SPARK-43447 SPARK-44192をサポート
- SparkContext SparkContext に JobTag を追加するAPIsSparkRSPARK-44195
- SparkR SPARK-44349 に数学関数を追加
- Parquet を 1.13.1 SPARK-43519 にアップグレードします
- ASM を 9.5 SPARK-43537 SPARK-43588 にアップグレードします
- rocksdbjni を 8.3.2 にアップグレード SPARK-41569 SPARK-42718 SPARK-43007 SPARK-43436 SPARK-44256
- Netty を 4.1.93 にアップグレードします SPARK-42218 SPARK-42417 SPARK-42487 SPARK-43609 SPARK-44128
- zstd-jni を 1.5.5-5 にアップグレードします。 SPARK-42409 SPARK-42625 SPARK-43080 SPARK-43294 SPARK-43737 SPARK-43994 SPARK-44465
- dropwizard メトリクス 4.2.19 のアップグレード スパーク-42654 スパーク-43738 スパーク-44296
- GCSコネクタを2.2.14にアップグレードします SPARK-42888 SPARK-43842
- commons-cryptoを1.2.0 SPARK-42488にアップグレード
- Scala-parser-combinators の 2.1.1 から 2.2.0 へのアップグレード SPARK-42489
- protobuf-java を 3.23.4 にアップグレード SPARK-41711 SPARK-42490 SPARK-42798 SPARK-43899 SPARK-44382
- commons-codecを1.16.0にアップグレード スパーク-44151
- Apache Kafka の 3.4.1 へのアップグレード SPARK-42396 SPARK-44181
- RoaringBitmap を 0.9.45 にアップグレードします SPARK-42385 SPARK-43495 SPARK-44221
- ORC を 1.9.0 に更新します SPARK-42820 SPARK-44053 SPARK-44231
- Avro 1.11.2 へのアップグレード スパーク-44277
- commons-compress を 1.23.0 にアップグレード スパーク-43102
- joda-timeを2.12.2から2.12.5にアップグレード SPARK-43008
- snappy-java を 1.1.10.3 にアップグレードします SPARK-42242 SPARK-43758 SPARK-44070 SPARK-44415 SPARK-44513
- mysql-connector-java を 8.0.31 から 8.0.32 にアップグレードします SPARK-42717
- Apache Arrow を 12.0.1 にアップグレード SPARK-42161 SPARK-43446 SPARK-44094
- commons-io を 2.12.0 SPARK-43739 にアップグレード
- Apache commons-io を 2.13.0 にアップグレード SPARK-43739 SPARK-44028
- FasterXMLジャクソンを2.15.2にアップグレード SPARK-42354 SPARK-43774 SPARK-43904
- log4j2 を 2.20.0 にアップグレードします。 スパーク-42536
- slf4j を 2.0.7 SPARK-42871 にアップグレード
- リリースの numpy と pandas をアップグレードする Dockerfile SPARK-42524
- ジャージを2.40 SPARK-44316にアップグレード
- H2 を 2.1.214 からアップグレードする 2.2.220 へ スパーク-44393
- オプションを ^0.9.3 SPARK-44279 にアップグレード
- bcprov-jdk15on と bcpkix-jdk15on を 1.70 SPARK-44441 にアップグレード
- mlflow を 2.3.1 SPARK-43344 にアップグレードします
- Tink を 1.9.0 SPARK-42780 にアップグレードします
- サイレンサーを1.7.13にアップグレード スパーク-41787 スパーク-44031
- Ammonite を 2.5.9 にアップグレード スパーク-44041
- Scala を 2.12.18 SPARK-43832 にアップグレードします
- org.scalatestplus のアップグレード org.scalatestplusへ スパーク-41587
- ミニマッチを3.1.2にアップグレード スパーク-41634
- sbt-assembly を 2.0.0 から 2.1.0 へアップグレード スパーク-41704
- Maven-checkstyle-plugin を 3.1.2 から更新3.2.0 へ スパーク-41714
- dev.ludovic.netlib を 3.0.3 にアップグレード スパーク-41750
- hive-storage-api を 2.8.1 SPARK-41798 にアップグレードします
- Apache httpcore を 4.4.16 にアップグレード スパーク-41802
- 桟橋を 9.4.52.v20230823 SPARK-45052 にアップグレードします
- compress-lzf を 1.1.2 にアップグレード スパーク-42274
削除、動作変更、非推奨
今後の削除
次の機能は、次の Spark メジャー リリースで削除されます
- Java 8 と Java 11 のサポート、およびサポートされる最小の Java バージョンは Java 17 になります
- Scala 2.12 のサポート、およびサポートされる最小の Scala バージョンは 2.13 です
移行ガイド
- Spark コア
- SQL、データセット、 DataFrame
- 構造化ストリーミング
- MLlib (機械学習)
- PySpark (Spark 上の Python)
- SparkR (R on Spark)
Databricks ODBC/JDBC ドライバーのサポート
Databricks は、過去 2 年間にリリースされた ODBC/JDBC ドライバーをサポートしています。 最近リリースされたドライバーをダウンロードして、 アップグレード (ODBC のダウンロード、 JDBC のダウンロード)。
システム環境
- オペレーティングシステム :Ubuntu 22.04.3 LTSの
- Java の:Zulu 8.70.0.23-CA-linux64
- Scala : 2.12.15
- Pythonの :3.10.12
- R :4.3.1
- Delta Lake : 2.4.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アニオ | 3.5.0 | アルゴン2-CFFI | 21.3.0 | argon2-cffi-結合 | 21.2.0 |
アストトークンズ | 2.0.5 | 属性 | 22.1.0 | バックコール | 0.2.0 |
美しいスープ4 | 4.11.1 | 黒い | 22.6.0 | ブリーチ | 4.1.0 |
ウィンカー | 1.4 | ボト3 | 1.24.28 | ボトコア | 1.27.96 |
認証 | 2022.12.7 | cffi | 1.15.1 | シャルデ | 4.0.0 |
文字セット・ノーマライザー | 2.0.4 | クリック | 8.0.4 | 通信 | 0.1.2 |
コントルピー | 1.0.5 | 暗号化手法 | 39.0.1 | サーマルサイクラー | 0.11.0 |
シトン | 0.29.32 | Databricks の SDK | 0.1.6 | DBUSPython | 1.2.18 |
デバッグ | 1.6.7 | デコレータ | 5.1.1 | デフューズドXML | 0.7.1 |
ディストリビューション | 0.3.7 | docstring-to-markdown | 0.11 | エントリポイント | 0.4 |
実行 | 0.8.3 | facets-概要 | 1.1.1 | fastjsonスキーマ | 2.18.0 |
ファイルロック | 3.12.2 | fonttools | 4.25.0 | GCC ランタイム ライブラリ | 1.10.0 |
googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-ステータス | 1.48.1 |
httplib2の | 0.20.2 | イドナ | 3.4 | importlib-metadata | 4.6.4 |
ipykernel(英語) | 6.25.0 | アイパイソン | 8.14.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | ジェダイ | 0.18.1 | ジープニー | 0.7.1 |
ジンジャ2 | 3.1.2 | jmespathの | 0.10.0 | ジョブリブ | 1.2.0 |
jsonschema(jsonschema) | 4.17.3 | jupyter-クライアント | 7.3.4 | jupyter-server | 1.23.4 |
jupyter_core | 5.2.0 | jupyterlab-pygmentsの | 0.1.2 | jupyterlab-widgetsの | 1.0.0 |
キーリング | 23.5.0 | キウイソルバー | 1.4.4 | ローンチパッドリブ | 1.10.16 |
lazr.restfulクライアント | 0.14.4 | lazr.uri です。 | 1.0.6 | lxml の | 4.9.1 |
マークアップセーフ | 2.1.1 | Matplotlib | 3.7.0 | matplotlib-インライン | 0.1.6 |
マッケイブ | 0.7.0 | ミスチューン | 0.8.4 | もっと-itertools | 8.10.0 |
mypy-extensions | 0.4.3 | NBクラシック | 0.5.2 | NBクライアント | 0.5.13 |
NBコンバート | 6.5.4 | NBフォーマット | 5.7.0 | ネスト-アシンシオ | 1.5.6 |
ノードenv | 1.8.0 | ノートブック | 6.5.2 | ノートブック | 0.2.2 |
ナムピー | 1.23.5 | OAuthlib | 3.2.0 | 包装 | 22.0 |
pandas | 1.5.3 | pandocフィルター | 1.5.0 | パルソ | 0.8.3 |
パススペック | 0.10.3 | パッツィ | 0.5.3 | pexpect | 4.8.0 |
ピクルシェア | 0.7.5 | 枕 | 9.4.0 | 種 | 22.3.1 |
プラットフォームディレクトリ | 2.5.2 | Plotly | 5.9.0 | プラギー | 1.0.0 |
prometheus-クライアント | 0.14.1 | プロンプトツールキット | 3.0.36 | プロトブフ | 4.24.0 |
psutil の | 5.9.0 | サイコップ2 | 2.9.3 | PTYPROCESSの | 0.7.0 |
ピュア評価 | 0.2.2 | ピアロー | 8.0.0 | pycparser | 2.21 |
ピダンティック | 1.10.6 | パイフレーク | 3.0.1 | ピグメント | 2.11.2 |
PyGObject | 3.42.1 | PyJWTの | 2.3.0 | pyodbc | 4.0.32 |
pyparsing (英語) | 3.0.9 | パイライト | 1.1.294 | ピルシステント | 0.18.0 |
Python-dateutil | 2.8.2 | Python-lsp-jsonrpc | 1.0.0 | Python-lsp-server | 1.7.1 |
pytoolconfig(ピーツールコンフィグ) | 1.2.5 | ピッツ | 2022.7 | ピズム | 23.2.0 |
要求 | 2.28.1 | 縄 | 1.7.0 | S3トランスファー | 0.6.1 |
Scikit-Learn | 1.1.1 | シーボーン | 0.12.2 | シークレットストレージ | 3.3.1 |
Send2Trash(センド2トラッシュ) | 1.8.0 | セットアップツール | 65.6.3 | 6 | 1.16.0 |
スニフィオ | 1.2.0 | スープふるい | 2.3.2.投稿1 | ssh-import-id | 5.11 |
スタックデータ | 0.2.0 | 統計モデル | 0.13.5 | 持久力 | 8.1.0 |
テルミナド | 0.17.1 | スレッドプールctl | 2.2.0 | tinycss2 | 1.2.1 |
トークン化-RT | 4.2.1 | トムリ | 2.0.1 | 竜巻 | 6.1 |
トレイトレット | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
無人アップグレード | 0.1 | urllib3 の | 1.26.14 | virtualenv | 20.16.7 |
ワドリブ | 1.3.6 | WC幅 | 0.2.5 | webエンコーディング | 0.5.1 |
websocket-クライアント | 0.58.0 | パッチ | 1.0.2 | 輪 | 0.38.4 |
widgetsnb拡張機能 | 3.6.1 | ヤップ | 0.31.0 | ジップ | 1.0.0 |
インストールされている R ライブラリ
R ライブラリは、2023-07-13 の Posit Package Manager CRAN スナップショットからインストールされます。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
矢 | 12.0.1 | アスクパス | 1.1 | assertthat | 0.2.1 |
バックポート | 1.4.1 | 基 | 4.3.1 | base64enc | 0.1-3 |
bit | 4.0.5 | ビット64 | 4.0.5 | ブロッブ | 1.2.4 |
ブート | 1.3-28 | 醸成 | 1.0-8 | ブリオ | 1.1.3 |
箒 | 1.0.5 | bslibの | 0.5.0 | カケム | 1.0.8 |
コール | 3.7.3 | キャレット | 6.0-94 | セルレンジャー | 1.1.0 |
クロン | 2.3-61 | クラス | 7.3-22 | CLI | 3.6.1 |
clipr | 0.8.0 | 時計 | 0.7.0 | クラスター | 2.1.4 |
コードツール | 0.2-19 | カラースペース | 2.1-0 | コモンマーク | 1.9.0 |
コンパイラ | 4.3.1 | コンフィグ | 0.3.1 | 競合 | 1.2.0 |
CPP11の | 0.4.4 | クレヨン | 1.5.2 | 資格情報 | 1.3.2 |
Curl | 5.0.1 | データ.テーブル | 1.14.8 | データセット | 4.3.1 |
DBI | 1.1.3 | dbplirの | 2.3.3 | DESC | 1.4.2 |
開発ツール | 2.4.5 | ダイアグラム | 1.6.5 | ディフobj | 0.3.5 |
ダイジェスト | 0.6.33 | ダウンライト | 0.4.3 | dplyrの | 1.1.2 |
DTPLyr | 1.3.1 | E1071 | 1.7-13 | 省略記号 | 0.3.2 |
評 | 0.21 | ファンシ | 1.0.4 | ファーバー | 2.1.1 |
ファストマップ | 1.1.1 | フォントオーサム | 0.5.1 | フォーキャッツ | 1.0.0 |
For each | 1.5.2 | 外国の | 0.8-82 | 鍛える | 0.2.0 |
FSの | 1.6.2 | 未来 | 1.33.0 | future.お申込み | 1.11.0 |
嗽 | 1.5.1 | ジェネリック | 0.1.3 | ゲルト | 1.9.2 |
ggplot2の | 3.4.2 | gh | 1.4.0 | ギットレッズ | 0.1.2 |
glmnet | 4.1-7 | グローバル | 0.16.2 | 膠 | 1.6.2 |
グーグルドライブ | 2.1.1 | グーグルシート4 | 1.1.1 | ガウアー | 1.0.1 |
グラフィックス | 4.3.1 | grDevicesの | 4.3.1 | グリッド | 4.3.1 |
グリッドエクストラ | 2.3 | gsubfnの | 0.7 | GTABLE(GTABLE) | 0.3.3 |
ヘルメット | 1.3.0 | 避難所 | 2.5.3 | 高い | 0.10 |
HMSの | 1.1.3 | htmlツール[htmltools] | 0.5.5 | htmlウィジェット | 1.6.2 |
httpuv | 1.6.11 | httr | 1.4.6 | HTTR2 | 0.2.3 |
ids | 1.0.1 | イニ | 0.3.1 | イプレッド | 0.9-14 |
アイソバンド | 0.2.7 | 反復 子 | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.7 | カーンスムース | 2.23-21 | ニット | 1.43 |
ラベリング | 0.4.2 | あとで | 1.3.1 | 格子 | 0.21-8 |
溶岩 | 1.7.2.1 | ライフサイクル | 1.0.3 | リッスン | 0.9.0 |
ルブリデート | 1.9.2 | マグリット | 2.0.3 | Markdown | 1.7 |
質量 | 7.3-60 | マトリックス | 1.5-4.1 | メモ | 2.0.1 |
メソッド | 4.3.1 | mgcv | 1.8-42 | マイム | 0.12 |
ミニUI | 0.1.1.1 | モデルメトリクス | 1.2.2.2 | モデラー | 0.1.11 |
マンセル | 0.5.0 | nlme | 3.1-162 | ネット | 7.3-19 |
numDerivの | 2016.8-1.1 | オープンSSL | 2.0.6 | 並列 | 4.3.1 |
並行して | 1.36.0 | 柱 | 1.9.0 | pkgbuild の | 1.4.2 |
pkgconfig | 2.0.3 | pkgdown (英語) | 2.0.7 | pkgload(パッケージロード) | 1.3.2.1 |
plogrの | 0.2.0 | プライル | 1.8.8 | 褒める | 1.0.0 |
プリティユニット | 1.1.1 | pROC | 1.18.4 | プロセスX | 3.8.2 |
製品 | 2023.03.31 | プロヴィス | 0.3.8 | 経過 | 1.2.2 |
プログレッサー | 0.13.0 | 約束 | 1.2.0.1 | プロト | 1.0.0 |
プロキシ | 0.4-27 | PS | 1.7.5 | ゴロゴロ | 1.0.1 |
R2D3の | 0.2.6 | R6の | 2.5.1 | ラグ | 1.2.5 |
ランダムフォレスト | 4.7-1.1 | ラプディレクトリ | 0.3.3 | rcmdcheckの | 1.4.0 |
RColorブリューワー | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
読み取り | 2.1.4 | readxlの | 1.4.3 | レシピ | 1.0.6 |
再戦 | 1.0.1 | 再戦2 | 2.1.2 | リモコン | 2.4.2 |
レプレックス | 2.0.2 | 形状変更2 | 1.4.4 | ラン | 1.1.1 |
rmarkdown | 2.23 | RODBC | 1.3-20 | リオキシジェン2 | 7.2.3 |
rpart | 4.1.19 | rprojroot さん | 2.0.3 | サーブ | 1.8-11 |
RSQLite (英語) | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
アヴェスト | 1.0.3 | サス | 0.4.6 | 秤 | 1.2.1 |
セレクタ | 0.4-2 | セッション情報 | 1.2.2 | 形 | 1.4.6 |
shiny | 1.7.4.1 | ソースツール | 0.1.7-1 | sparklyr | 1.8.1 |
SparkR | 3.5.0 | 空間的 | 7.3-15 | スプライン | 4.3.1 |
sqldf | 0.4-11 | スクエアム | 2021.1 | 統計 | 4.3.1 |
統計4 | 4.3.1 | ストリンギ | 1.7.12 | ストリンガー | 1.5.0 |
生存 | 3.5-5 | SYSの | 3.4.2 | システムフォント | 1.0.4 |
tcltk | 4.3.1 | テストを | 3.1.10 | テキストシェーピング | 0.3.6 |
ティブル | 3.2.1 | ティディル | 1.3.0 | ティディセレクト | 1.2.0 |
ティディバース | 2.0.0 | 時間変更 | 0.2.0 | 日時 | 4022.108 |
タイニーテックス | 0.45 | ツール | 4.3.1 | tzdb | 0.4.0 |
urlchecker(英語) | 1.0.1 | usethisさん | 2.2.2 | UTF8 | 1.2.3 |
ユーティリティ | 4.3.1 | UUIDの | 1.1-0 | vctrs | 0.6.3 |
viridisライト | 0.4.2 | ブルーム | 1.6.3 | ワルド | 0.5.1 |
ウイスカー | 0.4.1 | ウィザー | 2.5.0 | xfun | 0.39 |
XML2の | 1.3.5 | xopen(オーペン) | 1.0.0 | エクステーブル | 1.8-4 |
ヤムラ | 2.3.7 | 郵便番号 | 2.3.0 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.12.390 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.12.390 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.12.390 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.12.390 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.12.390 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonawsの | aws-java-sdk-configの | 1.12.390 |
com.amazonawsの | aws-java-sdk-コア | 1.12.390 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.12.390 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.12.390 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.12.390 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.12.390 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.12.390 |
com.amazonawsの | aws-java-sdk-ecsの | 1.12.390 |
com.amazonawsの | aws-java-sdk-efs | 1.12.390 |
com.amazonawsの | aws-java-sdk-elasticache | 1.12.390 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.12.390 |
com.amazonawsの | aws-java-sdk-emr | 1.12.390 |
com.amazonawsの | aws-java-sdk-glacier | 1.12.390 |
com.amazonawsの | aws-java-sdk-グルー | 1.12.390 |
com.amazonawsの | aws-java-sdk-iam | 1.12.390 |
com.amazonawsの | aws-java-sdk-importexport | 1.12.390 |
com.amazonawsの | aws-java-sdk-キネシス | 1.12.390 |
com.amazonawsの | aws-java-sdk-kmsの | 1.12.390 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.12.390 |
com.amazonawsの | aws-java-sdk-logs | 1.12.390 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.12.390 |
com.amazonawsの | aws-java-sdk-opsworks | 1.12.390 |
com.amazonawsの | aws-java-sdk-rds | 1.12.390 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.12.390 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.12.390 |
com.amazonawsの | aws-java-sdk-s3 の | 1.12.390 |
com.amazonawsの | aws-java-sdk-ses | 1.12.390 |
com.amazonawsの | aws-java-sdk-simpledb | 1.12.390 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.12.390 |
com.amazonawsの | aws-java-sdk-snsの | 1.12.390 |
com.amazonawsの | aws-java-sdk-sqs | 1.12.390 |
com.amazonawsの | aws-java-sdk-ssm | 1.12.390 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonawsの | aws-java-sdk-sts | 1.12.390 |
com.amazonawsの | aws-java-sdk-サポート | 1.12.390 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.12.390 |
com.amazonawsの | jmespath-java | 1.12.390 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | Databricks の SDK の java | 0.2.0 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.15.2 |
com.fasterxml.jackson.core | ジャクソンコア | 2.15.2 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.15.2 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.15.2 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.15.2 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JSR310 | 2.15.1 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.15.2 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.15.2 |
com.github.ben-manes.caffeine | カフェイン | 2.9.3 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1-ネイティブ |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1-ネイティブ |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64 | 1.1-ネイティブ |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64 | 1.1-ネイティブ |
com.github.luben | ZSTD-JNI | 1.5.5-4 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.10.1 |
com.google.crypto.tink | ティンク | 1.9.0 |
com.google.errorが発生しやすい | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | フラットバッファ-Java | 1.12.0 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.helger | プロファイラー | 1.1.1 |
com.jcraftの | jsch | 0.1.55 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssqlの-JDBC | 11.2.2.JRE8 |
com.ningの | 圧縮-LZF | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.バインド | jaxb-コア | 2.2.11 |
com.sun.xml.バインド | jaxb-impl | 2.2.11 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.10.0 |
コム。囀る | chill_2.12 | 0.10.0 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.uberの | H3 | 3.7.0 |
com.univocityの | univocity-パーサー | 2.9.1 |
com.zaxxerの | ひかりCP | 4.0.3 |
コモンズCLI | コモンズCLI | 1.5.0 |
コモンズコーデック | コモンズコーデック | 1.16.0 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.5 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.13.0 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズプール | コモンズプール | 1.5.4 |
dev.ludovic.netlib さん | アーパック | 3.0.3 |
dev.ludovic.netlib さん | ブラス | 3.0.3 |
dev.ludovic.netlib さん | ラパック | 3.0.3 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.24 |
io.delta | デルタシェアリング-spark_2.12 | 0.7.1 |
io.dropwizard.メトリクス | メトリクスアノテーション | 4.2.19 |
io.dropwizard.メトリクス | メトリクスコア | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.2.19 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.2.19 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.2.19 |
io.nettyの | netty-すべて | 4.1.93.ファイナル |
io.nettyの | netty-buffer | 4.1.93.ファイナル |
io.nettyの | netty-codec (英語) | 4.1.93.ファイナル |
io.nettyの | netty-codec-http | 4.1.93.ファイナル |
io.nettyの | netty-codec-http2 | 4.1.93.ファイナル |
io.nettyの | netty-codec-socksの | 4.1.93.ファイナル |
io.nettyの | netty-共通 | 4.1.93.ファイナル |
io.nettyの | netty-ハンドラ | 4.1.93.ファイナル |
io.nettyの | netty-handler-proxy | 4.1.93.ファイナル |
io.nettyの | netty-リゾルバ | 4.1.93.ファイナル |
io.nettyの | netty-トランスポート | 4.1.93.ファイナル |
io.nettyの | netty-transport-classes-epoll | 4.1.93.ファイナル |
io.nettyの | netty-transport-classes-kqueue | 4.1.93.ファイナル |
io.nettyの | netty-transport-native-epoll | 4.1.93.ファイナル |
io.nettyの | netty-transport-native-epoll | 4.1.93.最終版-linux-aarch_64 |
io.nettyの | netty-transport-native-epoll | 4.1.93.最終版-linux-x86_64 |
io.nettyの | netty-transport-native-kqueue | 4.1.93.ファイナルOSX-aarch_64 |
io.nettyの | netty-transport-native-kqueue | 4.1.93.ファイナルOSX-x86_64 |
io.nettyの | netty-transport-native-unix-common | 4.1.93.ファイナル |
io.プロメテウス | シンプルクライアント | 0.7.0 |
io.プロメテウス | simpleclient_common | 0.7.0 |
io.プロメテウス | simpleclient_dropwizard | 0.7.0 |
io.プロメテウス | simpleclient_pushgateway | 0.7.0 |
io.プロメテウス | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 収集家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet (英語) | jakarta.servlet-api | 4.0.3 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.11 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | 漬ける | 1.3 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.13.29 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.9.3 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.16 |
org.apache.ant | アントJSCH | 1.9.16 |
org.apache.ant | アントランチャー | 1.9.16 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 12.0.1 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-core | 12.0.1 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-netty | 12.0.1 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 12.0.1 |
org.apache.avro | AVRO | 1.11.2 |
org.apache.avro | アブロIPC | 1.11.2 |
org.apache.avro | アブロマップド | 1.11.2 |
org.apache.commonsの | コモンズコレクション4 | 4.4 |
org.apache.commonsの | コモンズ圧縮 | 1.23.0 |
org.apache.commonsの | コモンズ-クリプト | 1.1.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.12.0 |
org.apache.commonsの | コモンズ-数学3 | 3.6.1 |
org.apache.commonsの | コモンズテキスト | 1.10.0 |
org.apache.curator (英語) | キュレーター・クライアント | 2.13.0 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.13.0 |
org.apache.curator (英語) | キュレーターレシピ | 2.13.0 |
org.apache.datasketches (英語) | データスケッチ-Java | 3.1.0 |
org.apache.datasketches (英語) | datasketches-memory | 2.0.0 |
org.apache.derbyの | ダービー | 10.14.2.0 |
org.apache.hadoop です。 | hadoop クライアント ランタイム | 3.3.6 |
org.apache.hive です。 | ハイブビーライン | 2.3.9 |
org.apache.hive です。 | ハイブ CLI | 2.3.9 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.9 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.9 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.9 |
org.apache.hive です。 | ハイブセルデ | 2.3.9 |
org.apache.hive です。 | ハイブシム | 2.3.9 |
org.apache.hive です。 | ハイブストレージAPI | 2.8.1 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.9 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.9 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.9 |
org.apache.httpコンポーネント | httpクライアント | 4.5.14 |
org.apache.httpコンポーネント | httpコア | 4.4.16 |
org.apache.ivy | 蔦 | 2.5.1 |
org.apache.logging.log4j | ログ4J-1.2-API | 2.20.0 |
org.apache.logging.log4j | ログ4J-API | 2.20.0 |
org.apache.logging.log4j | log4j-コア | 2.20.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
org.apache.mesos | メソス | 1.11.0-シェード-protobuf |
org.apache.orc | オークコア | 1.9.0-シェード-protobuf |
org.apache.orc | orc-mapreduce | 1.9.0-シェード-protobuf |
org.apache.orc | オークシム | 1.9.0 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded (英語) | 4.23 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.13.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.6.3 |
org.apache.zookeeper | 動物園の飼育係ジュート | 3.6.3 |
org.checkerフレームワーク | チェッカークォール | 3.31.0 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋の続き | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋-IO | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋プラス | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋警備 | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋-util | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋-util-ajax | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.51.v20230217 |
組織Eclipse.jetty | 桟橋XML | 9.4.51.v20230217 |
組織Eclipse.jetty.websocket | websocket-api | 9.4.51.v20230217 |
組織Eclipse.jetty.websocket | websocket-クライアント | 9.4.51.v20230217 |
組織Eclipse.jetty.websocket | websocket-共通 | 9.4.51.v20230217 |
組織Eclipse.jetty.websocket | websocket-サーバー | 9.4.51.v20230217 |
組織Eclipse.jetty.websocket | websocket-サーブレット | 9.4.51.v20230217 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.40 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.40 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.40 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.40 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.40 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.40 |
org.hibernate.validator | hibernate-validator | 6.1.7.ファイナル |
org.ini4jの | ini4j(イニ4J) | 0.5.4 |
org.javassist | ジャバス奏者 | 3.29.2-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.jetbrainsの | 注釈 | 17.0.0 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.7.0-M11 |
org.json4sの | json4s-core_2.12 | 3.7.0-M11 |
org.json4sの | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4sの | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | LZ4-Javaの | 1.8.0 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.7.9 |
org.mlflowの | mlflow-spark | 2.2.0 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.6.0 |
org.roaringbitmap | ロアリングビットマップ | 0.9.45 |
org.roaringbitmap | シム | 0.9.45 |
org.rocksdbの | ロックスDBJNI | 8.3.2 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.15 |
組織Scala-lang | Scala-Library.12 | 2.12.15 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.15 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.9.0 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | そよ風-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatestの | scalatest対応 | 3.2.15 |
org.scalatestの | scalatest-core_2.12 | 3.2.15 |
org.scalatestの | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatestの | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatestの | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-freespec_2.12 | 3.2.15 |
org.scalatestの | scalatest-funspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatestの | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatestの | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatestの | scalatest-propspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-refspec_2.12 | 3.2.15 |
org.scalatestの | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatestの | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatestの | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | 7月-slf4j | 2.0.7 |
org.slf4j | SLF4J-APIの | 2.0.7 |
org.threetenさん | スリーテンエクストラ | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0 |
org.typelevel | スパイア-platform_2.12 | 0.17.0 |
org.typelevel | スパイア-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | ワイルドフライ-openssl | 1.1.3.ファイナル |
org.xerial | sqlite-JDBC の | 3.42.0.0 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.10.3 |
org.yaml の | スネークヤム | 2.0 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |