Databricks Runtime 9.0 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
次のリリースノートは、Databricks Runtime Databricks RuntimePhotonApache Spark3.1.2 を搭載した 9.0 および 9.0 に関する情報を提供します。Databricks は 2021 年 8 月にこのバージョンをリリースしました。 Photon は パブリック プレビュー段階です。
補正
これらのリリースノートの以前のバージョンでは、Apache Parquet の依存関係が 1.10 から 1.12 にアップグレードされたと誤って記載されていました。 実際、Parquet の依存関係はバージョン 1.10 のままです。 誤ったリリースノートは削除されました。
新機能と改善点
- データセットの統計の概要に関する新しい API (パブリック プレビュー)
- Azure Synapseコネクタの外部データソース設定が簡単
- 必要に応じて、セッションを Amazon Redshift コネクタの指定された期間に制限します
- Auto Loader
- SQL
- Rサポート
- 構造化ストリーミングのステートフル処理の初期状態を指定することでやり直しを回避します
- Delta MERGE INTO コマンドのローシャッフル実装が利用可能になりました (パブリック プレビュー)
データセットの統計の概要に関する新しい API (パブリック プレビュー)
ユーティリティの新しい dbutils.data.summarizeコマンドを使用すると、DatabricksSpark の列のサマリー統計を自動的にコンピュートし、結果をインタラクティブに表示する ジョブを起動できます。SparkDataFrameこの関数は Scala と Python で使用できます。 データ・ユーティリティ (dbutils.data)を参照してください。
Azure Synapseコネクタの外部データソース設定が簡単
Azure Synapse Analyticsコネクタの Query data (データのクエリ) の新しい externalDataSource オプションを使用すると、事前プロビジョニングされた外部データソースを使用して Azure Synapse データベースから読み取ることができます。externalDataSourceオプションを使用すると、以前に必要だったCONTROL権限が不要になります。
externalDataSourceを設定する場合、外部データソースと一時ストレージの設定に使用する tempDir オプションは、ストレージ アカウント内の同じコンテナを参照する必要があります。
必要に応じて、セッションを Amazon Redshift コネクタの指定された期間に制限します
Databricks コネクタを使用した Amazon Redshift のクエリの新しい fs.s3a.assumed.role.session.duration オプションを使用すると、Redshift が引き受けたロールで一時的な S3 バケットにアクセスするときのセッションの期間をオプションで設定できます。
Auto Loader
- 最適化されたファイルリスト
- 最適化された画像データストレージ
- バイナリ ファイルの画像サムネイル (パブリック プレビュー)
DirectoryRenameイベントにより、複数のファイルのアトミック処理が可能になります
最適化されたファイルリスト
Auto Loader の最適化により、 AWS S3、 Azure Data Lake Storage Gen2 (ADLS Gen2)、 Google Cloud Storage (GCS) などのクラウド ストレージ内のネストされたディレクトリを一覧表示する際のパフォーマンスが向上し、コストが削減されます。
たとえば、/some/path/YYYY/MM/DD/HH/fileNameとしてアップロードされているファイルがある場合、これらのディレクトリ内のすべてのファイルを検索するために、 Auto Loader すべてのサブディレクトリの並列リストを作成するために使用され、各年のディレクトリの基になるストレージに対して 365 (1 日あたり) * 24 (1 時間あたり) = 8760 LIST API ディレクトリ呼び出しが発生します。 これらのストレージ システムからフラット化された応答を受信することで、Auto Loader は API 呼び出しの数をストレージ システム内のファイルの数を各 API 呼び出しによって返される結果の数で割った値 (S3 の場合は 1000、ADLS Gen2 の場合は 5000、GCS の場合は 1024) に減らし、クラウドのコストを大幅に削減します。
最適化された画像データストレージ
Auto Loader は、取り込まれている画像データを自動検出し、 Delta テーブル内のストレージを最適化して、読み取りと書き込みのパフォーマンスを向上させることができるようになりました。 「 ML の Delta Lake に画像またはバイナリ データを取り込む」を参照してください。
バイナリ ファイルの画像サムネイル (パブリック プレビュー)
binaryFile を使用して Delta テーブルとしてロードまたは保存された形式のイメージには注釈が付けられているためAuto LoaderDatabricksノートブックでテーブルを表示するときにイメージのサムネイルが表示されます。詳細については、「 画像」を参照してください。
DirectoryRename イベントにより、複数のファイルのアトミック処理が可能になります
9.0 以降で作成されたAuto Loader ストリーム ディレクトリの名前変更を含め、Databricks RuntimeAzure Data Lake Storage Gen2 RenameDirectoryイベントをリッスンするようにファイル イベント通知を設定します。ディレクトリ名の変更を使用すると、複数のファイルが に atomically 表示されるように Auto Loader.
SQLの
SELECT * で列を除外する (パブリック プレビュー)
SELECT * EXCEPT キーワードがサポートされるようになりました。これにより、指定した最上位の列を展開から除外できます。たとえば、スキーマ (a, b, c) のテーブルからのSELECT * EXCEPT (b) FROM tblは (a, c)に展開されます。
SQL スカラー関数 (パブリック プレビュー)
CREATE FUNCTION SQL スカラー関数をサポートするようになりました。 一連の引数を受け取り、1 つのスカラー型の値を返すスカラー関数を作成できます。 SQL 関数本体には、任意の式を指定できます。 例えば：
CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);
詳細については、 CREATE FUNCTION (SQL および Python)を参照してください。
FROM サブクエリの先行するエイリアスと列を参照する (パブリック プレビュー)
クエリの FROM 句のサブクエリの前に LATERAL キーワードを付けることができるようになり、前の FROM 項目のエイリアスとカラムを参照できるようになりました。 例えば：
SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)
LATERAL キーワードは、 INNER、 CROSS、 LEFT (OUTER) JOINをサポートしています。
Rサポート
ノートブック スコープの R ライブラリ (パブリック プレビュー)
ノートブックスコープのライブラリを使用すると、ライブラリをインストールし、ノートブックセッションをスコープとする環境を作成できます。 これらのライブラリは、同じクラスターで実行されている他のノートブックには影響しません。 ライブラリはドライバーノードとワーカーノードの両方で使用できるため、ユーザー定義関数で参照できます。 「ノートブック スコープの R ライブラリ」を参照してください。
R ノートブックの警告メッセージ
warn オプションのデフォルト値が R ノートブック内で 1 に設定されるようになりました。その結果、すべての警告がコマンド結果の一部として公開されるようになりました。 warnオプションの詳細については、「オプション設定」を参照してください。
構造化ストリーミングのステートフル処理の初期状態を指定することでやり直しを回避します
[flat]MapGroupsWithState演算子を使用して、構造化ストリーミングのステートフル処理のユーザー定義の初期状態を指定できるようになりました。
mapGroupsWithStateの初期状態の指定を参照してください。
Delta MERGE INTO コマンドのローシャッフル実装が利用可能になりました (パブリック プレビュー)
Delta MERGE INTO コマンドには、変更されていない行のシャッフルを減らす新しい実装が使用可能です。 これにより、コマンドのパフォーマンスが向上し、テーブル上の既存のクラスタリング ( Z-Ordering. 低シャッフル結合を有効にするには、 spark.databricks.delta.merge.enableLowShuffle を trueに設定します。 「Databricks での低シャッフル マージ」を参照してください。
バグの修正
- 同じ名前のビューを作成してビューを上書きすることはできなくなりました。
ライブラリのアップグレード
-
アップグレードされた Python ライブラリ:
- 2021.5.30〜2020.12.5
- chardet を 3.0.4 から 4.0.0 に変更
- Cython 0.29.21 から 0.29.23
- 4.4.2 から 5.0.6 へのデコレータ
- 7.19.0 から 7.22.0 への ipython
- joblib を 0.17.0 から 1.0.1 に変更
- jupyter-client 6.1.7 から 6.1.12 へ
- jupyter-core を 4.6.3 から 4.7.1 へ
- Kiwisolver 1.3.0 から 1.3.1 へ
- matplotlib を 3.2.2 から 3.4.2 へ
- 1.1.5 から 1.2.4 へのPandas
- 20.2.4 から 21.0.1 への pip
- prompt-toolkit を 3.0.8 から 3.0.17 へ
- protobuf 3.17.3 から 3.17.2 へ
- 0.6.0 から 0.7.0 までの ptyprocess
- pyarrow を 1.0.1 から 4.0.0 へ
- 2.7.2 から 2.8.1 への変更
- Pyzmq 19.0.2 から 20.0.0 へ
- 2.24.0 から 2.25.1 へのリクエスト
- s3 0.3.6 から 0.3.7 への転送
- scikit-learn 0.23.2 から 0.24.1 まで
- scipy 1.5.2 から 1.6.2 へ
- 0.10.0 から 0.11.1 までの seaborn
- 50.3.1 から 52.0.0 までの setuptools
- statsは 0.12.0 から 0.12.2 までモデル化します。
- トルネード 6.0.4 から 6.1 へ
- 20.2.1 から 20.4.1 への virtualenv
- Python wheel を 0.35.1 から 0.36.2 に変更
-
アップグレードされた R ライブラリ:
- 1.3-3 から 1.3-4 までの行列
Apache Spark
Databricks Runtime 9.0 には Apache Spark 3.1.2 が含まれています。 このリリースには、 Databricks Runtime 8.4 (EoS) に含まれるすべての Spark の修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-35886] [SQL][3.1] PromotePrecision は genCode を上書きしないでくださいPromotePrecision は genCode を上書きしないでください
- [SPARK-35879] [CORE][shuffle] collectFetchRequestsによるパフォーマンスの低下を修正
- [SPARK-35817] [SQL][3.1] 幅の広い Avro テーブルに対するクエリのパフォーマンスの復元
- [SPARK-35841] [SQL] 文字列を decimal 型にキャストすると、...
- [SPARK-35783] [SQL] タスク設定で読み取り列のリストを設定して、ORCデータの読み取りを減らすように修正
- [SPARK-35576] [SQL][3.1] Set コマンドの結果の機密情報を編集します
- [SPARK-35449] [SQL][3.1] elseValue が設定されている場合は、CaseWhen 値から一般的な式のみを抽出します
- [SPARK-35288] [SQL] StaticInvoke は、引数クラスが完全一致しないメソッドを見つけるべき
- [SPARK-34794] [SQL] ネストされたDataFrame関数のラムダ変数名の問題を修正
- [SPARK-35278] [SQL] 呼び出しは正しい数のパラメーターを持つメソッドを見つけるべき
- [SPARK-35226] [SQL] JDBCデータソースでrefreshKrb5Configオプションをサポート
- [SPARK-35244] [SQL] 呼び出しは元の例外をスローする必要があります
- [SPARK-35213] [SQL] 連鎖したwithField操作でネストされた構造体の正しい順序を維持する
- [SPARK-35087] [UI] ステージ詳細ページのエグゼキューター別の集計メトリクステーブルの一部の列が正しく表示されない。
- [SPARK-35168] [SQL] mapred.reduce.タスクは adaptive.coalescePartitions.initialPartitionNum ではなく shuffle.partitions であるべき
- [SPARK-35127] [UI] 異なるステージ詳細ページを切り替えると、新しく開いたページのエントリ項目が空白になる場合がある
- [SPARK-35142] [Python][ml]
rawPredictionUDFin の誤った戻り値の型を修正OneVsRestModel - [SPARK-35096] [SQL] SchemaPruningはspark.sql.caseSensitiveに準拠するべき コンフィグ
- [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias では UnresolvedAlias を作成しないでください
- [SPARK-35080] [SQL] サブクエリが集約される場合にのみ、相関等価述語のサブセットを許可するようにした
- [SPARK-35117] [UI] 進行状況バーを進行中のタスクのハイライト比率に戻す
- [スパーク-35136] LiveStage.info の初期 null 値を削除する
- [SPARK-34834] [ネットワーク] TransportResponseHandlerの潜在的なNettyメモリリークを修正
- [SPARK-35045] [SQL] ユニボシティで入力バッファを制御する内部オプションを追加
- 【スパーク-35014】 折り畳み式を書き換えないように PhysicalAggregation パターンを修正します
- [SPARK-35019] [Python][sql] PySpark.sql.*のタイプヒントの不一致を修正
- [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() は、パーティション値が null であることを考慮する必要があります。
- [SPARK-34630] [Python] PySparkのタイプヒントを追加。 バージョン
- [SPARK-34963] [SQL] 構造体の配列から大文字と小文字を区別しない構造体フィールドを抽出するためのネストされた列の剪定を修正
- [SPARK-34988] [コア][3.1] CVE-2021-28165 の Jetty のアップグレード
- [SPARK-34922] [SQL][3.1] CBO の相対コスト比較関数を使用する
- [SPARK-34970] [SQL][セキュリティ][3.1] explain() の出力のマップタイプオプションを編集します
- [SPARK-34923] [SQL] メタデータ出力を空にする必要がある
- [SPARK-34949] [CORE] エグゼキューターのシャットダウン時にBlockManagerの再登録を防止
- [SPARK-34939] [CORE] ブロードキャストされたマップステータスを逆シリアル化できない場合、フェッチ失敗の例外をスローする
- [SPARK-34909] [SQL] conv()でのnegativeからunsignedへの変換を修正
- [SPARK-34845] [CORE] ProcfsMetricsGetter が部分的な procfs メトリクスを返さない
- [SPARK-34814] [SQL] LikeSimplificationはNULLを処理するべき
- [SPARK-34876] [SQL] null非許容集計のdefaultResultを埋める
- [SPARK-34829] [SQL] 高階関数の結果を修正
- [SPARK-34840] [SHUFFLE] マージされたシャッフルの破損のケースを修正...
- [SPARK-34833] [SQL] 相関サブクエリに右パディングを正しく適用するように修正
- [SPARK-34630] [Python][sql] PySpark.sqlのタイプヒントを追加しました。列.contains
- [SPARK-34763] [SQL] col()、$"name"、df("name") は引用符で囲まれた列名を適切に処理すべきです
- [SPARK-33482] [SPARK-34756] [SQL] FileScanの等価チェックを修正
- [SPARK-34790] [CORE] io暗号化が有効な場合、バッチでのシャッフルブロックの取得を無効にする
- [SPARK-34803] [PySpark] Pandas または pyarrow のインポートに失敗した場合、発生した ImportError を渡す
- [SPARK-34225] [CORE] URI形式の文字列がaddFileまたはaddJarに渡されるときに、これ以上エンコードしないでください
- [SPARK-34811] [CORE] シークレットやトークンのようなfs.s3a.access.keyを編集
- [SPARK-34796] [SQL][3.1] doProduce()でLIMITコード生成のカウンター変数を初期化します
- [SPARK-34128] [SQL] THRIFT-4805に関連する望ましくないTTransportException警告を抑制
- [SPARK-34776] [SQL] ネストされた列のプルーニングで、ウィンドウが生成した属性をプルーニングすべきではない
- [SPARK-34087] [3.1][sql] ExecutionListenerBusのメモリリークを修正
- [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecordsはコンテキストの代わりにSparkクラスローダーを使用すべき
- [SPARK-34719] [SQL][3.1] 重複した列名を持つビュー クエリを正しく解決する
- [SPARK-34766] [SQL][3.1] ビューの Maven 設定をキャプチャしない
- [SPARK-34731] [CORE] EventLoggingListener のプロパティを編集するときに ConcurrentModificationException を回避
- [SPARK-34737] [SQL][3.1] 入力フロートをダブルインにキャスト
TIMESTAMP_SECONDS - [SPARK-34749] [SQL][3.1] ResolveCreateNamedStruct の簡略化
- [SPARK-34768] [SQL] Univocityのデフォルトの入力バッファサイズを尊重
- [SPARK-34770] [SQL] データベースが存在しない場合、InMemoryCatalog.tableExistsが失敗しないように修正
- [SPARK-34504] [SQL] DDL コマンドの SQL 一時ビューの不要な解決を避ける
- [SPARK-34727] [SQL] float をタイムスタンプにキャストする際の不一致を修正
- [SPARK-34723] [SQL] 全ステージでの部分式の削除のパラメータータイプを修正
- [SPARK-34724] [SQL] getDeclaredMethod の代わりに getMethod を使用してインタープリター評価を修正
- [SPARK-34713] [SQL] ExtractValue を使用した CreateStruct による修正グループ
- [SPARK-34697] [SQL] DESCRIBE FUNCTIONおよびSHOW FUNCTIONSが||(文字列連結演算子)
- [SPARK-34682] [SQL] リフレクションの代わりにPrivateMethodTesterを使用
- [SPARK-34682] [SQL] CustomShuffleReaderExecの正規化エラーチェックのリグレッションを修正
- [SPARK-34681] [SQL] 非等価条件で左側をビルドする際の完全な外部シャッフルハッシュ結合のバグを修正
- [SPARK-34545] [SQL] pyrolite の valueCompare 機能の問題を修正
- [SPARK-34607] [SQL][3.1] jdk8u の不正な形式クラス名エラーを修正するための
Utils.isMemberClassの追加 - [SPARK-34596] [SQL] Utils.getSimpleNameを使用して、NewInstance.doGenCodeの不正な形式のクラス名にヒットしないようにします。
- [SPARK-34613] [SQL] 修正ビューが無効化ヒント設定をキャプチャしない
- [SPARK-32924] [WEBUI] マスターUIの期間列を正しい順序で並べ替える
- [SPARK-34482] [SS] StreamExecution.logicalPlanのアクティブなSparkSessionを修正
- [SPARK-34567] [SQL] CreateTableAsSelectもメトリクスを更新すべき
- [SPARK-34599] [SQL] INSERT INTO OVERWRITE が DSv2 のドットを含むパーティション列をサポートしない問題を修正
- [SPARK-34577] [SQL] データセットの列の削除/追加を修正
DESCRIBE NAMESPACE - [SPARK-34584] [SQL] v2テーブルに挿入する際に、静的パーティションもStoreAssignmentPolicyに従うべき
- [SPARK-34555] [SQL] DataFrameからのメタデータ出力を解決
- [スパーク-34534] FetchShuffleBlocks を使用してブロックをフェッチするときの blockId の順序を修正
- [SPARK-34547] [SQL] 最後の手段として、解決のためにメタデータ列のみを使用
- [SPARK-34417] [SQL] 列名にドットが含まれていると、org.apache.spark.sql.DataFrameNaFunctions.fillMapが失敗する
- [SPARK-34561] [SQL] v2のデータセットとの間で列の削除/追加を修正
DESCRIBE TABLE - [SPARK-34556] [SQL] 重複する静的パーティション列のチェックで大文字と小文字を区別するconfを尊重する必要がある
- [SPARK-34392] [SQL] ZoneOffset +hをサポート DateTimeUtils で。 getZoneId
- [SPARK-34550] [SQL] Hive metastore へのプッシュ フィルター中に InSet null 値をスキップする
- [SPARK-34543] [SQL] v1のパーティション仕様を解決する際に
spark.sql.caseSensitive設定を尊重しますSET LOCATION - [SPARK-34436] [SQL] DPPがLIKE ANY/ALL式をサポート
- [SPARK-34531] [CORE] PrometheusServletの実験的なAPIタグを削除
- [SPARK-34497] [SQL] 接続プロバイダーの組み込みを修正して、セキュリティコンテキストの変更JDBCJVM復元するように修正
- [SPARK-34515] [SQL] getPartitionsByFilter中にInSetにnull値が含まれる場合のNPEを修正
- [SPARK-34490] [SQL] ビューがドロップされたテーブルを参照している場合、分析は失敗します
- [SPARK-34473] [SQL] DataFrameReader.schema(StructType)でNPEを避ける
- [SPARK-34384] [CORE] ResourceProfileAPIsに不足しているドキュメントを追加
- [SPARK-34373] [SQL] HiveThriftServer2 startWithContext が競合問題でハングすることがある
- [SPARK-20977] [CORE] CollectionAccumulator の状態に非最終フィールドを使用
- [SPARK-34421] [SQL] CTEを持つビューの一時的な関数とビューを解決
- [SPARK-34431] [CORE]
hive-site.xmlを一度だけロードする - [SPARK-34405] [CORE] PrometheusServletクラスのtimersLabelsの平均値を修正
- [SPARK-33438] [SQL] コマンドの定義されたSQL Confsを持つオブジェクトを熱心に初期化
set -v - 【スパーク-34158】 pom.xmlの唯一の開発者MateiのURLが正しくありません
- [SPARK-34346] [コア][sql][3.1] spark.buffer.size によって設定された io.file.buffer.size は、誤って hive-site.xml をロードすることでオーバーライドされ、パフォーマンスの低下を引き起こす可能性があります。
- [SPARK-34359] [SQL][3.1] SHOW DATABASES の出力スキーマを復元するためのレガシー設定の追加
- [SPARK-34331] [SQL] DS v2メタデータの列の解決を高速化
- [SPARK-34318] [SQL][3.1] データセット.colRegexは、改行を含む列名と修飾子で動作するべきです
- [SPARK-34326] [CORE][sql] 一時パスの長さに応じてSPARK-31793に追加されたUTを修正
- [SPARK-34319] [SQL] FlatMapCoGroupsInPandas/MapInPandasの重複する属性を解決
- [SPARK-34310] [CORE][sql] mapとflattenをflatMapに置き換え
- [SPARK-34083] [SQL][3.1] char/varchar 列の TPCDS オリジナル定義の使用
- [SPARK-34233] [SQL][3.1] バイナリ比較での文字パディングの NPE を修正
- [SPARK-34270] [SS] StateStoreMetricsの組み合わせがStateStoreCustomMetricを上書きしないように修正
- [SPARK-34144] [SQL] LocalDateおよびInstantの値をJDBCリレーションに書き込もうとすると例外がスローされる
- [SPARK-34273] [CORE] SparkContextが停止しているときにBlockManagerを再登録しない
- [SPARK-34262] [SQL][3.1] v1テーブルのキャッシュデータを更新します
ALTER TABLE .. SET LOCATION - [SPARK-34275] [CORE][sql][MLlib] フィルターとサイズを count に置き換える
- [SPARK-34260] [SQL] 一時ビューを2回作成する際のUnresolvedExceptionを修正
- [SPARK-33867] [SQL] SQLクエリの生成時にInstantおよびLocalDateの値が処理されない
- [SPARK-34193] [CORE] TorrentBroadcastブロックマネージャーの廃止レースの修正
- [SPARK-34221] [WEBUI] UIページでステージが失敗した場合、対応するエラーメッセージが正しく表示されるようにする問題を修正
- [SPARK-34236] [SQL] v2の上書きとnull静的パーティションの継承ができない問題を修正 - 式をソースフィルターに変換できません：null
- [SPARK-34212] [SQL] Parquetファイルからの誤った小数点以下の読み取りを修正
- [SPARK-34244] [SQL] regexp_extract_allのScala関数バージョンを削除
- [SPARK-34235] [SS] spark.sql.hiveをプライベートパッケージとして作成
- [SPARK-34232] [CORE] ログのSparkListenerEnvironmentUpdateイベントを編集
- [SPARK-34229] [SQL] Avro はファイルスキーマで 10 進値を読み取る必要がある
- [SPARK-34223] [SQL] InsertIntoHadoopFsRelationCommandでnullの静的パーティションのNPEを修正
- [SPARK-34192] [SQL] char の埋め込みを書き込み側に移動し、読み取り側の長さチェックも削除
- [SPARK-34203] [SQL]
nullパーティションの値をv1In-Memoryカタログの__HIVE_DEFAULT_PARTITION__に変換する - [SPARK-33726] [SQL] 集計中に重複するフィールド名を修正
- [SPARK-34133] [AVRO] Catalyst-to-Avroフィールドマッチングを実行する際に大文字と小文字の区別を尊重
- [SPARK-34187] [SS] オフセット検証を確認する際には、ポーリング中に取得した使用可能なオフセット範囲を使用します
- [SPARK-34052] [SQL][3.1] " .. SQLを使用して作成された一時ビューの テキストを保存します。AS SELECT ...」CACHE TABLE
- [SPARK-34213] [SQL] v1テーブルのキャッシュデータを更新
LOAD DATA - [SPARK-34191] [Python][sql] udf オーバーロードのタイピングを追加
- [SPARK-34200] [SQL] あいまいな列参照は属性の可用性を考慮するべき
- [SPARK-33813] [SQL][3.1] JDBC ソースが MS SQL Server の空間タイプを扱えない問題を修正
- [SPARK-34178] [SQL] MultiInstanceRelation.newInstanceによって作成された新しいノードのタグをコピーする
- [SPARK-34005] [コア][3.1] Update peak memory メトリクス for each エグゼキューター on タスク end
- [SPARK-34115] [CORE] 速度低下を避けるために、SPARK_TESTINGを遅延値としてチェックします
- [SPARK-34153] [SQL][3.1][3.0] 未使用の
getRawTable()をHiveExternalCatalog.alterPartitions() - [SPARK-34130] [SQL] StaticInvokeによるchar varcharパディングと長さチェックのImpoveプリフォーム
- [SPARK-34027] [SQL][3.1] キャッシュの更新
ALTER TABLE .. RECOVER PARTITIONS - [SPARK-34151] [SQL]
java.io.File.toURLをjava.io.File.toURI.toURL - [SPARK-34140] [SQL][3.1] QueryCompilationErrors を移動します。org/apache/spark/sql/errors へのScala
- [ SPARK-34080] [ML][Python] UnivariateFeatureSelectorを追加
- [SPARK-33790] [コア][3.1] SingleFileEventLogFileReader の getFileStatus の rpc 呼び出しを減らす
- [SPARK-34118] [コア][sql][3.1] filter を置き換え、空かどうかを exists または forall に置き換えて確認します。
- [SPARK-34114] [SQL] 読み取り側の文字の長さチェックとパディングのために正しくトリミングすべきではない
- [SPARK-34086] [SQL][3.1] RaiseError が生成するコードが多すぎて、char varchar の長さチェックで codegen が失敗する可能性があります
- [SPARK-34075] [SQL][core] パーティション推論のために隠しディレクトリがリストされている
- [SPARK-34076] [SQL] キャッシュが空でない場合、SQLContext.dropTempTableが失敗する
- [SPARK-34084] [SQL][3.1] テーブル統計の自動更新を修正しました
ALTER TABLE .. ADD PARTITION - [SPARK-34090] [SS] KafkaTokenUtil.needTokenUpdateで使用されるHadoopDelegationTokenManager.isServiceEnabledの結果をキャッシュする
- [SPARK-34069] [CORE] キルバリアタスクはSPARK_JOB_INTERRUPT_ON_CANCELを尊重すべき
- [SPARK-34091] [SQL] シャッフルバッチフェッチは、有効にした後で無効にできるようにすべき
- [SPARK-34059] [SQL][コア][3.1] mapではなくfor/foreachを使用して、熱心に実行するようにします
- [SPARK-34002] [SQL] ScalaUDFでのエンコーダーの使用を修正
- [SPARK-34060] [SQL][3.1] 統計の更新中の Hive テーブルのキャッシュを修正します。
ALTER TABLE .. DROP PARTITION - [SPARK-31952] [SQL] Aggregateを実行する際の誤ったメモリスピルメトリクスを修正
- [SPARK-33591] [SQL][3.1] パーティション仕様値の
nullを認識する - [SPARK-34055] [SQL][3.1] キャッシュの更新
ALTER TABLE .. ADD PARTITION - [SPARK-34039] [SQL][3.1] ReplaceTable はキャッシュを無効にする必要があります
- [SPARK-34003] [SQL] PaddingAndLengthCheckForCharVarchar と ResolveAggregateFunctions の間のルールの競合を修正
- [SPARK-33938] [SQL][3.1] Optimize Like Any/All 作成者: LikeSimplification
- [SPARK-34021] [R] CRAN提出用のSparkRドキュメントのハイパーリンクを修正
- [SPARK-34011] [SQL][3.1][3.0] キャッシュの更新
ALTER TABLE .. RENAME TO PARTITION - [SPARK-33948] [SQL] Scala 2.13のMapObjects.doGenCodeメソッドのCodeGenエラーを修正
- [SPARK-33635] [SS] KafkaTokenUtil.needTokenUpdateのチェック順序を調整して、パフォーマンスのリグレッションを改善
- [SPARK-33029] [CORE][webui] UIのエグゼキューターページがドライバーを誤って除外としてマークする問題を修正
- [SPARK-34015] [R] gapplyの入力タイミングの修正
- [SPARK-34012] [SQL] 移行ガイドでconf
spark.sql.legacy.parser.havingWithoutGroupByAsWhereが真の場合の動作を一貫性を保つようにしました - [SPARK-33844] [SQL][3.1] InsertIntoHiveDir コマンドは列名もチェックする必要があります
- [SPARK-33935] [SQL] CBOコスト関数を修正
- [SPARK-33100] [SQL] spark-sql の括弧で囲まれたコメント内のセミコロンを無視する
- [SPARK-34000] [CORE] stageAttemptToNumSpeculativeTasks java.util.NoSuchElementExceptionを修正
- [SPARK-33992] [SQL] transformUpWithNewOutput をオーバーライドして allowInvokingTransformsInAnalyzer を追加
- [SPARK-33894] []SQL MLlib2.13でランタイムコンパイルエラーを回避するために、 のプライベートケースクラスの表示を変更するScala
- [SPARK-33950] [SQL][3.1][3.0] v1 でのキャッシュの更新
ALTER TABLE .. DROP PARTITION - [SPARK-33980] [SS] spark.readStream.schema の char/varchar を無効にする
- [SPARK-33945] [SQL][3.1] expr ツリーで構成されるランダム シードを処理します
- [スパーク-33398] Spark 3.0 より前のツリーモデルの読み込みを修正
- [SPARK-33963] [SQL] テーブル統計なしで
HiveTableRelationを正規化 - [SPARK-33906] [WEBUI] 未定義のpeakMemoryMetricsが原因でUIエグゼキューターページが動かなくなるバグを修正
- [SPARK-33944] [SQL] SharedStateオプションのウェアハウスキーのログが正しくない
- [SPARK-33936] [SQL][3.1] コネクタのインターフェースが追加されたときのバージョンを追加します
- [SPARK-33916] [CORE] フォールバックストレージオフセットを修正し、圧縮コーデックテストカバレッジを改善
- [SPARK-33899] [SQL][3.1] v1 の SHOW TABLES/VIEWS でのアサート失敗を修正
spark_catalog - [SPARK-33901] [SQL] DDL後のCharおよびVarcharの表示エラーを修正
- [SPARK-33897] [SQL] 結合方法でオプション 'cross' を設定できない
- [SPARK-33907] [SQL][3.1] 解析オプションが空の場合にのみ JsonToStructs の列をプルーニングします
- [SPARK-33621] [SPARK-33784] [SQL] [3.1] データソースの書き換えルールを注入する方法を追加
- [SPARK-33900] [WEBUI] remotebytesreadのみが利用可能な場合に、シャッフル読み取りサイズ/レコードを正しく表示します
- [SPARK-33892 ] [SQL] DESC および SHOW CREATE TABLE で char/varchar を表示します
- [SPARK-33895] [SQL] ThriftServerのMetaOperationでCharとVarcharが失敗する
- [SPARK-33659] [SS] DataStreamWriter.toTable APIの現在の動作を文書化
- [SPARK-33893] [CORE] フォールバックブロックマネージャーをExecutorListから除外
- [SPARK-33277] [PySpark][sql] タスクの終了後にContextAwareIteratorを使用して消費を停止する
- [SPARK-33889] [SQL][3.1] V2 テーブル上の
SHOW PARTITIONSからの NPE の修正 - [SPARK-33879] [SQL] Char Varchar 値がパーティション列として一致エラーで失敗する
- [SPARK-33877] [SQL] 列リストを含むINSERTのSQLリファレンスドキュメント
- [SPARK-33876 ] [SQL] 外部ロケーションを持つテーブルから char/varchar を読み取るための長さチェックを追加
- [SPARK-33846] [SQL] ネストされたスキーマのコメントをStructType.toDDLに含めるようにしました。
- [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalystを特別な配列値に一致させる
- [SPARK-33834] [SQL] Char と Varchar で ALTER TABLE CHANGE COLUMN を確認
- [SPARK-33853] [SQL] EXPLAIN CODEGEN と BenchmarkQueryTest にサブクエリコードが表示されない
- [SPARK-33836] [SS][Python] DataStreamReader.table と DataStreamWriter.toTable を公開します。
- [SPARK-33829] [SQL][3.1] v2 テーブルの名前を変更すると、キャッシュが再作成されます
- [SPARK-33756] [SQL] BytesToBytesMapのMapIteratorをべき等にする
- [SPARK-33850] [SQL] AQEが有効な場合、EXPLAIN FORMATTEDにサブクエリのプランが表示されない
- [SPARK-33841] [コア][3.1] 高負荷時にジョブが SHS から断続的に消える問題を修正
- [SPARK-33593] [SQL] ベクターリーダーがバイナリパーティション値を持つ誤ったデータを取得する
- [SPARK-26341] [WEBUI] ステージレベルの「ステージ」タブでエグゼキューターのメモリメトリクスを公開する
- [SPARK-33831] [UI] jetty 9.4.34への更新
- [SPARK-33822] [SQL] HashJoin で
CastSupport.castメソッドを使用 - [SPARK-33774] [UI][core] Back to Master」がスタンドアロンクラスターで500エラーを返す
- [SPARK-26199] [SPARK-31517] [R] ハンドリングの戦略を修正...Mutationate の名前
- [SPARK-33819] [コア][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader は
package private - [SPARK-33697] [SQL] RemoveRedundantProjects はデフォルトで列の順序付けを必須にすべき
- [SPARK-33752] [SQL][3.1] AnalysisExceptionのgetSimpleMessageがセミコロンを繰り返し追加しないようにする
- [SPARK-33788] [SQL][3.1][3.0][2.4] HiveExternalCatalog.dropPartitions() から NoSuchPartitionsException をスローします。
- [SPARK-33803] [SQL] DESCRIBE TABLE コマンドでテーブルのプロパティをキーで並べ替える
- [SPARK-33786] [SQL] テーブル名が変更された場合、キャッシュのストレージレベルを尊重すべき
- [SPARK-33273] [SQL] サブクエリ実行の競合状態を修正
- [SPARK-33653] [SQL][3.1] DSv2: REFRESH TABLE はテーブル自体を再キャッシュする必要があります
- [SPARK-33777] [SQL] V2 SHOW PARTITIONSの出力をソート
- [SPARK-33733] [SQL] PullOutNondeterministic は決定論的フィールドをチェックして収集すべき
- [SPARK-33764] [SS] 状態ストアのメンテナンス間隔を SQL 設定に
- [SPARK-33729] [SQL] キャッシュを更新するときに、データを再キャッシュするときにSparkがキャッシュされたプランを使用すべきではない
- [SPARK-33742] [SQL][3.1] HiveExternalCatalog.createPartitions() から PartitionsAlreadyExistException をスローします。
- [SPARK-33706] [SQL] partitionExists() で完全に指定されたパーティション識別子が必要
- [SPARK-33740] [SQL ] hive-site.xml can の hadoop 設定が既存の hadoop 設定を上書きする
- [SPARK-33692] [SQL] ビューはキャプチャされたカタログと名前空間を使用して関数を検索する必要がある
- [SPARK-33669] YARNクライアントモードでsc.stopすると、YARNアプリケーション状態モニターから間違ったエラーメッセージが表示される
- [SPARK-32110] [SQL] HyperLogLog++の特殊な浮動小数点数を正規化
- [SPARK-33677] [SQL] パターンにescapeCharが含まれている場合、LikeSimplificationルールをスキップ
- [SPARK-33693] [SQL] spark.sql.hive.convertCTASを非推奨に
- [SPARK-33641] [SQL] パブリック APIs で誤った結果を生成する新しい char/varchar タイプを無効にする
- [SPARK-32680] [SQL] 未解決のクエリでV2 CTASを前処理しない
- [SPARK-33676] [SQL] V2のスキーマにパーティション仕様の完全一致が必要
ALTER TABLE .. ADD/DROP PARTITION - [SPARK-33670] [SQL] v1 SHOW TABLE EXTENDEDでパーティションプロバイダーがHiveであることを確認します
- [SPARK-33663] [SQL] 存在しない一時ビューでアンキャッシングを呼び出さないように修正
- [SPARK-33667] [SQL] v1 でパーティション仕様を解決する際に
spark.sql.caseSensitive設定を尊重しますSHOW PARTITIONS - [SPARK-33652] [SQL] DSv2: DeleteFrom でキャッシュを更新すべき
メンテナンスの更新
「Databricks Runtime 9.0 メンテナンス更新プログラム」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 20.04.2 LTS
- Java の:Zulu 8.54.0.21-CA-linux64
- Scala : 2.12.10
- Pythonの :3.8.10
- R :4.1.0 (2021-05-18)
- Delta Lake 1.0.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アンテルゴス Linux | 2015.10 (ISOローリング) | appdirs (英語) | 1.4.4 | バックコール | 0.2.0 |
ボト3 | 1.16.7 | ボトコア | 1.19.7 | 認証 | 2020.12.5 |
シャルデ | 4.0.0 | サーマルサイクラー | 0.10.0 | シトン | 0.29.23 |
DBUSPython | 1.2.16 | デコレータ | 5.0.6 | ディストリビューション | 0.3.2 |
ディストリビューション情報 | 0.23Ubuntuの1 | facets-概要 | 1.0.0 | ファイルロック | 3.0.12 |
イドナ | 2.10 | ipykernel(英語) | 5.3.4 | アイパイソン | 7.22.0 |
ipython-genutils | 0.2.0 | ジェダイ | 0.17.2 | jmespathの | 0.10.0 |
ジョブリブ | 1.0.1 | jupyter-クライアント | 6.1.12 | ジュピターコア | 4.7.1 |
キウイソルバー | 1.3.1 | koalas | 1.8.1 | Matplotlib | 3.4.2 |
ナムピー | 1.19.2 | pandas | 1.2.4 | パルソ | 0.7.0 |
パッツィ | 0.5.1 | pexpect | 4.8.0 | ピクルシェア | 0.7.5 |
枕 | 8.2.0 | 種 | 21.0.1 | Plotly | 4.14.3 |
プロンプトツールキット | 3.0.17 | プロトブフ | 3.17.2 | サイコップ2 | 2.8.5 |
PTYPROCESSの | 0.7.0 | ピアロー | 4.0.0 | ピグメント | 2.8.1 |
PyGObject | 3.36.0 | pyparsing (英語) | 2.4.7 | Python-apt | 2.0.0 + ubuntu0.20.4.5 |
Python-dateutil | 2.8.1 | ピッツ | 2020.5 | ピズム | 20.0.0 |
要求 | 2.25.1 | リクエスト-unixsocket | 0.2.0 | 再試行 | 1.3.3 |
S3トランスファー | 0.3.7 | Scikit-Learn | 0.24.1 | scipy(サイピー) | 1.6.2 |
シーボーン | 0.11.1 | セットアップツール | 52.0.0 | 6 | 1.15.0 |
ssh-import-id | 5.10 | 統計モデル | 0.12.2 | スレッドプールctl | 2.1.0 |
竜巻 | 6.1 | トレイトレット | 5.0.5 | 無人アップグレード | 0.1 |
urllib3 の | 1.25.11 | virtualenv | 20.4.1 | WC幅 | 0.2.5 |
輪 | 0.36.2 |
インストールされている R ライブラリ
R ライブラリは、2021 年 7 月 28 日の Microsoft CRAN スナップショットからインストールされます。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アスクパス | 1.1 | assertthat | 0.2.1 | バックポート | 1.2.1 |
基 | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
bit | 4.0.4 | ビット64 | 4.0.5 | ブロッブ | 1.2.1 |
ブート | 1.3-28 | 醸成 | 1.0-6 | ブリオ | 1.1.0 |
箒 | 0.7.2 | コール | 3.5.1 | キャレット | 6.0-86 |
セルレンジャー | 1.1.0 | クロン | 2.3-56 | クラス | 7.3-19 |
CLI | 2.2.0 | clipr | 0.7.1 | クラスター | 2.1.2 |
コードツール | 0.2-18 | カラースペース | 2.0-0 | コモンマーク | 1.7 |
コンパイラ | 4.1.0 | コンフィグ | 0.3 | COVRの | 3.5.1 |
CPP11の | 0.2.4 | クレヨン | 1.3.4 | 資格情報 | 1.3.0 |
クロストーク | 1.1.0.1 | Curl | 4.3 | データ.テーブル | 1.13.4 |
データセット | 4.1.0 | DBI | 1.1.0 | dbplirの | 2.0.0 |
DESC | 1.2.0 | 開発ツール | 2.3.2 | ディフobj | 0.3.2 |
ダイジェスト | 0.6.27 | dplyrの | 1.0.2 | DT | 0.16 |
省略記号 | 0.3.1 | 評 | 0.14 | ファンシ | 0.4.1 |
ファーバー | 2.0.3 | ファストマップ | 1.0.1 | フォーキャッツ | 0.5.0 |
For each | 1.5.1 | 外国の | 0.8-81 | 鍛える | 0.2.0 |
FSの | 1.5.0 | 未来 | 1.21.0 | ジェネリック | 0.1.0 |
ゲルト | 1.0.2 | ggplot2の | 3.3.2 | gh | 1.2.0 |
ギットレッズ | 0.1.1 | glmnet | 4.0-2 | グローバル | 0.14.0 |
膠 | 1.4.2 | ガウアー | 0.2.2 | グラフィックス | 4.1.0 |
grDevicesの | 4.1.0 | グリッド | 4.1.0 | グリッドエクストラ | 2.3 |
gsubfnの | 0.7 | GTABLE(GTABLE) | 0.3.0 | 避難所 | 2.3.1 |
高い | 0.8 | HMSの | 0.5.3 | htmlツール[htmltools] | 0.5.0 |
htmlウィジェット | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlusの | 1.0-3 | イニ | 0.3.1 |
イプレッド | 0.9-9 | アイソバンド | 0.2.3 | 反復 子 | 1.0.13 |
jsonlite | 1.7.2 | カーンスムース | 2.23-20 | ニット | 1.30 |
ラベリング | 0.4.2 | あとで | 1.1.0.1 | 格子 | 0.20-44 |
溶岩 | 1.6.8.1 | レイジーバル | 0.2.2 | ライフサイクル | 0.2.0 |
リッスン | 0.8.0 | ルブリデート | 1.7.9.2 | マグリット | 2.0.1 |
Markdown | 1.1 | 質量 | 7.3-54 | マトリックス | 1.3-4 |
メモ | 1.1.0 | メソッド | 4.1.0 | mgcv | 1.8-36 |
マイム | 0.9 | モデルメトリクス | 1.2.2.2 | モデラー | 0.1.8 |
マンセル | 0.5.0 | nlme | 3.1-152 | ネット | 7.3-16 |
numDerivの | 2016.8-1.1 | オープンSSL | 1.4.3 | 並列 | 4.1.0 |
並行して | 1.22.0 | 柱 | 1.4.7 | pkgbuild の | 1.1.0 |
pkgconfig | 2.0.3 | pkgload(パッケージロード) | 1.1.0 | plogrの | 0.2.0 |
プライル | 1.8.6 | 褒める | 1.0.0 | プリティユニット | 1.1.1 |
pROC | 1.16.2 | プロセスX | 3.4.5 | 製品 | 2019.11.13 |
経過 | 1.2.2 | 約束 | 1.1.1 | プロト | 1.0.0 |
PS | 1.5.0 | ゴロゴロ | 0.3.4 | R2D3の | 0.2.3 |
R6の | 2.5.0 | ランダムフォレスト | 4.6-14 | ラプディレクトリ | 0.3.1 |
rcmdcheckの | 1.3.3 | RColorブリューワー | 1.1-2 | Rcpp | 1.0.5 |
読み取り | 1.4.0 | readxlの | 1.3.1 | レシピ | 0.1.15 |
再戦 | 1.0.1 | 再戦2 | 2.1.2 | リモコン | 2.2.0 |
レプレックス | 0.3.0 | 形状変更2 | 1.4.4 | レックス | 1.2.0 |
ラン | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
リオキシジェン2 | 7.1.1 | rpart | 4.1-15 | rprojroot さん | 2.0.2 |
サーブ | 1.8-8 | RSQLite (英語) | 2.2.1 | rstudioapi | 0.13 |
rversions | 2.0.2 | アヴェスト | 0.3.6 | 秤 | 1.1.1 |
セレクタ | 0.4-2 | セッション情報 | 1.1.1 | 形 | 1.4.5 |
shiny | 1.5.0 | ソースツール | 0.1.7 | sparklyr | 1.5.2 |
SparkR | 3.1.1 | 空間的 | 7.3-11 | スプライン | 4.1.0 |
sqldf | 0.4-11 | スクエアム | 2020.5 | 統計 | 4.1.0 |
統計4 | 4.1.0 | ストリンギ | 1.5.3 | ストリンガー | 1.4.0 |
生存 | 3.2-11 | SYSの | 3.4 | tcltk | 4.1.0 |
ティーチングデモ | 2.10 | テストを | 3.0.0 | ティブル | 3.0.4 |
ティディル | 1.1.2 | ティディセレクト | 1.1.0 | ティディバース | 1.3.0 |
日時 | 3043.102 | タイニーテックス | 0.28 | ツール | 4.1.0 |
usethisさん | 2.0.0 | UTF8 | 1.1.4 | ユーティリティ | 4.1.0 |
UUIDの | 0.1-4 | vctrs | 0.3.5 | viridisライト | 0.3.0 |
ワルド | 0.2.3 | ウイスカー | 0.4 | ウィザー | 2.3.0 |
xfun | 0.19 | XML2の | 1.3.2 | xopen(オーペン) | 1.0.0 |
エクステーブル | 1.8-4 | ヤムラ | 2.2.1 | 郵便番号 | 2.1.1 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.655 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonawsの | aws-java-sdk-configの | 1.11.655 |
com.amazonawsの | aws-java-sdk-コア | 1.11.655 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.655 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.655 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.655 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.655 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-efs | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.655 |
com.amazonawsの | aws-java-sdk-emr | 1.11.655 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.655 |
com.amazonawsの | aws-java-sdk-グルー | 1.11.655 |
com.amazonawsの | aws-java-sdk-iam | 1.11.655 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.655 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.655 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.655 |
com.amazonawsの | aws-java-sdk-logs | 1.11.655 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.655 |
com.amazonawsの | aws-java-sdk-marketplaceコマースアナリティクス | 1.11.655 |
com.amazonawsの | aws-java-sdk-marketplaceメータリングサービス | 1.11.655 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.655 |
com.amazonawsの | aws-java-sdk-rds | 1.11.655 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.655 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.655 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ses | 1.11.655 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.655 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.655 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.655 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.655 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonawsの | aws-java-sdk-sts | 1.11.655 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.655 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.655 |
com.amazonawsの | jmespath-java | 1.11.655 |
com.chuusai(英語) | shapeless_2.12 | 2.3.3 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.10.0 |
com.fasterxml.jackson.core | ジャクソンコア | 2.10.0 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.10.0 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.10.0 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.10.0 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.10.0 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.10.0 |
com.github.ben-manes.caffeine | カフェイン | 2.3.4 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-メトリクス-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | ZSTD-JNI | 1.4.8-1 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.flatbuffers | フラットバッファ-Java | 1.9.0 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2データベース | H2 | 1.4.195 |
com.helger | プロファイラー | 1.1.1 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssqlの-JDBC | 9.2.1.JRE8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.9.5 |
コム。囀る | chill_2.12 | 0.9.5 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocityの | univocity-パーサー | 2.9.1 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.9.4 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.3.3 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
ハイブ-2.3__hadoop-2.7 | ジェット3T-0.7 | liball_deps_2.12 |
ハイブ-2.3__hadoop-2.7 | 動物園の飼育係-3.4 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.delta | デルタシェアリング-spark_2.12 | 0.1.0 |
io.dropwizard.メトリクス | メトリクスコア | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.1.1 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.1.1 |
io.nettyの | netty-すべて | 4.1.51.最終版 |
io.プロメテウス | シンプルクライアント | 0.7.0 |
io.プロメテウス | simpleclient_common | 0.7.0 |
io.プロメテウス | simpleclient_dropwizard | 0.7.0 |
io.プロメテウス | simpleclient_pushgateway | 0.7.0 |
io.プロメテウス | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 収集家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.10.5 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
Maven-ツリー | ハイブ-2.3__hadoop-2.7 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | パイロライト | 4.30 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.13.3 |
ネット.スノーフレーク | スパーク-snowflake_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.8-1 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-core | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-netty | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 2.0.0 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.commonsの | コモンズ圧縮 | 1.20 |
org.apache.commonsの | コモンズ-クリプト | 1.1.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.10 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.commonsの | コモンズテキスト | 1.6 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.4 |
org.apache.hadoop です。 | hadoop認証 | 2.7.4 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.4 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.4 |
org.apache.hive です。 | ハイブビーライン | 2.3.7 |
org.apache.hive です。 | ハイブ CLI | 2.3.7 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.7 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.7 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.7 |
org.apache.hive です。 | ハイブセルデ | 2.3.7 |
org.apache.hive です。 | ハイブシム | 2.3.7 |
org.apache.hive です。 | ハイブストレージAPI | 2.7.2 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.7 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.7 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.7 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.6 |
org.apache.httpコンポーネント | httpコア | 4.4.12 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.mesos | メソスシェードプロトブ | 1.4.0 |
org.apache.orc | オークコア | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | オークシム | 1.5.12 |
org.apache.parquet | parquet-column | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-common | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-encoding | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-jackson | 1.10.1-データブリックス9 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.xbean | xbean-asm7-シェード | 4.15 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.5.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.14 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋の続き | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-IO | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋プラス | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋警備 | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-util | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-util-ajax | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋XML | 9.4.36.v20210114 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.30 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.30 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.30 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.30 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.30 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.30 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.ファイナル |
org.javassist | ジャバス奏者 | 3.25.0-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.7.0-M5 |
org.json4sの | json4s-core_2.12 | 3.7.0-M5 |
org.json4sの | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4sの | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | LZ4-Javaの | 1.7.1 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.2.5 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.9.14 |
org.roaringbitmap | シム | 0.9.14 |
org.rocksdbの | ロックスDBJNI | 6.20.3 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.10 |
組織Scala-lang | Scala-Library.12 | 2.12.10 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.10 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.1.1 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | そよ風-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatestの | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | 7月-slf4j | 1.7.30 |
org.slf4j | SLF4J-APIの | 1.7.30 |
org.slf4j | SLF4J-ログ4J12 | 1.7.30 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.threetenさん | スリーテンエクストラ | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | マクロ-compat_2.12 | 1.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-platform_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | ワイルドフライ-openssl | 1.0.7.ファイナル |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.8.2 |
org.yaml の | スネークヤム | 1.24 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |