Databricks Runtime 8.3 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
次のリリースノートは、Databricks Runtime Databricks RuntimePhotonApache Spark3.1.1 を搭載した 8.3 および 8.3 に関する情報を提供します。Databricks は 2021 年 6 月にこのバージョンをリリースしました。 Photon は パブリック プレビュー段階です。
新機能と改善点
- Photon による SQL ワークロードの高速化 (パブリック プレビュー)
- Delta テーブルで生成された列 (パブリック プレビュー)
- Auto Loader 機能と改善点
- Delta新しいプログラマティック を使用した テーブルの作成APIs (パブリック プレビュー)
- SQL での Delta テーブル サイズの正しい計算
ANALYZE - RocksDBStateStore使用時のRocksDBパフォーマンスの詳細なメトリクス
- 自動最適化書き込み
- 1つのジョイン側のみがバケット化されている場合、バケット化されたジョインを有効にする
- Spark UDFs を定義する際のセキュリティの向上 (パブリック プレビュー)
- 新しい S3 クライアントでサポートされる CSE-KMS エンドポイント
- OSS Hadoop 構成を Databricks クラスターに簡単に移行 ( S3 AWS 資格情報プロバイダーの OSS と影付きのクラス名の両方をサポートしているため)
- スキーマレジストリへのリクエスト数の削減
from_avro - List Results を使用した R の複数の結果 (パブリック プレビュー)
- バグの修正
Photon による SQL ワークロードの高速化 (パブリック プレビュー)
Photon は、Databricksの新しいネイティブベクトル化エンジンであり、 Apache Spark APIsと直接互換性があります。これは、SQL ワークロードをより高速に実行し、ワークロードあたりの総コストを削減するように設計された 新しい高パフォーマンス ランタイム の一部として含まれています。 このランタイムは標準Databricks Runtimeのバリアントであり、UI、クラスター アAPI、またはジョブ API (APIsでは 8.3.x-photon-scala2.12 として指定) でクラスターを作成するときに選択できます。
Photonは、ドライバーノードとワーカーノードで限られたインスタンスタイプのセットをサポートします。 Photon のインスタンスタイプは、Photon 以外のランタイムを実行している同じインスタンスタイプとは異なる速度で DBU を消費します。 Photon インスタンスとDBU消費量の詳細については、Databricks の価格ページを参照してください。
Delta テーブルで生成された列 (パブリック プレビュー)
Delta Lake では、 生成された列 がサポートされるようになりました。これは、Delta テーブル内の他の列に対するユーザー指定の関数に基づいて値が自動的に生成される特殊な種類の列です。 ほとんどの組み込み SQL 関数を使用して、これらの生成された列の値を生成できます。 たとえば、タイムスタンプ列から日付列 (テーブルを日付でパーティション分割するため) を自動的に生成できます。テーブルへの書き込みでは、タイムスタンプ列のデータを指定するだけで済みます。 生成された列を持つ Delta テーブルは、 SQL、 Scala、 Java 、または Python APIsを使用して作成できます。
詳細については、「生成された列Delta Lake」を参照してください。
Auto Loader 機能と改善点
- の ファイルのスキーマ推論CSVAuto Loader
- Auto Loaderストリームの起動時間の改善
- Auto Loaderでのディレクトリリストの高速化
- Auto Loaderチェックポイントのストレージオーバーヘッドの削減
- Auto Loader 、レスキューされたデータ列にファイルパスが含まれます(使用可能な場合)
- Auto Loader は、ファイル通知モードの Azure Data Lake Storage Gen2 でのファイルの名前変更をサポートします
の ファイルのスキーマ推論CSVAuto Loader
Auto Loader では、 CSV ファイルでのスキーマ推論とスキーマの進化がサポートされるようになりました。 は、Auto Loader の既存のCSVApache Spark パーサーに加えて、次の機能を提供します。
- スキーマのマージ: Auto Loader 、ファイル間でスキーマが異なる (列の数、列の順序が異なる) CSV ファイルを取り込むことができます。
- 救出されたデータ列: 救出されたデータ列を使用して、CSV ファイルに表示される可能性のある予期しないデータを救出できます。 これには、想定されるデータ型で解析できないデータ、ヘッダーの大文字と小文字が異なる列や null 値を持つ列、または想定されるスキーマに含まれていなかった追加の列が含まれます。
詳細については、「Auto Loaderでのスキーマ推論と進化の設定」を参照してください。
Auto Loaderストリームの起動時間の改善
Auto Loader ストリームは、初めて開始するときにストリームの初期バックフィルを非同期的に実行するようになったため、ストリームの起動時間が大幅に短縮されました。 これにより、本番運用データを使用してコードを迅速に反復処理できます (特に、数百万または数十億のファイルを含むディレクトリからデータを取り込む必要がある場合に)。
RocksDBさらに、Auto Loader がexactly-onceセマンティクスを提供するために活用する ファイルのダウンロードとアップロードを並列化したため、再起動するストリームのブートストラップ時間も改善されます。
Auto Loaderでのディレクトリリストの高速化
Auto Loaderのディレクトリリストの効率が大幅に向上しました。このパフォーマンス向上の副作用として、処理する新しいデータがない場合に、ストリームがストレージ システムにより多くのリスト要求を発行する可能性があり、リスト要求の料金が急増する可能性があります。 一般的なベストプラクティスとして、 Databricks では、本番運用 ストリーミング パイプラインの適切なトリガー間隔を設定することをお勧めします。 構造化ストリーミングについては、本番運用に関する考慮事項を参照してください。
Auto Loaderチェックポイントのストレージオーバーヘッドの削減
Auto Loader ストリームは、チェックポイントディレクトリ内の古いファイルを非同期的に自動的にクリーンアップするようになったため、チェックポイントディレクトリのサイズが無期限に増加するのを防ぎ、ストレージコストを削減します。
Auto Loader 、レスキューされたデータ列にファイルパスが含まれます(使用可能な場合)
レスキューされたデータ列は、 _file_ pathという名前の列で該当する場合、レスキューされたデータのファイルパスを自動的に提供します。 これは、データ品質の問題の根本原因を追跡するのに役立ちます。 データスキーマに _file_pathという列が含まれている場合、列は含まれません。 必要に応じて、SQL 設定 spark.databricks.sql.rescuedDataColumn.filePath.name を使用して列の名前を変更できます。
Auto Loader は、ファイル通知モードの Azure Data Lake Storage Gen2 でのファイルの名前変更をサポートします
Auto Loader は、ファイル通知モードで実行しているときに、 Azure Data Lake Storage Gen2 の BlobRenamed イベントをサポートするようになりました。 Azure Data Lake Storage Gen2ファイル通知を使用した名前変更操作を通じて コンテナーにアップロードされたファイルを処理するには、Auto Loader Databricks Runtime8.3 を使用して で新しいストリームを開始します。ファイルが 1 回だけ処理されるようにするには、ファイルの名前変更元のソース ディレクトリが Auto Loaderによって監視されていないことを確認します。
新しいプログラム を使用した テーブルの作成DeltaAPIs (パブリック プレビュー)
新しい Delta テーブルをプログラムで作成できるようになりました ( Scala、 Java、 Pythonを使用) DataFrame APIsを使用せずに。 新しいDeltaTableBuilderとDeltaColumnBuilder APIs では、 SQL CREATE TABLEを使用して指定できるすべてのテーブルの詳細を指定できます。
詳細については、「 テーブルの作成」を参照してください。
SQL での Delta テーブル サイズの正しい計算 ANALYZE
既存の分析ロジックが、 Delta テーブルのテーブルサイズを誤ってコンピュートし、カタログを誤ったサイズで更新します。 この修正は、Delta ログから Delta テーブルのサイズを取得することです。
RocksDBStateStore使用時のRocksDBパフォーマンスの詳細なメトリクス
RocksDB を状態ストアとして使用するように構造化ストリーミング クエリを構成した場合は、get/put レイテンシ、コンパクション レイテンシ、キャッシュ ヒットなどに関する詳細なメトリクスを使用して、RocksDBのパフォーマンスをより詳細に把握できるようになりました。これらのメトリクスは、StreamingQueryProgress と StreamingQueryListener APIs の モニタリング (ストリーミング クエリ) を通じて利用できます。
詳細については、「RocksDBでの 状態ストアの構成Databricks 」を参照してください。
自動最適化書き込み
パーティション分割された Delta テーブルに対する最適化された書き込みは、サブクエリを含む更新クエリと削除クエリに対して自動的に有効になりました。
1つのジョイン側のみがバケット化されている場合、バケット化されたジョインを有効にする
新しい構成 spark.databricks.sql.minBucketsForBucketedJoin では、結合側が 1 つだけバケット化され、バケットの数がこの設定値より小さくない場合に、バケット化された結合が有効になります。 デフォルトでは、この設定値はデフォルトのシャッフルパーティション番号(200)と同じです。
Spark UDFs を定義する際のセキュリティの向上 (パブリック プレビュー)
ユーザー情報関数 current_user と is_member は、Python spark.udf.register や SQL create or replace temp functionなどの一時関数でオーバーライドできなくなりました。
新しい S3 クライアントでサポートされる CSE-KMS エンドポイント
S3 コネクタでは、AWS KMS サービス (CSE-KMS) によって管理されるキーで AWS S3 クライアント側の暗号化を使用する場合に、カスタム KMS エンドポイントを設定する fs.s3a.cse.kms.endpoint オプションがサポートされるようになりました。有効なエンドポイントの一覧については 、AWS の記事AWS Key Management サービスのエンドポイントとクォータ を参照してください。このオプションが指定されていない場合、CSE-KMS デフォルトは us-east-1 region by デフォルトになります。 顧客提供のキーを使用してクライアント側 S3 暗号化を使用する場合、このオプションは無効です。
OSS Hadoop 構成を Databricks クラスターに簡単に移行 ( S3 AWS 資格情報プロバイダーの OSS と影付きのクラス名の両方をサポートしているため)
オープンソースの Hadoop AWS 認証情報プロバイダ ( org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider、 org.apache.hadoop.fs.s3a.auth.AssumedRoleCredentialProvider、 org.apache.hadoop.fs.s3a.AnonymousAWSCredentialsProviderなど) は、既存の認証方法に加えて、S3 Storage Connector の Hadoop 設定の一部として設定できます。 これにより、OSS Hadoop 構成を Databricks クラスターに簡単に移行できます。
スキーマレジストリへのリクエスト数の削減 from_avro
スキーマレジストリをサポートする from_avro クエリは、スキーマレジストリサービスへのリクエストをそれほど多く生成しなくなり、運用コストを節約できます。
List Results を使用した R の複数の結果 (パブリック プレビュー)
Databricks R ノートブックで、各セルで複数の結果がサポートされるようになりました。 以前は、ノートブックのセルごとに 1 つの結果のみがレンダリングされていました。 現在、R ノートブックの 1 つのセルの結果は、次の順序で表示されます。
- RShinyのURL
- プロット
- displayHTML の出力
- テーブル
- 標準出力
バグの修正
- AWS Glue Catalog のプッシュダウン述語 (StartsWith、EndsWith、Contains、Not(EqualTo()) および DataType) のリストは、Glue でまだサポートされていないため、無効にしました。
ライブラリのアップグレード
-
アップグレードされた Python ライブラリ:
- コアラが1.7.0から1.8.0にアップグレードされました。
- Pandas 1.1.3 からアップグレード を 1.1.5 に設定します。
- s3transfer を 0.3.4 から 0.3.6 にアップグレードしました。
-
アップグレードされた R ライブラリ:
- SparkR を 3.1.1 から 3.1.2 にアップグレードしました。
-
アップグレードされた Java ライブラリ:
- mariadb-java-client 2.1.2から を 2.2.5 に設定します。
- 1.10.1-databricks6 から 1.10.1-databricks9 への parquet-column
- parquet-common (1.10.1-databricks6 から 1.10.1-databricks9 まで)
- 1.10.1-databricks6 から 1.10.1-databricks9 への parquet エンコード
- parquet-hadoop を 1.10.1-databricks6 から 1.10.1-databricks9 に変更
- parquet-jackson の 1.10.1-databricks6 から 1.10.1-databricks9 へ
Apache Spark
Databricks Runtime 8.3 には Apache Spark 3.1.1 が含まれています。 このリリースには、Spark のすべての修正と改善が含まれています Databricks Runtime 8.2 (EoS) に含まれており、Spark に対して行われた次の追加のバグ修正と機能強化も含まれています。
- [SPARK-34614] [SQL] ANSI モード: 文字列を Boolean にキャストすると、解析エラーで例外がスローされる必要がある
- [SPARK-34246] [フォローアップ] 「findTightestCommonT...
- [SPARK-35213] [SQL] 連鎖したwithField操作でネストされた構造体の正しい順序を維持する
- [SPARK-35096] [SQL] SchemaPruningはspark.sql.caseSensitiveに準拠するべき コンフィグ
- [SPARK-35227] [ビルド] SparkSubmitのspark-packagesのリゾルバーを更新
- [SPARK-35224] [SQL] のバッファオーバーフローを修正
MutableProjectionSuite - [SPARK-34245] [CORE] 完了状態の送信に失敗したエグゼキューターをマスターが削除するようにする問題を修正
- [SPARK-34856] [SQL] ANSIモード:複合型を文字列型としてキャストできるようにする
- [SPARK-34946] [SQL] Aggregateでブロックがサポートされていない相関スカラーサブクエリ
- 【スパーク-35014】 折り畳み式を書き換えないように PhysicalAggregation パターンを修正します
- [SPARK-34769] [SQL] AnsiTypeCoercion: 最も近いコン...
システム環境
- オペレーティングシステム :Ubuntu 18.04.5 LTS
- Java :Zulu 8.52.0.23-CA-linux64(ビルド1.8.0_282-b08)
- Scala : 2.12.10
- Python : 3.8.8
- R :Rバージョン4.0.4 (2021-02-15)
- Delta Lake 1.0.0
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
appdirs (英語) | 1.4.4 | ASN1暗号 | 1.4.0 | バックコール | 0.2.0 |
ボト3 | 1.16.7 | ボトコア | 1.19.7 | ブロトリピー | 0.7.0 |
認証 | 2020.12.5 | cffi | 1.14.3 | シャルデ | 3.0.4 |
暗号化手法 | 3.1.1 | サーマルサイクラー | 0.10.0 | シトン | 0.29.21 |
デコレータ | 4.4.2 | ディストリビューション | 0.3.1 | docutilsの | 0.15.2 |
エントリポイント | 0.3 | facets-概要 | 1.0.0 | ファイルロック | 3.0.12 |
イドナ | 2.10 | ipykernel(英語) | 5.3.4 | アイパイソン | 7.19.0 |
ipython-genutils | 0.2.0 | ジェダイ | 0.17.2 | jmespathの | 0.10.0 |
ジョブリブ | 0.17.0 | jupyter-クライアント | 6.1.7 | ジュピターコア | 4.6.3 |
キウイソルバー | 1.3.0 | koalas | 1.8.0 | Matplotlib | 3.2.2 |
ナムピー | 1.19.2 | pandas | 1.1.5 | パルソ | 0.7.0 |
パッツィ | 0.5.1 | pexpect | 4.8.0 | ピクルシェア | 0.7.5 |
種 | 20.2.4 | Plotly | 4.14.3 | プロンプトツールキット | 3.0.8 |
プロトブフ | 3.17.0 | サイコップ2 | 2.8.5 | PTYPROCESSの | 0.6.0 |
ピアロー | 1.0.1 | pycparser | 2.20 | ピグメント | 2.7.2 |
pyOpenSSLの | 19.1.0 | pyparsing (英語) | 2.4.7 | PySocks(パイソックス) | 1.7.1 |
Python-dateutil | 2.8.1 | ピッツ | 2020.5 | ピズム | 19.0.2 |
要求 | 2.24.0 | 再試行 | 1.3.3 | S3トランスファー | 0.3.6 |
Scikit-Learn | 0.23.2 | scipy(サイピー) | 1.5.2 | シーボーン | 0.10.0 |
セットアップツール | 50.3.1 | 6 | 1.15.0 | 統計モデル | 0.12.0 |
スレッドプールctl | 2.1.0 | 竜巻 | 6.0.4 | トレイトレット | 5.0.5 |
urllib3 の | 1.25.11 | virtualenv | 20.2.1 | WC幅 | 0.2.5 |
輪 | 0.35.1 |
インストールされている R ライブラリ
R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされます。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
アスクパス | 1.1 | assertthat | 0.2.1 | バックポート | 1.2.1 |
基 | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
bit | 4.0.4 | ビット64 | 4.0.5 | ブロッブ | 1.2.1 |
ブート | 1.3-27 | 醸成 | 1.0-6 | ブリオ | 1.1.0 |
箒 | 0.7.2 | コール | 3.5.1 | キャレット | 6.0-86 |
セルレンジャー | 1.1.0 | クロン | 2.3-56 | クラス | 7.3-18 |
CLI | 2.2.0 | clipr | 0.7.1 | クラスター | 2.1.1 |
コードツール | 0.2-18 | カラースペース | 2.0-0 | コモンマーク | 1.7 |
コンパイラ | 4.0.4 | コンフィグ | 0.3 | COVRの | 3.5.1 |
CPP11の | 0.2.4 | クレヨン | 1.3.4 | 資格情報 | 1.3.0 |
クロストーク | 1.1.0.1 | Curl | 4.3 | データ.テーブル | 1.13.4 |
データセット | 4.0.4 | DBI | 1.1.0 | dbplirの | 2.0.0 |
DESC | 1.2.0 | 開発ツール | 2.3.2 | ディフobj | 0.3.2 |
ダイジェスト | 0.6.27 | dplyrの | 1.0.2 | DT | 0.16 |
省略記号 | 0.3.1 | 評 | 0.14 | ファンシ | 0.4.1 |
ファーバー | 2.0.3 | ファストマップ | 1.0.1 | フォーキャッツ | 0.5.0 |
For each | 1.5.1 | 外国の | 0.8-81 | 鍛える | 0.2.0 |
FSの | 1.5.0 | 未来 | 1.21.0 | ジェネリック | 0.1.0 |
ゲルト | 1.0.2 | ggplot2の | 3.3.2 | gh | 1.2.0 |
ギットレッズ | 0.1.1 | glmnet | 4.0-2 | グローバル | 0.14.0 |
膠 | 1.4.2 | ガウアー | 0.2.2 | グラフィックス | 4.0.4 |
grDevicesの | 4.0.4 | グリッド | 4.0.4 | グリッドエクストラ | 2.3 |
gsubfnの | 0.7 | GTABLE(GTABLE) | 0.3.0 | 避難所 | 2.3.1 |
高い | 0.8 | HMSの | 0.5.3 | htmlツール[htmltools] | 0.5.0 |
htmlウィジェット | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlusの | 1.0-3 | イニ | 0.3.1 |
イプレッド | 0.9-9 | アイソバンド | 0.2.3 | 反復 子 | 1.0.13 |
jsonlite | 1.7.2 | カーンスムース | 2.23-18 | ニット | 1.30 |
ラベリング | 0.4.2 | あとで | 1.1.0.1 | 格子 | 0.20-41 |
溶岩 | 1.6.8.1 | レイジーバル | 0.2.2 | ライフサイクル | 0.2.0 |
リッスン | 0.8.0 | ルブリデート | 1.7.9.2 | マグリット | 2.0.1 |
Markdown | 1.1 | 質量 | 7.3-53.1 | マトリックス | 1.3-2 |
メモ | 1.1.0 | メソッド | 4.0.4 | mgcv | 1.8-33 |
マイム | 0.9 | モデルメトリクス | 1.2.2.2 | モデラー | 0.1.8 |
マンセル | 0.5.0 | nlme | 3.1-152 | ネット | 7.3-15 |
numDerivの | 2016.8-1.1 | オープンSSL | 1.4.3 | 並列 | 4.0.4 |
並行して | 1.22.0 | 柱 | 1.4.7 | pkgbuild の | 1.1.0 |
pkgconfig | 2.0.3 | pkgload(パッケージロード) | 1.1.0 | plogrの | 0.2.0 |
プライル | 1.8.6 | 褒める | 1.0.0 | プリティユニット | 1.1.1 |
pROC | 1.16.2 | プロセスX | 3.4.5 | 製品 | 2019.11.13 |
経過 | 1.2.2 | 約束 | 1.1.1 | プロト | 1.0.0 |
PS | 1.5.0 | ゴロゴロ | 0.3.4 | R2D3の | 0.2.3 |
R6の | 2.5.0 | ランダムフォレスト | 4.6-14 | ラプディレクトリ | 0.3.1 |
rcmdcheckの | 1.3.3 | RColorブリューワー | 1.1-2 | Rcpp | 1.0.5 |
読み取り | 1.4.0 | readxlの | 1.3.1 | レシピ | 0.1.15 |
再戦 | 1.0.1 | 再戦2 | 2.1.2 | リモコン | 2.2.0 |
レプレックス | 0.3.0 | 形状変更2 | 1.4.4 | レックス | 1.2.0 |
ラン | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
リオキシジェン2 | 7.1.1 | rpart | 4.1-15 | rprojroot さん | 2.0.2 |
サーブ | 1.8-7 | RSQLite (英語) | 2.2.1 | rstudioapi | 0.13 |
rversions | 2.0.2 | アヴェスト | 0.3.6 | 秤 | 1.1.1 |
セレクタ | 0.4-2 | セッション情報 | 1.1.1 | 形 | 1.4.5 |
shiny | 1.5.0 | ソースツール | 0.1.7 | sparklyr | 1.5.2 |
SparkR | 3.1.2 | 空間的 | 7.3-11 | スプライン | 4.0.4 |
sqldf | 0.4-11 | スクエアム | 2020.5 | 統計 | 4.0.4 |
統計4 | 4.0.4 | ストリンギ | 1.5.3 | ストリンガー | 1.4.0 |
生存 | 3.2-7 | SYSの | 3.4 | tcltk | 4.0.4 |
ティーチングデモ | 2.10 | テストを | 3.0.0 | ティブル | 3.0.4 |
ティディル | 1.1.2 | ティディセレクト | 1.1.0 | ティディバース | 1.3.0 |
日時 | 3043.102 | タイニーテックス | 0.28 | ツール | 4.0.4 |
usethisさん | 2.0.0 | UTF8 | 1.1.4 | ユーティリティ | 4.0.4 |
UUIDの | 0.1-4 | vctrs | 0.3.5 | viridisライト | 0.3.0 |
ワルド | 0.2.3 | ウイスカー | 0.4 | ウィザー | 2.3.0 |
xfun | 0.19 | XML2の | 1.3.2 | xopen(オーペン) | 1.0.0 |
エクステーブル | 1.8-4 | ヤムラ | 2.2.1 | 郵便番号 | 2.1.1 |
インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.12.0 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.655 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.655 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonawsの | aws-java-sdk-configの | 1.11.655 |
com.amazonawsの | aws-java-sdk-コア | 1.11.655 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.655 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.655 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.655 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.655 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-efs | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.655 |
com.amazonawsの | aws-java-sdk-emr | 1.11.655 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.655 |
com.amazonawsの | aws-java-sdk-iam | 1.11.655 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.655 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.655 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.655 |
com.amazonawsの | aws-java-sdk-logs | 1.11.655 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.655 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.655 |
com.amazonawsの | aws-java-sdk-rds | 1.11.655 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.655 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.655 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.655 |
com.amazonawsの | aws-java-sdk-ses | 1.11.655 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.655 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.655 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.655 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.655 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.655 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonawsの | aws-java-sdk-sts | 1.11.655 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.655 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.655 |
com.amazonawsの | jmespath-java | 1.11.655 |
com.chuusai(英語) | shapeless_2.12 | 2.3.3 |
com.clearspring.アナリティクス | stream | 2.9.6 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapbのruntime_2.12 | 0.4.15-10 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.3.4 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.10.0 |
com.fasterxml.jackson.core | ジャクソンコア | 2.10.0 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.10.0 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.10.0 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.10.0 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.10.0 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.12 | 2.10.0 |
com.github.ben-manes.caffeine | カフェイン | 2.3.4 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-メトリクス-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | ZSTD-JNI | 1.4.8-1 |
com.github.wendykierp (英語) | JTransformsの | 3.1 |
com.google.code.findbugs | JSR305 | 3.0.0 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.flatbuffers | フラットバッファ-Java | 1.9.0 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2データベース | H2 | 1.4.195 |
com.helger | プロファイラー | 1.1.1 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.lihaoyi | sourcecode_2月12日 | 0.1.9 |
com.microsoft.azure | azure-データレイク-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssqlの-JDBC | 9.2.1.JRE8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | JSON | 1.8 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.12 | 0.4.12 |
コム。囀る | チルジャワ | 0.9.5 |
コム。囀る | chill_2.12 | 0.9.5 |
コム。囀る | util-app_2.12 | 7.1.0 |
コム。囀る | util-core_2.12 | 7.1.0 |
コム。囀る | util-function_2.12 | 7.1.0 |
コム。囀る | util-jvm_2.12 | 7.1.0 |
コム。囀る | util-lint_2.12 | 7.1.0 |
コム。囀る | util-registry_2.12 | 7.1.0 |
コム。囀る | util-stats_2.12 | 7.1.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging_2.12 | 3.7.2 |
com.univocityの | univocity-パーサー | 2.9.1 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.9.4 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
コモンズファイルアップロード | コモンズファイルアップロード | 1.3.3 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
ハイブ-2.3__hadoop-2.7 | ジェット3T-0.7 | liball_deps_2.12 |
ハイブ-2.3__hadoop-2.7 | 動物園の飼育係-3.4 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.10 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.dropwizard.メトリクス | メトリクスコア | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JMX | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JSON | 4.1.1 |
io.dropwizard.メトリクス | メトリクス-JVM | 4.1.1 |
io.dropwizard.メトリクス | メトリクスサーブレット | 4.1.1 |
io.nettyの | netty-すべて | 4.1.51.最終版 |
io.プロメテウス | シンプルクライアント | 0.7.0 |
io.プロメテウス | simpleclient_common | 0.7.0 |
io.プロメテウス | simpleclient_dropwizard | 0.7.0 |
io.プロメテウス | simpleclient_pushgateway | 0.7.0 |
io.プロメテウス | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 収集家 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation(ジャカルタ検証) | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activationの | アクティベーション | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | トランザクションAPI | 1.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.10.5 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
Maven-ツリー | ハイブ-2.3__hadoop-2.7 | liball_deps_2.12 |
net.razorvine | パイロライト | 4.30 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.6 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.13.3 |
ネット.スノーフレーク | スパーク-snowflake_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt.remoteteaの | リモートTEA-ONCRPC | 1.1.2 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.5.2 |
org.antlr | antlr4ランタイム | 4.8-1 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-core | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory-netty | 2.0.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 2.0.0 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.commonsの | コモンズ圧縮 | 1.20 |
org.apache.commonsの | コモンズ-クリプト | 1.1.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.10 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.commonsの | コモンズテキスト | 1.6 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.4 |
org.apache.hadoop です。 | hadoop認証 | 2.7.4 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.4 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.4 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.4 |
org.apache.hive です。 | ハイブビーライン | 2.3.7 |
org.apache.hive です。 | ハイブ CLI | 2.3.7 |
org.apache.hive です。 | ハイブ共通 | 2.3.7 |
org.apache.hive です。 | ハイブ実行コア | 2.3.7 |
org.apache.hive です。 | ハイブ-JDBC | 2.3.7 |
org.apache.hive です。 | ハイブ - llap クライアント | 2.3.7 |
org.apache.hive です。 | ハイブ - llap - 共通 | 2.3.7 |
org.apache.hive です。 | Hive metastore | 2.3.7 |
org.apache.hive です。 | ハイブセルデ | 2.3.7 |
org.apache.hive です。 | ハイブシム | 2.3.7 |
org.apache.hive です。 | ハイブストレージAPI | 2.7.2 |
org.apache.hive です。 | ハイブベクトルコード生成 | 2.3.7 |
org.apache.hive.shims | ハイブシム-0.23 | 2.3.7 |
org.apache.hive.shims | ハイブシム-共通 | 2.3.7 |
org.apache.hive.shims | ハイブシムススケジューラ | 2.3.7 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.6 |
org.apache.httpコンポーネント | httpコア | 4.4.12 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.mesos | メソスシェードプロトブ | 1.4.0 |
org.apache.orc | オークコア | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | オークシム | 1.5.12 |
org.apache.parquet | parquet-column | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-common | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-encoding | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-データブリックス9 |
org.apache.parquet | parquet-jackson | 1.10.1-データブリックス9 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.12.0 |
org.apache.velocityの | 速度 | 1.5 |
org.apache.xbean | xbean-asm7-シェード | 4.15 |
org.apache.yetus (英語) | オーディエンスアノテーション | 0.5.0 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.14 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.16 |
org.codehaus.janino | ジャニーノ | 3.0.16 |
org.datanucleus (英語) | データ核-API-JDO | 4.2.4 |
org.datanucleus (英語) | データ核コア | 4.1.17 |
org.datanucleus (英語) | データ核-RDBMS | 4.1.19 |
org.datanucleus (英語) | javax.jdo | 3.2.0-m3 |
組織Eclipse.jetty | 桟橋クライアント | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋の続き | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-HTTP | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-IO | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-JNDI | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋プラス | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋プロキシ | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋警備 | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋サーバー | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋サーブレット | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-util | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-util-ajax | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋-webapp | 9.4.36.v20210114 |
組織Eclipse.jetty | 桟橋XML | 9.4.36.v20210114 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.6.1 |
org.glassfish.hk2 | HK2ロケーター | 2.6.1 |
org.glassfish.hk2 | hk2-utilsの | 2.6.1 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.3 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.6.1 |
org.glassfish.hk2.external (英語) | jakarta.inject です。 | 2.6.1 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.30 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.30 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.30 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.30 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.30 |
org.glassfish.jersey.inject | ジャージ-HK2 | 2.30 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.ファイナル |
org.javassist | ジャバス奏者 | 3.25.0-GAの |
org.jboss.logging | jboss-ロギング | 3.3.2.ファイナル |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.12 | 3.7.0-M5 |
org.json4sの | json4s-core_2.12 | 3.7.0-M5 |
org.json4sの | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4sの | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | LZ4-Javaの | 1.7.1 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.2.5 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.9.0 |
org.roaringbitmap | シム | 0.9.0 |
org.rocksdbの | ロックスDBJNI | 6.2.2 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.12 | 2.12.10 |
組織Scala-lang | Scala-Library.12 | 2.12.10 |
組織Scala-lang | Scala-reflect_2.12 | 2.12.10 |
組織Scala-lang.modules | Scalaコレクションcompat_2.12 | 2.1.1 |
組織Scala-lang.modules | Scala-parser-combinators_2.12 | 1.1.2 |
組織Scala-lang.modules | Scala-xml_2.12 | 1.2.0 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | そよ風-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatestの | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | 7月-slf4j | 1.7.30 |
org.slf4j | SLF4J-APIの | 1.7.30 |
org.slf4j | SLF4J-ログ4J12 | 1.7.30 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.threetenさん | スリーテンエクストラ | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | マクロ-compat_2.12 | 1.1.1 |
org.typelevel | スパイア-macros_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-platform_2.12 | 0.17.0-M1 |
org.typelevel | スパイア-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | ワイルドフライ-openssl | 1.0.7.ファイナル |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.8.2 |
org.yaml の | スネークヤム | 1.24 |
オロ | オロ | 2.0.8 |
pl.edu.icm | JLarge配列 | 1.5 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |