Databricks Runtime 5.5 LTS (EoS)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks は 2019 年 7 月にこのバージョンをリリースしました。 2019 年 8 月に長期サポート (LTS) が宣言されました。 サポートは 2021 年 7 月 27 日に終了しました。 Databricks Runtime 5.5 延長サポート (EoS) は 2021 年 7 月 8 日にリリースされ、5.5 のサポートを 2021 年 12 月まで延長しました。 非推奨のUbuntu 16.04.6の代わりにUbuntu 18.04.5 LTSを使用します 元の Databricks Runtime 5.5 LTS で使用されていた LTS ディストリビューション。 Ubuntuの16.04.6 LTS のサポートは 2021 年 4 月 1 日に終了しました。
次のリリースノートでは、 Databricks Runtime 5.5, powered by Apache Sparkに関する情報を提供しています。
新機能
Databricks 上の Delta Lake 自動最適化
現在、クラウドストレージにデータを書き込む場合、最適なI/Oパフォーマンスを得るためにファイルを圧縮する必要があります。適切なファイルサイズ、ファイルを圧縮する頻度、使用するクラスターの大きさなどについて心配する必要があります。 このクラスの問題に対処するために、 Delta Lake on Databricksを使用した Auto Optimize の一般提供を発表できることを嬉しく思います。 Delta テーブルへの書き込みのたびに、適切なファイル サイズとコンパクトなファイルが自動的に計算されるため、ストレージ レイアウトの最適化について心配する必要はありません。書き込み中に auto-optimize オプションが trueの場合、Databricks は最適化が必要かどうかを自動的に判断し、小さなファイルを最適化します。詳細については、「 データ ファイル サイズを制御するための Delta Lake の構成」を参照してください。
Delta Lake on Databricks により、集約クエリの最小、最大、カウントのパフォーマンスが向上しました
Databricks 上の Delta Lake の min、max、count 集計クエリのパフォーマンスは、読み取られるデータの量を減らすことで大幅に向上しました。これらのクエリは、データのスキャンではなく、メタデータの統計とパーティション値を使用して実行されるようになりました。
Presto と Athena によるDelta での テーブルのサポートAWSS3 (パブリックプレビュー)
Presto や Athena などの外部ツールから Delta テーブルに対してクエリを実行できるようになりました。 Presto と Athena は、処理するデータファイルのリストがマニフェストファイル (テーブルのクエリのために読み取るデータファイルのリストを含むテキストファイル) から読み取られるときに、外部テーブルからの読み取りをサポートします。 マニフェストファイルを使用して Hive metastore で外部テーブルが定義されている場合、Presto と Athena は、ディレクトリリストでファイルを検索するのではなく、マニフェスト内のファイルのリストを使用します。
Databricks メタストアとしての Glue カタログ
Glue Catalog のサポートは一般提供されています。 この機能を使用すると、Databricks Runtime AWSGlueデータカタログをメタストアとして使用するように を構成でき、 外部Hive metastoreのドロップイン置換として機能します。また、複数の Databricks ワークスペースで同じメタストアを共有することもできます。 詳細情報と制限事項については、「AWS Glue データ カタログをメタストアとして使用する (レガシ)」を参照してください。
プレビュー
Glue Catalog の資格情報パススルーはプライベート プレビュー段階です。これを試してみたい場合は、サポートにお問い合わせください。
Faster model inference パイプライン with improved binary file データソース and scalar iterator Pandas UDF (パブリック プレビュー)
機械学習タスク、特に画像およびビデオ領域では、多くの場合、多数のファイルを操作する必要があります。 Databricks Runtime5.4 では、画像などの任意のファイルを テーブルに するのに役立つバイナリファイル データソースをすでに利用可能にしています。ETLSparkDatabricks Runtime 5.5 では、入れ子になった入力ディレクトリからファイルを再帰的に読み込むためのオプション recursiveFileLookupが追加されました。 バイナリファイルを参照してください。
binary file データソースを使用すると、スカラーSpark PandasUDFを使用して、 テーブルからモデル推論タスクを並列に実行できます。ただし、レコードバッチごとにモデルを初期化しなければならない場合があり、オーバーヘッドが発生します。 Databricks Runtime5.5PandasUDF では、Apache Spark マスターから "スカラー イテレータ" と呼ばれる新しい 型をバックポートしました。これを使用すると、モデルを一度初期化するだけで、モデルを多くの入力バッチに適用できるため、ResNet50 などのモデルでは 2 倍から 3 倍のスピードアップを実現できます。 「直列からスカラー UDF へ」を参照してください。
R ノートブックのシークレット API
Secrets API を使用すると、ノートブックをハードコーディングせずにシークレットを注入できます。この API は、Python と Scala ノートブックの既存のサポートに加えて、R ノートブックで使用できるようになりました。 dbutils.secrets.get 関数を使用してシークレットを取得できます。シークレットは、ノートブックのセルに印刷する前に編集されます。
改善
- Python
foreachBatchでの Delta Lake SQL 操作の実行のサポート : Python で定義された構造化ストリーミング クエリのforeachBatch内部から Delta テーブルに書き込むことができないという既知の制限を修正しました。 これは、一般的な Python ストリーミング ワークロードで役立ちます。たとえば、 MERGE と foreachBatch を使用して更新モードでストリーミング集計を書き込む場合などです。 - データレイク Gen2 に格納されている テーブルのパフォーマンス:Delta 上のAzureDelta ADLSテーブルの最新バージョンのチェックでは、使用可能なすべてのバージョンがリストされるのではなく、トランザクション ログの末尾のみがチェックされるようになりました。この最適化により、
UPDATEは一定時間操作になり、遅延が大幅に改善されます。 - Optimize
ZORDER BYのスケーラビリティ:Z-Ordering 非常に大きなDelta テーブルでの 、高度なアドミッション制御によって管理される小さな作業単位が使用されるようになりました。この機能により、クラスターの使用率を犠牲にすることなく、この操作の安定性が向上します。 - 多数の列を持つテーブルでの DML コマンドのパフォーマンスの向上:
UPDATE、DELETE、MERGEコマンドで一致するデータをスキャンするときに、列のプルーニングをより適切に実行できるようになりました。 - Spark での VNet + サービス エンドポイントの設定のサポート - Synapse アナリティクス コネクタ: ADL Gen2 パスを一時データの場所 (
.option("tempDir", "abfss://...")) として許可リストに追加し、Synapse アナリティクスがマネージド ID を介して V2 ストレージ アカウントに対して認証するように構成されている場合に、forward_spark_azure_storage_credentialsの代わりに使用するuseAzureMSIという新しいオプションを追加しました。 - ディスク キャッシュの自動無効化: ディスク キャッシュは、キャッシュ後に変更または上書きされたファイルを自動的に検出するようになりました。 古いエントリは自動的に無効になり、キャッシュから削除されます。 「Databricks でのキャッシュによるパフォーマンスの最適化」を参照してください。
- Pythonライブラリホイールを0.33.3から0.33.4にアップグレードしました。
- R ライブラリ nlme を 3.1-139 から 3.1-140 にアップグレードしました。
バグの修正
-
ファイルを削除して再度追加すると、S3-SQS/ABS-AQS コネクタで Corrupt Delta テーブル エラーが発生する可能性があるバグを修正しました。
-
Spark ジョブを実行しない R コマンドのキャンセルを修正しました。以前は、 Spark ジョブを実行しないRコマンドはキャンセルできましたが、ノートブックの状態は失われていました。ノートブックの状態を失わずにコマンドをキャンセルできるようになりました。
-
マネージドテーブルを削除または移動すると、キャッシュされた Delta Lake ログが無効になりました。
-
Delta Lakeチェックポイントの書き込みが
FileAlreadyExistsExceptionにより失敗する場合があるバグを修正しました。 -
Scala REPL は、Java 8 の機能を使用する Java メソッドの呼び出しをサポートするために、適切な
-target:jvm-1.8フラグを設定するようになりました。
Apache Spark
Databricks Runtime 5.5 には Apache Spark 2.4.3 が含まれています。 このリリースには、 Databricks Runtime 5.4 (EoS) に含まれるすべての Spark の修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
-
[SPARK-26856][PySpark] Kinesis アセンブリのパターンが間違っていることによるUTの失敗を修正
-
[スパーク-24695] UDF が CalendarInterval を返すことを許可する
-
[SPARK-28056] SCALAR_ITER Pandas UDFのdocstring/doctestを追加
-
【スパーク-28185】 Python UDF が早期に停止したときにジェネレータを閉じます
-
[スパーク-24703] 間隔乗算のサポート
-
[SPARK-27018][CORE] PeriodicCheckpointerのチェックポイント付きファイルの誤った削除を修正
-
[SPARK-28127][SQL] TreeNodeのmapChildrenメソッドのマイクロ最適化
-
【スパーク-26038】 Decimal toScalaBigInt/toJavaBigInteger (long に収まらない小数の場合)
-
[SPARK-26555][SQL] ScalaReflection サブタイプチェックスレッドセーフに
-
[SPARK-28081][ML] word2vecで大量の語彙を処理する
-
[SPARK-21882][CORE] OutputMetricsがsaveAsHadoopDataset関数で書き込まれたバイトを正しくカウントしない
-
[SPARK-28030] バイナリファイルデータソースのfilePathをURIに変換
-
[SPARK-27803] [SQL][Python] Python UDFの列の剪定を修正
-
[SPARK-27917][SQL] CaseWhenオブジェクトの正規形式が正しくない
-
[SPARK-27798][SQL] from_avroローカルリレーションに変換したときに同じ値を生成しないようにする必要があります
-
[SPARK-27873][SQL] enforceSchema を無効にするときに、CSV ヘッダーの列名で columnNameOfCorruptRecord をチェックしないでください
-
[SPARK-27907][SQL] HiveUDAFは0行の場合にNULLを返すべき
-
[SPARK-27699][SQL] Parquet/ORCで選言述語を部分的にプッシュダウン
-
[SPARK-27868][CORE] ソケットサーバーバックログのデフォルト値とドキュメントを改善しました。
-
[SPARK-27869][CORE] UIからシステムプロパティの機密情報を墨消しする
-
[SPARK-27863][SQL][BACKPORT-2.4]メタデータファイルと一時ファイルをデータファイルとしてカウントしないでください
-
[SPARK-27657][ML] ml.util.Instrumentation.logFaiのログ形式を修正...
-
[SPARK-27858][SQL] 複数の非null型を持つ共用体型でのAvro逆シリアル化の修正
-
[SPARK-27711][CORE] タスクの終了時にInputFileBlockHolderの設定を解除
-
[SPARK-27351][SQL] null 値の列のみを含む AggregateEstimation 後の outputRows 推定が正しくない
-
[SPARK-27539][SQL] null 値を含む列での不正確な集計 outputRows 推定を修正」
-
[SPARK-27800][SQL] BitwiseXorテストケースの間違った答えを修正
-
[SPARK-27639][SQL] InMemoryTableScanは、可能な場合、UIにテーブル名を表示します
-
[SPARK-27726][CORE] 高負荷時にInMemoryStoreを使用するとElementTrackingStoreが削除されるパフォーマンスを修正
-
[SPARK-27771][SQL] グループ化関数(キューブ、ロールアップ、グループ化、grouping_id)のSQL説明を追加
-
[SPARK-27735][SS] SSでは、間隔文字列の解析で大文字と小文字を区別しないようにする必要があります
-
[SPARK-26856][] PySparkPythonfrom_avroおよびto_avro のサポートAPI
-
[SPARK-26870][SQL] Javaとの互換性のため、to_avro/from_avroをfunctionsオブジェクトに移動
-
[SPARK-26812][SQL] Unionの複合データ型の正しいnull可能性を報告
-
[SPARK-27671][SQL] 構造体内のネストされたnullからキャストする際のエラーを修正
-
[SPARK-27673][SQL] ランダム、正規表現、ヌル式に
since情報を追加 -
[SPARK-27672][SQL] 文字列式に
since情報を追加 -
[スパーク-25139][スパーク-18406][コア]PythonRunnerでエグゼキューターを殺すためにNonFatalsを避けてください
-
[SPARK-27624][CORE] CalenderIntervalを修正して空の間隔を正しく表示するように修正
-
[SPARK-27577][MLlib] BinaryClassificationMetricsでダウンサンプリングされたしきい値を修正
-
[SPARK-27621][ML] 線形回帰 - フィッティングフェーズ中にのみ、損失などのトレーニング関連パラメーターを検証します
-
【スパーク-26048】【スパーク-24530】 2.4リリーススクリプトに欠けているすべてのコミットをチェリーピックします
-
[SPARK-24935] [SQL] Hive UDAF アダプターで INIT -> UPDATE -> MERGE -> FINISH をサポート
メンテナンスの更新
「Databricks Runtime 5.5 メンテナンスの更新」を参照してください。
システム環境
- オペレーティングシステム :Ubuntu 16.04.6 LTSの
- Java : 1.8.0_252
- Scala : 2.11.12
- Python :2.7.12(Python 2クラスター用、3.5.2用)Python 3 クラスターの場合。
- R :Rバージョン3.6.0 (2019-04-26)
- GPU クラスター : 次の NVIDIA GPU ライブラリがインストールされています。
- テスラドライバー375.66
- CUDA 9.0の
- cuDNN 7.0
Scala 2.12 は Apache Spark 2.4 でサポートされていますが、Databricks Runtime 5.5 ではサポートされていません。
このセクションの内容：
インストール済み Python ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
ansi2htmlの | 1.1.1 | argparse | 1.2.1 | バックポート-ABC | 0.5 |
Boto | 2.42.0 | ボト3 | 1.4.1 | ボトコア | 1.4.70 |
ブリューワー2MPL | 1.4.1 | 認証 | 2016.2.28 | cffi | 1.7.0 |
シャルデ | 2.3.0 | コロラマ州 | 0.3.7 | configobj の | 5.0.6 |
暗号化手法 | 1.5 | サーマルサイクラー | 0.10.0 | シトン | 0.24.1 |
デコレータ | 4.0.10 | docutilsの | 0.14 | 列挙型34 | 1.1.6 |
et-xmlファイル | 1.0.1 | フリータイプ-PY | 1.0.2 | 関数 | 1.0.2 |
ヒューズピー | 2.0.4 | 先物 | 3.2.0 | ggplotの | 0.6.8 |
html5lib の | 0.999 | イドナ | 2.1 | IPアドレス | 1.0.16 |
アイパイソン | 2.2.0 | ipython-genutils | 0.1.0 | JDCALの | 1.2 |
ジンジャ2 | 2.8 | jmespathの | 0.9.0 | LLVMLITEの | 0.13.0 |
lxml の | 3.6.4 | マークアップセーフ | 0.23 | Matplotlib | 1.5.3 |
MPLD3の | 0.2 | msgpack-Python | 0.4.7 | ndg-httpsクライアント | 0.3.3 |
ナンバ | 0.28.1 | ナムピー | 1.11.1 | openpyxlの | 2.3.2 |
pandas | 0.19.2 | pathlib2 の | 2.1.0 | パッツィ | 0.4.1 |
pexpect | 4.0.1 | ピクルシェア | 0.7.4 | 枕 | 3.3.1 |
種 | 19.1.1 | 通う | 3.9 | プロンプトツールキット | 1.0.7 |
サイコップ2 | 2.6.2 | PTYPROCESSの | 0.5.1 | py4j(ピー4J) | 0.10.3 |
ピアロー | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
ピグメント | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSLの | 16.0.0 |
pyparsing (英語) | 2.2.0 | pypngの | 0.0.18 | Python | 2.7.12 |
Python-dateutil | 2.5.3 | Python-geohash | 0.8.5 | ピッツ | 2016.6.1 |
要求 | 2.11.1 | S3トランスファー | 0.1.9 | Scikit-Learn | 0.18.1 |
scipy(サイピー) | 0.18.1 | 磨ぐ | 0.32 | シーボーン | 0.7.1 |
セットアップツール | 41.0.1 | シンプルJSON | 3.8.2 | シンプル3 | 1.0 |
シングルディスパッチ | 3.4.0.3 | 6 | 1.10.0 | 統計モデル | 0.6.1 |
竜巻 | 5.1.1 | トレイトレット | 4.3.0 | urllib3 の | 1.19.1 |
virtualenv | 16.1.0 | WC幅 | 0.1.7 | 輪 | 0.33.4 |
WSGIREFの | 0.1.2 |
インストールされている R ライブラリ
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
aバインド | 1.4-5 | アスクパス | 1.1 | assertthat | 0.2.1 |
バックポート | 1.1.3 | 基 | 3.6.0 | base64enc | 0.1-3 |
BH | 1.69.0-1 | bit | 1.1-14 | ビット64 | 0.9-7 |
ビットプス | 1.0-6 | ブロッブ | 1.1.1 | ブート | 1.3-20 |
醸成 | 1.0-6 | コール | 3.2.0 | 車 | 3.0-2 |
車データ | 3.0-2 | キャレット | 6.0-82 | セルレンジャー | 1.1.0 |
クロン | 2.3-53 | クラス | 7.3-15 | CLI | 1.1.0 |
clipr | 0.5.0 | clisymbolsの | 1.2.0 | クラスター | 2.0.8 |
コードツール | 0.2-16 | カラースペース | 1.4-1 | コモンマーク | 1.7 |
コンパイラ | 3.6.0 | コンフィグ | 0.3 | クレヨン | 1.3.4 |
Curl | 3.3 | データ.テーブル | 1.12.0 | データセット | 3.6.0 |
DBI | 1.0.0 | dbplirの | 1.3.0 | DESC | 1.2.0 |
開発ツール | 2.0.1 | ダイジェスト | 0.6.18 | ドエムシー | 1.3.5 |
dplyrの | 0.8.0.1 | 省略記号 | 0.1.0 | ファンシ | 0.4.0 |
フォーキャッツ | 0.4.0 | For each | 1.4.4 | 外国の | 0.8-71 |
鍛える | 0.2.0 | FSの | 1.2.7 | GBMの | 2.1.5 |
ジェネリック | 0.0.2 | ggplot2の | 3.1.0 | gh | 1.0.1 |
ギット2R | 0.25.2 | glmnet | 2.0-16 | 膠 | 1.3.1 |
ガウアー | 0.2.0 | グラフィックス | 3.6.0 | grDevicesの | 3.6.0 |
グリッド | 3.6.0 | グリッドエクストラ | 2.3 | gsubfnの | 0.7 |
GTABLE(GTABLE) | 0.3.0 | H2O(ヘトヘオ) | 3.22.1.1 | 避難所 | 2.1.0 |
HMSの | 0.4.2 | htmlツール[htmltools] | 0.3.6 | htmlウィジェット | 1.3 |
httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlusの | 1.0-3 |
イニ | 0.3.1 | イプレッド | 0.9-8 | 反復 子 | 1.0.10 |
jsonlite | 1.6 | カーンスムース | 2.23-15 | ラベリング | 0.3 |
格子 | 0.20-38 | 溶岩 | 1.6.5 | レイジーバル | 0.2.2 |
リトル | 0.3.7 | LME4の | 1.1-21 | ルブリデート | 1.7.4 |
マグリット | 1.5 | マッププロジェクト | 1.2.6 | マップ | 3.3.0 |
マップツール | 0.9-5 | 質量 | 7.3-51.1 | マトリックス | 1.2-17 |
マトリックスモデル | 0.4-1 | メモ | 1.1.0 | メソッド | 3.6.0 |
mgcv | 1.8-28 | マイム | 0.6 | ミンカ | 1.2.4 |
モデルメトリクス | 1.2.2 | マンセル | 0.5.0 | mvtnorm | 1.0-10 |
nlme | 3.1-140 | NLOPTRの | 1.2.1 | ネット | 7.3-12 |
numDerivの | 2016.8-1 | オープンSSL | 1.3 | openxlsxの | 4.1.0 |
並列 | 3.6.0 | pbkrtestの | 0.4-7 | 柱 | 1.3.1 |
pkgbuild の | 1.0.3 | pkgconfig | 2.0.2 | pkg子猫 | 0.1.4 |
pkgload(パッケージロード) | 1.0.2 | plogrの | 0.2.0 | プライル | 1.8.4 |
褒める | 1.0.0 | プリティユニット | 1.0.2 | pROC | 1.14.0 |
プロセスX | 3.3.0 | 製品 | 2018.04.18 | 経過 | 1.2.0 |
プロト | 1.0.0 | PS | 1.3.0 | ゴロゴロ | 0.3.2 |
クォントレグ | 5.38 | R.メソッドS3 | 1.7.1 | R.oo | 1.22.0 |
R.utilsの | 2.8.0 | R2D3の | 0.2.3 | R6の | 2.4.0 |
ランダムフォレスト | 4.6-14 | ラプディレクトリ | 0.3.1 | rcmdcheckの | 1.3.2 |
RColorブリューワー | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
Rcppロール | 0.3.0 | RCのURL | 1.95-4.12 | 読み取り | 1.3.1 |
readxlの | 1.3.1 | レシピ | 0.1.5 | 再戦 | 1.0.1 |
リモコン | 2.0.2 | 形状変更2 | 1.4.3 | リオ | 0.5.16 |
ラン | 0.3.3 | RODBC | 1.3-15 | リオキシジェン2 | 6.1.1 |
rpart | 4.1-15 | rprojroot さん | 1.3-2 | サーブ | 1.8-6 |
RSQLite (英語) | 2.1.1 | rstudioapi | 0.10 | 秤 | 1.0.0 |
セッション情報 | 1.1.1 | SP | 1.3-1 | sparklyr | 1.0.0 |
SparkR | 2.4.4 | スパース M | 1.77 | 空間的 | 7.3-11 |
スプライン | 3.6.0 | sqldf | 0.4-11 | スクエアム | 2017.10-1 |
statmod の | 1.4.30 | 統計 | 3.6.0 | 統計4 | 3.6.0 |
ストリンギ | 1.4.3 | ストリンガー | 1.4.0 | 生存 | 2.43-3 |
SYSの | 3.1 | tcltk | 3.6.0 | ティーチングデモ | 2.10 |
テストを | 2.0.1 | ティブル | 2.1.1 | ティディル | 0.8.3 |
ティディセレクト | 0.2.5 | 日時 | 3043.102 | ツール | 3.6.0 |
usethisさん | 1.4.0 | UTF8 | 1.1.4 | ユーティリティ | 3.6.0 |
viridisライト | 0.3.0 | ウイスカー | 0.3-2 | ウィザー | 2.1.2 |
XML2の | 1.2.0 | xopen(オーペン) | 1.0.0 | ヤムラ | 2.2.0 |
郵便番号 | 2.0.1 |
インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)
グループID | アーティファクト ID | バージョン |
|---|---|---|
アントル | アントル | 2.7.7 |
com.amazonawsの | Amazon-kinesis-client | 1.8.10 |
com.amazonawsの | aws-java-sdk-オートスケール | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudformation | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudfront | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudhsm | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudsearch(英語) | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudtrail | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudwatch | 1.11.313 |
com.amazonawsの | aws-java-sdk-cloudwatchメトリクス | 1.11.313 |
com.amazonawsの | aws-java-sdk-コードデプロイ | 1.11.313 |
com.amazonawsの | aws-java-sdk-cognitoアイデンティティ | 1.11.313 |
com.amazonawsの | aws-java-sdk-cognitosync | 1.11.313 |
com.amazonawsの | aws-java-sdk-configの | 1.11.313 |
com.amazonawsの | aws-java-sdk-コア | 1.11.313 |
com.amazonawsの | aws-java-sdk-データパイプライン | 1.11.313 |
com.amazonawsの | aws-java-sdk-directconnectの | 1.11.313 |
com.amazonawsの | aws-java-sdkディレクトリ | 1.11.313 |
com.amazonawsの | aws-java-sdk-ダイナモDB | 1.11.313 |
com.amazonawsの | aws-java-sdk-ec2 の | 1.11.313 |
com.amazonawsの | aws-java-sdk-ecsの | 1.11.313 |
com.amazonawsの | aws-java-sdk-efs | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticache | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticbeanstalk | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticloadbalancing | 1.11.313 |
com.amazonawsの | aws-java-sdk-elasticトランスコーダー | 1.11.313 |
com.amazonawsの | aws-java-sdk-emr | 1.11.313 |
com.amazonawsの | aws-java-sdk-glacier | 1.11.313 |
com.amazonawsの | aws-java-sdk-グルー | 1.11.313 |
com.amazonawsの | aws-java-sdk-iam | 1.11.313 |
com.amazonawsの | aws-java-sdk-importexport | 1.11.313 |
com.amazonawsの | aws-java-sdk-キネシス | 1.11.313 |
com.amazonawsの | aws-java-sdk-kmsの | 1.11.313 |
com.amazonawsの | aws-java-sdk-ラムダ | 1.11.313 |
com.amazonawsの | aws-java-sdk-logs | 1.11.313 |
com.amazonawsの | aws-java-sdk-機械学習 | 1.11.313 |
com.amazonawsの | aws-java-sdk-opsworks | 1.11.313 |
com.amazonawsの | aws-java-sdk-rds | 1.11.313 |
com.amazonawsの | aws-java-sdk-レッドシフト | 1.11.313 |
com.amazonawsの | aws-java-sdk-ルート53 | 1.11.313 |
com.amazonawsの | aws-java-sdk-s3 の | 1.11.313 |
com.amazonawsの | aws-java-sdk-ses | 1.11.313 |
com.amazonawsの | aws-java-sdk-simpledb | 1.11.313 |
com.amazonawsの | aws-java-sdk-シンプルなワークフロー | 1.11.313 |
com.amazonawsの | aws-java-sdk-snsの | 1.11.313 |
com.amazonawsの | aws-java-sdk-sqs | 1.11.313 |
com.amazonawsの | aws-java-sdk-ssm | 1.11.313 |
com.amazonawsの | aws-java-sdk-storagegateway | 1.11.313 |
com.amazonawsの | aws-java-sdk-sts | 1.11.313 |
com.amazonawsの | aws-java-sdk-サポート | 1.11.313 |
com.amazonawsの | aws-java-sdk-swf-ライブラリ | 1.11.22 |
com.amazonawsの | aws-java-sdk-ワークスペース | 1.11.313 |
com.amazonawsの | jmespath-java | 1.11.313 |
com.carrotsearchの | HPPCの | 0.7.2 |
com.chuusai(英語) | shapeless_2.11 | 2.3.2 |
com.clearspring.アナリティクス | stream | 2.7.0 |
com.databricksの | サーブ | 1.8-3 |
com.databricksの | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
com.databricksの | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
com.databricksの | ジェット3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapbのruntime_2.11 | 0.4.15-9 |
com.esotericソフトウェア | kryo-shaded(クリョシェード) | 4.0.2 |
com.esotericソフトウェア | ミンログ | 1.3.0 |
com.fasterxmlの | クラスメイト | 1.0.0 |
com.fasterxml.jackson.core | ジャクソン-注釈 | 2.6.7 |
com.fasterxml.jackson.core | ジャクソンコア | 2.6.7 |
com.fasterxml.jackson.core | ジャクソン-データバインド | 2.6.7.1 |
com.fasterxml.jackson.dataformat | ジャクソン-データフォーマット-CBOR | 2.6.7 |
com.fasterxml.jackson.datatype | ジャクソン-データ型-JODA | 2.6.7 |
com.fasterxml.jackson.module | ジャクソン-モジュール-パラナマー | 2.6.7 |
com.fasterxml.jackson.module | ジャクソンモジュール-Scala.11 | 2.6.7.1 |
com.github.fommil (英語) | Jniloader | 1.1 |
com.github.fommil.netlib (英語) | コア | 1.1.2 |
com.github.fommil.netlib (英語) | native_ref-ジャワ | 1.1 |
com.github.fommil.netlib (英語) | native_ref-java-natives | 1.1 |
com.github.fommil.netlib (英語) | native_system-Javaの | 1.1 |
com.github.fommil.netlib (英語) | native_system-java-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib (英語) | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | ZSTD-JNI | 1.3.2-2 |
com.github.rwl です。 | jトランスフォーム | 2.4.0 |
com.google.code.findbugs | JSR305 | 2.0.1 |
com.google.code.gson(英語) | gson | 2.2.4 |
com.google.guava | グアバ | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | ジャワエワ | 0.3.2 |
com.h2データベース | H2 | 1.3.174 |
com.jcraftの | jsch | 0.1.50 |
com.jolboxの | ボーンカップ | 0.8.0.リリース |
com.microsoft.azure | azure-データレイク-store-sdk | 2.2.8 |
com.microsoft.azure | azure-ストレージ | 5.2.0 |
com.microsoft.sqlserver | mssqlの-JDBC | 6.2.2.JRE8 |
com.ningの | 圧縮-LZF | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | パラナマー | 2.8 |
com.trueaccord.lensesの | lenses_2.11 | 0.3 |
コム。囀る | チルジャワ | 0.9.3 |
コム。囀る | chill_2.11 | 0.9.3 |
コム。囀る | 寄木細工の hadoop バンドル | 1.6.0 |
コム。囀る | util-app_2.11 | 6.23.0 |
コム。囀る | util-core_2.11 | 6.23.0 |
コム。囀る | util-jvm_2.11 | 6.23.0 |
com.タイプセーフ | コンフィグ | 1.2.1 |
Scala-logging | Scala-logging-api_2.11 | 2.1.2 |
Scala-logging | Scala-logging-slf4j_2.11 | 2.1.2 |
com.univocityの | univocity-パーサー | 2.7.3 |
com.vlkan | フラットバッファ | 1.2.0から3F79E055 |
com.zaxxerの | ひかりCP | 3.1.0 |
commons-beanutilsの | commons-beanutilsの | 1.9.3 |
コモンズCLI | コモンズCLI | 1.2 |
コモンズコーデック | コモンズコーデック | 1.10 |
コモンズコレクション | コモンズコレクション | 3.2.2 |
コモンズ構成 | コモンズ構成 | 1.6 |
コモンズ-DBCP | コモンズ-DBCP | 1.4 |
コモンズ消化器 | コモンズ消化器 | 1.8 |
commons-httpクライアント | commons-httpクライアント | 3.1 |
コモンズ-IO | コモンズ-IO | 2.4 |
コモンズ-ラング | コモンズ-ラング | 2.6 |
コモンズロギング | コモンズロギング | 1.1.3 |
コモンズネット | コモンズネット | 3.1 |
コモンズプール | コモンズプール | 1.5.4 |
info.ganglia.gmetric4j | gmetric4jの | 1.0.7 |
io.エアリフト | エアコンプレッサー | 0.10 |
io.dropwizard.メトリクス | メトリクスコア | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-ガングリア | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-グラファイト | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-healthchecks | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-jetty9 | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-JSON | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-JVM | 3.1.5 |
io.dropwizard.メトリクス | メトリクス-log4j | 3.1.5 |
io.dropwizard.メトリクス | メトリクスサーブレット | 3.1.5 |
io.nettyの | 網状 | 3.9.9.ファイナル |
io.nettyの | netty-すべて | 4.1.17.ファイナル |
javax.activationの | アクティベーション | 1.1.1 |
javax.annotation | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | JSPのAPI | 2.1 |
javax.transaction | jta | 1.1 |
javax.validationの | 検証API | 1.1.0.ファイナル |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.バインド | ヤックスビーAPI | 2.2.2 |
javax.xml.ストリーム | スタックス-API | 1.0-2 |
ジャボリューション | ジャボリューション | 5.5.1 |
ジェイライン | ジェイライン | 2.14.6 |
ジョダタイム | ジョダタイム | 2.9.3 |
log4j(ログ4J) | apache-log4j-extras | 1.2.17 |
log4j(ログ4J) | log4j(ログ4J) | 1.2.17 |
Maven-ツリー | hive-exec-with-グルー | ハイブ-12679-patch_deploy |
Maven-ツリー | hive-exec-with-グルー | ハイブexec_shaded |
ネット.ハイドロマティック | 固有ベースプロパティ | 1.1.5 |
net.razorvine | パイロライト | 4.13 |
net.sf.jpam (英語) | JPAMの | 1.1 |
net.sf.opencsv | opencsvの | 2.3 |
net.sf.supercsv (英語) | スーパーCSV | 2.2.0 |
ネット.スノーフレーク | snowflake-ingest-sdk | 0.9.5 |
ネット.スノーフレーク | スノーフレーク-JDBC | 3.6.15 |
ネット.スノーフレーク | スパーク-snowflake_2.11 | 2.4.10-spark_2.4 |
net.sourceforge.f2j (英語) | arpack_combined_all | 0.1 |
org.acplt | ONCRPCの | 1.0.7 |
org.antlr | ST4の | 4.0.4 |
org.antlr | antlrランタイム | 3.4 |
org.antlr | antlr4ランタイム | 4.7 |
org.antlr | 文字列テンプレート | 3.2.1 |
org.apache.ant | 蟻 | 1.9.2 |
org.apache.ant | アントJSCH | 1.9.2 |
org.apache.ant | アントランチャー | 1.9.2 |
org.apache.arrow(アパッチ・アロー) | arrow-format | 0.10.0 |
org.apache.arrow(アパッチ・アロー) | arrow-memory | 0.10.0 |
org.apache.arrow(アパッチ・アロー) | arrow-vector | 0.10.0 |
org.apache.avro | AVRO | 1.8.2 |
org.apache.avro | アブロIPC | 1.8.2 |
org.apache.avro | アブロマップド-hadoop2 | 1.8.2 |
org.apache.calcite | 方解石-アバチカ | 1.2.0-インキュベーション |
org.apache.calcite | 方解石コア | 1.2.0-インキュベーション |
org.apache.calcite | 方解石-linq4j | 1.2.0-インキュベーション |
org.apache.commonsの | コモンズ圧縮 | 1.8.1 |
org.apache.commonsの | コモンズ-クリプト | 1.0.0 |
org.apache.commonsの | コモンズ-LANG3 | 3.5 |
org.apache.commonsの | コモンズ-数学3 | 3.4.1 |
org.apache.curator (英語) | キュレーター・クライアント | 2.7.1 |
org.apache.curator (英語) | キュレーターフレームワーク | 2.7.1 |
org.apache.curator (英語) | キュレーターレシピ | 2.7.1 |
org.apache.derbyの | ダービー | 10.12.1.1 |
org.apache.directory.api | API-ASN1-API | 1.0.0-M20 |
org.apache.directory.api | APIのユーティリティ | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop です。 | hadoop アノテーション | 2.7.3 |
org.apache.hadoop です。 | hadoop認証 | 2.7.3 |
org.apache.hadoop です。 | hadoop クライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-共通 | 2.7.3 |
org.apache.hadoop です。 | Hadoop-HDFS | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-アプリ | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-クライアント-共通 | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-ジョブクライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-クライアント | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-共通 | 2.7.3 |
org.apache.hadoop です。 | hadoop-yarn-server-共通 | 2.7.3 |
org.apache.htrace | htrace-コア | 3.1.0-インキュベーション |
org.apache.httpコンポーネント | httpクライアント | 4.5.4 |
org.apache.httpコンポーネント | httpコア | 4.4.8 |
org.apache.ivy | 蔦 | 2.4.0 |
org.apache.orc | オークコアノーハイブ | 1.5.2 |
org.apache.orc | オーク-mapreduce-nohive | 1.5.2 |
org.apache.orc | オークシム | 1.5.2 |
org.apache.parquet | parquet-column | 1.10.1.1-データブリックス3 |
org.apache.parquet | parquet-common | 1.10.1.1-データブリックス3 |
org.apache.parquet | parquet-encoding | 1.10.1.1-データブリックス3 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1.1-データブリックス3 |
org.apache.parquet | parquet-jackson | 1.10.1.1-データブリックス3 |
org.apache.thrift | libfb303の | 0.9.3 |
org.apache.thrift | リブスリフト | 0.9.3 |
org.apache.xbean | xbean-asm6-shaded (英語) | 4.8 |
org.apache.zookeeper | 動物園の飼育係 | 3.4.6 |
org.codehaus.jackson | ジャクソン-コア-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン・ジャクサーズ | 1.9.13 |
org.codehaus.jackson | ジャクソン-マッパー-ASL | 1.9.13 |
org.codehaus.jackson | ジャクソン-XC | 1.9.13 |
org.codehaus.janino | commons-コンパイラ | 3.0.10 |
org.codehaus.janino | ジャニーノ | 3.0.10 |
org.datanucleus (英語) | データ核-API-JDO | 3.2.6 |
org.datanucleus (英語) | データ核コア | 3.2.10 |
org.datanucleus (英語) | データ核-RDBMS | 3.2.9 |
組織Eclipse.jetty | 桟橋クライアント | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋の続き | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-HTTP | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-IO | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-JNDI | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋プラス | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋プロキシ | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋警備 | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋サーバー | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋サーブレット | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋サーブレット | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-util | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋-webapp | 9.3.20.v20170531 |
組織Eclipse.jetty | 桟橋XML | 9.3.20.v20170531 |
org.fusesource.leveldbjni | レベルdbjni-すべて | 1.8 |
org.glassfish.hk2 | HK2-API | 2.4.0-B34 |
org.glassfish.hk2 | HK2ロケーター | 2.4.0-B34 |
org.glassfish.hk2 | hk2-utilsの | 2.4.0-B34 |
org.glassfish.hk2 | osgi-リソースロケーター | 1.0.1 |
org.glassfish.hk2.external (英語) | AOPALLIANCE-再パッケージ化 | 2.4.0-B34 |
org.glassfish.hk2.external (英語) | javax.inject | 2.4.0-B34 |
org.glassfish.jersey.bundles.repackaged (英語) | ジャージー-グアバ | 2.22.2 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレット | 2.22.2 |
org.glassfish.jersey.containers | ジャージーコンテナサーブレットコア | 2.22.2 |
org.glassfish.jersey.coreの | ジャージークライアント | 2.22.2 |
org.glassfish.jersey.coreの | ジャージー共通 | 2.22.2 |
org.glassfish.jersey.coreの | ジャージーサーバー | 2.22.2 |
org.glassfish.jersey.mediaの | ジャージー-メディア-JAXB | 2.22.2 |
org.hibernate | hibernate-validator | 5.1.1.ファイナル |
org.iq80.snappyの | てきぱき | 0.2 |
org.javassist | ジャバス奏者 | 3.18.1-GAの |
org.jboss.logging | jboss-ロギング | 3.1.3.GA |
org.jdbi | DBI | 2.63.1 |
org.joda | ジョダ変換 | 1.7 |
org.jodd さん | ジョッドコア | 3.5.2 |
org.json4sの | json4s-ast_2.11 | 3.5.3 |
org.json4sの | json4s-core_2.11 | 3.5.3 |
org.json4sの | json4s-jackson_2.11 | 3.5.3 |
org.json4sの | json4s-scalap_2.11 | 3.5.3 |
org.lz4 | LZ4-Javaの | 1.4.0 |
org.mariadb.JDBC | mariadb-java-クライアント | 2.1.2 |
org.mockitoの | mockito-すべて | 1.9.5 |
org.objenesis | オブジェネシス | 2.5.1 |
org.postgresql | PostgreSQL | 42.1.4 |
org.roaringbitmap | ロアリングビットマップ | 0.7.45 |
org.roaringbitmap | シム | 0.7.45 |
org.rocksdbの | ロックスDBJNI | 5.2.1 |
org.rosuda.REngine | レンジン | 2.1.0 |
組織Scala-lang | Scala-compiler_2.11 | 2.11.12 |
組織Scala-lang | Scala-Library.11 | 2.11.12 |
組織Scala-lang | Scala-reflect_2.11 | 2.11.12 |
組織Scala-lang.modules | Scala-parser-combinators_2.11 | 1.1.0 |
組織Scala-lang.modules | Scala-xml_2.11 | 1.0.5 |
組織Scala-sbt | テストインターフェース | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalactic | scalactic_2.11 | 3.0.3 |
org.scalanlp | そよ風-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatestの | scalatest_2.11 | 3.0.3 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | 7月-slf4j | 1.7.16 |
org.slf4j | SLF4J-APIの | 1.7.16 |
org.slf4j | SLF4J-ログ4J12 | 1.7.16 |
org.spark-project.hive です。 | ハイブビーライン | 1.2.1.スパーク2 |
org.spark-project.hive です。 | ハイブ CLI | 1.2.1.スパーク2 |
org.spark-project.hive です。 | ハイブ-JDBC | 1.2.1.スパーク2 |
org.spark-project.hive です。 | Hive metastore | 1.2.1.スパーク2 |
org.spark-project.spark です。 | 未使用 | 1.0.0 |
org.spire-math | スパイア-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframeworkの | スプリングコア | 4.1.4.リリース |
org.springframeworkの | スプリングテスト | 4.1.4.リリース |
org.tukaani | xz | 1.5 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | マクロ-compat_2.11 | 1.1.1 |
org.xerial | sqlite-JDBC の | 3.8.11.2 |
org.xerial.snappy(英語) | スナッピージャワ | 1.1.7.3 |
org.yaml の | スネークヤム | 1.16 |
オロ | オロ | 2.0.8 |
ソフトウェア.Amazon.ion | イオンジャワ | 1.0.2 |
スタックス | スタックス-API | 1.0.1 |
xmlenc | xmlenc | 0.52 |