メインコンテンツまでスキップ

Databricks Runtime 4.1 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2018 年 5 月にこのバージョンをリリースしました。

important

このリリースは 2019 年 1 月 17 日に廃止されました。 Databricks Runtime の廃止ポリシーとスケジュールの詳細については、「Databricks サポート ライフサイクル」を参照してください。

次のリリースノートでは、 Databricks Runtime 4.1, powered by Apache Sparkに関する情報を提供しています。

Delta Lake

Databricks Runtime バージョン 4.1 では、Delta Lake に大幅な品質改善と機能が追加されています。 Databricks 、すべての Delta Lake 顧客が新しいランタイムにアップグレードすることを強くお勧めします。 このリリースはプライベート プレビューのままですが、今後の一般提供 (GA) リリースを見越した候補リリースを表しています。

破壊的変更

  • Databricks Runtime 4.1 には、検証などの新機能を有効にするためのトランザクション プロトコルの変更が含まれています。 Databricks Runtime 4.1 で作成されたテーブルは、自動的に新しいバージョンを使用し、古いバージョンの Databricks Runtime で書き込むことはできません。 これらの改善を利用するには、既存のテーブルをアップグレードする必要があります。 既存のテーブルをアップグレードするには、まず、テーブルに書き込んでいるすべてのジョブをアップグレードします。 次に、次のコマンドを実行します。

    Scala
    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    詳細については Delta Lake 機能の互換性とプロトコル を参照してください。

  • 書き込みは、コピー先テーブルに欠落している列を自動的に追加するのではなく、テーブルの現在のスキーマに対して検証されるようになりました。 前の動作を有効にするには、 mergeSchema オプションを trueに設定します。

  • 以前のバージョンの Databricks Delta を実行している場合は、Databricks Runtime 4.1 を使用する前にすべてのジョブをアップグレードする必要があります。 次のいずれかのエラーが表示される場合は、Databricks Runtime 4.1 にアップグレードします。

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
    scala.MatchError
  • テーブルは、大文字と小文字のみが異なる列を持つことができなくなりました。

  • デルタ固有のテーブル設定の前には、 delta.

新機能

  • スキーマ管理 - Databricks Delta は、書き込まれるスキーマがスキーマと一致することを確認するために、既存のテーブルに対する検証、追加、および上書きを行うようになりました。

    • Databricks Delta は、自動スキーマ進化を引き続きサポートします。
    • Databricks Delta では、スキーマを明示的に変更するために、次の DDL がサポートされるようになりました。
      • ALTER TABLE ADD COLUMN テーブルに新しい列を追加するには
      • ALTER TABLE CHANGE COLUMNS 列の順序を変更するには
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    詳細については、「 スキーマ強制」を参照してください。

  • DDL とテーブルのサポートの強化

    • テーブル DDL と saveAsTable()の完全サポート . save()saveAsTable() のセマンティクスは同一になりました。
    • すべての DDL コマンドと DML コマンドは、テーブル名と delta.`<path-to-table>` の両方をサポートします。
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • 詳細なテーブル情報 - DESCRIBE DETAILを実行すると、テーブルの現在のリーダー バージョンとライター バージョンを確認できます。「Delta Lake 機能の互換性とプロトコル」を参照してください。
    • テーブルの詳細 - テーブルへの書き込みごとに来歴情報を使用できるようになりました。 [データ] サイドバーには、Databricks Delta テーブルの詳細なテーブル情報と履歴も表示されます。 「Delta Lake テーブルの詳細の確認と詳細の説明」を参照してください。
    • ストリーミング テーブル - ストリーミング データフレーム は、spark.readStream.format("delta").table("<table-name>") を使用して作成できます。
    • 追加専用テーブル - Databricks Delta で基本的なデータガバナンスがサポートされるようになりました。 テーブルの削除と変更をブロックするには、 テーブル プロパティを delta.appendOnly=trueに設定します。
    • MERGE INTO ソース - MERGEのソース クエリ仕様に、より包括的なサポートを追加します。 たとえば、ソースに LIMITORDER BYINLINE TABLE を指定できます。
    • テーブル ACL の完全サポート。

パフォーマンスの向上

  • 統計収集のオーバーヘッドの削減 - 統計収集の効率が向上し、統計は設定可能な列数 (デフォルトでは 32 に設定) に対してのみ収集されるようになりました。 Databricks Delta の書き込みパフォーマンスは、統計収集のオーバーヘッドが削減されたため、最大 2 倍向上しました。 カラム数を設定するには、 テーブル・プロパティを delta.dataSkippingNumIndexedCols=<number-of-columns>に設定します。
  • 制限プッシュダウンのサポート - 統計は、パーティション列に対して LIMIT 述語を持つクエリでスキャンされるファイルの数を制限するために使用されます。 これは、すべてのノートブック コマンドに対して有効な暗黙的な limit=1000 ため、ノートブック内のクエリに適用されます。
  • ストリーミング ソースのフィルター プッシュダウン - ストリーミング クエリでは、新しいストリームを開始するときにパーティション分割を使用して、無関係なデータをスキップするようになりました。
  • OPTIMIZE の並列処理の改善 - OPTIMIZE 1 つの Spark タスクとして実行され、クラスターで使用可能なすべての並列処理が使用されます (以前は一度に 100 個の圧縮ファイルに制限されていました)。
  • DML でのデータのスキップ - UPDATEDELETE、および MERGE では、書き換えが必要なファイルを見つけるときに統計が使用されるようになりました。
  • S3 プレフィックスのランダム化 - 大きなテーブルの S3 メタデータのホットスポットを回避するために、 テーブル プロパティを delta.randomizeFilePrefixes=trueに設定できるようになりました。
  • チェックポイントの保存期間の短縮 - チェックポイントは 2 日間保持されるようになりました (履歴は 30 日間保持されます) ため、トランザクション ログのストレージ コストが削減されます。

API の動作

  • Databricks DeltaでのinsertInto(<table-name>)の動作は、他のデータソースと同じです。

    • モードが指定されていない場合、または modeErrorIfExistsの場合、 Ignore、または Appendは、データフレーム のデータを Databricks Delta テーブルに追加します。
    • modeOverwriteの場合、既存のテーブル内のすべてのデータが削除され、データフレーム から Databricks Delta テーブルにデータが挿入されます。
  • キャッシュされる場合、 MERGE の宛先テーブルは手動でキャッシュ解除する必要があります。

ユーザビリティの改善

  • ワークロードの移行の検証 - Databricks Delta にワークロードを移行するときによくある間違いで、失敗するのではなく例外がスローされるようになりました。

    • format("parquet")を使用してテーブルの読み取りまたは書き込みを行う。
    • パーティション (つまり、 /path/to/delta/part=1) を直接読み取ったり書き込んだりする。
    • テーブルのvacuumサブディレクトリ。
    • INSERT OVERWRITE DIRECTORY テーブルでParquetを使用します。
  • 大文字と小文字を区別しない構成 - データフレーム Reader/Writer とテーブル プロパティのオプションでは、大文字と小文字が区別されなくなりました (読み取りパスと書き込みパスの両方を含む)。

  • 列名 - テーブルの列名にドットを含めることができるようになりました。

既知の問題

警告

1 つのテーブルへの書き込みは、1 つのクラスターから行う必要があります。 同じワークスペース内の複数のクラスターからの書き込みに対する実験的なサポートがあります。 この機能を試すことに興味がある場合は、Databricks サポートにお問い合わせください。

  • 複数挿入ステートメントの挿入は、同じトランザクションではなく、異なる作業単位にあります。

バグの修正

  • 高速更新テーブルで新しいストリームを開始する際の無限ループが修正されました。

非推奨

構造化ストリーミングは、追加ではない入力を処理せず、ソースとして使用されているテーブルで変更が発生した場合は例外をスローします。 以前は、 ignoreFileDeletion フラグを使用してこの動作をオーバーライドできましたが、現在は非推奨です。 代わりに、 ignoreDeletes または ignoreChanges. ソースとして「Delta テーブル」を参照してください

その他の変更と改善

  • Query Watchdogは、UIを使用して作成されたすべての汎用クラスターで有効になります。

  • DBIO キャッシュのドライバー側のパフォーマンスの向上

  • 新しいネイティブ Parquet デコーダーによる Parquet デコードのパフォーマンスが向上しました

  • 一般的な部分式の除去のパフォーマンスの向上

  • 大きなテーブルを小さなテーブルを結合するデータ スキップのパフォーマンスの向上 (ファクトディメンションテーブルの結合)

  • display() 画像データ型を含む列をリッチ HTML としてレンダリングするようになりました。

  • S3 Select を活用するための新しい s3select データソース

  • MLflowモデルのログ、読み込み、登録の改善

    • dbml-local を最新リリース 0.4.1 にアップグレードしました。
    • thresholdパラメーターを指定してエクスポートされたモデルのバグを修正しました
    • OneVsRestModelのエクスポートのサポートが追加されました。 GBTClassificationModel
  • インストールされている Python ライブラリの一部をアップグレードしました。

    • pip: 9.0.1 から 10.0.0b2 まで
    • setuptools: 38.5.1 から 39.0.1 まで
    • 竜巻:4.5.3から5.0.1
    • ホイール:0.30.0から0.31.0
  • インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。

  • AWS Java SDK を 1.11.253 から 1.11.313 にアップグレードしました。

  • Azure Data Lake Store SDK を 2.0.11 から 2.2.8 にアップグレードしました。

  • GPU クラスターのために、 CUDA を 8.0 から 9.0 に、CUDNN を 6.0 から 7.0 にアップグレードしました。

  • GPU クラスターの場合、GPU メトリクスがクラスター メトリクス Ganglia UI に表示されるようになりました。

Apache Spark

Databricks Runtime 4.1 には Apache Spark 2.3.0 が含まれています。 このリリースには、 Databricks Runtime 4.0 (EoS) に含まれるすべての修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-24007][SQL] FloatType と DoubleType の EqualNullSafe が codegen によって誤った結果を生成する可能性があります。
  • [SPARK-23942][Python][SQL] クエリエグゼキューターリスナーのアクションとして PySpark でcollectを作成
  • [SPARK-23815][CORE] Sparkライターの動的パーティション上書きモードがマルチレベルパーティションへの出力の書き込みに失敗する場合がある
  • [SPARK-23748][SS] SSの連続プロセスがSubqueryAliasをサポートしていない問題を修正
  • [SPARK-23963][SQL] テキストベースのHiveテーブルのクエリで多数の列を適切に処理
  • [SPARK-23867][スケジューラ] logWarningでdroppedCountを使用
  • [SPARK-23816][CORE] 強制終了されたタスクはFetchFailuresを無視するべきです。
  • [SPARK-23809][SQL] アクティブなSparkSessionはgetOrCreateで設定する必要があります
  • [SPARK-23966][SS] 共通のCheckpointFileManagerインターフェースですべてのチェックポイントファイル書き込みロジックをリファクタリング
  • [SPARK-21351][SQL] 子の出力に基づいてnull可能性を更新
  • [SPARK-23847] [Python][SQL] asc_nulls_first、asc_nulls_lastをPySparkに追加
  • [SPARK-23822][SQL] Parquetスキーマの不一致に関するエラーメッセージを改善
  • [SPARK-23823][SQL] transformExpressionで原点を保持する
  • [SPARK-23838] [WEBUI] 実行中の SQL クエリが SQL タブで「完了」と表示される
  • [SPARK-23802][SQL] PropagateEmptyRelationがクエリプランを未解決の状態のままにすることがある
  • [SPARK-23727][SQL] Parquet で DateType のフィルターを押し下げるサポートを修正
  • [SPARK-23574][SQL] データリーダーファクトリーがちょうど1つある場合に、DataSourceV2ScanExecでSinglePartitionを報告します。
  • [SPARK-23533][SS] ContinuousDataReaderのstartOffsetを変更するサポートを追加
  • [SPARK-23491][SS] ContinuousExecutionの再構成から明示的なジョブのキャンセルを削除
  • [SPARK-23040][CORE] シャッフルリーダーの割り込み可能なイテレータを返します
  • [SPARK-23827] [SS] StreamingJoinExecは、入力データが特定の数のパーティションに分割されていることを確認する必要がある
  • [SPARK-23639][SQL] SparkSQL CLIでメタストアクライアントの初期化前にトークンを取得
  • [スパーク-23806]Broadcast.unpersistを使用すると、致命的な例外が発生する可能性があります...
  • [SPARK-23599][SQL] UUID式でRandomUUIDGeneratorを使用
  • [SPARK-23599][SQL] 擬似乱数からUUIDジェネレーターを追加
  • [SPARK-23759][UI] Spark UIを特定の名前/IPにバインドできない
  • [SPARK-23769][CORE] Scalastyleチェックを不必要に無効にするコメントを削除
  • [SPARK-23614][SQL] キャッシュ使用時の誤った再利用交換を修正
  • [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs CSE の状態を正しく保存/復元する必要があります
  • [SPARK-23729][CORE] globsの解決時にURIフラグメントを尊重
  • [SPARK-23550][CORE]クリーンアップ ユーティリティ
  • [SPARK-23288][SS] Parquet sinkの出力メトリクスを修正
  • [SPARK-23264][SQL] Scalaを修正。literals.sql.out の MatchError
  • [SPARK-23649][SQL] UTF-8で許可されていない文字のスキップ
  • [SPARK-23691][Python] 可能な場合は、 PySpark テストでsql_conf utilを使用してください
  • [SPARK-23644][CORE][UI] SHSのREST呼び出しに絶対パスを使用
  • [SPARK-23706][Python] spark.conf.get(値, デフォルト=None) は None を生成するべきです PySpark
  • [SPARK-23623][SS] CachedKafkaConsumerでキャッシュされたコンシューマーの並列使用を避けるように修正
  • [SPARK-23670][SQL] SparkPlanGraphWrapperのメモリリークを修正
  • [SPARK-23608][CORE][WEBUI] Jetty Handlersへの並列変更の問題を回避するために、attachSparkUI関数とdetachSparkUI関数の間のSHSの同期を追加
  • [SPARK-23671][CORE] SHSスレッドプールを有効にする条件を修正。
  • [SPARK-23658][ランチャー] InProcessAppHandleがgetLoggerで間違ったクラスを使用する
  • [SPARK-23642][DOCS] AccumulatorV2 サブクラスが Zero scaladoc の修正
  • [SPARK-22915][MLlib] spark.ml.featureのNからZへのストリーミングテスト
  • [SPARK-23598][SQL] BufferedRowIteratorのメソッドを公開して、大規模なクエリのランタイムエラーを回避します
  • [SPARK-23546][SQL] CodegenContextでステートレスメソッド/値をリファクタリング
  • [SPARK-23523][SQL] OptimizeMetadataOnlyQueryルールによる誤った結果を修正
  • [SPARK-23462][SQL] StructTypeの欠落しているフィールドエラーメッセージを改善
  • [SPARK-23624][SQL] データソースV2のメソッドpushFiltersのドキュメントを改訂
  • [SPARK-23173][SQL] JSONからデータをロードするときに破損したParquetファイルを作成しないように
  • [SPARK-23436][SQL] パーティションを日付として推論するのは、日付にキャストできる場合のみです
  • [SPARK-23406][SS] ストリーム-ストリーム自己結合を有効にする
  • [SPARK-23490][SQL] CreateTableの既存のテーブルでstorage.locationUriを確認します
  • 【スパーク-23524】大きなローカル シャッフル ブロックは、破損していないかチェックしないでください。
  • [SPARK-23525][SQL] 外部ハイブテーブルのALTER TABLE CHANGE COLUMN COMMENTをサポート
  • [SPARK-23434][SQL] Spark は HDFS ファイルパスの メタデータディレクトリ を警告すべきではない
  • [SPARK-23457][SQL] 登録する タスク ParquetFileFormat で最初にリスナーを完了
  • [SPARK-23329][SQL] 三角関数のドキュメンテーションを修正
  • [SPARK-23569][Python] pandas_udfがpython3スタイルの型注釈付き関数を操作できるようにする
  • [SPARK-23570][SQL] HiveExternalCatalogVersionsSuiteにSpark 2.3.0を追加
  • [SPARK-23517][Python] PySpark.util._exception_message を作る Py4JJavaErrorによってJava側からトレースを生成します
  • [SPARK-23508][CORE] blockManagerIdCacheがoomを引き起こす場合のBlockmanagerIdを修正
  • [SPARK-23448][SQL]ドキュメント内のJSONおよびCSVパーサーの動作を明確に
  • [SPARK-23365][CORE] アイドル状態のエグゼキューターを強制終了するときに、num エグゼキューターを調整しない。
  • [SPARK-23438][DSTREAMS] ドライバーがクラッシュしたときのWALでのDStreamsデータ損失を修正
  • [SPARK-23475][UI]スキップされたステージも表示
  • [SPARK-23518][SQL] ユーザーがデータフレームの読み取りと書き込みのみを行う場合は、メタストアへのアクセスを避ける
  • [SPARK-23406][SS] ストリーム-ストリーム自己結合を有効にする
  • [SPARK-23541][SS] Kafka ソースがアーティクルパーティションの数よりも大きな並列処理でデータを読み取ることができるように
  • [SPARK-23097][SQL][SS] テキストソケットソースをV2に移行
  • [SPARK-23362][SS] Kafka Microbatch ソースを v2 に移行
  • 【スパーク-23445】ColumnStat リファクタリング
  • [SPARK-23092][SQL] MemoryStream を DataSourceV2 API に移行する
  • [SPARK-23447][SQL] リテラルのcodegenテンプレートをクリーンアップ
  • [スパーク-23366]ReadAheadInputStreamのホット読み取りパスを改善します
  • [SPARK-22624][PySpark] 範囲パーティショニングシャッフルの公開

メンテナンスアップデート

「Databricks Runtime 4.1 メンテナンスの更新」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 16.04.4 LTSの
  • Java : 1.8.0_162
  • Scala : 2.11.8
  • Python :2.7.12(Python 2クラスター用、3.5.2用)Python 3 クラスターの場合。
  • R :Rバージョン3.4.4 (2018-03-15)
  • GPU クラスター : 次の NVIDIA GPU ライブラリがインストールされています。
    • テスラドライバー375.66
    • CUDA 9.0の
    • cuDNN 7.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

ansi2htmlの

1.1.1

argparse

1.2.1

バックポート-ABC

0.5

Boto

2.42.0

ボト3

1.4.1

ボトコア

1.4.70

ブリューワー2MPL

1.4.1

認証

2016.2.28

cffi

1.7.0

シャルデ

2.3.0

コロラマ州

0.3.7

configobj の

5.0.6

暗号化手法

1.5

サーマルサイクラー

0.10.0

シトン

0.24.1

デコレータ

4.0.10

docutilsの

0.14

列挙型34

1.1.6

et-xmlファイル

1.0.1

フリータイプ-PY

1.0.2

関数

1.0.2

ヒューズピー

2.0.4

先物

3.2.0

ggplotの

0.6.8

html5lib の

0.999

イドナ

2.1

IPアドレス

1.0.16

アイパイソン

2.2.0

ipython-genutils

0.1.0

JDCALの

1.2

ジンジャ2

2.8

jmespathの

0.9.0

LLVMLITEの

0.13.0

lxml の

3.6.4

マークアップセーフ

0.23

Matplotlib

1.5.3

MPLD3の

0.2

msgpack-Python

0.4.7

ndg-httpsクライアント

0.3.3

ナンバ

0.28.1

ナムピー

1.11.1

openpyxlの

2.3.2

pandas

0.19.2

pathlib2 の

2.1.0

パッツィ

0.4.1

pexpect

4.0.1

ピクルシェア

0.7.4

3.3.1

10.0.0b2

通う

3.9

プロンプトツールキット

1.0.7

サイコップ2

2.6.2

PTYPROCESSの

0.5.1

py4j(ピー4J)

0.10.3

ピアロー

0.8.0

pyasn1

0.1.9

pycparser

2.14

ピグメント

2.1.3

PyGObject

3.20.0

pyOpenSSLの

16.0.0

pyparsing (英語)

2.2.0

pypngの

0.0.18

Python

2.7.12

Python-dateutil

2.5.3

Python-geohash

0.8.5

ピッツ

2016.6.1

要求

2.11.1

S3トランスファー

0.1.9

Scikit-Learn

0.18.1

scipy(サイピー)

0.18.1

磨ぐ

0.32

シーボーン

0.7.1

セットアップツール

39.0.1

シンプルJSON

3.8.2

シンプル3

1.0

シングルディスパッチ

3.4.0.3

6

1.10.0

統計モデル

0.6.1

竜巻

5.0.1

トレイトレット

4.3.0

urllib3 の

1.19.1

virtualenv

15.0.1

WC幅

0.1.7

0.31.0

WSGIREFの

0.1.2

インストールされている R ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

aバインド

1.4-5

assertthat

0.2.0

バックポート

1.1.2

3.4.4

BH

1.66.0-1

バインダー

0.1.1

bindrcpp

0.2.2

bit

1.1-12

ビット64

0.9-7

ビットプス

1.0-6

ブロッブ

1.1.1

ブート

1.3-20

醸成

1.0-6

0.4.4

3.0-0

車データ

3.0-1

キャレット

6.0-79

セルレンジャー

1.1.0

クロン

2.3-52

クラス

7.3-14

CLI

1.0.0

クラスター

2.0.7

コードツール

0.2-15

カラースペース

1.3-2

コモンマーク

1.4

コンパイラ

3.4.4

クレヨン

1.3.4

Curl

3.2

CVSTの

0.2-1

データ.テーブル

1.10.4-3

データセット

3.4.4

DBI

0.8

DDALPHAの

1.3.1.1

デオプティマー

1.0-8

DESC

1.1.1

開発ツール

1.13.5

ダイクロマート

2.0-0

ダイジェスト

0.6.15

dimRed(ディムレッド)

0.1.0

ドエムシー

1.3.5

dplyrの

0.7.4

災害リスク軽減

0.0.3

フォーキャッツ

0.3.0

For each

1.4.4

外国の

0.8-69

GBMの

2.1.3

ggplot2の

2.2.1

ギット2R

0.21.0

glmnet

2.0-16

1.2.0

ガウアー

0.1.2

グラフィックス

3.4.4

grDevicesの

3.4.4

グリッド

3.4.4

gsubfnの

0.7

GTABLE(GTABLE)

0.2.0

H2O(ヘトヘオ)

3.16.0.2

避難所

1.1.1

HMSの

0.4.2

httr

1.3.1

hwriter

1.3.2

hwriterPlusの

1.0-3

イプレッド

0.9-6

反復 子

1.0.9

jsonlite

1.5

カーンラブ

0.9-25

カーンスムース

2.23-15

ラベリング

0.3

格子

0.20-35

溶岩

1.6.1

レイジーバル

0.2.1

リトル

0.3.3

LME4の

1.1-17

ルブリデート

1.7.3

マグリット

1.5

マッププロジェクト

1.2.6

マップ

3.3.0

マップツール

0.9-2

質量

7.3-49

行列

1.2-13

マトリックスモデル

0.4-1

メモ

1.1.0

メソッド

3.4.4

mgcv

1.8-23

マイム

0.5

ミンカ

1.2.4

ムノルム

1.5-5

モデルメトリクス

1.1.0

マンセル

0.4.3

mvtnorm

1.0-7

nlme

3.1-137

NLOPTRの

1.0.4

ネット

7.3-12

numDerivの

2016.8-1

オープンSSL

1.0.1

openxlsxの

4.0.17

並列

3.4.4

pbkrtestの

0.4-7

1.2.1

pkgconfig

2.0.1

pkg子猫

0.1.4

plogrの

0.2.0

プライル

1.8.4

褒める

1.0.0

プリティユニット

1.0.2

pROC

1.11.0

製品

1.6.1

プロト

1.0.0

心理

1.8.3.3

ゴロゴロ

0.2.4

クォントレグ

5.35

R.メソッドS3

1.7.1

R.oo

1.21.0

R.utilsの

2.6.0

R6の

2.2.2

ランダムフォレスト

4.6-14

RColorブリューワー

1.1-2

Rcpp

0.12.16

RcppEigen

0.3.3.4.0

Rcppロール

0.2.2

RCのURL

1.95-4.10

読み取り

1.1.1

readxlの

1.0.0

レシピ

0.1.2

再戦

1.0.1

形状変更2

1.4.3

リオ

0.5.10

ラン

0.2.0

ロバストベース

0.92-8

RODBC

1.3-15

リオキシジェン2

6.0.1

rpart

4.1-13

rprojroot さん

1.3-2

サーブ

1.7-3

RSQLite (英語)

2.1.0

rstudioapi

0.7

0.5.0

sfsmisc さん

1.1-2

SP

1.2-7

SparkR

2.3.0

スパース M

1.77

空間的

7.3-11

スプライン

3.4.4

sqldf

0.4-11

スクエアム

2017.10-1

statmod の

1.4.30

統計

3.4.4

統計4

3.4.4

ストリンギ

1.1.7

ストリンガー

1.3.0

生存

2.41-3

tcltk

3.4.4

ティーチングデモ

2.10

テストを

2.0.0

ティブル

1.4.2

ティディル

0.8.0

ティディセレクト

0.2.4

日時

3043.102

ツール

3.4.4

UTF8

1.1.3

ユーティリティ

3.4.4

viridisライト

0.3.0

ウイスカー

0.3-2

ウィザー

2.1.2

XML2の

1.2.0

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.7.3

com.amazonawsの

aws-java-sdk-オートスケール

1.11.313

com.amazonawsの

aws-java-sdk-cloudformation

1.11.313

com.amazonawsの

aws-java-sdk-cloudfront

1.11.313

com.amazonawsの

aws-java-sdk-cloudhsm

1.11.313

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.11.313

com.amazonawsの

aws-java-sdk-cloudtrail

1.11.313

com.amazonawsの

aws-java-sdk-cloudwatch

1.11.313

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.11.313

com.amazonawsの

aws-java-sdk-コードデプロイ

1.11.313

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.11.313

com.amazonawsの

aws-java-sdk-cognitosync

1.11.313

com.amazonawsの

aws-java-sdk-configの

1.11.313

com.amazonawsの

aws-java-sdk-コア

1.11.313

com.amazonawsの

aws-java-sdk-データパイプライン

1.11.313

com.amazonawsの

aws-java-sdk-directconnectの

1.11.313

com.amazonawsの

aws-java-sdkディレクトリ

1.11.313

com.amazonawsの

aws-java-sdk-ダイナモDB

1.11.313

com.amazonawsの

aws-java-sdk-ec2 の

1.11.313

com.amazonawsの

aws-java-sdk-ecsの

1.11.313

com.amazonawsの

aws-java-sdk-efs

1.11.313

com.amazonawsの

aws-java-sdk-elasticache

1.11.313

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.11.313

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.11.313

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.11.313

com.amazonawsの

aws-java-sdk-emr

1.11.313

com.amazonawsの

aws-java-sdk-glacier

1.11.313

com.amazonawsの

aws-java-sdk-iam

1.11.313

com.amazonawsの

aws-java-sdk-importexport

1.11.313

com.amazonawsの

aws-java-sdk-キネシス

1.11.313

com.amazonawsの

aws-java-sdk-kmsの

1.11.313

com.amazonawsの

aws-java-sdk-ラムダ

1.11.313

com.amazonawsの

aws-java-sdk-logs

1.11.313

com.amazonawsの

aws-java-sdk-機械学習

1.11.313

com.amazonawsの

aws-java-sdk-opsworks

1.11.313

com.amazonawsの

aws-java-sdk-rds

1.11.313

com.amazonawsの

aws-java-sdk-レッドシフト

1.11.313

com.amazonawsの

aws-java-sdk-ルート53

1.11.313

com.amazonawsの

aws-java-sdk-s3 の

1.11.313

com.amazonawsの

aws-java-sdk-ses

1.11.313

com.amazonawsの

aws-java-sdk-simpledb

1.11.313

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.11.313

com.amazonawsの

aws-java-sdk-snsの

1.11.313

com.amazonawsの

aws-java-sdk-sqs

1.11.313

com.amazonawsの

aws-java-sdk-ssm

1.11.313

com.amazonawsの

aws-java-sdk-storagegateway

1.11.313

com.amazonawsの

aws-java-sdk-sts

1.11.313

com.amazonawsの

aws-java-sdk-サポート

1.11.313

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.11.313

com.amazonawsの

jmespath-java

1.11.313

com.carrotsearchの

HPPCの

0.7.2

com.chuusai(英語)

shapeless_2.11

2.3.2

com.clearspring.アナリティクス

stream

2.7.0

com.databricksの

サーブ

1.8-3

com.databricksの

dbml-local_2.11

0.4.1-db1-spark2.3

com.databricksの

dbml-local_2.11-tests

0.4.1-db1-spark2.3

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapbのruntime_2.11

0.4.15-9

com.esotericソフトウェア

kryo-shaded(クリョシェード)

3.0.3

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.0.0

com.fasterxml.jackson.core

ジャクソン-注釈

2.6.7

com.fasterxml.jackson.core

ジャクソンコア

2.6.7

com.fasterxml.jackson.core

ジャクソン-データバインド

2.6.7.1

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.6.7

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.6.7

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.6.7

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.11

2.6.7.1

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

ZSTD-JNI

1.3.2-2

com.github.rwl です。

jトランスフォーム

2.4.0

com.google.code.findbugs

JSR305

2.0.1

com.google.code.gson(英語)

gson

2.2.4

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

ジャワエワ

0.3.2

com.h2データベース

H2

1.3.174

com.jamesmurty.utilsの

java-xmlbuilder

1.1

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.mchangeの

C3P0

0.9.5.1

com.mchangeの

mchange-commons-java

0.2.10

com.microsoft.azure

azure-データレイク-store-sdk

2.2.8

com.microsoft.sqlserver

mssqlの-JDBC

6.2.2.JRE8

com.ningの

圧縮-LZF

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.11

0.3

コム。囀る

チルジャワ

0.8.4

コム。囀る

chill_2.11

0.8.4

コム。囀る

寄木細工の hadoop バンドル

1.6.0

コム。囀る

util-app_2.11

6.23.0

コム。囀る

util-core_2.11

6.23.0

コム。囀る

util-jvm_2.11

6.23.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging-api_2.11

2.1.2

Scala-logging

Scala-logging-slf4j_2.11

2.1.2

com.univocityの

univocity-パーサー

2.5.9

com.vlkan

フラットバッファ

1.2.0から3F79E055

com.zaxxerの

ひかりCP

2.4.1

commons-beanutilsの

commons-beanutilsの

1.7.0

commons-beanutilsの

commons-beanutils-core

1.8.0

コモンズCLI

コモンズCLI

1.2

コモンズコーデック

コモンズコーデック

1.10

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ構成

コモンズ構成

1.6

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズ消化器

コモンズ消化器

1.8

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.4

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズネット

コモンズネット

2.2

コモンズプール

コモンズプール

1.5.4

info.ganglia.gmetric4j

gmetric4jの

1.0.7

io.エアリフト

エアコンプレッサー

0.8

io.dropwizard.メトリクス

メトリクスコア

3.1.5

io.dropwizard.メトリクス

メトリクス-ガングリア

3.1.5

io.dropwizard.メトリクス

メトリクス-グラファイト

3.1.5

io.dropwizard.メトリクス

メトリクス-healthchecks

3.1.5

io.dropwizard.メトリクス

メトリクス-jetty9

3.1.5

io.dropwizard.メトリクス

メトリクス-JSON

3.1.5

io.dropwizard.メトリクス

メトリクス-JVM

3.1.5

io.dropwizard.メトリクス

メトリクス-log4j

3.1.5

io.dropwizard.メトリクス

メトリクスサーブレット

3.1.5

io.nettyの

網状

3.9.9.ファイナル

io.nettyの

netty-すべて

4.1.17.ファイナル

io.プロメテウス

シンプルクライアント

0.0.16

io.プロメテウス

simpleclient_common

0.0.16

io.プロメテウス

simpleclient_dropwizard

0.0.16

io.プロメテウス

simpleclient_servlet

0.0.16

io.prometheus.jmx

収集家

0.7

javax.activationの

アクティベーション

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

JSPのAPI

2.1

javax.transaction

jta

1.1

javax.validationの

検証API

1.1.0.ファイナル

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.バインド

ヤックスビーAPI

2.2.2

javax.xml.ストリーム

スタックス-API

1.0-2

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.11

ジョダタイム

ジョダタイム

2.9.3

log4j(ログ4J)

apache-log4j-extras

1.2.17

log4j(ログ4J)

log4j(ログ4J)

1.2.17

ネット.ハイドロマティック

固有ベースプロパティ

1.1.5

net.iharder

ベース64

2.3.8

net.java.dev.jets3t さん

ジェット3t

0.9.4

net.razorvine

パイロライト

4.13

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt

ONCRPCの

1.0.7

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.4

org.antlr

antlr4ランタイム

4.7

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

0.8.0

org.apache.arrow(アパッチ・アロー)

arrow-memory

0.8.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

0.8.0

org.apache.avro

AVRO

1.7.7

org.apache.avro

アブロIPC

1.7.7

org.apache.avro

AVRO-IPCテスト

1.7.7

org.apache.avro

アブロマップド-hadoop2

1.7.7

org.apache.calcite

方解石-アバチカ

1.2.0-インキュベーション

org.apache.calcite

方解石コア

1.2.0-インキュベーション

org.apache.calcite

方解石-linq4j

1.2.0-インキュベーション

org.apache.commonsの

コモンズ圧縮

1.4.1

org.apache.commonsの

コモンズ-クリプト

1.0.0

org.apache.commonsの

コモンズ-LANG3

3.5

org.apache.commonsの

コモンズ-数学3

3.4.1

org.apache.curator (英語)

キュレーター・クライアント

2.7.1

org.apache.curator (英語)

キュレーターフレームワーク

2.7.1

org.apache.curator (英語)

キュレーターレシピ

2.7.1

org.apache.derbyの

ダービー

10.12.1.1

org.apache.directory.api

API-ASN1-API

1.0.0-M20

org.apache.directory.api

APIのユーティリティ

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop です。

hadoop アノテーション

2.7.3

org.apache.hadoop です。

hadoop認証

2.7.3

org.apache.hadoop です。

hadoop クライアント

2.7.3

org.apache.hadoop です。

hadoop-共通

2.7.3

org.apache.hadoop です。

Hadoop-HDFS

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-アプリ

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-クライアント-共通

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-ジョブクライアント

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop です。

hadoop-yarn-api

2.7.3

org.apache.hadoop です。

hadoop-yarn-クライアント

2.7.3

org.apache.hadoop です。

hadoop-yarn-共通

2.7.3

org.apache.hadoop です。

hadoop-yarn-server-共通

2.7.3

org.apache.htrace

htrace-コア

3.1.0-インキュベーション

org.apache.httpコンポーネント

httpクライアント

4.5.4

org.apache.httpコンポーネント

httpコア

4.4.8

org.apache.ivy

2.4.0

org.apache.orc

オークコアノーハイブ

1.4.1

org.apache.orc

オーク-mapreduce-nohive

1.4.1

org.apache.parquet

parquet-column

1.8.2-データブリックス1

org.apache.parquet

parquet-common

1.8.2-データブリックス1

org.apache.parquet

parquet-encoding

1.8.2-データブリックス1

org.apache.parquet

parquet-format

2.3.1

org.apache.parquet

parquet-hadoop

1.8.2-データブリックス1

org.apache.parquet

parquet-jackson

1.8.2-データブリックス1

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.9.3

org.apache.xbean

xbean-asm5-shaded (英語)

4.4

org.apache.zookeeper

動物園の飼育係

3.4.6

org.バウンシーキャッスル

bcprov-jdk15on

1.58

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン・ジャクサーズ

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.jackson

ジャクソン-XC

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.8

org.codehaus.janino

ジャニーノ

3.0.8

org.datanucleus (英語)

データ核-API-JDO

3.2.6

org.datanucleus (英語)

データ核コア

3.2.10

org.datanucleus (英語)

データ核-RDBMS

3.2.9

組織Eclipse.jetty

桟橋クライアント

9.3.20.v20170531

組織Eclipse.jetty

桟橋の続き

9.3.20.v20170531

組織Eclipse.jetty

桟橋-HTTP

9.3.20.v20170531

組織Eclipse.jetty

桟橋-IO

9.3.20.v20170531

組織Eclipse.jetty

桟橋-JNDI

9.3.20.v20170531

組織Eclipse.jetty

桟橋プラス

9.3.20.v20170531

組織Eclipse.jetty

桟橋プロキシ

9.3.20.v20170531

組織Eclipse.jetty

桟橋警備

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーバー

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋-util

9.3.20.v20170531

組織Eclipse.jetty

桟橋-webapp

9.3.20.v20170531

組織Eclipse.jetty

桟橋XML

9.3.20.v20170531

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.4.0-B34

org.glassfish.hk2

HK2ロケーター

2.4.0-B34

org.glassfish.hk2

hk2-utilsの

2.4.0-B34

org.glassfish.hk2

osgi-リソースロケーター

1.0.1

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.4.0-B34

org.glassfish.hk2.external (英語)

javax.inject

2.4.0-B34

org.glassfish.jersey.bundles.repackaged (英語)

ジャージー-グアバ

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.22.2

org.glassfish.jersey.coreの

ジャージークライアント

2.22.2

org.glassfish.jersey.coreの

ジャージー共通

2.22.2

org.glassfish.jersey.coreの

ジャージーサーバー

2.22.2

org.glassfish.jersey.mediaの

ジャージー-メディア-JAXB

2.22.2

org.hibernate

hibernate-validator

5.1.1.ファイナル

org.iq80.snappyの

てきぱき

0.2

org.javassist

ジャバス奏者

3.18.1-GAの

org.jboss.logging

jboss-ロギング

3.1.3.GA

org.jdbi

DBI

2.63.1

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.11

3.2.11

org.json4sの

json4s-core_2.11

3.2.11

org.json4sの

json4s-jackson_2.11

3.2.11

org.lz4

LZ4-Javaの

1.4.0

org.mariadb.JDBC

mariadb-java-クライアント

2.1.2

org.mockitoの

mockito-すべて

1.9.5

org.objenesis

オブジェネシス

2.1

org.postgresql

PostgreSQL

42.1.4

org.roaringbitmap

ロアリングビットマップ

0.5.11

org.rocksdbの

ロックスDBJNI

5.2.1

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.11

2.11.8

組織Scala-lang

Scala-Library.11

2.11.8

組織Scala-lang

Scala-reflect_2.11

2.11.8

組織Scala-lang

scalap_2.11

2.11.8

組織Scala-lang.modules

Scala-parser-combinators_2.11

1.0.2

組織Scala-lang.modules

Scala-xml_2.11

1.0.5

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalanlp

そよ風-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatestの

scalatest_2.11

2.2.6

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

7月-slf4j

1.7.16

org.slf4j

SLF4J-APIの

1.7.16

org.slf4j

SLF4J-ログ4J12

1.7.16

org.spark-project.hive です。

ハイブビーライン

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ CLI

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-エグゼクティブ

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-JDBC

1.2.1.スパーク2

org.spark-project.hive です。

Hive metastore

1.2.1.スパーク2

org.spark-project.spark です。

未使用

1.0.0

org.spire-math

スパイア-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframeworkの

スプリングコア

4.1.4.リリース

org.springframeworkの

スプリングテスト

4.1.4.リリース

org.tukaani

xz

1.0

org.typelevel

machinist_2.11

0.6.1

org.typelevel

マクロ-compat_2.11

1.1.1

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.2.6

org.yaml の

スネークヤム

1.16

オロ

オロ

2.0.8

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1

xmlenc

xmlenc

0.52