メインコンテンツまでスキップ

Databricks Runtime 4.2 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2018 年 7 月にこのバージョンをリリースしました。

important

このリリースは 2019 年 3 月 5 日に廃止されました。 Databricks Runtime の廃止ポリシーとスケジュールの詳細については、「Databricks サポート ライフサイクル」を参照してください。

次のリリースノートでは、 Databricks Runtime 4.2, powered by Apache Sparkに関する情報を提供しています。

Delta Lake

Databricks Runtime 4.2 では、Delta Lake に大幅な品質改善と機能が追加されています。 Databricks 、すべての Delta Lake 顧客が新しいランタイムにアップグレードすることを強くお勧めします。 このリリースはプライベート プレビューのままですが、今後の一般提供 (GA) リリースを見越した候補リリースを表しています。

新機能

  • マルチクラスター書き込み: Delta Lake では、複数のクラスターからのトランザクション書き込みがサポートされるようになりました。 この機能を使用するには、すべてのライターが Databricks Runtime 4.2 を実行している 必要があります

  • ストリームは、 を使用して に登録されているDelta Hive metastoredf.writeStream.table(...)テーブルに直接書き込むことができるようになりました。

改善

  • すべての Delta Lake コマンドとクエリで、パスを識別子としてテーブルを参照できるようになりました。

    delta.`<path-to-table>`

    以前は OPTIMIZE VACUUM では、文字列リテラル (つまり、 '<path-to-table>') を非標準で使用する必要がありました。

  • DESCRIBE HISTORY 現在はコミット ID が含まれ、デフォルトでは新しいものから古いものへと並べられます。

バグの修正

  • パーティション述部に基づくフィルタリングは、述部の大文字と小文字がテーブルの大文字と小文字が異なる場合でも正しく動作するようになりました。
  • Delta テーブル (つまり、booleanValue = true) のブール列に対して等価チェックを実行するときに欠落している列AnalysisExceptionを修正しました。
  • CREATE TABLE 既存のテーブルへのポインタを作成するときにトランザクション・ログを変更しなくなりました。 これにより、並列ストリームとの不必要な競合が防止され、ユーザーがデータへの読み取りアクセス権しか持たないテーブルへのメタストア ポインターを作成できます。
  • 大量のデータを含むストリームで display() を呼び出しても、ドライバーで OOM が発生しなくなりました。
  • AnalysisException は、基になる Delta Lake パスが削除されたときに、空の結果を返さずにスローされるようになりました。
  • 特定のプロトコルバージョン ( appendOnlyなど) を必要とする Delta Lake 設定は、適切なバージョンのテーブルにのみ適用できます。
  • Deltaテーブルの状態を更新するときに、長いリネージは自動的に切り捨てられるようになり、StackOverFlowErrorが回避されるようになりました。

構造化ストリーミング

新機能

  • Delta Lake、SQS、Kafka が Trigger.Once を完全にサポートするようになりました。 以前は、レート制限 ( maxOffsetsPerTriggermaxFilesPerTriggerなど) をソース オプションまたはデフォルトとして指定すると、使用可能なデータが部分的にしか実行されない可能性がありました。 これらのオプションは、 Trigger.Once を使用すると無視され、現在使用可能なすべてのデータを処理するようになりました。

  • Scala に新しいストリーミング foreachBatch() が追加され、データフレーム 操作を使用してすべてのマイクロバッチの出力を処理する関数を定義できます。 これにより、次のことが可能になります。

    • 既存のバッチ データソースを使用して、ストリーミング データソースがまだないシステムにマイクロバッチ出力を書き込む (たとえば、すべてのマイクロバッチ出力で Cassandra バッチ ライターを使用する)。
    • マイクロバッチ出力を複数の場所に書き込む。
    • データフレームストリーミング でまだサポートされていないマイクロバッチ出力に対する およびテーブル操作の適用データフレーム (たとえば、マイクロバッチ出力をDelta テーブルにアップサートする)。
  • from_json/to_jsonと同様に、ファイルだけでなく データフレーム 内で Avro データを読み書きする from_avro/to_avro 関数を追加しました。詳細については 、Avro Data Anywhere の読み取りと書き込み を参照してください。

  • Python でのストリーミング foreach() のサポートが追加されました (Scala では既に利用可能)。 詳細については 、foreach と foreachBatch のドキュメント を参照してください。

改善

  • 入力ストリームにデータがない場合のステートフル操作 (mapGroupsWithState、ストリーム-ストリーム結合、ストリーミング aggregation、 ストリーミング dropDuplicates) による出力結果の生成や状態のクリーンアップの高速化。

バグの修正

  • ストリームストリーム結合の正確性のバグ SPARK-24588 を修正し、その前に明示的な再パーティション ( df1.repartition("a", "b").join(df, "a")など) がある場合に結合で報告される結果が少なくなる問題を修正しました。

その他の変更と改善

  • S3A ファイルシステムを修正して、クライアント側の暗号化を使用して S3 経由で Parquet ファイルを読み取ることができるようにしました。 以前は、読み取りで java.io.EOFException エラーがスローされていました。

  • SQLテーブルアクセスコントロール Enabled クラスターの Deny コマンドのサポートが追加されました。ユーザーは、以前と同じ方法で特定の権限を拒否できるようになりました。 拒否された許可は、許可された許可よりも優先されます。 特定のオブジェクトの管理者と所有者は、常にアクションを実行できます。

  • ABFS ドライバーを使用する新しい Azure データレイク Storage データソース。 「Azure データレイク ストレージと Blob Storage への接続」を参照してください

  • インストールされている Python ライブラリの一部をアップグレードしました。

    • pip: 10.0.0b2 から 10.0.1 まで
    • setuptools: 39.0.1 から 39.2.0 まで
    • 竜巻:5.0.1から5.0.2
    • ホイール:0.31.0から0.31.1
  • インストールされているいくつかのRライブラリをアップグレードしました。 インストールされている R ライブラリを参照してください。

  • Parquet サポートの改善

  • Apache ORC を 1.4.1 から 1.4.3 へアップグレードしました。

Apache Spark

Databricks Runtime 4.2 には Apache Spark 2.3.1 が含まれています。 このリリースには、 Databricks Runtime 4.1 (EoS) に含まれるすべての修正と機能強化に加えて、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-24588][SS]ストリーミング参加には、子からのHashClusteredPartitioningが必要
  • [SPARK-23931] [SQL] 機能arrays_zipします。Scala @scala.annotation.varargs
  • [SPARK-24633][SQL] arrays_zipに分割が必要な場合にcodegenを修正
  • [SPARK-24578][CORE] 返されたnioバッファのサブ領域のサイズを制限
  • [SPARK-24613][SQL] UDFのキャッシュが後続の依存キャッシュと一致しない
  • [SPARK-24583][SQL] InsertIntoDataSourceCommandのスキーマタイプが間違っています
  • [SPARK-24565][SS] 各マイクロバッチの出力行をデータフレームとして公開するための構造化ストリーミングのAPIを追加
  • [SPARK-24396][SS][PySpark] Python用の構造化ストリーミングForeachWriterを追加
  • [SPARK-24216][SQL] Spark TypedAggregateExpression が Scala で安全ではない getSimpleName を使用する
  • [SPARK-24452][SQL][CORE] int addまたは複数のオーバーフローの可能性を回避
  • [SPARK-24187][R][SQL] SparkRにarray_join関数を追加
  • [SPARK-24525][SS] MemorySink の行数を制限するオプションを提供
  • [SPARK-24331][SPARKR][SQL] SparkRにarrays_overlap、array_repeat、map_entriesを追加する
  • [SPARK-23931][SQL] Spark SQLにarrays_zip関数を追加
  • [SPARK-24186][R][SQL]Rでリバースとコンカトをコレクション関数に変更
  • [SPARK-24198][SPARKR][SQL] SparkRへのスライス関数の追加
  • [SPARK-23920][SQL] 配列から要素と等しいすべての要素を削除するarray_removeを追加
  • [SPARK-24197][SPARKR][SQL] SparkRにarray_sort関数を追加
  • [SPARK-24340][CORE] スタンドアロンクラスターでエグゼキューターの終了後に非シャッフルディスクブロックマネージャーファイルをクリーンアップ
  • [SPARK-23935][SQL] map_entries関数の追加
  • [SPARK-24500][SQL] ツリー変換中にストリームがマテリアライズされることを確認します。
  • [SPARK-24495][SQL] EnsureRequirementが等価キーを並べ替えるときに間違ったプランを返す
  • [SPARK-24506][UI] バインド後に追加されたタブにUIフィルターを追加
  • [SPARK-24468][SQL] 10進数演算の精度を調整する際に負のスケールを処理する
  • [SPARK-24313][SQL] コレクション操作の複合型に対するインタープリター評価を修正
  • [SPARK-23922][SQL] arrays_overlap関数を追加
  • [SPARK-24369][SQL] 同じ引数が設定されている複数の異なる集計の正しい処理
  • [SPARK-24455][CORE] TaskSchedulerImplコメントのタイプミスを修正
  • [SPARK-24397] [PySpark] Python に TaskContext.getLocalProperty(key) を追加
  • [SPARK-24117][SQL] getSizePerRowを統一
  • [SPARK-24156][SS] データなしバッチの障害からの回復エラーを修正
  • [SPARK-24414][UI] ステージのタスク数を正しく計算します。
  • [SPARK-23754][Python] クライアントコードで StopIteration を再発生
  • [SPARK-23991] [DSTREAMS] allocateBlocksToBatchでWALの書き込みが失敗した場合のデータ損失を修正
  • [SPARK-24373][SQL] RelationalGroupedDataset と KeyValueGroupedDataset の子に AnalysisBarrier を追加
  • [SPARK-24392][Python] pandas_udfを実験的なラベルに
  • [スパーク-24334] ArrowPythonRunner の競合状態により Arrow メモリ アロケーターがクリーンでないシャットダウンを引き起こす問題を修正
  • [SPARK-19112][CORE] 不足しているshortCompressionCodecNamesを設定に追加。
  • [スパーク-24244][スパーク-24368][SQL]必要な列のみを CSV パーサーに渡す
  • [SPARK-24366][SQL]型変換のエラーメッセージの改善
  • [SPARK-24371][SQL] Scalaのデータフレーム APIにisInCollectionを追加
  • [SPARK-23925][SQL] array_repeatコレクション関数を追加
  • [マイナー]toString と scaladoc にポート SSL 設定を追加
  • [SPARK-24378][SQL] date_trunc関数の誤った例を修正
  • [SPARK-24364][SS] ファイルパスが存在しない場合にInMemoryFileIndexが失敗するのを防ぐ
  • [SPARK-24257][SQL] LongToUnsafeRowMapが新しいサイズを計算するのが間違っている可能性があります
  • [SPARK-24348][SQL] element_at" エラーの修正
  • [SPARK-23930][SQL] スライス関数を追加
  • [SPARK-23416][SS] ContinuousExecutionに特定の停止方法を追加。
  • [SPARK-23852][SQL] Parquet 1.8.3 へのアップグレード
  • [SPARK-24350][SQL] 「array_position」関数のClassCastExceptionを修正
  • [SPARK-24321][SQL] Divide/Remainderから基本特性への共通コード抽出
  • [SPARK-24309][CORE] AsyncEventQueueは割り込み時に停止する必要があります。
  • [SPARK-23850][SQL] SQLオプションの編集用に個別の設定を追加。
  • [SPARK-22371][CORE] アキュムレータがガベージコレクションされたときに例外をスローする代わりに、None を返します。
  • [SPARK-24002][SQL] org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytesが原因でタスクがシリアル化できません
  • [SPARK-23921][SQL] array_sort関数を追加
  • [SPARK-23923][SQL] カーディナリティ関数を追加
  • [SPARK-24159][SS] mapGroupswithStateのストリーミングでデータなしのマイクロバッチを有効にする
  • [SPARK-24158][SS] ストリーミング結合の無データバッチを有効にする
  • [SPARK-24157][SS] MicroBatchExecutionでストリーミング集約と重複排除のためのデータなしバッチを有効にしました
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet 文字列の統計が間違っている
  • [SPARK-17916][SQL] nullValueが設定されている場合、空の文字列がnullとして解析される問題を修正。
  • [SPARK-23916][SQL] array_join関数を追加
  • [SPARK-23408][SS] ストリーミング*JoinSuiteで連続するAddDataアクションを同期
  • [SPARK-23780][R] 新しいSparkRでgoogleVisライブラリを使用できませんでした
  • [SPARK-23821][SQL]コレクション関数:フラット化
  • [SPARK-23627][SQL] データセットにisEmptyを提供
  • [SPARK-24027][SQL] from_jsonによるキーのStringTypeをルートタイプとしてMapTypeをサポート
  • [SPARK-24035][SQL] PivotのSQL構文 - antlrの警告を修正
  • [SPARK-23736][SQL] 配列列をサポートするためのconcat関数の拡張
  • [SPARK-24246][SQL] AnalysisExceptionが利用可能な場合に原因を設定することで改善
  • [SPARK-24263][R] SparkR java チェックが openjdk で壊れる
  • [SPARK-24262][Python] UDF タイプ一致エラーメッセージのタイプミスを修正
  • [SPARK-24067][ストリーミング][Kafka] 連続しないオフセットを許可
  • [SPARK-10878][CORE] 複数のクライアントが同時にアーティファクトを解決する際の競合状態を修正
  • [SPARK-19181][CORE] 不安定な「SparkListenerSuite.local メトリクス」を修正
  • 【スパーク-24068】スキーマ推論での DataFrameReader のオプションをテキスト データソースに伝達する
  • [SPARK-24214][SS] StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelationのJSONを修正
  • [SPARK-23919][SPARK-23924]【スパーク-24054】[SQL]array_position/element_at機能を追加
  • [SPARK-23926][SQL] ArrayType引数をサポートするための逆関数の拡張
  • [SPARK-23809][SQL] アクティブなSparkSessionはgetOrCreateで設定する必要があります
  • [スパーク-23094][SPARK-23723][スパーク-23724][SQL] JSON ファイルのカスタムエンコーディングをサポート
  • [SPARK-24035][SQL] ピボットのSQL構文
  • [SPARK-24069][R] array_min/array_max機能を追加
  • [SPARK-23976][CORE] UTF8String.concat()/ByteArray.concat()で長さのオーバーフローを検出
  • [SPARK-24188][CORE] "/version" APIエンドポイントを復元します。
  • [SPARK-24128][SQL] 暗黙的なCROSS JOINエラーで設定オプションを言及する
  • [SPARK-23291][SQL][R] Scala APIを呼び出すときに、Rのsubstrが開始位置を1つ減らさないようにすべき
  • [SPARK-23697][CORE] LegacyAccumulatorWrapperはisZeroを正しく定義する必要があります
  • [SPARK-24168][SQL] WindowExecはエグゼキューター側のSQLConfにアクセスしてはならない
  • [SPARK-24143]mapstatusを(blockId, size)ペアに変換するときに空のブロックをフィルタリングします
  • [SPARK-23917][スパーク-23918][SQL]array_max/array_min機能を追加
  • [SPARK-23905][SQL] UDFの平日を追加
  • [SPARK-16406][SQL] LogicalPlan.resolveのパフォーマンスを改善
  • [SPARK-24013][SQL] ApproximatePercentile で不要な圧縮を削除
  • [SPARK-23433][CORE]ゾンビタスクの完了が遅れると、すべてのタスクセットが更新される
  • [SPARK-24169][SQL] JsonToStructsはエグゼキューター側のSQLConfにアクセスしてはならない
  • [SPARK-24133] [SQL] バックポート [SPARK-24133] WritableColumnVectors のサイズを変更するときに整数オーバーフローを確認する
  • [SPARK-24166][SQL] InMemoryTableScanExec がエグゼキューター側の SQLConf にアクセスしないようにする
  • [SPARK-24133][SQL] WritableColumnVectorsのサイズを変更するときに整数オーバーフローを確認する
  • [SPARK-24085][SQL] パーティション化式にスカラーサブクエリが存在する場合、クエリがUnsupportedOperationExceptionを返す
  • [SPARK-24062][THRIFT SERVER] THRIFTサーバーでSASL暗号化を有効にできない問題を修正
  • [SPARK-23004][SS] ストリーミング集約タスクでStateStore.commitが一度だけ呼び出されるようにしました
  • [SPARK-23188][SQL] ベクトル化されたコロンアーリーダーのバッチサイズを設定可能に
  • [スパーク-23375][スパーク-23973][SQL]Optimizerで不要なソートを排除
  • [SPARK-23877][SQL] フィルター述語を使用して、メタデータのみのクエリでパーティションをプルーニング
  • [SPARK-24033][SQL] 指定されたウィンドウフレームの不一致を修正windowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Apache ORCを1.4.3にアップグレード
  • 合理化された experssion コード生成によってトリガーされる可能性が高く、生成されたソース コードが少し長くなり、問題のあるコード パス (Expression.reduceCodeSize() によるコード分割) がトリガーされたために SPARK-23986 によって公開される可能性が高い null チェックの欠落の問題を修正します。
  • [SPARK-23989][SQL]交換は、シリアル化されていないシャッフルの前にデータをコピーする必要があります
  • [SPARK-24021][CORE] BlacklistTrackerのupdateBlacklistForFetchFailureのバグを修正
  • [SPARK-24014][PySpark] StreamingListenerにonStreamingStartedメソッドを追加
  • [SPARK-23963][SQL] テキストベースのHiveテーブルのクエリで多数の列を適切に処理
  • [SPARK-23948] submitMissingTasks で mapstage のジョブリスナーをトリガーします。
  • [SPARK-23986][SQL] freshNameが一意でない名前を生成することがある
  • [SPARK-23835][SQL] タプルの引数の逆シリアル化にnullでないチェックを追加

メンテナンスの更新

「Databricks Runtime 4.2 メンテナンス更新プログラム」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 16.04.4 LTSの
  • Java : 1.8.0_162
  • Scala : 2.11.8
  • Python :2.7.12(Python 2クラスター用、3.5.2用)Python 3 クラスターの場合。
  • R :Rバージョン3.4.4 (2018-03-15)
  • GPU クラスター : 次の NVIDIA GPU ライブラリがインストールされています。
    • テスラドライバー375.66
    • CUDA 9.0の
    • cuDNN 7.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

ansi2htmlの

1.1.1

argparse

1.2.1

バックポート-ABC

0.5

Boto

2.42.0

ボト3

1.4.1

ボトコア

1.4.70

ブリューワー2MPL

1.4.1

認証

2016.2.28

cffi

1.7.0

シャルデ

2.3.0

コロラマ州

0.3.7

configobj の

5.0.6

暗号化手法

1.5

サーマルサイクラー

0.10.0

シトン

0.24.1

デコレータ

4.0.10

docutilsの

0.14

列挙型34

1.1.6

et-xmlファイル

1.0.1

フリータイプ-PY

1.0.2

関数

1.0.2

ヒューズピー

2.0.4

先物

3.2.0

ggplotの

0.6.8

html5lib の

0.999

イドナ

2.1

IPアドレス

1.0.16

アイパイソン

2.2.0

ipython-genutils

0.1.0

JDCALの

1.2

ジンジャ2

2.8

jmespathの

0.9.0

LLVMLITEの

0.13.0

lxml の

3.6.4

マークアップセーフ

0.23

Matplotlib

1.5.3

MPLD3の

0.2

msgpack-Python

0.4.7

ndg-httpsクライアント

0.3.3

ナンバ

0.28.1

ナムピー

1.11.1

openpyxlの

2.3.2

pandas

0.19.2

pathlib2 の

2.1.0

パッツィ

0.4.1

pexpect

4.0.1

ピクルシェア

0.7.4

3.3.1

10.0.1

通う

3.9

プロンプトツールキット

1.0.7

サイコップ2

2.6.2

PTYPROCESSの

0.5.1

py4j(ピー4J)

0.10.3

ピアロー

0.8.0

pyasn1

0.1.9

pycparser

2.14

ピグメント

2.1.3

PyGObject

3.20.0

pyOpenSSLの

16.0.0

pyparsing (英語)

2.2.0

pypngの

0.0.18

Python

2.7.12

Python-dateutil

2.5.3

Python-geohash

0.8.5

ピッツ

2016.6.1

要求

2.11.1

S3トランスファー

0.1.9

Scikit-Learn

0.18.1

scipy(サイピー)

0.18.1

磨ぐ

0.32

シーボーン

0.7.1

セットアップツール

39.2.0

シンプルJSON

3.8.2

シンプル3

1.0

シングルディスパッチ

3.4.0.3

6

1.10.0

統計モデル

0.6.1

竜巻

5.0.2

トレイトレット

4.3.0

urllib3 の

1.19.1

virtualenv

15.0.1

WC幅

0.1.7

0.31.1

WSGIREFの

0.1.2

インストールされている R ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

aバインド

1.4-5

assertthat

0.2.0

バックポート

1.1.2

3.4.4

BH

1.66.0-1

バインダー

0.1.1

bindrcpp

0.2.2

bit

1.1-12

ビット64

0.9-7

ビットプス

1.0-6

ブロッブ

1.1.1

ブート

1.3-20

醸成

1.0-6

0.4.4

3.0-0

車データ

3.0-1

キャレット

6.0-79

セルレンジャー

1.1.0

クロン

2.3-52

クラス

7.3-14

CLI

1.0.0

クラスター

2.0.7-1

コードツール

0.2-15

カラースペース

1.3-2

コモンマーク

1.4

コンパイラ

3.4.4

クレヨン

1.3.4

Curl

3.2

CVSTの

0.2-1

データ.テーブル

1.10.4-3

データセット

3.4.4

DBI

0.8

DDALPHAの

1.3.1.1

デオプティマー

1.0-8

DESC

1.1.1

開発ツール

1.13.5

ダイクロマート

2.0-0

ダイジェスト

0.6.15

dimRed(ディムレッド)

0.1.0

ドエムシー

1.3.5

dplyrの

0.7.4

災害リスク軽減

0.0.3

フォーキャッツ

0.3.0

For each

1.4.4

外国の

0.8-70

GBMの

2.1.3

ggplot2の

2.2.1

ギット2R

0.21.0

glmnet

2.0-16

1.2.0

ガウアー

0.1.2

グラフィックス

3.4.4

grDevicesの

3.4.4

グリッド

3.4.4

gsubfnの

0.7

GTABLE(GTABLE)

0.2.0

H2O(ヘトヘオ)

3.16.0.2

避難所

1.1.1

HMSの

0.4.2

httr

1.3.1

hwriter

1.3.2

hwriterPlusの

1.0-3

イプレッド

0.9-6

反復 子

1.0.9

jsonlite

1.5

カーンラブ

0.9-25

カーンスムース

2.23-15

ラベリング

0.3

格子

0.20-35

溶岩

1.6.1

レイジーバル

0.2.1

リトル

0.3.3

LME4の

1.1-17

ルブリデート

1.7.3

マグリット

1.5

マッププロジェクト

1.2.6

マップ

3.3.0

マップツール

0.9-2

質量

7.3-50

マトリックス

1.2-14

マトリックスモデル

0.4-1

メモ

1.1.0

メソッド

3.4.4

mgcv

1.8-24

マイム

0.5

ミンカ

1.2.4

ムノルム

1.5-5

モデルメトリクス

1.1.0

マンセル

0.4.3

mvtnorm

1.0-7

nlme

3.1-137

NLOPTRの

1.0.4

ネット

7.3-12

numDerivの

2016.8-1

オープンSSL

1.0.1

openxlsxの

4.0.17

並列

3.4.4

pbkrtestの

0.4-7

1.2.1

pkgconfig

2.0.1

pkg子猫

0.1.4

plogrの

0.2.0

プライル

1.8.4

褒める

1.0.0

プリティユニット

1.0.2

pROC

1.11.0

製品

1.6.1

プロト

1.0.0

心理

1.8.3.3

ゴロゴロ

0.2.4

クォントレグ

5.35

R.メソッドS3

1.7.1

R.oo

1.21.0

R.utilsの

2.6.0

R6の

2.2.2

ランダムフォレスト

4.6-14

RColorブリューワー

1.1-2

Rcpp

0.12.16

RcppEigen

0.3.3.4.0

Rcppロール

0.2.2

RCのURL

1.95-4.10

読み取り

1.1.1

readxlの

1.0.0

レシピ

0.1.2

再戦

1.0.1

形状変更2

1.4.3

リオ

0.5.10

ラン

0.2.0

ロバストベース

0.92-8

RODBC

1.3-15

リオキシジェン2

6.0.1

rpart

4.1-13

rprojroot さん

1.3-2

サーブ

1.7-3

RSQLite (英語)

2.1.0

rstudioapi

0.7

0.5.0

sfsmisc さん

1.1-2

SP

1.2-7

SparkR

2.3.1

スパース M

1.77

空間的

7.3-11

スプライン

3.4.4

sqldf

0.4-11

スクエアム

2017.10-1

statmod の

1.4.30

統計

3.4.4

統計4

3.4.4

ストリンギ

1.1.7

ストリンガー

1.3.0

生存

2.42-3

tcltk

3.4.4

ティーチングデモ

2.10

テストを

2.0.0

ティブル

1.4.2

ティディル

0.8.0

ティディセレクト

0.2.4

日時

3043.102

ツール

3.4.4

UTF8

1.1.3

ユーティリティ

3.4.4

viridisライト

0.3.0

ウイスカー

0.3-2

ウィザー

2.1.2

XML2の

1.2.0

インストール済み Java and Scala ライブラリ (Scala 2.11 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.7.3

com.amazonawsの

aws-java-sdk-オートスケール

1.11.313

com.amazonawsの

aws-java-sdk-cloudformation

1.11.313

com.amazonawsの

aws-java-sdk-cloudfront

1.11.313

com.amazonawsの

aws-java-sdk-cloudhsm

1.11.313

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.11.313

com.amazonawsの

aws-java-sdk-cloudtrail

1.11.313

com.amazonawsの

aws-java-sdk-cloudwatch

1.11.313

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.11.313

com.amazonawsの

aws-java-sdk-コードデプロイ

1.11.313

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.11.313

com.amazonawsの

aws-java-sdk-cognitosync

1.11.313

com.amazonawsの

aws-java-sdk-configの

1.11.313

com.amazonawsの

aws-java-sdk-コア

1.11.313

com.amazonawsの

aws-java-sdk-データパイプライン

1.11.313

com.amazonawsの

aws-java-sdk-directconnectの

1.11.313

com.amazonawsの

aws-java-sdkディレクトリ

1.11.313

com.amazonawsの

aws-java-sdk-ダイナモDB

1.11.313

com.amazonawsの

aws-java-sdk-ec2 の

1.11.313

com.amazonawsの

aws-java-sdk-ecsの

1.11.313

com.amazonawsの

aws-java-sdk-efs

1.11.313

com.amazonawsの

aws-java-sdk-elasticache

1.11.313

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.11.313

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.11.313

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.11.313

com.amazonawsの

aws-java-sdk-emr

1.11.313

com.amazonawsの

aws-java-sdk-glacier

1.11.313

com.amazonawsの

aws-java-sdk-iam

1.11.313

com.amazonawsの

aws-java-sdk-importexport

1.11.313

com.amazonawsの

aws-java-sdk-キネシス

1.11.313

com.amazonawsの

aws-java-sdk-kmsの

1.11.313

com.amazonawsの

aws-java-sdk-ラムダ

1.11.313

com.amazonawsの

aws-java-sdk-logs

1.11.313

com.amazonawsの

aws-java-sdk-機械学習

1.11.313

com.amazonawsの

aws-java-sdk-opsworks

1.11.313

com.amazonawsの

aws-java-sdk-rds

1.11.313

com.amazonawsの

aws-java-sdk-レッドシフト

1.11.313

com.amazonawsの

aws-java-sdk-ルート53

1.11.313

com.amazonawsの

aws-java-sdk-s3 の

1.11.313

com.amazonawsの

aws-java-sdk-ses

1.11.313

com.amazonawsの

aws-java-sdk-simpledb

1.11.313

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.11.313

com.amazonawsの

aws-java-sdk-snsの

1.11.313

com.amazonawsの

aws-java-sdk-sqs

1.11.313

com.amazonawsの

aws-java-sdk-ssm

1.11.313

com.amazonawsの

aws-java-sdk-storagegateway

1.11.313

com.amazonawsの

aws-java-sdk-sts

1.11.313

com.amazonawsの

aws-java-sdk-サポート

1.11.313

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.11.313

com.amazonawsの

jmespath-java

1.11.313

com.carrotsearchの

HPPCの

0.7.2

com.chuusai(英語)

shapeless_2.11

2.3.2

com.clearspring.アナリティクス

stream

2.7.0

com.databricksの

サーブ

1.8-3

com.databricksの

dbml-local_2.11

0.4.1-db1-spark2.3

com.databricksの

dbml-local_2.11-tests

0.4.1-db1-spark2.3

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapbのruntime_2.11

0.4.15-9

com.esotericソフトウェア

kryo-shaded(クリョシェード)

3.0.3

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.0.0

com.fasterxml.jackson.core

ジャクソン-注釈

2.6.7

com.fasterxml.jackson.core

ジャクソンコア

2.6.7

com.fasterxml.jackson.core

ジャクソン-データバインド

2.6.7.1

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.6.7

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.6.7

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.6.7

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.11

2.6.7.1

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

ZSTD-JNI

1.3.2-2

com.github.rwl です。

jトランスフォーム

2.4.0

com.google.code.findbugs

JSR305

2.0.1

com.google.code.gson(英語)

gson

2.2.4

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

ジャワエワ

0.3.2

com.h2データベース

H2

1.3.174

com.jamesmurty.utilsの

java-xmlbuilder

1.1

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.mchangeの

C3P0

0.9.5.1

com.mchangeの

mchange-commons-java

0.2.10

com.microsoft.azure

azure-データレイク-store-sdk

2.2.8

com.microsoft.sqlserver

mssqlの-JDBC

6.2.2.JRE8

com.ningの

圧縮-LZF

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.11

0.3

コム。囀る

チルジャワ

0.8.4

コム。囀る

chill_2.11

0.8.4

コム。囀る

寄木細工の hadoop バンドル

1.6.0

コム。囀る

util-app_2.11

6.23.0

コム。囀る

util-core_2.11

6.23.0

コム。囀る

util-jvm_2.11

6.23.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging-api_2.11

2.1.2

Scala-logging

Scala-logging-slf4j_2.11

2.1.2

com.univocityの

univocity-パーサー

2.5.9

com.vlkan

フラットバッファ

1.2.0から3F79E055

com.zaxxerの

ひかりCP

3.1.0

commons-beanutilsの

commons-beanutilsの

1.7.0

commons-beanutilsの

commons-beanutils-core

1.8.0

コモンズCLI

コモンズCLI

1.2

コモンズコーデック

コモンズコーデック

1.10

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ構成

コモンズ構成

1.6

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズ消化器

コモンズ消化器

1.8

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.4

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズネット

コモンズネット

2.2

コモンズプール

コモンズプール

1.5.4

info.ganglia.gmetric4j

gmetric4jの

1.0.7

io.エアリフト

エアコンプレッサー

0.8

io.dropwizard.メトリクス

メトリクスコア

3.1.5

io.dropwizard.メトリクス

メトリクス-ガングリア

3.1.5

io.dropwizard.メトリクス

メトリクス-グラファイト

3.1.5

io.dropwizard.メトリクス

メトリクス-healthchecks

3.1.5

io.dropwizard.メトリクス

メトリクス-jetty9

3.1.5

io.dropwizard.メトリクス

メトリクス-JSON

3.1.5

io.dropwizard.メトリクス

メトリクス-JVM

3.1.5

io.dropwizard.メトリクス

メトリクス-log4j

3.1.5

io.dropwizard.メトリクス

メトリクスサーブレット

3.1.5

io.nettyの

網状

3.9.9.ファイナル

io.nettyの

netty-すべて

4.1.17.ファイナル

io.プロメテウス

シンプルクライアント

0.0.16

io.プロメテウス

simpleclient_common

0.0.16

io.プロメテウス

simpleclient_dropwizard

0.0.16

io.プロメテウス

simpleclient_servlet

0.0.16

io.prometheus.jmx

収集家

0.7

javax.activationの

アクティベーション

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

JSPのAPI

2.1

javax.transaction

jta

1.1

javax.validationの

検証API

1.1.0.ファイナル

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.バインド

ヤックスビーAPI

2.2.2

javax.xml.ストリーム

スタックス-API

1.0-2

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.11

ジョダタイム

ジョダタイム

2.9.3

log4j(ログ4J)

apache-log4j-extras

1.2.17

log4j(ログ4J)

log4j(ログ4J)

1.2.17

ネット.ハイドロマティック

固有ベースプロパティ

1.1.5

net.iharder

ベース64

2.3.8

net.java.dev.jets3t さん

ジェット3t

0.9.4

net.razorvine

パイロライト

4.13

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

スノーフレーク-JDBC

3.6.3

ネット.スノーフレーク

スパーク-snowflake_2.11

2.3.2

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt

ONCRPCの

1.0.7

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.4

org.antlr

antlr4ランタイム

4.7

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

0.8.0

org.apache.arrow(アパッチ・アロー)

arrow-memory

0.8.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

0.8.0

org.apache.avro

AVRO

1.7.7

org.apache.avro

アブロIPC

1.7.7

org.apache.avro

AVRO-IPCテスト

1.7.7

org.apache.avro

アブロマップド-hadoop2

1.7.7

org.apache.calcite

方解石-アバチカ

1.2.0-インキュベーション

org.apache.calcite

方解石コア

1.2.0-インキュベーション

org.apache.calcite

方解石-linq4j

1.2.0-インキュベーション

org.apache.commonsの

コモンズ圧縮

1.4.1

org.apache.commonsの

コモンズ-クリプト

1.0.0

org.apache.commonsの

コモンズ-LANG3

3.5

org.apache.commonsの

コモンズ-数学3

3.4.1

org.apache.curator (英語)

キュレーター・クライアント

2.7.1

org.apache.curator (英語)

キュレーターフレームワーク

2.7.1

org.apache.curator (英語)

キュレーターレシピ

2.7.1

org.apache.derbyの

ダービー

10.12.1.1

org.apache.directory.api

API-ASN1-API

1.0.0-M20

org.apache.directory.api

APIのユーティリティ

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop です。

hadoop アノテーション

2.7.3

org.apache.hadoop です。

hadoop認証

2.7.3

org.apache.hadoop です。

hadoop クライアント

2.7.3

org.apache.hadoop です。

hadoop-共通

2.7.3

org.apache.hadoop です。

Hadoop-HDFS

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-アプリ

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-クライアント-共通

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-ジョブクライアント

2.7.3

org.apache.hadoop です。

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop です。

hadoop-yarn-api

2.7.3

org.apache.hadoop です。

hadoop-yarn-クライアント

2.7.3

org.apache.hadoop です。

hadoop-yarn-共通

2.7.3

org.apache.hadoop です。

hadoop-yarn-server-共通

2.7.3

org.apache.htrace

htrace-コア

3.1.0-インキュベーション

org.apache.httpコンポーネント

httpクライアント

4.5.4

org.apache.httpコンポーネント

httpコア

4.4.8

org.apache.ivy

2.4.0

org.apache.orc

オークコアノーハイブ

1.4.3

org.apache.orc

オーク-mapreduce-nohive

1.4.3

org.apache.parquet

parquet-column

1.8.3-データブリックス2

org.apache.parquet

parquet-common

1.8.3-データブリックス2

org.apache.parquet

parquet-encoding

1.8.3-データブリックス2

org.apache.parquet

parquet-format

2.3.1

org.apache.parquet

parquet-hadoop

1.8.3-データブリックス2

org.apache.parquet

parquet-jackson

1.8.3-データブリックス2

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.9.3

org.apache.xbean

xbean-asm5-shaded (英語)

4.4

org.apache.zookeeper

動物園の飼育係

3.4.6

org.バウンシーキャッスル

bcprov-jdk15on

1.58

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン・ジャクサーズ

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.jackson

ジャクソン-XC

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.8

org.codehaus.janino

ジャニーノ

3.0.8

org.datanucleus (英語)

データ核-API-JDO

3.2.6

org.datanucleus (英語)

データ核コア

3.2.10

org.datanucleus (英語)

データ核-RDBMS

3.2.9

組織Eclipse.jetty

桟橋クライアント

9.3.20.v20170531

組織Eclipse.jetty

桟橋の続き

9.3.20.v20170531

組織Eclipse.jetty

桟橋-HTTP

9.3.20.v20170531

組織Eclipse.jetty

桟橋-IO

9.3.20.v20170531

組織Eclipse.jetty

桟橋-JNDI

9.3.20.v20170531

組織Eclipse.jetty

桟橋プラス

9.3.20.v20170531

組織Eclipse.jetty

桟橋プロキシ

9.3.20.v20170531

組織Eclipse.jetty

桟橋警備

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーバー

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋サーブレット

9.3.20.v20170531

組織Eclipse.jetty

桟橋-util

9.3.20.v20170531

組織Eclipse.jetty

桟橋-webapp

9.3.20.v20170531

組織Eclipse.jetty

桟橋XML

9.3.20.v20170531

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.4.0-B34

org.glassfish.hk2

HK2ロケーター

2.4.0-B34

org.glassfish.hk2

hk2-utilsの

2.4.0-B34

org.glassfish.hk2

osgi-リソースロケーター

1.0.1

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.4.0-B34

org.glassfish.hk2.external (英語)

javax.inject

2.4.0-B34

org.glassfish.jersey.bundles.repackaged (英語)

ジャージー-グアバ

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.22.2

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.22.2

org.glassfish.jersey.coreの

ジャージークライアント

2.22.2

org.glassfish.jersey.coreの

ジャージー共通

2.22.2

org.glassfish.jersey.coreの

ジャージーサーバー

2.22.2

org.glassfish.jersey.mediaの

ジャージー-メディア-JAXB

2.22.2

org.hibernate

hibernate-validator

5.1.1.ファイナル

org.iq80.snappyの

てきぱき

0.2

org.javassist

ジャバス奏者

3.18.1-GAの

org.jboss.logging

jboss-ロギング

3.1.3.GA

org.jdbi

DBI

2.63.1

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.11

3.2.11

org.json4sの

json4s-core_2.11

3.2.11

org.json4sの

json4s-jackson_2.11

3.2.11

org.lz4

LZ4-Javaの

1.4.0

org.mariadb.JDBC

mariadb-java-クライアント

2.1.2

org.mockitoの

mockito-すべて

1.9.5

org.objenesis

オブジェネシス

2.1

org.postgresql

PostgreSQL

42.1.4

org.roaringbitmap

ロアリングビットマップ

0.5.11

org.rocksdbの

ロックスDBJNI

5.2.1

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.11

2.11.8

組織Scala-lang

Scala-Library.11

2.11.8

組織Scala-lang

Scala-reflect_2.11

2.11.8

組織Scala-lang

scalap_2.11

2.11.8

組織Scala-lang.modules

Scala-parser-combinators_2.11

1.0.2

組織Scala-lang.modules

Scala-xml_2.11

1.0.5

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalanlp

そよ風-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatestの

scalatest_2.11

2.2.6

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

7月-slf4j

1.7.16

org.slf4j

SLF4J-APIの

1.7.16

org.slf4j

SLF4J-ログ4J12

1.7.16

org.spark-project.hive です。

ハイブビーライン

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ CLI

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-エグゼクティブ

1.2.1.スパーク2

org.spark-project.hive です。

ハイブ-JDBC

1.2.1.スパーク2

org.spark-project.hive です。

Hive metastore

1.2.1.スパーク2

org.spark-project.spark です。

未使用

1.0.0

org.spire-math

スパイア-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframeworkの

スプリングコア

4.1.4.リリース

org.springframeworkの

スプリングテスト

4.1.4.リリース

org.tukaani

xz

1.0

org.typelevel

machinist_2.11

0.6.1

org.typelevel

マクロ-compat_2.11

1.1.1

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.2.6

org.yaml の

スネークヤム

1.16

オロ

オロ

2.0.8

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1

xmlenc

xmlenc

0.52