メインコンテンツまでスキップ

Databricks Runtime 8.0 (EoS)

注記

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。

Databricks は 2021 年 3 月にこのバージョンをリリースしました。

次のリリースノートは、Databricks Runtime Apache Spark3.1.1 を搭載した 8.0 に関する情報を提供します。

新機能

Databricks Runtime 8.0 には Apache Spark 3.1.1 が含まれています。 詳細については、「 Apache Spark」を参照してください。

改善

Delta は、形式が指定されていない場合のデフォルト形式になりました

Databricks Runtime 8.0 では、 Delta テーブルを簡単に作成できるように、デフォルトの形式が delta に変更されています。 SQL コマンドまたは {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} APIsを使用してテーブルを作成し、形式を指定しない場合、デフォルトの形式はdeltaされます。

Delta Lake を使用すると、Parquet よりも優れたパフォーマンス、豊富なスキーマ検証によるデータの信頼性、品質制約、トランザクションの保証が得られます。 Delta Lake を使用すると、単一のデータソースで統一された構造化ストリーミングとバッチ処理を行うことで、データパイプラインを簡素化できます。

Databricks では Delta Lake を使用してデータを保存することをお勧めしますが、従来のワークフローでは Delta Lake への移行が必要な場合があります。 既存のワークフローの移行に関する情報については、「Delta Lakeとは」を参照してください。

新しい構造化ストリーミングのデフォルトのトリガー間隔により、コストを削減

ストリーミング クエリで Trigger.ProcessingTime を使用してトリガー間隔を設定しない場合、間隔は 500 ミリ秒に設定されます。 以前は、デフォルトの間隔は 0 ミリ秒でした。 この変更により、空のトリガーの数が減り、リストなどのクラウド ストレージのコストが削減されます。

Glue データカタログをDatabricks Runtimeのメタストアとして使用する場合の最適化

このリリースでは、AWSGlue 初期化時のデータベース関数の自動ロードを無効にすることで、 データカタログをDatabricks Runtime Hiveメタストアとして最適化しています。関数の読み込みは、 spark.databricks.hive.metastore.init.reloadFunctions.enabled 構成パラメーターを使用して制御できます。 このパラメーターは、 Glue データカタログをメタストアとして使用するときに false にデフォルトし、関数の自動読み込みを無効にします。 このパラメーターを true に設定すると、Hive の初期化中に関数の読み込みが再度有効になります。

資格情報のパススルーで LDA 変換関数を使用する (パブリック プレビュー)

認証に資格情報パススルーを使用するように構成されたクラスターで LDA 変換関数を使用できるようになりました。

資格情報のパススルーを使用して構成されたシングル ユーザー クラスターに、信頼されたファイルシステムが不要に (パブリック プレビュー)

単一ユーザーでの資格情報パススルー用に構成された標準またはジョブ クラスターを使用する場合に、ローカル ファイルシステムを信頼できるファイルシステムとして構成する必要がなくなりました。 この変更により、シングル・ユーザー・クラスターでジョブを実行する際の不要なファイル・システムの制限がなくなります。

ライブラリのアップグレード

Apache Spark

Databricks Runtime 8.0 には Apache Spark 3.1.1 が含まれています。

このセクションの内容:

Core と Spark SQL

ハイライト

ANSI SQL 互換性の強化

  • char/varchar データ型のサポート (SPARK-33480)
  • ANSI モード: null を返す代わりにランタイム エラー (SPARK-33275)
  • ANSI モード: 新しい明示的なキャスト構文ルール (SPARK-33354)
  • SQL 標準コマンド SET TIME ZONE を追加 (SPARK-32272)
  • テーブル作成 SQL 構文の統合 (SPARK-31257)
  • 一時ビューと永続ビューの動作を統合 (SPARK-33138)
  • INSERTステートメントの列リストのサポート (SPARK-32976)
  • ANSI ネストされた括弧付きコメントのサポート (SPARK-28880)

パフォーマンスの強化

  • シャッフルサービスなしのホストローカルシャッフルデータ読み取り (SPARK-32077)

  • ノードを再パーティション分割する前に冗長な並べ替えを削除する (SPARK-32276)

  • 述語を部分的にプッシュダウン (SPARK-32302SPARK-32352)

  • 展開によるフィルターのプッシュダウン (SPARK-33302)

  • Join via CNF 変換を通じて、より多くの可能な述語をプッシュする (SPARK-31705)

  • ブロードキャスト ハッシュ結合の出力パーティションを保持することでシャッフルを削除 (SPARK-31869)

  • 結合キーの並べ替えを改善してシャッフルを削除 (SPARK-32282)

  • 出力パーティション分割と並べ替え順序を正規化してシャッフルを削除する (SPARK-33399)

  • シャッフルされたハッシュ結合の改善 (SPARK-32461)

    • シャッフルされたハッシュ結合ビルド側のパーティション分割を保持する (SPARK-32330)
    • ハッシュ結合 (BHJ および SHJ) ストリーム側の順序保持 (SPARK-32383)
    • ソートマージ結合のためのバケット化されたテーブルの合体 (SPARK-32286)
    • シャッフルされたハッシュ結合の code-gen を追加 (SPARK-32421)
    • シャッフルされたハッシュ結合での完全な外部結合のサポート (SPARK-32399)
  • whole-stage-codegen を使用したプロジェクトでの部分発現の除去のサポート (SPARK-33092)

  • 条件式での部分式の削除のサポート (SPARK-33337)

  • 解釈された式の評価のための部分式の削除のサポート (SPARK-33427)

  • 解釈された述語の部分式の削除をサポート (SPARK-33540)

  • その他のオプティマイザー・ルール

    • ルール ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • ルール EliminateNullAwareAntiJoin (SPARK-32573)
    • ルール EliminateAggregateFilter (SPARK-32540)
    • ルール UnwrapCastInBinaryComparison (SPARK-32858)
    • ルール DisableUnnecessaryBucketedScan (SPARK-32859)
    • ルール CoalesceBucketsInJoin (SPARK-31350)
    • プロジェクトなしで生成する不要なネストされたフィールドを削除 (SPARK-29721)
    • 不要なネストされたフィールドを集計からプルーニングし、展開する (SPARK-27217)
    • 式による再パーティション分割と結合から不要なネストされたフィールドを削除 (SPARK-31736)
    • 不要なネストされたフィールドをコスメティックバリエーションにプルーニングする(SPARK-32163)
    • ウィンドウとソートから不要なネストされたフィールドを削除 (SPARK-32059)
    • CreateArray/CreateMap のサイズをその子のサイズに最適化します (SPARK-33544)

拡張性の強化

  • DataSourceV2にSupportsPartitions APIs を追加します(SPARK-31694)
  • DataSourceV2にSupportsMetadataColumns APIを追加(SPARK-31255)
  • SQL キャッシュのシリアル化をプラグ可能にする (SPARK-32274)
  • TableCatalog.dropTable for v2 カタログに purge オプションを導入 (SPARK-33364)

コネクタの機能強化

  • Hive metastore パーティションフィルターのプッシュダウンの改善 (SPARK-33537)

    • サポートに含まれるフィルター、starts-withフィルター、およびends-withフィルター (SPARK-33458)
    • 日付の種類によるフィルターのサポート (SPARK-33477)
    • 等しくないものによるフィルターをサポート (SPARK-33582)
  • PARQUET

    • Parquet のマップのキータイプで複合型を許可 (SPARK-32639)
    • リベースせずに Parquet に INT96 を保存して読み込むことができます (SPARK-33160)
  • ORC

  • CSV

    • SQLスキーマ推論中に テキストデータソースを活用CSV (SPARK-32270)
  • JSON

    • JSON データソースでのフィルターのプッシュダウンをサポート (SPARK-30648)
  • JDBC

  • AVRO

    • Avro データソースでのフィルターのプッシュダウンのサポート (SPARK-32346)

機能の強化

  • ノードの使用停止 (SPARK-20624)

    • 基本フレームワーク (SPARK-20628)
    • 廃止中の RDD ブロックの移行 (SPARK-20732)
    • 動的スケーリングの一部としてのグレースフル廃止 (SPARK-31198)
    • 廃止中のシャッフル ブロックの移行 (SPARK-20629)
    • タスクとブロックの移行が終了したときにのみエグゼキューターを終了します (SPARK-31197)
    • 廃止中のフォールバックストレージのサポート (SPARK-33545)
  • 新しい組み込み関数

  • EXPLAIN コマンドの機能拡張 (SPARK-32337SPARK-31325)

  • ユーザー指定のヒントを無効にするオプションを提供 (SPARK-31875)

  • Hive スタイルの REPLACE COLUMNS 構文をサポート (SPARK-30613)

  • LIKE ANYおよびLIKE ALLオペレーターのサポート (SPARK-30724)

  • 無制限のMATCHEDMERGE INTO``NOT MATCHEDをサポート (SPARK-32030)

  • F接尾辞付き浮動小数点リテラルのサポート (SPARK-32207)

  • 単一の設定をリセットするための RESET 構文のサポート (SPARK-32406)

  • DISTINCTの同時使用が可能なサポートフィルター式 (SPARK-30276)

  • DSv2 の alter table add/drop partition コマンドのサポート (SPARK-32512)

  • ネストされたOR条件内でのNOT INサブクエリのサポート (SPARK-25154)

  • REFRESH FUNCTIONコマンドのサポート (SPARK-31999)

  • データセットへの sameSemantics メソッドと sementicHash メソッドの追加 (SPARK-30791)

  • UDF でケース クラスの構成されたタイプをサポート (SPARK-31826)

  • エンコーダーでの列挙のサポート (SPARK-32585)

  • ネストされたフィールド APIs withFielddropFieldsのサポート (SPARK-31317SPARK-32511)

  • unionByName で欠落している列の null を埋めるためのサポート (SPARK-29358)

  • 指定されたオプションを取得するためのサポート DataFrameReader.table (SPARK-32592SPARK-32844)

  • spark.sql.hive.metastore.jarsでのHDFSロケーションのサポート (SPARK-32852)

  • --archivesオプションをネイティブにサポート(SPARK-33530SPARK-33615)

  • タスクの開始イベントと終了イベントのメソッドを含めるための ExecutorPlugin API の拡張 (SPARK-33088)

その他の注目すべき変更点

  • Spark ドキュメント サイトでの検索機能の提供 (SPARK-33166)
  • Apache Arrow の 2.0.0 へのアップグレード (SPARK-33213)
  • Thrift ServerでのJava 8 Time APIの有効化(SPARK-31910)
  • UDFs での Java 8 Time API の有効化 (SPARK-32154)
  • 小数を含む集計合計のオーバーフロー チェック (SPARK-28067)
  • 動的パーティション上書きモードでのコミットの衝突を修正 (SPARK-27194SPARK-29302)
  • スレーブ、ブラックリスト、ホワイトリストへの参照を削除しました (SPARK-32004SPARK-32036SPARK-32037)
  • shuffle map ステージのタスク結果サイズチェックを削除 (SPARK-32470)
  • ユーザー指定のファイルシステムスキームを公開するための一般化 ExecutorSource (SPARK-33476)
  • StorageLevel.DISK_ONLY_3を追加 (SPARK-32517)
  • エグゼキューターの Web UI でエグゼキューター memory メトリクスを公開 (SPARK-23432)
  • エグゼキューター memory メトリクスをステージ レベルの Stages タブで公開する (SPARK-26341)
  • YARN クラスター モードでの spark.ui.port の明示的な設定を修正 (SPARK-29465)
  • スタンドアロン クラスター モードで spark-submit の終了を制御するための spark.submit.waitForCompletion 設定を追加 (SPARK-31486)
  • ドライバー stdout/stderr への直接リンクを印刷するように yarn.Client を設定 (SPARK-33185)
  • ブロードキャストの一部の保存に失敗した場合のメモリリークを修正 (SPARK-32715)
  • BlockManagerMaster ドライバーのハートビート タイムアウトを構成可能にする (SPARK-34278)
  • キャッシュ動作の統合と完了 (SPARK-33507)

PySparkの

プロジェクトゼン

  • Project Zen: Python のユーザビリティの向上 (SPARK-32082)
  • PySpark タイプヒントのサポート (SPARK-32681)
  • PySpark ドキュメントの再設計 (SPARK-31851)
  • NumPy ドキュメント スタイルへの移行 (SPARK-32085)
  • PyPIユーザー向けのインストールオプション(SPARK-32017)
  • ディクショナリのリストから推論する DataFrame スキーマの非推奨化を解除 (SPARK-32686)
  • Python UDFs からの例外メッセージを簡略化する (SPARK-33407)

その他の注目すべき変更点

  • 決定論的 PythonUDF 呼び出しの重複排除 (SPARK-33303)
  • PySpark関数での高階関数のサポート(SPARK-30681)
  • サポートデータソース v2x write APIs (SPARK-29157)
  • PySpark 関数でのサポート percentile_approx (SPARK-30569)
  • PySpark DataFrame でのサポート inputFiles (SPARK-31763)
  • PySpark 列でのサポート withField (SPARK-32835)
  • PySpark 列でのサポート dropFields (SPARK-32511)
  • PySpark 関数での nth_value のサポート (SPARK-33020)
  • acoshasinhatanhをサポート (SPARK-33563)
  • PySpark SparkContext での getCheckpointDir メソッドのサポート (SPARK-33017)
  • unionByName で欠落している列の null を埋めるサポート (SPARK-32798)
  • cloudpickle を v1.5.0 に更新します (SPARK-32094)
  • PySpark with Arrow の MapType サポートを追加 (SPARK-24554)
  • DataStreamReader.table および DataStreamWriter.toTable (SPARK-33836)

構造化ストリーミング

パフォーマンスの強化

  • maxFilesPerTrigger を超えるファイルのリストを未読ファイルとしてキャッシュする (SPARK-30866)
  • ファイル ストリームのソースおよびシンクのメタデータ ログのロジックを効率化 (SPARK-30462)
  • クエリがコンパクト バッチから再起動される場合、コンパクト メタデータ ログを 2 回読み取らないようにする (SPARK-30900)

機能の強化

  • DataStreamReader.table API を追加 (SPARK-32885)
  • DataStreamWriter.toTable API を追加 (SPARK-32896)
  • 左セミストリーム-ストリーム結合 (SPARK-32862)
  • 完全な外部ストリーム-ストリーム結合 (SPARK-32863)
  • 出力ファイルに保持期間を設定する新しいオプションを提供 (SPARK-27188)
  • Spark 構造化ストリーミング履歴サーバーのサポートを追加 (SPARK-31953)
  • クエリの再起動中に状態スキーマの検証を導入 (SPARK-27237)

その他の注目すべき変更点

  • ストリーミング状態ストアのスキーマ検証を導入 (SPARK-31894)
  • 状態ストアで異なる圧縮コーデックを使用するためのサポート (SPARK-33263)
  • メタデータが更新されないため、Kafka コネクタが無限に待機する (SPARK-28367)
  • Kafka の 2.6.0 へのアップグレード (SPARK-32568)
  • 構造化ストリーミング UI ページのページネーションのサポート (SPARK-31642SPARK-30119)
  • 構造化ストリーミング UI の状態情報 (SPARK-33223)
  • 構造化ストリーミング UI の透かしギャップ情報 (SPARK-33224)
  • SS UI での状態カスタムメトリクス情報の公開 (SPARK-33287)
  • ウォーターマークより後の行数に関する新しいメトリクスを追加 (SPARK-24634)

MLlib

ハイライト

  • LinearSVC ブロック化入力ベクトル (SPARK-30642)
  • LogisticRegression は入力ベクトルをブロック化します (SPARK-30659)
  • LinearRegression ブロック化入力ベクトル (SPARK-30660)
  • AFT ブロック入力ベクトル (SPARK-31656)
  • ML での関連付けルールのサポートを追加 (SPARK-19939)
  • LinearSVCModel のトレーニングの概要を追加 (SPARK-20249)
  • RandomForestClassificationModel に概要を追加 (SPARK-23631)
  • FMClassificationModel にトレーニングの概要を追加 (SPARK-32140)
  • MultilayerPerceptronClassificationModel に概要を追加 (SPARK-32449)
  • FMClassifier を SparkR に追加する (SPARK-30820)
  • SparkR LinearRegression ラッパーを追加 (SPARK-30818)
  • FMRegressor ラッパーを SparkR に追加 (SPARK-30819)
  • vector_to_array用のSparkRラッパーを追加(SPARK-33040)
  • 適応的にインスタンスをブロック化 - LinearSVC (SPARK-32907)
  • make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer が Python バックエンド推定/評価器をサポート (SPARK-33520)
  • GEMV による ML ALS recommendForAll の性能向上 (SPARK-33518)
  • UnivariateFeatureSelector を追加 (SPARK-34080)

その他の注目すべき変更点

  • GMM コンピュートの 1 つのジョブでの配布の要約と更新 (SPARK-31032)
  • MLlibへの ChiSqSelector 依存関係を削除します。ChiSqSelectorModel (SPARK-31077)
  • testChiSquare でのテストの結果データフレームをフラット化する (SPARK-31301)
  • MinHash keyDistanceの最適化 (SPARK-31436)
  • 三角不等式に基づくKMeans最適化 (SPARK-31007)
  • ClusteringEvaluator に重みのサポートを追加 (SPARK-31734)
  • エバリュエーターに getMetrics を追加 (SPARK-31768)
  • LinearRegressionSummary にインスタンスの重みのサポートを追加 (SPARK-31944)
  • ユーザー指定のフォールド列を CrossValidator に追加する (SPARK-31777)
  • 機能とチューニングにおける ML パラメーターのデフォルト値パリティ (SPARK-32310)
  • KMeans/BiKMeansの二重キャッシングを修正(SPARK-32676)
  • 後方変換の最適化 (SPARK-33111)
  • FeatureHasher 変換の最適化 (SPARK-32974)
  • データフレーム列のarray_to_vector関数を追加 (SPARK-33556)
  • MLパラメータのデフォルト値の分類、回帰、クラスタリング、fpmのパリティ(SPARK-32310)
  • Summary.totalIterations が maxIters より大きい (SPARK-31925)
  • ツリーモデル予測の最適化 (SPARK-32298)

SparkR

  • 高階関数のSparkRインターフェースを追加(SPARK-30682)
  • unionByName で欠落している列の null を埋めるサポート (SPARK-32798)
  • SparkR 関数での withColumn のサポート (SPARK-32946)
  • SparkR 関数でのtimestamp_secondsのサポート (SPARK-32949)
  • SparkR 関数でのサポートnth_value (SPARK-33030)
  • Arrow の最小バージョンが 1.0.0 に引き上げられました (SPARK-32452)
  • SparkR 関数でのサポートarray_to_vector (SPARK-33622)
  • acosh、asinh、atanhをサポート (SPARK-33563)
  • from_avroとto_avroをサポート (SPARK-33304)

メンテナンスの更新

「Databricks Runtime 8.0 メンテナンスの更新」を参照してください。

システム環境

  • オペレーティングシステム :Ubuntu 18.04.5 LTS
  • Java :Zulu 8.50.0.51-CA-linux64(ビルド1.8.0_275-b01)
  • Scala : 2.12.10
  • Python : 3.8.8(2021年5月26日メンテナンスアップデートの3.8.6から更新)
  • R :Rバージョン4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

インストール済み Python ライブラリ

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

appdirs (英語)

1.4.4

ASN1暗号

1.4.0

バックコール

0.2.0

ボト3

1.16.7

ボトコア

1.19.7

ブロトリピー

0.7.0

認証

2020.12.5

cffi

1.14.3

シャルデ

3.0.4

暗号化手法

3.1.1

サーマルサイクラー

0.10.0

シトン

0.29.21

デコレータ

4.4.2

ディストリビューション

0.3.1

docutilsの

0.15.2

エントリポイント

0.3

ファイルロック

3.0.12

イドナ

2.10

ipykernel(英語)

5.3.4

アイパイソン

7.19.0

ipython-genutils

0.2.0

ジェダイ

0.17.2

jmespathの

0.10.0

ジョブリブ

0.17.0

jupyter-クライアント

6.1.7

ジュピターコア

4.6.3

キウイソルバー

1.3.0

koalas

1.5.0

Matplotlib

3.2.2

ナムピー

1.19.2

pandas

1.1.3

パルソ

0.7.0

パッツィ

0.5.1

pexpect

4.8.0

ピクルシェア

0.7.5

20.2.4

プロンプトツールキット

3.0.8

サイコップ2

2.8.5

PTYPROCESSの

0.6.0

ピアロー

1.0.1

pycparser

2.20

ピグメント

2.7.2

pyOpenSSLの

19.1.0

pyparsing (英語)

2.4.7

PySocks(パイソックス)

1.7.1

Python-dateutil

2.8.1

ピッツ

2020.1

ピズム

19.0.2

要求

2.24.0

S3トランスファー

0.3.3

Scikit-Learn

0.23.2

scipy(サイピー)

1.5.2

シーボーン

0.10.0

セットアップツール

50.3.1

6

1.15.0

統計モデル

0.12.0

スレッドプールctl

2.1.0

竜巻

6.0.4

トレイトレット

5.0.5

urllib3 の

1.25.11

virtualenv

20.2.1

WC幅

0.2.5

0.35.1

インストールされている R ライブラリ

R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされます。

ライブラリ

バージョン

ライブラリ

バージョン

ライブラリ

バージョン

アスクパス

1.1

assertthat

0.2.1

バックポート

1.2.1

4.0.3

base64enc

0.1-3

BH

1.72.0-3

bit

4.0.4

ビット64

4.0.5

ブロッブ

1.2.1

ブート

1.3-25

醸成

1.0-6

ブリオ

1.1.0

0.7.2

コール

3.5.1

キャレット

6.0-86

セルレンジャー

1.1.0

クロン

2.3-56

クラス

7.3-17

CLI

2.2.0

clipr

0.7.1

クラスター

2.1.0

コードツール

0.2-18

カラースペース

2.0-0

コモンマーク

1.7

コンパイラ

4.0.3

コンフィグ

0.3

COVRの

3.5.1

CPP11の

0.2.4

クレヨン

1.3.4

資格情報

1.3.0

クロストーク

1.1.0.1

Curl

4.3

データ.テーブル

1.13.4

データセット

4.0.3

DBI

1.1.0

dbplirの

2.0.0

DESC

1.2.0

開発ツール

2.3.2

ディフobj

0.3.2

ダイジェスト

0.6.27

dplyrの

1.0.2

DT

0.16

省略記号

0.3.1

0.14

ファンシ

0.4.1

ファーバー

2.0.3

ファストマップ

1.0.1

フォーキャッツ

0.5.0

For each

1.5.1

外国の

0.8-79

鍛える

0.2.0

FSの

1.5.0

未来

1.21.0

ジェネリック

0.1.0

ゲルト

1.0.2

ggplot2の

3.3.2

gh

1.2.0

ギットレッズ

0.1.1

glmnet

4.0-2

グローバル

0.14.0

1.4.2

ガウアー

0.2.2

グラフィックス

4.0.3

grDevicesの

4.0.3

グリッド

4.0.3

グリッドエクストラ

2.3

gsubfnの

0.7

GTABLE(GTABLE)

0.3.0

避難所

2.3.1

高い

0.8

HMSの

0.5.3

htmlツール[htmltools]

0.5.0

htmlウィジェット

1.5.3

httpuv

1.5.4

httr

1.4.2

hwriter

1.3.2

hwriterPlusの

1.0-3

イニ

0.3.1

イプレッド

0.9-9

アイソバンド

0.2.3

反復 子

1.0.13

jsonlite

1.7.2

カーンスムース

2.23-18

ニット

1.30

ラベリング

0.4.2

あとで

1.1.0.1

格子

0.20-41

溶岩

1.6.8.1

レイジーバル

0.2.2

ライフサイクル

0.2.0

リッスン

0.8.0

ルブリデート

1.7.9.2

マグリット

2.0.1

Markdown

1.1

質量

7.3-53

マトリックス

1.2-18

メモ

1.1.0

メソッド

4.0.3

mgcv

1.8-33

マイム

0.9

モデルメトリクス

1.2.2.2

モデラー

0.1.8

マンセル

0.5.0

nlme

3.1-151

ネット

7.3-14

numDerivの

2016.8-1.1

オープンSSL

1.4.3

並列

4.0.3

並行して

1.22.0

1.4.7

pkgbuild の

1.1.0

pkgconfig

2.0.3

pkgload(パッケージロード)

1.1.0

plogrの

0.2.0

プライル

1.8.6

褒める

1.0.0

プリティユニット

1.1.1

pROC

1.16.2

プロセスX

3.4.5

製品

2019.11.13

経過

1.2.2

約束

1.1.1

プロト

1.0.0

PS

1.5.0

ゴロゴロ

0.3.4

R2D3の

0.2.3

R6の

2.5.0

ランダムフォレスト

4.6-14

ラプディレクトリ

0.3.1

rcmdcheckの

1.3.3

RColorブリューワー

1.1-2

Rcpp

1.0.5

読み取り

1.4.0

readxlの

1.3.1

レシピ

0.1.15

再戦

1.0.1

再戦2

2.1.2

リモコン

2.2.0

レプレックス

0.3.0

形状変更2

1.4.4

レックス

1.2.0

ラン

0.4.9

rmarkdown

2.6

RODBC

1.3-17

リオキシジェン2

7.1.1

rpart

4.1-15

rprojroot さん

2.0.2

サーブ

1.8-7

RSQLite (英語)

2.2.1

rstudioapi

0.13

rversions

2.0.2

アヴェスト

0.3.6

1.1.1

セレクタ

0.4-2

セッション情報

1.1.1

1.4.5

shiny

1.5.0

ソースツール

0.1.7

sparklyr

1.5.2

SparkR

3.1.0

空間的

7.3-11

スプライン

4.0.3

sqldf

0.4-11

スクエアム

2020.5

統計

4.0.3

統計4

4.0.3

ストリンギ

1.5.3

ストリンガー

1.4.0

生存

3.2-7

SYSの

3.4

tcltk

4.0.3

ティーチングデモ

2.10

テストを

3.0.0

ティブル

3.0.4

ティディル

1.1.2

ティディセレクト

1.1.0

ティディバース

1.3.0

日時

3043.102

タイニーテックス

0.28

ツール

4.0.3

usethisさん

2.0.0

UTF8

1.1.4

ユーティリティ

4.0.3

UUIDの

0.1-4

vctrs

0.3.5

viridisライト

0.3.0

ワルド

0.2.3

ウイスカー

0.4

ウィザー

2.3.0

xfun

0.19

XML2の

1.3.2

xopen(オーペン)

1.0.0

エクステーブル

1.8-4

ヤムラ

2.2.1

郵便番号

2.1.1

インストール済み Java and Scala ライブラリ (Scala 2.12 クラスター版)

グループID

アーティファクト ID

バージョン

アントル

アントル

2.7.7

com.amazonawsの

Amazon-kinesis-client

1.12.0

com.amazonawsの

aws-java-sdk-オートスケール

1.11.655

com.amazonawsの

aws-java-sdk-cloudformation

1.11.655

com.amazonawsの

aws-java-sdk-cloudfront

1.11.655

com.amazonawsの

aws-java-sdk-cloudhsm

1.11.655

com.amazonawsの

aws-java-sdk-cloudsearch(英語)

1.11.655

com.amazonawsの

aws-java-sdk-cloudtrail

1.11.655

com.amazonawsの

aws-java-sdk-cloudwatch

1.11.655

com.amazonawsの

aws-java-sdk-cloudwatchメトリクス

1.11.655

com.amazonawsの

aws-java-sdk-コードデプロイ

1.11.655

com.amazonawsの

aws-java-sdk-cognitoアイデンティティ

1.11.655

com.amazonawsの

aws-java-sdk-cognitosync

1.11.655

com.amazonawsの

aws-java-sdk-configの

1.11.655

com.amazonawsの

aws-java-sdk-コア

1.11.655

com.amazonawsの

aws-java-sdk-データパイプライン

1.11.655

com.amazonawsの

aws-java-sdk-directconnectの

1.11.655

com.amazonawsの

aws-java-sdkディレクトリ

1.11.655

com.amazonawsの

aws-java-sdk-ダイナモDB

1.11.655

com.amazonawsの

aws-java-sdk-ec2 の

1.11.655

com.amazonawsの

aws-java-sdk-ecsの

1.11.655

com.amazonawsの

aws-java-sdk-efs

1.11.655

com.amazonawsの

aws-java-sdk-elasticache

1.11.655

com.amazonawsの

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonawsの

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonawsの

aws-java-sdk-elasticトランスコーダー

1.11.655

com.amazonawsの

aws-java-sdk-emr

1.11.655

com.amazonawsの

aws-java-sdk-glacier

1.11.655

com.amazonawsの

aws-java-sdk-iam

1.11.655

com.amazonawsの

aws-java-sdk-importexport

1.11.655

com.amazonawsの

aws-java-sdk-キネシス

1.11.655

com.amazonawsの

aws-java-sdk-kmsの

1.11.655

com.amazonawsの

aws-java-sdk-ラムダ

1.11.655

com.amazonawsの

aws-java-sdk-logs

1.11.655

com.amazonawsの

aws-java-sdk-機械学習

1.11.655

com.amazonawsの

aws-java-sdk-opsworks

1.11.655

com.amazonawsの

aws-java-sdk-rds

1.11.655

com.amazonawsの

aws-java-sdk-レッドシフト

1.11.655

com.amazonawsの

aws-java-sdk-ルート53

1.11.655

com.amazonawsの

aws-java-sdk-s3 の

1.11.655

com.amazonawsの

aws-java-sdk-ses

1.11.655

com.amazonawsの

aws-java-sdk-simpledb

1.11.655

com.amazonawsの

aws-java-sdk-シンプルなワークフロー

1.11.655

com.amazonawsの

aws-java-sdk-snsの

1.11.655

com.amazonawsの

aws-java-sdk-sqs

1.11.655

com.amazonawsの

aws-java-sdk-ssm

1.11.655

com.amazonawsの

aws-java-sdk-storagegateway

1.11.655

com.amazonawsの

aws-java-sdk-sts

1.11.655

com.amazonawsの

aws-java-sdk-サポート

1.11.655

com.amazonawsの

aws-java-sdk-swf-ライブラリ

1.11.22

com.amazonawsの

aws-java-sdk-ワークスペース

1.11.655

com.amazonawsの

jmespath-java

1.11.655

com.chuusai(英語)

shapeless_2.12

2.3.3

com.clearspring.アナリティクス

stream

2.9.6

com.databricksの

サーブ

1.8-3

com.databricksの

ジェット3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapbのruntime_2.12

0.4.15-10

com.esotericソフトウェア

kryo-shaded(クリョシェード)

4.0.2

com.esotericソフトウェア

ミンログ

1.3.0

com.fasterxmlの

クラスメイト

1.3.4

com.fasterxml.jackson.core

ジャクソン-注釈

2.10.0

com.fasterxml.jackson.core

ジャクソンコア

2.10.0

com.fasterxml.jackson.core

ジャクソン-データバインド

2.10.0

com.fasterxml.jackson.dataformat

ジャクソン-データフォーマット-CBOR

2.10.0

com.fasterxml.jackson.datatype

ジャクソン-データ型-JODA

2.10.0

com.fasterxml.jackson.module

ジャクソン-モジュール-パラナマー

2.10.0

com.fasterxml.jackson.module

ジャクソンモジュール-Scala.12

2.10.0

com.github.ben-manes.caffeine

カフェイン

2.3.4

com.github.fommil (英語)

Jniloader

1.1

com.github.fommil.netlib (英語)

コア

1.1.2

com.github.fommil.netlib (英語)

native_ref-ジャワ

1.1

com.github.fommil.netlib (英語)

native_ref-java-natives

1.1

com.github.fommil.netlib (英語)

native_system-Javaの

1.1

com.github.fommil.netlib (英語)

native_system-java-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib (英語)

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-メトリクス-hadoop-metrics2-reporter

0.1.2

com.github.luben

ZSTD-JNI

1.4.8-1

com.github.wendykierp (英語)

JTransformsの

3.1

com.google.code.findbugs

JSR305

3.0.0

com.google.code.gson(英語)

gson

2.2.4

com.google.flatbuffers

フラットバッファ-Java

1.9.0

com.google.guava

グアバ

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2データベース

H2

1.4.195

com.helger

プロファイラー

1.1.1

com.jcraftの

jsch

0.1.50

com.jolboxの

ボーンカップ

0.8.0.リリース

com.lihaoyi

sourcecode_2月12日

0.1.9

com.microsoft.sqlserver

mssqlの-JDBC

8.2.1.JRE8

com.microsoft.azure

azure-データレイク-store-sdk

2.3.9

com.ningの

圧縮-LZF

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

JSON

1.8

com.thoughtworks.paranamer

パラナマー

2.8

com.trueaccord.lensesの

lenses_2.12

0.4.12

コム。囀る

チルジャワ

0.9.5

コム。囀る

chill_2.12

0.9.5

コム。囀る

util-app_2.12

7.1.0

コム。囀る

util-core_2.12

7.1.0

コム。囀る

util-function_2.12

7.1.0

コム。囀る

util-jvm_2.12

7.1.0

コム。囀る

util-lint_2.12

7.1.0

コム。囀る

util-registry_2.12

7.1.0

コム。囀る

util-stats_2.12

7.1.0

com.タイプセーフ

コンフィグ

1.2.1

Scala-logging

Scala-logging_2.12

3.7.2

com.univocityの

univocity-パーサー

2.9.0

com.zaxxerの

ひかりCP

3.1.0

commons-beanutilsの

commons-beanutilsの

1.9.4

コモンズCLI

コモンズCLI

1.2

コモンズコーデック

コモンズコーデック

1.10

コモンズコレクション

コモンズコレクション

3.2.2

コモンズ構成

コモンズ構成

1.6

コモンズ-DBCP

コモンズ-DBCP

1.4

コモンズ消化器

コモンズ消化器

1.8

コモンズファイルアップロード

コモンズファイルアップロード

1.3.3

commons-httpクライアント

commons-httpクライアント

3.1

コモンズ-IO

コモンズ-IO

2.4

コモンズ-ラング

コモンズ-ラング

2.6

コモンズロギング

コモンズロギング

1.1.3

コモンズネット

コモンズネット

3.1

コモンズプール

コモンズプール

1.5.4

info.ganglia.gmetric4j

gmetric4jの

1.0.10

io.エアリフト

エアコンプレッサー

0.10

io.dropwizard.メトリクス

メトリクスコア

4.1.1

io.dropwizard.メトリクス

メトリクス-グラファイト

4.1.1

io.dropwizard.メトリクス

メトリクス-healthchecks

4.1.1

io.dropwizard.メトリクス

メトリクス-jetty9

4.1.1

io.dropwizard.メトリクス

メトリクス-JMX

4.1.1

io.dropwizard.メトリクス

メトリクス-JSON

4.1.1

io.dropwizard.メトリクス

メトリクス-JVM

4.1.1

io.dropwizard.メトリクス

メトリクスサーブレット

4.1.1

io.nettyの

netty-すべて

4.1.51.最終版

io.プロメテウス

シンプルクライアント

0.7.0

io.プロメテウス

simpleclient_common

0.7.0

io.プロメテウス

simpleclient_dropwizard

0.7.0

io.プロメテウス

simpleclient_pushgateway

0.7.0

io.プロメテウス

simpleclient_servlet

0.7.0

io.prometheus.jmx

収集家

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation(ジャカルタ検証)

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activationの

アクティベーション

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo-api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

JSPのAPI

2.1

javax.transaction

jta

1.1

javax.transaction

トランザクションAPI

1.1

javax.xml.バインド

ヤックスビーAPI

2.2.2

javax.xml.ストリーム

スタックス-API

1.0-2

ジャボリューション

ジャボリューション

5.5.1

ジェイライン

ジェイライン

2.14.6

ジョダタイム

ジョダタイム

2.10.5

log4j(ログ4J)

apache-log4j-extras

1.2.17

log4j(ログ4J)

log4j(ログ4J)

1.2.17

net.razorvine

パイロライト

4.30

net.sf.jpam (英語)

JPAMの

1.1

net.sf.opencsv

opencsvの

2.3

net.sf.supercsv (英語)

スーパーCSV

2.2.0

ネット.スノーフレーク

snowflake-ingest-sdk

0.9.6

ネット.スノーフレーク

スノーフレーク-JDBC

3.12.8

ネット.スノーフレーク

スパーク-snowflake_2.12

2.8.1-spark_3.0

net.sourceforge.f2j (英語)

arpack_combined_all

0.1

org.acplt.remoteteaの

リモートTEA-ONCRPC

1.1.2

org.antlr

ST4の

4.0.4

org.antlr

antlrランタイム

3.5.2

org.antlr

antlr4ランタイム

4.8-1

org.antlr

文字列テンプレート

3.2.1

org.apache.ant

1.9.2

org.apache.ant

アントJSCH

1.9.2

org.apache.ant

アントランチャー

1.9.2

org.apache.arrow(アパッチ・アロー)

arrow-format

2.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-core

2.0.0

org.apache.arrow(アパッチ・アロー)

arrow-memory-netty

2.0.0

org.apache.arrow(アパッチ・アロー)

arrow-vector

2.0.0

org.apache.avro

AVRO

1.8.2

org.apache.avro

アブロIPC

1.8.2

org.apache.avro

アブロマップド-hadoop2

1.8.2

org.apache.commonsの

コモンズ圧縮

1.20

org.apache.commonsの

コモンズ-クリプト

1.1.0

org.apache.commonsの

コモンズ-LANG3

3.10

org.apache.commonsの

コモンズ-数学3

3.4.1

org.apache.commonsの

コモンズテキスト

1.6

org.apache.curator (英語)

キュレーター・クライアント

2.7.1

org.apache.curator (英語)

キュレーターフレームワーク

2.7.1

org.apache.curator (英語)

キュレーターレシピ

2.7.1

org.apache.derbyの

ダービー

10.12.1.1

org.apache.directory.api

API-ASN1-API

1.0.0-M20

org.apache.directory.api

APIのユーティリティ

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop です。

hadoop アノテーション

2.7.4

org.apache.hadoop です。

hadoop認証

2.7.4

org.apache.hadoop です。

hadoop クライアント

2.7.4

org.apache.hadoop です。

hadoop-共通

2.7.4

org.apache.hadoop です。

Hadoop-HDFS

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-アプリ

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-クライアント-共通

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-core

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-ジョブクライアント

2.7.4

org.apache.hadoop です。

hadoop-mapreduce-client-shuffle

2.7.4

org.apache.hadoop です。

hadoop-yarn-api

2.7.4

org.apache.hadoop です。

hadoop-yarn-クライアント

2.7.4

org.apache.hadoop です。

hadoop-yarn-共通

2.7.4

org.apache.hadoop です。

hadoop-yarn-server-共通

2.7.4

org.apache.hive です。

ハイブビーライン

2.3.7

org.apache.hive です。

ハイブ CLI

2.3.7

org.apache.hive です。

ハイブ共通

2.3.7

org.apache.hive です。

ハイブ実行コア

2.3.7

org.apache.hive です。

ハイブ-JDBC

2.3.7

org.apache.hive です。

ハイブ - llap クライアント

2.3.7

org.apache.hive です。

ハイブ - llap - 共通

2.3.7

org.apache.hive です。

Hive metastore

2.3.7

org.apache.hive です。

ハイブセルデ

2.3.7

org.apache.hive です。

ハイブシム

2.3.7

org.apache.hive です。

ハイブストレージAPI

2.7.2

org.apache.hive です。

ハイブベクトルコード生成

2.3.7

org.apache.hive.shims

ハイブシム-0.23

2.3.7

org.apache.hive.shims

ハイブシム-共通

2.3.7

org.apache.hive.shims

ハイブシムススケジューラ

2.3.7

org.apache.htrace

htrace-コア

3.1.0-インキュベーション

org.apache.httpコンポーネント

httpクライアント

4.5.6

org.apache.httpコンポーネント

httpコア

4.4.12

org.apache.ivy

2.4.0

org.apache.mesos

メソスシェードプロトブ

1.4.0

org.apache.orc

オークコア

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

オークシム

1.5.12

org.apache.parquet

parquet-column

1.10.1-データブリックス6

org.apache.parquet

parquet-common

1.10.1-データブリックス6

org.apache.parquet

parquet-encoding

1.10.1-データブリックス6

org.apache.parquet

parquet-format

2.4.0

org.apache.parquet

parquet-hadoop

1.10.1-データブリックス6

org.apache.parquet

parquet-jackson

1.10.1-データブリックス6

org.apache.thrift

libfb303の

0.9.3

org.apache.thrift

リブスリフト

0.12.0

org.apache.velocityの

速度

1.5

org.apache.xbean

xbean-asm7-シェード

4.15

org.apache.yetus (英語)

オーディエンスアノテーション

0.5.0

org.apache.zookeeper

動物園の飼育係

3.4.14

org.codehaus.jackson

ジャクソン-コア-ASL

1.9.13

org.codehaus.jackson

ジャクソン・ジャクサーズ

1.9.13

org.codehaus.jackson

ジャクソン-マッパー-ASL

1.9.13

org.codehaus.jackson

ジャクソン-XC

1.9.13

org.codehaus.janino

commons-コンパイラ

3.0.16

org.codehaus.janino

ジャニーノ

3.0.16

org.datanucleus (英語)

データ核-API-JDO

4.2.4

org.datanucleus (英語)

データ核コア

4.1.17

org.datanucleus (英語)

データ核-RDBMS

4.1.19

org.datanucleus (英語)

javax.jdo

3.2.0-m3

組織Eclipse.jetty

桟橋クライアント

9.4.34.v20201102

組織Eclipse.jetty

桟橋の続き

9.4.34.v20201102

組織Eclipse.jetty

桟橋-HTTP

9.4.34.v20201102

組織Eclipse.jetty

桟橋-IO

9.4.34.v20201102

組織Eclipse.jetty

桟橋-JNDI

9.4.34.v20201102

組織Eclipse.jetty

桟橋プラス

9.4.34.v20201102

組織Eclipse.jetty

桟橋プロキシ

9.4.34.v20201102

組織Eclipse.jetty

桟橋警備

9.4.34.v20201102

組織Eclipse.jetty

桟橋サーバー

9.4.34.v20201102

組織Eclipse.jetty

桟橋サーブレット

9.4.34.v20201102

組織Eclipse.jetty

桟橋サーブレット

9.4.34.v20201102

組織Eclipse.jetty

桟橋-util

9.4.34.v20201102

組織Eclipse.jetty

桟橋-webapp

9.4.34.v20201102

組織Eclipse.jetty

桟橋XML

9.4.34.v20201102

org.fusesource.leveldbjni

レベルdbjni-すべて

1.8

org.glassfish.hk2

HK2-API

2.6.1

org.glassfish.hk2

HK2ロケーター

2.6.1

org.glassfish.hk2

hk2-utilsの

2.6.1

org.glassfish.hk2

osgi-リソースロケーター

1.0.3

org.glassfish.hk2.external (英語)

AOPALLIANCE-再パッケージ化

2.6.1

org.glassfish.hk2.external (英語)

jakarta.inject です。

2.6.1

org.glassfish.jersey.containers

ジャージーコンテナサーブレット

2.30

org.glassfish.jersey.containers

ジャージーコンテナサーブレットコア

2.30

org.glassfish.jersey.coreの

ジャージークライアント

2.30

org.glassfish.jersey.coreの

ジャージー共通

2.30

org.glassfish.jersey.coreの

ジャージーサーバー

2.30

org.glassfish.jersey.inject

ジャージ-HK2

2.30

org.glassfish.jersey.mediaの

ジャージー-メディア-JAXB

2.30

org.hibernate.validator

hibernate-validator

6.1.0.ファイナル

org.javassist

ジャバス奏者

3.25.0-GAの

org.jboss.logging

jboss-ロギング

3.3.2.ファイナル

org.jdbi

DBI

2.63.1

org.joda

ジョダ変換

1.7

org.jodd さん

ジョッドコア

3.5.2

org.json4sの

json4s-ast_2.12

3.7.0-M5

org.json4sの

json4s-core_2.12

3.7.0-M5

org.json4sの

json4s-jackson_2.12

3.7.0-M5

org.json4sの

json4s-scalap_2.12

3.7.0-M5

org.lz4

LZ4-Javaの

1.7.1

org.mariadb.JDBC

mariadb-java-クライアント

2.1.2

org.objenesis

オブジェネシス

2.5.1

org.postgresql

PostgreSQL

42.1.4

org.roaringbitmap

ロアリングビットマップ

0.9.0

org.roaringbitmap

シム

0.9.0

org.rocksdbの

ロックスDBJNI

6.2.2

org.rosuda.REngine

レンジン

2.1.0

組織Scala-lang

Scala-compiler_2.12

2.12.10

組織Scala-lang

Scala-Library.12

2.12.10

組織Scala-lang

Scala-reflect_2.12

2.12.10

組織Scala-lang.modules

Scalaコレクションcompat_2.12

2.1.1

組織Scala-lang.modules

Scala-parser-combinators_2.12

1.1.2

組織Scala-lang.modules

Scala-xml_2.12

1.2.0

組織Scala-sbt

テストインターフェース

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

そよ風-macros_2.12

1.0

org.scalanlp

breeze_2.12

1.0

org.scalatestの

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

7月-slf4j

1.7.30

org.slf4j

SLF4J-APIの

1.7.30

org.slf4j

SLF4J-ログ4J12

1.7.30

org.spark-project.spark です。

未使用

1.0.0

org.springframeworkの

スプリングコア

4.1.4.リリース

org.springframeworkの

スプリングテスト

4.1.4.リリース

org.threetenさん

スリーテンエクストラ

1.5.0

org.tukaani

xz

1.5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

マクロ-compat_2.12

1.1.1

org.typelevel

スパイア-macros_2.12

0.17.0-M1

org.typelevel

スパイア-platform_2.12

0.17.0-M1

org.typelevel

スパイア-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.wildfly.openssl

ワイルドフライ-openssl

1.0.7.ファイナル

org.xerial

sqlite-JDBC の

3.8.11.2

org.xerial.snappy(英語)

スナッピージャワ

1.1.8.2

org.yaml の

スネークヤム

1.24

オロ

オロ

2.0.8

pl.edu.icm

JLarge配列

1.5

ソフトウェア.Amazon.ion

イオンジャワ

1.0.2

スタックス

スタックス-API

1.0.1

xmlenc

xmlenc

0.52