Databricks Runtime 15.2 for Machine Learning (EoS) (英語)
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「 サポート終了の履歴」を参照してください。 サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks Runtime 15.2 for Machine Learning は、 Databricks Runtime 15.2 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 Databricks Runtime ML は、 Horovodを使用した分散ディープラーニング トレーニングもサポートしています。
サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。
新機能と改善点
Databricks Runtime 15.2 ML は、Databricks Runtime 15.2 の上に構築されています。 Databricks Runtime 15.2 の新機能 (Apache Spark MLlib や SparkRなど) については、Databricks Runtime 15.2 (EoS) リリースノートを参照してください。
StreamingDataset を追加する
StreamingDataset は、クラウド ストレージからの大規模なデータセットのトレーニングを可能な限り高速、安価、スケーラブルにするために使用されます。 Databricks Runtime 15.2 ML にプレインストールされています。
PhotonDatabricks RuntimeMLCPU クラスターでの サポート
Databricks Runtime15.2ML Spark SQLSparkデータフレームPhoton以降では、CPU クラスターで を有効にすることで、 ワークロードと ワークロードを高速化できます。
機械学習アプリケーションの場合、Photonは次のようなユースケースでより高速なパフォーマンスを提供します。
- SQL または データフレーム API を使用したデータ準備。
- ポイントインタイムルックアップによる特徴エンジニアリング。
- GraphFramesによるグラフ分析。
では、 、 、Photon などのPython ライブラリのパフォーマンスは向上しません。TensorFlowPyTorchXGBoost
Spark RDD APIs と Spark MLlib は、Photonとの互換性が制限されています。Spark RDD または Spark MLlib を使用して大規模なデータセットを処理すると、Spark メモリの問題が発生する可能性があります。 Spark メモリの問題を参照してください。
システム環境
Databricks Runtime 15.2 ML のシステム環境は、Databricks Runtime 15.2 と次のように異なります。
- GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.1
- cusolver 11.4.5.107-1
- クプティ 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
ライブラリ
次のセクションでは、Databricks Runtime 15.2 ML に含まれるライブラリのうち、Databricks Runtime 15.2 に含まれるライブラリと異なるライブラリの一覧を示します。
このセクションの内容:
トップクラスのライブラリ
Databricks Runtime 15.2 ML には、次の最上位 ライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- TensorFlow
- TensorBoard
- トランスフォーマー
Python ライブラリ
Databricks Runtime 15.2 ML は、Python パッケージ管理に virtualenv
を使用し、多くの一般的な ML パッケージが含まれています。
次のセクションで指定されているパッケージに加えて、Databricks Runtime 15.2 ML には次のパッケージも含まれています。
- hyperopt 0.2.7 + db3
- sparkdl 3.0.0_db1
- AutoML 1.26.0
Databricks Runtime ML Python 環境をローカルの Python 仮想環境に再現するには、 requirements-15.2.txt ファイルをダウンロードして pip install -r requirements-15.2.txt
を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automl
、databricks-feature-engineering
、hyperopt
の Databricks fork など、Databricksが開発したライブラリはインストールしません。
Python ライブラリ on CPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 1.0.0 | 早める | 0.28.0 | AIOhttp | 3.8.5 |
AIOhttp-CORSの | 0.7.0 | AIOシグナル | 1.2.0 | アニオ | 3.5.0 |
アルゴン2-CFFI | 21.3.0 | argon2-cffi-結合 | 21.2.0 | アスター | 0.8.1 |
アストトークンズ | 2.0.5 | アストゥンパース | 1.6.3 | 非同期タイムアウト | 4.0.2 |
属性 | 22.1.0 | オーディオ読み取り | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-identity | 1.16.0 | azure-storage-blob | 12.19.1 |
azure-storage-file-datalake | 12.14.0 | バックコール | 0.2.0 | bcryptの | 3.2.0 |
美しいスープ4 | 4.12.2 | 黒い | 23.3.0 | ブリーチ | 4.1.0 |
ウィンカー | 1.4 | ブリス | 0.7.11 | ボト3 | 1.34.39 |
ボトコア | 1.34.39 | ブロトリ | 1.0.9 | cachetools | 5.3.3 |
カタログ | 2.0.10 | カテゴリ-エンコーダー | 2.6.3 | 認証 | 2023.7.22 |
cffi | 1.15.1 | シャルデ | 4.0.0 | 文字セット・ノーマライザー | 2.0.4 |
サーキットブレーカー | 1.4.0 | クリック | 8.0.4 | クラウドパスライブラリ | 0.16.0 |
クラウドピクルス | 2.2.1 | cmdstanpyさん | 1.2.2 | カラフル | 0.5.6 |
通信 | 0.1.2 | コンフェクション | 0.1.4 | コンフィグパーサー | 5.2.0 |
コントルピー | 1.0.5 | 暗号化手法 | 41.0.3 | サーマルサイクラー | 0.11.0 |
サイメム | 2.0.8 | シトン | 0.29.32 | デイサイト | 1.8.1 |
Databricks 自動 ml ランタイム | 0.2.21 | databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.4.0 | Databricks の SDK | 0.20.0 |
データクラス-JSON | 0.6.4 | データセット | 2.18.0 | DBLテンポ | 0.1.26 |
DBUSPython | 1.2.18 | デバッグ | 1.6.7 | デコレータ | 5.1.1 |
ディープスピード | 0.14.0 | デフューズドXML | 0.7.1 | ディル | 0.3.6 |
ディスクキャッシュ | 5.6.3 | ディストリビューション | 0.3.8 | DMツリー | 0.1.8 |
エントリポイント | 0.4 | 評 | 0.4.1 | 実行 | 0.8.3 |
facets-概要 | 1.1.1 | ファラマ通知 | 0.0.4 | fastjsonスキーマ | 2.19.1 |
ファストテキスト | 0.9.2 | ファイルロック | 3.9.0 | flask | 2.2.5 |
フラットバッファ | 24.3.25 | fonttools | 4.25.0 | フローズンリスト | 1.3.3 |
FSSPECの | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
ギットDB | 4.0.11 | ギットパイソン | 3.1.27 | グーグルAPIコア | 2.18.0 |
グーグル認証 | 2.21.0 | グーグル認証 - oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 |
Google Cloud Storage | 2.10.0 | グーグル-CRC32C | 1.5.0 | グーグルパスタ | 0.2.0 |
Googleの再開可能なメディア | 2.7.0 | googleapis-common-protos | 1.63.0 | グリーンレット | 2.0.1 |
grpcio | 1.60.0 | grpcio-ステータス | 1.60.0 | gunicorn | 20.1.0 |
gviz-api | 1.10.0 | 体育館 | 0.28.1 | H11 | 0.14.0 |
h5pyさん | 3.10.0 | hjson | 3.1.0 | 休日 | 0.45 |
Horovod | 0.28.1+db1 | htmlmin | 0.1.12 | httpコア | 1.0.5 |
httplib2の | 0.20.2 | httpxの | 0.27.0 | 抱きしめるface-hub | 0.20.2 |
イドナ | 3.4 | イメージハッシュ | 4.3.1 | イメージイオ | 2.31.1 |
不均衡な学習 | 0.11.0 | importlib-metadata | 6.0.0 | リソース | 6.4.0 |
ipyflow-コア | 0.0.198 | ipykernel(英語) | 6.25.1 | アイパイソン | 8.15.0 |
ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 | イソデート | 0.6.1 |
それは危険です | 2.0.1 | ジャックスジャンピー | 1.0.0 | ジェダイ | 0.18.1 |
ジープニー | 0.7.1 | ジンジャ2 | 3.1.2 | jmespathの | 0.10.0 |
ジョブリブ | 1.2.0 | ジョブリブスパーク | 0.5.1 | jsonパッチ | 1.33 |
jsonポインター | 2.4 | jsonschema(jsonschema) | 4.17.3 | jupyter-server | 1.23.4 |
jupyter_client | 7.4.9 | jupyter_core | 5.3.0 | jupyterlab-pygmentsの | 0.1.2 |
jupyterlab-widgetsの | 3.0.5 | keras | 3.1.1 | キーリング | 23.5.0 |
キウイソルバー | 1.4.4 | ラングチェーン | 0.1.13 | langchain-コミュニティ | 0.0.32 |
langchain-コア | 0.1.41 | langchain-text-splitters | 0.0.1 | ラングコード | 3.3.0 |
ラングスミス | 0.1.45 | ローンチパッドリブ | 1.10.16 | lazr.restfulクライアント | 0.14.4 |
lazr.uri です。 | 1.0.6 | lazy_loader | 0.2 | リブクラン | 15.0.6.1 |
てんびん座 | 0.10.1 | LightGBM | 4.3.0 | LLVMLITEの | 0.40.0 |
lxml の | 4.9.2 | LZ4 | 4.3.2 | アオザメ | 1.2.0 |
Markdown | 3.4.1 | マークダウンイットピー | 2.2.0 | マークアップセーフ | 2.1.1 |
マシュマロ | 3.21.1 | Matplotlib | 3.7.2 | matplotlib-インライン | 0.1.6 |
mdurlの | 0.1.0 | ミスチューン | 0.8.4 | ml-dタイプ | 0.3.2 |
mlflow-skinny | 2.11.3 | もっと-itertools | 8.10.0 | mosaicml-ストリーミング | 0.7.4 |
MPMATHの | 1.3.0 | MSALの | 1.28.0 | MSAL-拡張機能 | 1.1.0 |
msgpackの | 1.0.8 | マルチディクト | 6.0.2 | マルチメソッド | 1.11.2 |
マルチプロセス | 0.70.14 | つぶやき | 1.0.10 | mypy-extensions | 0.4.3 |
ナメックス | 0.0.7 | NBクラシック | 0.5.5 | NBクライアント | 0.5.13 |
NBコンバート | 6.5.4 | NBフォーマット | 5.7.0 | ネスト-アシンシオ | 1.5.6 |
ネットワークX | 3.1 | 忍者 | 1.11.1.1 | nltk | 3.8.1 |
ノートブック | 6.5.4 | ノートブック | 0.2.2 | ナンバ | 0.57.1 |
ナムピー | 1.23.5 | OAuthlib | 3.2.0 | OCIの | 2.125.2 |
OpenAI | 1.14.3 | オープンセンサス | 0.11.4 | opencensus-コンテキスト | 0.1.3 |
オプトアインサム | 3.3.0 | オプトリー | 0.11.0 | またはjson | 3.10.0 |
包装 | 23.2 | pandas | 1.5.3 | pandocフィルター | 1.5.0 |
パラミコ | 3.4.0 | パルソ | 0.8.3 | パススペック | 0.10.3 |
パッツィ | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
ピク | 0.12.4 | ピクルシェア | 0.7.5 | 枕 | 9.4.0 |
種 | 23.2.1 | プラットフォームディレクトリ | 3.10.0 | Plotly | 5.9.0 |
エムダリマ | 2.0.4 | 犬 | 1.8.1 | ポルタロッカー | 2.8.2 |
プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 | プロンプトツールキット | 3.0.36 |
Prophet | 1.1.5 | プロトプラス | 1.23.0 | プロトブフ | 4.24.1 |
psutil の | 5.9.0 | サイコップ2 | 2.9.3 | PTYPROCESSの | 0.7.0 |
ピュア評価 | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
ピアロー | 14.0.1 | pyarrow-ホットフィックス | 0.6 | pyasn1 | 0.4.8 |
pyasn1モジュール | 0.2.8 | pybind11 | 2.12.0 | ピッコロ | 0.0.52 |
pycparser | 2.21 | ピダンティック | 1.10.6 | ピグメント | 2.15.1 |
PyGObject | 3.42.1 | PyJWTの | 2.3.0 | PyNaClの | 1.5.0 |
PYNVMLの | 11.5.0 | pyodbc | 4.0.38 | pyOpenSSLの | 23.2.0 |
pyparsing (英語) | 3.0.9 | ピルシステント | 0.18.0 | ピテッセラクト | 0.3.10 |
Python-dateutil | 2.8.2 | Pythonエディタ | 1.0.4 | Python-lsp-jsonrpc | 1.1.1 |
Python-スナッピー | 0.6.1 | ピッツ | 2022.7 | Pyウェーブレット | 1.4.1 |
PyYAML (英語) | 6.0 | ピズム | 23.2.0 | Ray | 2.10.0 |
正規表現 | 2022.7.9 | 要求 | 2.31.0 | リクエスト-oauthlib | 1.3.1 |
応答 | 0.13.3 | 裕福 | 13.7.1 | rsa | 4.9 |
S3トランスファー | 0.10.1 | セーフテンソル | 0.4.2 | scikitのイメージ | 0.20.0 |
Scikit-Learn | 1.3.0 | scipy(サイピー) | 1.11.1 | シーボーン | 0.12.2 |
シークレットストレージ | 3.3.1 | Send2Trash(センド2トラッシュ) | 1.8.0 | センテンストランスフォーマー | 2.6.1 |
センテンスピース | 0.1.99 | セットアップツール | 68.0.0 | シャップ | 0.44.0 |
シンプルJSON | 3.17.6 | 6 | 1.16.0 | スライサー | 0.0.7 |
スマートオープン | 5.2.1 | SMMAPの | 5.0.0 | スニフィオ | 1.2.0 |
サウンドファイル | 0.12.1 | スープふるい | 2.4 | ソックスアール | 0.3.7 |
スペイシー | 3.7.2 | スペイシーレガシー | 3.0.12 | スペイシーロガー | 1.0.5 |
スパークテンソルフローディストリビューター | 1.0.0 | SQLAlchemy (英語) | 1.4.39 | sqlparse | 0.4.2 |
srslyの | 2.4.8 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
スタニオ | 0.5.0 | 統計モデル | 0.14.0 | シンピー | 1.11.1 |
Unicodeで絡み合った | 0.2.0 | 持久力 | 8.2.2 | TensorBoard | 2.16.2 |
TensorBoard-data-server | 0.7.2 | tensorboard_plugin_profile | 2.15.1 | テンソルボードX | 2.6.2.2 |
テンソルフロー-CPU | 2.16.1 | テンソルフロー推定器 | 2.15.0 | tensorflow-io-GCS-ファイルシステム | 0.36.0 |
タームカラー | 2.4.0 | テルミナド | 0.17.1 | シンク | 8.2.3 |
スレッドプールctl | 2.2.0 | tiffファイル(tifffile) | 2021.7.2 | ティックトークン | 0.5.2 |
tinycss2 | 1.2.1 | トークン化-RT | 4.2.1 | トークナイザー | 0.15.0 |
トーチ | 2.2.2+CPU | トーチバル | 0.0.7 | トーチビジョン | 0.17.2+CPU |
竜巻 | 6.3.2 | tqdm | 4.65.0 | トレイトレット | 5.7.1 |
トランスフォーマー | 4.39.2 | タイプガード | 2.13.3 | タイパー | 0.9.4 |
タイピング検査 | 0.9.0 | typing_extensions | 4.10.0 | tzdata (英語) | 2022.1 |
ujson | 5.4.0 | 無人アップグレード | 0.1 | urllib3 の | 1.26.16 |
virtualenv | 20.21.0 | ビジョン | 0.7.5 | ワドリブ | 1.3.6 |
山葵 | 1.1.2 | WC幅 | 0.2.5 | 鼬 | 0.3.4 |
webエンコーディング | 0.5.1 | websocket-クライアント | 0.58.0 | ヴェルクツォイク | 2.2.3 |
輪 | 0.38.4 | widgetsnb拡張機能 | 4.0.5 | ワードクラウド | 1.9.3 |
ラッピング | 1.14.1 | XGBoost | 2.0.3 | xxhashの | 3.4.1 |
ヤール | 1.8.1 | ydata-プロファイリング | 4.5.1 | ジップ | 3.11.0 |
Python ライブラリ on GPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 1.0.0 | 早める | 0.28.0 | AIOhttp | 3.8.5 |
AIOhttp-CORSの | 0.7.0 | AIOシグナル | 1.2.0 | アニオ | 3.5.0 |
アルゴン2-CFFI | 21.3.0 | argon2-cffi-結合 | 21.2.0 | アスター | 0.8.1 |
アストトークンズ | 2.0.5 | アストゥンパース | 1.6.3 | 非同期タイムアウト | 4.0.2 |
属性 | 22.1.0 | オーディオ読み取り | 3.0.1 | azure-core | 1.30.1 |
azure-cosmos | 4.3.1 | azure-identity | 1.16.0 | azure-storage-blob | 12.19.1 |
azure-storage-file-datalake | 12.14.0 | バックコール | 0.2.0 | bcryptの | 3.2.0 |
美しいスープ4 | 4.12.2 | 黒い | 23.3.0 | ブリーチ | 4.1.0 |
ウィンカー | 1.4 | ブリス | 0.7.11 | ボト3 | 1.34.39 |
ボトコア | 1.34.39 | ブロトリ | 1.0.9 | cachetools | 5.3.3 |
カタログ | 2.0.10 | カテゴリ-エンコーダー | 2.6.3 | 認証 | 2023.7.22 |
cffi | 1.15.1 | シャルデ | 4.0.0 | 文字セット・ノーマライザー | 2.0.4 |
サーキットブレーカー | 1.4.0 | クリック | 8.0.4 | クラウドパスライブラリ | 0.16.0 |
クラウドピクルス | 2.2.1 | cmdstanpyさん | 1.2.2 | カラフル | 0.5.6 |
通信 | 0.1.2 | コンフェクション | 0.1.4 | コンフィグパーサー | 5.2.0 |
コントルピー | 1.0.5 | 暗号化手法 | 41.0.3 | サーマルサイクラー | 0.11.0 |
サイメム | 2.0.8 | シトン | 0.29.32 | デイサイト | 1.8.1 |
Databricks 自動 ml ランタイム | 0.2.21 | databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.4.0 | Databricks の SDK | 0.20.0 |
データクラス-JSON | 0.6.4 | データセット | 2.18.0 | DBLテンポ | 0.1.26 |
DBUSPython | 1.2.18 | デバッグ | 1.6.7 | デコレータ | 5.1.1 |
ディープスピード | 0.14.0 | デフューズドXML | 0.7.1 | ディル | 0.3.6 |
ディスクキャッシュ | 5.6.3 | ディストリビューション | 0.3.8 | DMツリー | 0.1.8 |
エイノップス | 0.7.0 | エントリポイント | 0.4 | 評 | 0.4.1 |
実行 | 0.8.3 | facets-概要 | 1.1.1 | ファラマ通知 | 0.0.4 |
fastjsonスキーマ | 2.19.1 | ファストテキスト | 0.9.2 | ファイルロック | 3.9.0 |
フラッシュアッティン | 2.5.6 | flask | 2.2.5 | フラットバッファ | 24.3.25 |
fonttools | 4.25.0 | フローズンリスト | 1.3.3 | FSSPECの | 2023.5.0 |
未来 | 0.18.3 | ガスト | 0.4.0 | ギットDB | 4.0.11 |
ギットパイソン | 3.1.27 | グーグルAPIコア | 2.18.0 | グーグル認証 | 2.21.0 |
グーグル認証 - oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 | Google Cloud Storage | 2.10.0 |
グーグル-CRC32C | 1.5.0 | グーグルパスタ | 0.2.0 | Googleの再開可能なメディア | 2.7.0 |
googleapis-common-protos | 1.63.0 | グリーンレット | 2.0.1 | grpcio | 1.60.0 |
grpcio-ステータス | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
体育館 | 0.28.1 | H11 | 0.14.0 | h5pyさん | 3.10.0 |
hjson | 3.1.0 | 休日 | 0.45 | Horovod | 0.28.1+db1 |
htmlmin | 0.1.12 | httpコア | 1.0.5 | httplib2の | 0.20.2 |
httpxの | 0.27.0 | 抱きしめるface-hub | 0.20.2 | イドナ | 3.4 |
イメージハッシュ | 4.3.1 | イメージイオ | 2.31.1 | 不均衡な学習 | 0.11.0 |
importlib-metadata | 6.0.0 | リソース | 6.4.0 | ipyflow-コア | 0.0.198 |
ipykernel(英語) | 6.25.1 | アイパイソン | 8.15.0 | ipython-genutils | 0.2.0 |
ipywidgets | 8.0.4 | イソデート | 0.6.1 | それは危険です | 2.0.1 |
ジャックスジャンピー | 1.0.0 | ジェダイ | 0.18.1 | ジープニー | 0.7.1 |
ジンジャ2 | 3.1.2 | jmespathの | 0.10.0 | ジョブリブ | 1.2.0 |
ジョブリブスパーク | 0.5.1 | jsonパッチ | 1.33 | jsonポインター | 2.4 |
jsonschema(jsonschema) | 4.17.3 | jupyter-server | 1.23.4 | jupyter_client | 7.4.9 |
jupyter_core | 5.3.0 | jupyterlab-pygmentsの | 0.1.2 | jupyterlab-widgetsの | 3.0.5 |
keras | 3.1.1 | キーリング | 23.5.0 | キウイソルバー | 1.4.4 |
ラングチェーン | 0.1.13 | langchain-コミュニティ | 0.0.32 | langchain-コア | 0.1.41 |
langchain-text-splitters | 0.0.1 | ラングコード | 3.3.0 | ラングスミス | 0.1.45 |
ローンチパッドリブ | 1.10.16 | lazr.restfulクライアント | 0.14.4 | lazr.uri です。 | 1.0.6 |
lazy_loader | 0.2 | リブクラン | 15.0.6.1 | てんびん座 | 0.10.1 |
LightGBM | 4.3.0 | LLVMLITEの | 0.40.0 | lxml の | 4.9.2 |
LZ4 | 4.3.2 | アオザメ | 1.2.0 | Markdown | 3.4.1 |
マークダウンイットピー | 2.2.0 | マークアップセーフ | 2.1.1 | マシュマロ | 3.21.1 |
Matplotlib | 3.7.2 | matplotlib-インライン | 0.1.6 | mdurlの | 0.1.0 |
ミスチューン | 0.8.4 | ml-dタイプ | 0.3.2 | mlflow-skinny | 2.11.3 |
もっと-itertools | 8.10.0 | mosaicml-ストリーミング | 0.7.4 | MPMATHの | 1.3.0 |
MSALの | 1.28.0 | MSAL-拡張機能 | 1.1.0 | msgpackの | 1.0.8 |
マルチディクト | 6.0.2 | マルチメソッド | 1.11.2 | マルチプロセス | 0.70.14 |
つぶやき | 1.0.10 | mypy-extensions | 0.4.3 | ナメックス | 0.0.7 |
NBクラシック | 0.5.5 | NBクライアント | 0.5.13 | NBコンバート | 6.5.4 |
NBフォーマット | 5.7.0 | ネスト-アシンシオ | 1.5.6 | ネットワークX | 3.1 |
忍者 | 1.11.1.1 | nltk | 3.8.1 | ノートブック | 6.5.4 |
ノートブック | 0.2.2 | ナンバ | 0.57.1 | ナムピー | 1.23.5 |
nvidia-cublas-cu12 | 12.1.3.1 | nvidia-cuda-cupti-cu12 | 12.1.105 | nvidia-cuda-nvrtc-cu12 | 12.1.105 |
nvidia-cuda-runtime-cu12 | 12.1.105 | nvidia-cudnn-cu12 | 8.9.2.26 | nvidia-cufft-cu12 | 11.0.2.54 |
nvidia-curand-cu12 | 10.3.2.106 | nvidia-cusolver-cu12 | 11.4.5.107 | nvidia-cusparse-cu12 | 12.1.0.106 |
nvidia-nccl-cu12 | 2.19.3 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.1.105 |
OAuthlib | 3.2.0 | OCIの | 2.125.2 | OpenAI | 1.14.3 |
オープンセンサス | 0.11.4 | opencensus-コンテキスト | 0.1.3 | オプトアインサム | 3.3.0 |
オプトリー | 0.11.0 | またはjson | 3.10.0 | 包装 | 23.2 |
pandas | 1.5.3 | pandocフィルター | 1.5.0 | パラミコ | 3.4.0 |
パルソ | 0.8.3 | パススペック | 0.10.3 | パッツィ | 0.5.3 |
petastorm | 0.12.1 | pexpect | 4.8.0 | ピク | 0.12.4 |
ピクルシェア | 0.7.5 | 枕 | 9.4.0 | 種 | 23.2.1 |
プラットフォームディレクトリ | 3.10.0 | Plotly | 5.9.0 | エムダリマ | 2.0.4 |
犬 | 1.8.1 | ポルタロッカー | 2.8.2 | プレシェッド | 3.0.9 |
prometheus-クライアント | 0.14.1 | プロンプトツールキット | 3.0.36 | Prophet | 1.1.5 |
プロトプラス | 1.23.0 | プロトブフ | 4.24.1 | psutil の | 5.9.0 |
サイコップ2 | 2.9.3 | PTYPROCESSの | 0.7.0 | ピュア評価 | 0.2.2 |
py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | ピアロー | 14.0.1 |
pyarrow-ホットフィックス | 0.6 | pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 |
pybind11 | 2.12.0 | ピッコロ | 0.0.52 | pycparser | 2.21 |
ピダンティック | 1.10.6 | ピグメント | 2.15.1 | PyGObject | 3.42.1 |
PyJWTの | 2.3.0 | PyNaClの | 1.5.0 | PYNVMLの | 11.5.0 |
pyodbc | 4.0.38 | pyOpenSSLの | 23.2.0 | pyparsing (英語) | 3.0.9 |
ピルシステント | 0.18.0 | ピテッセラクト | 0.3.10 | Python-dateutil | 2.8.2 |
Pythonエディタ | 1.0.4 | Python-lsp-jsonrpc | 1.1.1 | Python-スナッピー | 0.6.1 |
ピッツ | 2022.7 | Pyウェーブレット | 1.4.1 | PyYAML (英語) | 6.0 |
ピズム | 23.2.0 | Ray | 2.10.0 | 正規表現 | 2022.7.9 |
要求 | 2.31.0 | リクエスト-oauthlib | 1.3.1 | 応答 | 0.13.3 |
裕福 | 13.7.1 | rsa | 4.9 | S3トランスファー | 0.10.1 |
セーフテンソル | 0.4.2 | scikitのイメージ | 0.20.0 | Scikit-Learn | 1.3.0 |
scipy(サイピー) | 1.11.1 | シーボーン | 0.12.2 | シークレットストレージ | 3.3.1 |
Send2Trash(センド2トラッシュ) | 1.8.0 | センテンストランスフォーマー | 2.6.1 | センテンスピース | 0.1.99 |
セットアップツール | 68.0.0 | シャップ | 0.44.0 | シンプルJSON | 3.17.6 |
6 | 1.16.0 | スライサー | 0.0.7 | スマートオープン | 5.2.1 |
SMMAPの | 5.0.0 | スニフィオ | 1.2.0 | サウンドファイル | 0.12.1 |
スープふるい | 2.4 | ソックスアール | 0.3.7 | スペイシー | 3.7.2 |
スペイシーレガシー | 3.0.12 | スペイシーロガー | 1.0.5 | スパークテンソルフローディストリビューター | 1.0.0 |
SQLAlchemy (英語) | 1.4.39 | sqlparse | 0.4.2 | srslyの | 2.4.8 |
ssh-import-id | 5.11 | スタックデータ | 0.2.0 | スタニオ | 0.5.0 |
統計モデル | 0.14.0 | シンピー | 1.11.1 | Unicodeで絡み合った | 0.2.0 |
持久力 | 8.2.2 | TensorBoard | 2.16.2 | TensorBoard-data-server | 0.7.2 |
tensorboard_plugin_profile | 2.15.1 | テンソルボードX | 2.6.2.2 | TensorFlow | 2.16.1 |
テンソルフロー推定器 | 2.15.0 | tensorflow-io-GCS-ファイルシステム | 0.36.0 | タームカラー | 2.4.0 |
テルミナド | 0.17.1 | シンク | 8.2.3 | スレッドプールctl | 2.2.0 |
tiffファイル(tifffile) | 2021.7.2 | ティックトークン | 0.5.2 | tinycss2 | 1.2.1 |
トークン化-RT | 4.2.1 | トークナイザー | 0.15.0 | トーチ | 2.2.2+CU121 |
トーチバル | 0.0.7 | トーチビジョン | 0.17.2+cu121 | 竜巻 | 6.3.2 |
tqdm | 4.65.0 | トレイトレット | 5.7.1 | トランスフォーマー | 4.39.2 |
トライトン | 2.2.0 | タイプガード | 2.13.3 | タイパー | 0.9.4 |
タイピング検査 | 0.9.0 | typing_extensions | 4.10.0 | tzdata (英語) | 2022.1 |
ujson | 5.4.0 | 無人アップグレード | 0.1 | urllib3 の | 1.26.16 |
virtualenv | 20.21.0 | ビジョン | 0.7.5 | ワドリブ | 1.3.6 |
山葵 | 1.1.2 | WC幅 | 0.2.5 | 鼬 | 0.3.4 |
webエンコーディング | 0.5.1 | websocket-クライアント | 0.58.0 | ヴェルクツォイク | 2.2.3 |
輪 | 0.38.4 | widgetsnb拡張機能 | 4.0.5 | ワードクラウド | 1.9.3 |
ラッピング | 1.14.1 | XGBoost | 2.0.3 | xxhashの | 3.4.1 |
ヤール | 1.8.1 | ydata-プロファイリング | 4.5.1 | ジップ | 3.11.0 |
ZSTDの | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime15.2 の R ライブラリ と同じです。
Java and Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 15.2 ML には、Databricks Runtime 15.2 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。
CPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.dmlc | XGBOOST4Jのspark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
org.mlflowの | mlflow-クライアント | 2.11.1 |
組織Scala-lang.modules | Scala-java8-compat_2.12 | 0.8.0 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.dmlc | XGBOOST4Jのgpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.3-db1-spark3.5 |
org.mlflowの | mlflow-クライアント | 2.11.1 |
組織Scala-lang.modules | Scala-java8-compat_2.12 | 0.8.0 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |