Databricks Runtime 16.1 for Machine Learning (EoS) (英語)
この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「 サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks Runtime 16.1 for Machine Learning は、 Databricks Runtime 16.1 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。Databricks Runtime ML は、TorchDistributor、DeepSpeed、Ray を使用した分散ディープラーニング トレーニングもサポートしています。
サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。
新機能と改善点
Databricks Runtime 16.1 ML は、Databricks Runtime 16.1 の上に構築されています。Databricks Runtime 16.1 の新機能 (Apache Spark MLlib や SparkRなど) については、Databricks Runtime 16.1 (EoS) リリースノートを参照してください。
システム環境
Databricks Runtime 16.1 ML のシステム環境は、Databricks Runtime 16.1 と次のように異なります。
- GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6の
- キューバ 12.6.0.22-1
- cusolver 11.6.4.38-1
- クプティ12.6.37-1
- カスパース 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCLの2.22.3
- テンソルRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 16.1 ML に含まれるライブラリのうち、Databricks Runtime 16.1 に含まれるライブラリと異なるライブラリを示します。
このセクションの内容:
トップクラスのライブラリ
Databricks Runtime 16.1 ML には、次の最上位 ライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- transformers
Python ライブラリ
Databricks Runtime 16.1 ML は、Python パッケージ管理に virtualenv
を使用し、多くの一般的な ML パッケージが含まれています。
次のセクションで指定されているパッケージに加えて、Databricks Runtime 16.1 ML には次のパッケージも含まれています。
- Hyperopt 0.2.9+db5
- AutoML 1.29.0
Databricks Runtime ML Python 環境をローカルの Python 仮想環境に再現するには、 requirements-16.1.txtfile と実行 pip install -r requirements-16.1.txt
. このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automl
、databricks-feature-engineering
、hyperopt
の Databricks フォークなど、Databricksが開発したライブラリはインストールしません。
Python ライブラリ on CPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 1.0.0 | 早める | 1.1.1 | AIOhttp | 3.9.5 |
AIOhttp-CORSの | 0.7.0 | AIOシグナル | 1.2.0 | アレンビック | 1.13.3 |
注釈付きタイプ | 0.7.0 | アニオ | 4.2.0 | argcomplete(日本語) | 3.5.0 |
アルゴン2-CFFI | 21.3.0 | argon2-cffi-結合 | 21.2.0 | 矢 | 1.2.3 |
アスター | 0.8.1 | アストトークンズ | 2.0.5 | アストゥンパース | 1.6.3 |
非同期-LRU | 2.0.4 | 属性 | 23.1.0 | オーディオ読み取り | 3.0.1 |
自動コマンド | 2.2.2 | azure-core | 1.31.0 | azure-cosmos | 4.3.1 |
azure-identity | 1.18.0 | azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 |
バベル | 2.11.0 | バックオフ | 2.2.1 | backports.tarファイル | 1.2.0 |
bcryptの | 3.2.0 | 美しいスープ4 | 4.12.3 | 黒い | 24.4.2 |
bleach | 4.1.0 | ウィンカー | 1.7.0 | ブリス | 0.7.11 |
ボト3 | 1.34.69 | ボトコア | 1.34.69 | ブロトリ | 1.0.9 |
cachetools | 5.3.3 | カタログ | 2.0.10 | カテゴリ-エンコーダー | 2.6.3 |
認証 | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | サーキットブレーカー | 2.0.0 | クリック | 8.1.7 |
クラウドパスライブラリ | 0.19.0 | クラウドピクルス | 2.2.1 | cmdstanpyさん | 1.2.4 |
カラフル | 0.5.6 | カラーログ | 6.8.2 | 通信 | 0.2.1 |
作曲家 | 0.27.0 | コンフェクション | 0.1.5 | コンフィグパーサー | 5.2.0 |
コントルピー | 1.2.0 | クールネーム | 2.2.0 | cryptography | 42.0.5 |
サーマルサイクラー | 0.11.0 | サイメム | 2.0.10 | シトン | 3.0.11 |
デイサイト | 1.8.1 | Databricks 自動 ml ランタイム | 0.2.21 | databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.7.0 |
databricks-sdk | 0.30.0 | データセット | 3.1.0 | DBLテンポ | 0.1.26 |
DBUSPython | 1.3.2 | デバッグ | 1.6.7 | デコレータ | 5.1.1 |
ディープスピード | 0.16.0 | defusedxml | 0.7.1 | 非推奨 | 1.2.14 |
ディル | 0.3.8 | ディストリビューション | 0.3.8 | DMツリー | 0.1.8 |
docstring-to-markdown | 0.11 | エントリポイント | 0.4 | 評 | 0.4.3 |
実行 | 0.8.3 | facets-概要 | 1.1.1 | ファラマ通知 | 0.0.4 |
fastjsonスキーマ | 2.21.1 | fasttext-ホイール | 0.9.2 | ファイルロック | 3.13.1 |
flask | 2.2.5 | フラットバッファ | 24.3.25 | fonttools | 4.51.0 |
FQDNの | 1.5.1 | フローズンリスト | 1.4.0 | FSSPECの | 2023.5.0 |
未来 | 0.18.3 | ガスト | 0.4.0 | ギットDB | 4.0.11 |
ギットパイソン | 3.1.37 | グーグルAPIコア | 2.20.0 | グーグル認証 | 2.21.0 |
グーグル認証 - oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 | Google Cloud Storage | 2.10.0 |
グーグル-CRC32C | 1.6.0 | グーグルパスタ | 0.2.0 | Googleの再開可能なメディア | 2.7.2 |
googleapis-common-protos | 1.65.0 | GQLの | 3.5.0 | graphql-コア | 3.2.4 |
グリーンレット | 3.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
gunicorn | 20.1.0 | gviz-api | 1.10.0 | 体育館 | 0.28.1 |
H11 | 0.14.0 | h5pyさん | 3.11.0 | hjson | 3.1.0 |
休日 | 0.54 | htmlmin | 0.1.12 | httpコア | 1.0.5 |
httplib2の | 0.20.4 | httpxの | 0.28.0 | 抱きしめるface-hub | 0.24.5 |
イドナ | 3.7 | イメージハッシュ | 4.3.1 | イメージイオ | 2.33.1 |
不均衡な学習 | 0.12.3 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.5 |
活用 | 7.3.1 | ipyflow-コア | 0.0.201 | ipykernel(英語) | 6.28.0 |
アイパイソン | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
イソデート | 0.6.1 | アイソデュレーション | 20.11.0 | それは危険です | 2.2.0 |
jaraco.context | 5.3.0 | jaraco.functoolsの | 4.0.1 | jaraco.text | 3.12.1 |
ジャックスジャンピー | 1.0.0 | ジェダイ | 0.19.1 | ジンジャ2 | 3.1.4 |
ジター | 0.8.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
ジョブリブスパーク | 0.5.1 | JSON5の | 0.9.6 | jsonパッチ | 1.33 |
jsonポインター | 3.0.0 | jsonschema(jsonschema) | 4.19.2 | jsonschema-仕様 | 2023.7.1 |
ジュピターイベント | 0.10.0 | jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 |
jupyter_core | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 |
JupyterLab | 4.0.11 | jupyterlab-pygmentsの | 0.1.2 | jupyterlab_server | 2.25.1 |
keras | 3.6.0 | キウイソルバー | 1.4.4 | ラングチェーン | 0.3.8 |
langchain-コア | 0.2.41 | langchain-text-splitters | 0.2.4 | ラングコード | 3.4.1 |
ラングスミス | 0.1.129 | language_data | 1.2.0 | ローンチパッドリブ | 1.11.0 |
lazr.restfulクライアント | 0.14.6 | lazr.uri です。 | 1.0.6 | lazy_loader | 0.4 |
リブクラン | 15.0.6.1 | てんびん座 | 0.10.2 | LightGBM | 4.5.0 |
ライトニングユーティリティ | 0.11.9 | リンキファイ・イット・ピー | 2.0.0 | LLVMLITEの | 0.42.0 |
LZ4 | 4.3.2 | アオザメ | 1.2.0 | マリサ・トリエ | 1.2.0 |
Markdown | 3.4.1 | マークダウンイットピー | 2.2.0 | マークアップセーフ | 2.1.3 |
Matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 | マッケイブ | 0.7.0 |
mdit-py-plugins | 0.3.0 | mdurlの | 0.1.0 | メモリレイ | 1.14.0 |
ミスチューン | 2.0.4 | ml-dタイプ | 0.4.1 | mlflow-skinny | 2.15.1 |
もっと-itertools | 10.3.0 | mosaicml-CLI | 0.6.41 | mosaicml-ストリーミング | 0.8.0 |
MPMATHの | 1.3.0 | MSALの | 1.31.1 | MSAL-拡張機能 | 1.2.0 |
msgpackの | 1.1.0 | マルチディクト | 6.0.4 | マルチメソッド | 1.12 |
マルチプロセス | 0.70.16 | つぶやき | 1.0.11 | マイピー | 1.10.0 |
mypy-extensions | 1.0.0 | ナメックス | 0.0.8 | NBクライアント | 0.8.0 |
NBコンバート | 7.10.0 | NBフォーマット | 5.9.2 | ネスト-アシンシオ | 1.6.0 |
ネットワークX | 3.2.1 | 忍者 | 1.11.1.1 | nltk | 3.8.1 |
ノードenv | 1.9.1 | notebook | 7.0.8 | notebook_shim | 0.2.3 |
ナンバ | 0.59.1 | numpy | 1.26.4 | nvidia-ml-py | 12.560.30 |
OAuthlib | 3.2.0 | OCIの | 2.139.0 | OpenAI | 1.55.1 |
オープンセンサス | 0.11.4 | opencensus-コンテキスト | 0.1.3 | opentelemetry-api | 1.28.2 |
opentelemetry-sdkの | 1.28.2 | opentelemetry-セマンティック規約 | 0.49b2 | opt_einsum | 3.4.0 |
オプトリー | 0.12.1 | オプトゥーナ | 3.6.1 | optuna-インテグレーション | 3.6.0 |
またはjson | 3.10.12 | オーバーライド | 7.4.0 | packaging | 24.1 |
pandas | 1.5.3 | pandocフィルター | 1.5.0 | パラミコ | 3.4.0 |
パルソ | 0.8.3 | パススペック | 0.10.3 | patsy | 0.5.6 |
pexpect | 4.8.0 | ピク | 0.12.4 | 枕 | 10.3.0 |
種 | 24.2 | プラットフォームディレクトリ | 3.10.0 | Plotly | 5.22.0 |
プラギー | 1.0.0 | エムダリマ | 2.0.4 | 犬 | 1.8.2 |
ポルタロッカー | 2.10.1 | プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 |
プロンプトツールキット | 3.0.43 | Prophet | 1.1.5 | プロトプラス | 1.24.0 |
protobuf | 4.24.1 | psutil の | 5.9.0 | サイコップ2 | 2.9.3 |
PTYPROCESSの | 0.7.0 | ピュア評価 | 0.2.2 | py-cpuinfo | 9.0.0 |
py-spy | 0.3.14 | pyarrow | 15.0.2 | pyarrow-ホットフィックス | 0.6 |
pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 | pybind11 | 2.13.6 |
ピッコロ | 0.0.65 | pycparser | 2.21 | ピダンティック | 2.8.2 |
pydantic_core | 2.20.1 | パイフレーク | 3.2.0 | ピグメント | 2.15.1 |
PyGObject | 3.48.2 | PyJWTの | 2.7.0 | PyNaClの | 1.5.0 |
pyodbc | 5.0.1 | pyOpenSSLの | 24.0.0 | pyparsing | 3.0.9 |
パイライト | 1.1.294 | ピテッセラクト | 0.3.10 | Python-dateutil | 2.9.0.投稿0 |
Pythonエディタ | 1.0.4 | Python-JSON- ロガー | 2.0.7 | Python-lsp-jsonrpc | 1.1.2 |
Python-lsp-server | 1.10.0 | Python-スナッピー | 0.6.1 | pytoolconfig(ピーツールコンフィグ) | 1.2.6 |
PyTorchレンジャー | 0.1.1 | pytz | 2024.1 | Pyウェーブレット | 1.5.0 |
PyYAML (英語) | 6.0.1 | ピズム | 25.1.2 | 質問 | 1.10.0 |
Ray | 2.35.0 | 参照 | 0.30.2 | 正規表現 | 2023.10.3 |
要求 | 2.32.2 | リクエスト-oauthlib | 1.3.1 | rfc3339-バリデータ | 0.1.4 |
rfc3986-バリデータ | 0.1.1 | 裕福 | 13.3.5 | 縄 | 1.12.0 |
rpds-py | 0.10.6 | rsa | 4.9 | ruamel.yaml | 0.18.6 |
ruamel.yaml.clib | 0.2.8 | S3トランスファー | 0.10.2 | セーフテンソル | 0.4.4 |
scikitのイメージ | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
シーボーン | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 | センテンストランスフォーマー | 3.3.1 |
センテンスピース | 0.2.0 | setuptools | 74.0.0 | シャップ | 0.46.0 |
シェリンガム | 1.5.4 | シンプルJSON | 3.17.6 | six | 1.16.0 |
スライサー | 0.0.8 | スマートオープン | 5.2.1 | SMMAPの | 5.0.0 |
スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 | スープふるい | 2.5 |
ソックスアール | 0.5.0.ポスト1 | スペイシー | 3.7.5 | スペイシーレガシー | 3.0.12 |
スペイシーロガー | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
srslyの | 2.4.8 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
スタニオ | 0.5.1 | statsmodels | 0.14.2 | シンピー | 1.13.1 |
表 | 0.9.0 | Unicodeで絡み合った | 0.2.0 | 持久力 | 8.2.2 |
TensorBoard | 2.18.0 | TensorBoard-data-server | 0.7.2 | TensorBoard-plugin-profile | 2.18.0 |
テンソルボードX | 2.6.2.2 | TensorFlow | 2.18.0 | テンソルフロー推定器 | 2.15.0 |
タームカラー | 2.4.0 | テルミナド | 0.17.1 | テキスト | 0.87.1 |
tf_keras | 2.18.0 | シンク | 8.2.5 | threadpoolctl | 2.2.0 |
tiffファイル(tifffile) | 2023.4.12 | ティックトークン | 0.7.0 | tinycss2 | 1.2.1 |
トークン化-RT | 4.2.1 | トークナイザー | 0.20.0 | トムリ | 2.0.1 |
トーチ | 2.5.0+CPU | トーチオプティマイザー | 0.3.0 | トーチバル | 0.0.7 |
トーチメトリクス | 1.4.0.投稿0 | トーチビジョン | 0.20.0+CPU | 竜巻 | 6.4.1 |
tqdm | 4.66.4 | トレイトレット | 5.14.3 | transformers | 4.46.3 |
タイプガード | 4.3.0 | タイパー | 0.12.5 | タイプ-protobuf | 3.20.3 |
タイプ-psutil | 5.9.0 | タイプ-pytz | 2023.3.1.1 | タイプ-PyYAML | 6.0.0 |
タイプ-リクエスト | 2.31.0.0 | types-setuptools | 68.0.0.0 | タイプ-6 | 1.16.0 |
タイプ-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | UC-マイクロPY | 1.0.1 |
ujson | 5.10.0 | 無人アップグレード | 0.1 | uriテンプレート | 1.3.0 |
urllib3 の | 1.26.16 | バリデータ | 0.34.0 | virtualenv | 20.26.2 |
ビジョン | 0.7.5 | ワドリブ | 1.3.6 | 山葵 | 1.1.3 |
WC幅 | 0.2.5 | 鼬 | 0.4.1 | ウェブカラー | 24.8.0 |
webencodings | 0.5.1 | websocket-クライアント | 1.8.0 | ウェブソケット | 11.0.3 |
ヴェルクツォイク | 3.0.3 | パッチ | 1.0.2 | 輪 | 0.43.0 |
ワードクラウド | 1.9.3 | ラッピング | 1.14.1 | XGBoost | 2.0.3 |
XGブースト-レイ | 0.1.19 | xxhashの | 3.4.1 | ヤップ | 0.33.0 |
ヤール | 1.9.3 | ydata-プロファイリング | 4.9.0 | ジップ | 3.17.0 |
ZSTDの | 1.5.5.1 |
Python ライブラリ on GPU クラスター
PyTorchCUDAPyPICUDACUDAは、Databricks Runtime 16.1 に組み込まれている ライブラリ バージョンの代わりに、 依存関係を使用して 16.1 ML のサポートを提供します。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 1.0.0 | 早める | 1.1.1 | AIOhttp | 3.9.5 |
AIOhttp-CORSの | 0.7.0 | AIOシグナル | 1.2.0 | 注釈付きタイプ | 0.7.0 |
アニオ | 4.2.0 | argcomplete(日本語) | 3.5.0 | アルゴン2-CFFI | 21.3.0 |
argon2-cffi-結合 | 21.2.0 | 矢 | 1.2.3 | アスター | 0.8.1 |
アストトークンズ | 2.0.5 | アストゥンパース | 1.6.3 | 非同期-LRU | 2.0.4 |
属性 | 23.1.0 | オーディオ読み取り | 3.0.1 | 自動コマンド | 2.2.2 |
azure-core | 1.31.0 | azure-cosmos | 4.3.1 | azure-identity | 1.18.0 |
azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 | バベル | 2.11.0 |
バックオフ | 2.2.1 | backports.tarファイル | 1.2.0 | bcryptの | 3.2.0 |
美しいスープ4 | 4.12.3 | 黒い | 24.4.2 | bleach | 4.1.0 |
ウィンカー | 1.7.0 | ブリス | 0.7.11 | ボト3 | 1.34.69 |
ボトコア | 1.34.69 | ブロトリ | 1.0.9 | cachetools | 5.3.3 |
カタログ | 2.0.10 | カテゴリ-エンコーダー | 2.6.3 | 認証 | 2024.6.2 |
cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
サーキットブレーカー | 2.0.0 | クリック | 8.1.7 | クラウドパスライブラリ | 0.19.0 |
クラウドピクルス | 2.2.1 | cmdstanpyさん | 1.2.4 | カラフル | 0.5.6 |
カラーログ | 6.8.2 | 通信 | 0.2.1 | 作曲家 | 0.27.0 |
コンフェクション | 0.1.5 | コンフィグパーサー | 5.2.0 | コントルピー | 1.2.0 |
クールネーム | 2.2.0 | cryptography | 42.0.5 | サーマルサイクラー | 0.11.0 |
サイメム | 2.0.10 | シトン | 3.0.11 | デイサイト | 1.8.1 |
Databricks 自動 ml ランタイム | 0.2.21 | databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.7.0 | databricks-sdk | 0.30.0 |
データセット | 3.1.0 | DBLテンポ | 0.1.26 | DBUSPython | 1.3.2 |
デバッグ | 1.6.7 | デコレータ | 5.1.1 | ディープスピード | 0.16.0 |
defusedxml | 0.7.1 | 非推奨 | 1.2.14 | ディル | 0.3.8 |
ディストリビューション | 0.3.8 | DMツリー | 0.1.8 | docstring-to-markdown | 0.11 |
エイノップス | 0.8.0 | エントリポイント | 0.4 | 評 | 0.4.3 |
実行 | 0.8.3 | facets-概要 | 1.1.1 | ファラマ通知 | 0.0.4 |
fastjsonスキーマ | 2.21.1 | fasttext-ホイール | 0.9.2 | ファイルロック | 3.13.1 |
flash_attn | 2.7.0 | flask | 2.2.5 | フラットバッファ | 24.3.25 |
fonttools | 4.51.0 | FQDNの | 1.5.1 | フローズンリスト | 1.4.0 |
FSSPECの | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
ギットDB | 4.0.11 | ギットパイソン | 3.1.37 | グーグルAPIコア | 2.20.0 |
グーグル認証 | 2.21.0 | グーグル認証 - oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 |
Google Cloud Storage | 2.10.0 | グーグル-CRC32C | 1.6.0 | グーグルパスタ | 0.2.0 |
Googleの再開可能なメディア | 2.7.2 | googleapis-common-protos | 1.65.0 | GQLの | 3.5.0 |
graphql-コア | 3.2.4 | グリーンレット | 3.0.1 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
体育館 | 0.28.1 | H11 | 0.14.0 | h5pyさん | 3.11.0 |
hjson | 3.1.0 | 休日 | 0.54 | htmlmin | 0.1.12 |
httpコア | 1.0.5 | httplib2の | 0.20.4 | httpxの | 0.27.2 |
抱きしめるface-hub | 0.24.5 | イドナ | 3.7 | イメージハッシュ | 4.3.1 |
イメージイオ | 2.33.1 | 不均衡な学習 | 0.12.3 | importlib-metadata | 6.0.0 |
importlib_resources | 6.4.5 | 活用 | 7.3.1 | ipyflow-コア | 0.0.201 |
ipykernel(英語) | 6.28.0 | アイパイソン | 8.25.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | イソデート | 0.6.1 | アイソデュレーション | 20.11.0 |
それは危険です | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functoolsの | 4.0.1 |
jaraco.text | 3.12.1 | ジャックスジャンピー | 1.0.0 | ジェダイ | 0.19.1 |
ジンジャ2 | 3.1.4 | ジター | 0.8.0 | jmespath | 1.0.1 |
joblib | 1.4.2 | ジョブリブスパーク | 0.5.1 | JSON5の | 0.9.6 |
jsonパッチ | 1.33 | jsonポインター | 3.0.0 | jsonschema(jsonschema) | 4.19.2 |
jsonschema-仕様 | 2023.7.1 | ジュピターイベント | 0.10.0 | jupyter-lsp | 2.2.0 |
jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
jupyter_server_terminals | 0.4.4 | JupyterLab | 4.0.11 | jupyterlab-pygmentsの | 0.1.2 |
jupyterlab_server | 2.25.1 | keras | 3.6.0 | キウイソルバー | 1.4.4 |
ラングチェーン | 0.3.8 | langchain-コア | 0.2.41 | langchain-text-splitters | 0.2.4 |
ラングコード | 3.4.1 | ラングスミス | 0.1.129 | language_data | 1.2.0 |
ローンチパッドリブ | 1.11.0 | lazr.restfulクライアント | 0.14.6 | lazr.uri です。 | 1.0.6 |
lazy_loader | 0.4 | リブクラン | 15.0.6.1 | てんびん座 | 0.10.2 |
LightGBM | 4.5.0 | ライトニングユーティリティ | 0.11.9 | リンキファイ・イット・ピー | 2.0.0 |
LLVMLITEの | 0.42.0 | LZ4 | 4.3.2 | アオザメ | 1.2.0 |
マリサ・トリエ | 1.2.0 | Markdown | 3.4.1 | マークダウンイットピー | 2.2.0 |
マークアップセーフ | 2.1.3 | Matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 |
マッケイブ | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurlの | 0.1.0 |
メモリレイ | 1.14.0 | ミスチューン | 2.0.4 | ml-dタイプ | 0.4.1 |
mlflow-skinny | 2.15.1 | もっと-itertools | 10.3.0 | mosaicml-CLI | 0.6.41 |
mosaicml-ストリーミング | 0.8.0 | MPMATHの | 1.3.0 | MSALの | 1.31.1 |
MSAL-拡張機能 | 1.2.0 | msgpackの | 1.1.0 | マルチディクト | 6.0.4 |
マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | つぶやき | 1.0.11 |
マイピー | 1.10.0 | mypy-extensions | 1.0.0 | ナメックス | 0.0.8 |
NBクライアント | 0.8.0 | NBコンバート | 7.10.0 | NBフォーマット | 5.9.2 |
ネスト-アシンシオ | 1.6.0 | ネットワークX | 3.2.1 | 忍者 | 1.11.1.1 |
nltk | 3.8.1 | ノードenv | 1.9.1 | notebook | 7.0.8 |
notebook_shim | 0.2.3 | ナンバ | 0.59.1 | numpy | 1.26.4 |
nvidia-cublas-cu12 | 12.4.5.8 | nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 |
nvidia-cuda-runtime-cu12 | 12.4.127 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 |
nvidia-curand-cu12 | 10.3.5.147 | nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 |
nvidia-ml-py | 12.560.30 | nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 |
nvidia-nvtx-cu12 | 12.4.127 | OAuthlib | 3.2.0 | OCIの | 2.139.0 |
OpenAI | 1.55.1 | オープンセンサス | 0.11.4 | opencensus-コンテキスト | 0.1.3 |
opentelemetry-api | 1.28.2 | opentelemetry-sdkの | 1.28.2 | opentelemetry-セマンティック規約 | 0.49b2 |
opt_einsum | 3.4.0 | オプトリー | 0.12.1 | オプトゥーナ | 3.6.1 |
optuna-インテグレーション | 3.6.0 | またはjson | 3.10.12 | オーバーライド | 7.4.0 |
packaging | 24.1 | pandas | 1.5.3 | pandocフィルター | 1.5.0 |
パラミコ | 3.4.0 | パルソ | 0.8.3 | パススペック | 0.10.3 |
patsy | 0.5.6 | pexpect | 4.8.0 | ピク | 0.12.4 |
枕 | 10.3.0 | 種 | 24.2 | プラットフォームディレクトリ | 3.10.0 |
Plotly | 5.22.0 | プラギー | 1.0.0 | エムダリマ | 2.0.4 |
犬 | 1.8.2 | ポルタロッカー | 2.10.1 | プレシェッド | 3.0.9 |
prometheus-クライアント | 0.14.1 | プロンプトツールキット | 3.0.43 | Prophet | 1.1.5 |
プロトプラス | 1.24.0 | protobuf | 4.24.1 | psutil の | 5.9.0 |
サイコップ2 | 2.9.3 | PTYPROCESSの | 0.7.0 | ピュア評価 | 0.2.2 |
py-cpuinfo | 9.0.0 | py-spy | 0.3.14 | pyarrow | 15.0.2 |
pyarrow-ホットフィックス | 0.6 | pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 |
pybind11 | 2.13.6 | ピッコロ | 0.0.65 | pycparser | 2.21 |
ピダンティック | 2.8.2 | pydantic_core | 2.20.1 | パイフレーク | 3.2.0 |
ピグメント | 2.15.1 | PyGObject | 3.48.2 | PyJWTの | 2.7.0 |
PyNaClの | 1.5.0 | pyodbc | 5.0.1 | pyOpenSSLの | 24.0.0 |
pyparsing | 3.0.9 | パイライト | 1.1.294 | ピテッセラクト | 0.3.10 |
Python-dateutil | 2.9.0.投稿0 | Pythonエディタ | 1.0.4 | Python-JSON- ロガー | 2.0.7 |
Python-lsp-jsonrpc | 1.1.2 | Python-lsp-server | 1.10.0 | Python-スナッピー | 0.6.1 |
pytoolconfig(ピーツールコンフィグ) | 1.2.6 | PyTorchレンジャー | 0.1.1 | pytz | 2024.1 |
Pyウェーブレット | 1.5.0 | PyYAML (英語) | 6.0.1 | ピズム | 25.1.2 |
質問 | 1.10.0 | Ray | 2.35.0 | 参照 | 0.30.2 |
正規表現 | 2023.10.3 | 要求 | 2.32.2 | リクエスト-oauthlib | 1.3.1 |
rfc3339-バリデータ | 0.1.4 | rfc3986-バリデータ | 0.1.1 | 裕福 | 13.3.5 |
縄 | 1.12.0 | rpds-py | 0.10.6 | rsa | 4.9 |
ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | S3トランスファー | 0.10.2 |
セーフテンソル | 0.4.4 | scikitのイメージ | 0.23.2 | scikit-learn | 1.4.2 |
scipy | 1.13.1 | シーボーン | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 |
センテンストランスフォーマー | 3.3.1 | センテンスピース | 0.2.0 | setuptools | 74.0.0 |
シャップ | 0.46.0 | シェリンガム | 1.5.4 | シンプルJSON | 3.17.6 |
six | 1.16.0 | スライサー | 0.0.8 | スマートオープン | 5.2.1 |
SMMAPの | 5.0.0 | スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 |
スープふるい | 2.5 | ソックスアール | 0.5.0.ポスト1 | スペイシー | 3.7.5 |
スペイシーレガシー | 3.0.12 | スペイシーロガー | 1.0.5 | SQLAlchemy | 2.0.30 |
sqlparse | 0.4.2 | srslyの | 2.4.8 | ssh-import-id | 5.11 |
スタックデータ | 0.2.0 | スタニオ | 0.5.1 | statsmodels | 0.14.2 |
シンピー | 1.13.1 | 表 | 0.9.0 | Unicodeで絡み合った | 0.2.0 |
持久力 | 8.2.2 | TensorBoard | 2.17.0 | TensorBoard-data-server | 0.7.2 |
TensorBoard-plugin-profile | 2.18.0 | テンソルボードX | 2.6.2.2 | TensorFlow | 2.18.0 |
テンソルフロー推定器 | 2.15.0 | タームカラー | 2.4.0 | テルミナド | 0.17.1 |
テキスト | 0.87.1 | tf_keras | 2.17.0 | シンク | 8.2.5 |
threadpoolctl | 2.2.0 | tiffファイル(tifffile) | 2023.4.12 | ティックトークン | 0.7.0 |
tinycss2 | 1.2.1 | トークン化-RT | 4.2.1 | トークナイザー | 0.20.0 |
トムリ | 2.0.1 | トーチ | 2.5.0+CU124 | トーチオプティマイザー | 0.3.0 |
トーチバル | 0.0.7 | トーチメトリクス | 1.4.0.投稿0 | トーチビジョン | 0.20.0+CU124 |
竜巻 | 6.4.1 | tqdm | 4.66.4 | トレイトレット | 5.14.3 |
transformers | 4.46.3 | トライトン | 3.1.0 | タイプガード | 4.3.0 |
タイパー | 0.14.0 | タイプ-protobuf | 3.20.3 | タイプ-psutil | 5.9.0 |
タイプ-pytz | 2023.3.1.1 | タイプ-PyYAML | 6.0.0 | タイプ-リクエスト | 2.31.0.0 |
types-setuptools | 68.0.0.0 | タイプ-6 | 1.16.0 | タイプ-urllib3 | 1.26.25.14 |
typing_extensions | 4.11.0 | UC-マイクロPY | 1.0.1 | ujson | 5.10.0 |
無人アップグレード | 0.1 | uriテンプレート | 1.3.0 | urllib3 の | 1.26.16 |
バリデータ | 0.34.0 | virtualenv | 20.26.2 | ビジョン | 0.7.5 |
ワドリブ | 1.3.6 | 山葵 | 1.1.3 | WC幅 | 0.2.5 |
鼬 | 0.4.1 | ウェブカラー | 24.8.0 | webencodings | 0.5.1 |
websocket-クライアント | 1.8.0 | ウェブソケット | 11.0.3 | ヴェルクツォイク | 3.0.3 |
パッチ | 1.0.2 | 輪 | 0.43.0 | ワードクラウド | 1.9.3 |
ラッピング | 1.14.1 | XGBoost | 2.0.3 | XGブースト-レイ | 0.1.19 |
xxhashの | 3.4.1 | ヤップ | 0.33.0 | ヤール | 1.9.3 |
ydata-プロファイリング | 4.9.0 | ジップ | 3.17.0 | ZSTDの | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime16.1 の R ライブラリ と同じです。
Java and Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 16.1 ML には、Databricks Runtime 16.1 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。
CPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.dmlc | XGBOOST4Jのspark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflowの | mlflow-クライアント | 2.15.1 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.dmlc | XGBOOST4Jのgpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflowの | mlflow-クライアント | 2.15.1 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |