Databricks Runtime 16.0 for Machine Learning (EoS) (英語)
この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、「 サポート終了の履歴」を参照してください。サポートされているすべての Databricks Runtime バージョンについては、「 Databricks Runtime リリースノートのバージョンと互換性」を参照してください。
Databricks Runtime 16.0 for Machine Learning は、 Databricks Runtime 16.0 (EoS) に基づく機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。Databricks Runtime ML は、TorchDistributor、DeepSpeed、Ray を使用した分散ディープラーニング トレーニングもサポートしています。
サポート終了 (EoS) に達した Databricks Runtime バージョンのリリースノートを表示するには、「 サポート終了 Databricks Runtime リリースノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。
新機能と改善点
Databricks Runtime 16.0 ML は、Databricks Runtime 16.0 の上に構築されています。Databricks Runtime 16.0 の新機能 (Apache Spark MLlib や SparkRなど) については、Databricks Runtime 16.0 (EoS) リリースノートを参照してください。
新しい Python パッケージ
次の Python パッケージが Databricks Runtime ML に追加されました。
- 作曲家0.24.1
- オプトゥーナ 3.6.1
予測のための AutoML サンプルの重み付け
AutoML で予測用のサンプルの重みがサポートされるようになったため、複数時系列の予測モデルをトレーニングするための各時系列の重要度を調整できるようになりました。詳細については、AutoML Python APIの forecasting パラメーターを参照してください。
Unity Catalogのビューを特徴量テーブルとして使用する
Unity Catalogのビューを特徴量テーブルとして使用できるようになりました。Unity Catalogの既存のビューを特徴量テーブルとして使用するを参照してください。
その他の変更
Horovod、HorovodRunner、Petastorm、 spark-tensorflow-distributor
削除
以前のバージョンの Databricks Runtime ML に含まれていた次のパッケージは、Databricks Runtime 16.0 ML には含まれていません。
- Horovod
- HorovodRunner
- Petastrorm
spark-tensorflow-distributor
Databricks では、次の置き換えをお勧めします。
- 分散ディープラーニングの場合、Databricks では、PyTorch による分散トレーニングに TorchDistributor を使用するか、TensorFlow による分散トレーニングに
tf.distribute.Strategy
API を使用することをお勧めします。 - クラウドストレージから大きなデータセットをロードするには、Databricks Mosaic ストリーミング の使用をお勧めします。
- TensorFlowモデルやKerasモデルの分散トレーニングには、Rayの使用をおすすめDatabricks。Databricks の Ray と Ray のドキュメントを参照してください。
システム環境
Databricks Runtime 16.0 ML のシステム環境は、Databricks Runtime 16.0 と次のように異なります。
- GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6の
- キューバ 12.6.0.22-1
- cusolver 11.6.4.38-1
- クプティ12.6.37-1
- カスパース 12.5.2.23-1
- cuDNN 9.3.0.75-1
- NCCLの2.22.3
- テンソルRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 16.0 ML に含まれるライブラリのうち、Databricks Runtime 16.0 に含まれるライブラリと異なるライブラリの一覧を示します。
このセクションの内容:
トップクラスのライブラリ
Databricks Runtime 16.0 ML には、次の最上位 ライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- transformers
Python ライブラリ
Databricks Runtime 16.0 ML は、Python パッケージ管理に virtualenv
を使用し、多くの一般的な ML パッケージが含まれています。
次のセクションで指定されているパッケージに加えて、Databricks Runtime 16.0 ML には次のパッケージも含まれています。
- Hyperopt 0.2.7+db5
- AutoML 1.29.0
Databricks Runtime ML Python環境をローカル環境Python仮想環境に再現するには、requirements-16.0.txtファイルをダウンロードして pip install -r requirements-16.0.txt
を実行します。このコマンドは、Databricks Runtime ML が使用するすべてのオープンソース ライブラリをインストールしますが、databricks-automl
、databricks-feature-engineering
、hyperopt
の Databricks フォークなど、Databricksが開発したライブラリはインストールしません。
Python ライブラリ on CPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 1.0.0 | 早める | 0.33.0 | AIOhttp | 3.9.5 |
AIOhttp-CORSの | 0.7.0 | AIOシグナル | 1.2.0 | アレンビック | 1.13.3 |
注釈付きタイプ | 0.7.0 | アニオ | 4.2.0 | argcomplete(日本語) | 3.5.0 |
アルゴン2-CFFI | 21.3.0 | argon2-cffi-結合 | 21.2.0 | 矢 | 1.2.3 |
アスター | 0.8.1 | アストトークンズ | 2.0.5 | アストゥンパース | 1.6.3 |
非同期-LRU | 2.0.4 | 属性 | 23.1.0 | オーディオ読み取り | 3.0.1 |
自動コマンド | 2.2.2 | azure-core | 1.31.0 | azure-cosmos | 4.3.1 |
azure-identity | 1.18.0 | azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 |
バベル | 2.11.0 | バックオフ | 2.2.1 | backports.tarファイル | 1.2.0 |
bcryptの | 3.2.0 | 美しいスープ4 | 4.12.3 | 黒い | 24.4.2 |
bleach | 4.1.0 | ウィンカー | 1.7.0 | ブリス | 0.7.11 |
ボト3 | 1.34.69 | ボトコア | 1.34.69 | ブロトリ | 1.0.9 |
cachetools | 5.3.3 | カタログ | 2.0.10 | カテゴリ-エンコーダー | 2.6.3 |
認証 | 2024.6.2 | cffi | 1.16.0 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | サーキットブレーカー | 2.0.0 | クリック | 8.1.7 |
クラウドパスライブラリ | 0.19.0 | クラウドピクルス | 2.2.1 | cmdstanpyさん | 1.2.4 |
カラフル | 0.5.6 | カラーログ | 6.8.2 | 通信 | 0.2.1 |
作曲家 | 0.24.1 | コンフェクション | 0.1.5 | コンフィグパーサー | 5.2.0 |
コントルピー | 1.2.0 | クールネーム | 2.2.0 | cryptography | 42.0.5 |
サーマルサイクラー | 0.11.0 | サイメム | 2.0.8 | シトン | 3.0.11 |
デイサイト | 1.8.1 | Databricks 自動 ml ランタイム | 0.2.21 | databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.7.0 |
databricks-sdk | 0.30.0 | データセット | 2.20.0 | DBLテンポ | 0.1.26 |
DBUSPython | 1.3.2 | デバッグ | 1.6.7 | デコレータ | 5.1.1 |
ディープスピード | 0.14.4 | defusedxml | 0.7.1 | 非推奨 | 1.2.14 |
ディル | 0.3.8 | ディストリビューション | 0.3.8 | DMツリー | 0.1.8 |
docstring-to-markdown | 0.11 | エントリポイント | 0.4 | 評 | 0.4.2 |
実行 | 0.8.3 | facets-概要 | 1.1.1 | ファラマ通知 | 0.0.4 |
fastjsonスキーマ | 2.20.0 | fasttext-ホイール | 0.9.2 | ファイルロック | 3.13.1 |
flask | 2.2.5 | フラットバッファ | 24.3.25 | fonttools | 4.51.0 |
FQDNの | 1.5.1 | フローズンリスト | 1.4.0 | FSSPECの | 2023.5.0 |
未来 | 0.18.3 | ガスト | 0.4.0 | ギットDB | 4.0.11 |
ギットパイソン | 3.1.37 | グーグルAPIコア | 2.20.0 | グーグル認証 | 2.21.0 |
グーグル認証 - oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 | Google Cloud Storage | 2.10.0 |
グーグル-CRC32C | 1.6.0 | グーグルパスタ | 0.2.0 | Googleの再開可能なメディア | 2.7.2 |
googleapis-common-protos | 1.65.0 | GQLの | 3.5.0 | graphql-コア | 3.2.4 |
グリーンレット | 3.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
gunicorn | 20.1.0 | gviz-api | 1.10.0 | 体育館 | 0.28.1 |
H11 | 0.14.0 | h5pyさん | 3.11.0 | hjson | 3.1.0 |
休日 | 0.54 | htmlmin | 0.1.12 | httpコア | 1.0.5 |
httplib2の | 0.20.4 | httpxの | 0.27.2 | 抱きしめるface-hub | 0.24.5 |
イドナ | 3.7 | イメージハッシュ | 4.3.1 | イメージイオ | 2.33.1 |
不均衡な学習 | 0.12.3 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.5 |
活用 | 7.3.1 | ipyflow-コア | 0.0.201 | ipykernel(英語) | 6.28.0 |
アイパイソン | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
イソデート | 0.6.1 | アイソデュレーション | 20.11.0 | それは危険です | 2.2.0 |
jaraco.context | 5.3.0 | jaraco.functoolsの | 4.0.1 | jaraco.text | 3.12.1 |
ジャックスジャンピー | 1.0.0 | ジェダイ | 0.19.1 | ジンジャ2 | 3.1.4 |
ジター | 0.5.0 | jmespath | 1.0.1 | joblib | 1.4.2 |
ジョブリブスパーク | 0.5.1 | JSON5の | 0.9.6 | jsonパッチ | 1.33 |
jsonポインター | 3.0.0 | jsonschema(jsonschema) | 4.19.2 | jsonschema-仕様 | 2023.7.1 |
ジュピターイベント | 0.10.0 | jupyter-lsp | 2.2.0 | jupyter_client | 8.6.0 |
jupyter_core | 5.7.2 | jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 |
JupyterLab | 4.0.11 | jupyterlab-pygmentsの | 0.1.2 | jupyterlab_server | 2.25.1 |
keras | 3.5.0 | キウイソルバー | 1.4.4 | ラングチェーン | 0.2.12 |
langchain-コア | 0.2.41 | langchain-text-splitters | 0.2.4 | ラングコード | 3.4.1 |
ラングスミス | 0.1.129 | language_data | 1.2.0 | ローンチパッドリブ | 1.11.0 |
lazr.restfulクライアント | 0.14.6 | lazr.uri です。 | 1.0.6 | lazy_loader | 0.4 |
リブクラン | 15.0.6.1 | てんびん座 | 0.10.2 | LightGBM | 4.5.0 |
ライトニングユーティリティ | 0.11.7 | リンキファイ・イット・ピー | 2.0.0 | LLVMLITEの | 0.42.0 |
LZ4 | 4.3.2 | アオザメ | 1.2.0 | マリサ・トリエ | 1.2.0 |
Markdown | 3.4.1 | マークダウンイットピー | 2.2.0 | マークアップセーフ | 2.1.3 |
Matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 | マッケイブ | 0.7.0 |
mdit-py-plugins | 0.3.0 | mdurlの | 0.1.0 | メモリレイ | 1.14.0 |
ミスチューン | 2.0.4 | ml-dタイプ | 0.4.1 | mlflow-skinny | 2.15.1 |
もっと-itertools | 10.3.0 | mosaicml-CLI | 0.6.41 | mosaicml-ストリーミング | 0.8.0 |
MPMATHの | 1.3.0 | MSALの | 1.31.0 | MSAL-拡張機能 | 1.2.0 |
msgpackの | 1.1.0 | マルチディクト | 6.0.4 | マルチメソッド | 1.12 |
マルチプロセス | 0.70.16 | つぶやき | 1.0.10 | マイピー | 1.10.0 |
mypy-extensions | 1.0.0 | ナメックス | 0.0.8 | NBクライアント | 0.8.0 |
NBコンバート | 7.10.0 | NBフォーマット | 5.9.2 | ネスト-アシンシオ | 1.6.0 |
ネットワークX | 3.2.1 | 忍者 | 1.11.1.1 | nltk | 3.8.1 |
ノードenv | 1.9.1 | notebook | 7.0.8 | notebook_shim | 0.2.3 |
ナンバ | 0.59.1 | numpy | 1.26.4 | nvidia-ml-py | 12.560.30 |
OAuthlib | 3.2.0 | OCIの | 2.135.0 | OpenAI | 1.40.2 |
オープンセンサス | 0.11.4 | opencensus-コンテキスト | 0.1.3 | opentelemetry-api | 1.27.0 |
opentelemetry-sdkの | 1.27.0 | opentelemetry-セマンティック規約 | 0.48b0 | opt_einsum | 3.4.0 |
オプトリー | 0.12.1 | オプトゥーナ | 3.6.1 | optuna-インテグレーション | 3.6.0 |
またはjson | 3.10.7 | オーバーライド | 7.4.0 | packaging | 24.1 |
pandas | 1.5.3 | pandocフィルター | 1.5.0 | パラミコ | 3.4.0 |
パルソ | 0.8.3 | パススペック | 0.10.3 | patsy | 0.5.6 |
pexpect | 4.8.0 | ピク | 0.12.4 | 枕 | 10.3.0 |
種 | 24.2 | プラットフォームディレクトリ | 3.10.0 | Plotly | 5.22.0 |
プラギー | 1.0.0 | エムダリマ | 2.0.4 | 犬 | 1.8.2 |
ポルタロッカー | 2.10.1 | プレシェッド | 3.0.9 | prometheus-クライアント | 0.14.1 |
プロンプトツールキット | 3.0.43 | Prophet | 1.1.5 | プロトプラス | 1.24.0 |
protobuf | 4.24.1 | psutil の | 5.9.0 | サイコップ2 | 2.9.3 |
PTYPROCESSの | 0.7.0 | ピュア評価 | 0.2.2 | py-cpuinfo | 9.0.0 |
py-spy | 0.3.14 | pyarrow | 15.0.2 | pyarrow-ホットフィックス | 0.6 |
pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 | pybind11 | 2.13.6 |
ピッコロ | 0.0.65 | pycparser | 2.21 | ピダンティック | 2.8.2 |
pydantic_core | 2.20.1 | パイフレーク | 3.2.0 | ピグメント | 2.15.1 |
PyGObject | 3.48.2 | PyJWTの | 2.7.0 | PyNaClの | 1.5.0 |
pyodbc | 5.0.1 | pyOpenSSLの | 24.0.0 | pyparsing | 3.0.9 |
パイライト | 1.1.294 | ピテッセラクト | 0.3.10 | Python-dateutil | 2.9.0.投稿0 |
Pythonエディタ | 1.0.4 | Python-JSON- ロガー | 2.0.7 | Python-lsp-jsonrpc | 1.1.2 |
Python-lsp-server | 1.10.0 | Python-スナッピー | 0.6.1 | pytoolconfig(ピーツールコンフィグ) | 1.2.6 |
PyTorchレンジャー | 0.1.1 | pytz | 2024.1 | Pyウェーブレット | 1.5.0 |
PyYAML (英語) | 6.0.1 | ピズム | 25.1.2 | 質問 | 1.10.0 |
Ray | 2.35.0 | 参照 | 0.30.2 | 正規表現 | 2023.10.3 |
要求 | 2.32.2 | リクエスト-oauthlib | 1.3.1 | rfc3339-バリデータ | 0.1.4 |
rfc3986-バリデータ | 0.1.1 | 裕福 | 13.3.5 | 縄 | 1.12.0 |
rpds-py | 0.10.6 | rsa | 4.9 | ruamel.yaml | 0.18.6 |
ruamel.yaml.clib | 0.2.8 | S3トランスファー | 0.10.2 | セーフテンソル | 0.4.4 |
scikitのイメージ | 0.23.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
シーボーン | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 | センテンストランスフォーマー | 3.0.1 |
センテンスピース | 0.2.0 | setuptools | 74.0.0 | シャップ | 0.46.0 |
シェリンガム | 1.5.4 | シンプルJSON | 3.17.6 | six | 1.16.0 |
スライサー | 0.0.8 | スマートオープン | 5.2.1 | SMMAPの | 5.0.0 |
スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 | スープふるい | 2.5 |
ソックスアール | 0.5.0.ポスト1 | スペイシー | 3.7.5 | スペイシーレガシー | 3.0.12 |
スペイシーロガー | 1.0.5 | SQLAlchemy | 2.0.30 | sqlparse | 0.4.2 |
srslyの | 2.4.8 | ssh-import-id | 5.11 | スタックデータ | 0.2.0 |
スタニオ | 0.5.1 | statsmodels | 0.14.2 | シンピー | 1.12 |
表 | 0.9.0 | Unicodeで絡み合った | 0.2.0 | 持久力 | 8.2.2 |
TensorBoard | 2.17.0 | TensorBoard-data-server | 0.7.2 | TensorBoard-plugin-profile | 2.17.0 |
テンソルボードX | 2.6.2.2 | TensorFlow | 2.18.0 | テンソルフロー推定器 | 2.15.0 |
タームカラー | 2.4.0 | テルミナド | 0.17.1 | テキスト | 0.81.0 |
tf_keras | 2.17.0 | シンク | 8.2.5 | threadpoolctl | 2.2.0 |
tiffファイル(tifffile) | 2023.4.12 | ティックトークン | 0.7.0 | tinycss2 | 1.2.1 |
トークン化-RT | 4.2.1 | トークナイザー | 0.19.1 | トムリ | 2.0.1 |
トーチ | 2.4.0+CPU | トーチオプティマイザー | 0.3.0 | トーチバル | 0.0.7 |
トーチメトリクス | 1.4.0.投稿0 | トーチビジョン | 0.19.0+CPU | 竜巻 | 6.4.1 |
tqdm | 4.66.4 | トレイトレット | 5.14.3 | transformers | 4.44.0 |
タイプガード | 4.3.0 | タイパー | 0.12.5 | タイプ-protobuf | 3.20.3 |
タイプ-psutil | 5.9.0 | タイプ-pytz | 2023.3.1.1 | タイプ-PyYAML | 6.0.0 |
タイプ-リクエスト | 2.31.0.0 | types-setuptools | 68.0.0.0 | タイプ-6 | 1.16.0 |
タイプ-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 | UC-マイクロPY | 1.0.1 |
ujson | 5.10.0 | 無人アップグレード | 0.1 | uriテンプレート | 1.3.0 |
urllib3 の | 1.26.16 | バリデータ | 0.34.0 | virtualenv | 20.26.2 |
ビジョン | 0.7.5 | ワドリブ | 1.3.6 | 山葵 | 1.1.3 |
WC幅 | 0.2.5 | 鼬 | 0.4.1 | ウェブカラー | 24.8.0 |
webencodings | 0.5.1 | websocket-クライアント | 1.8.0 | ウェブソケット | 11.0.3 |
ヴェルクツォイク | 3.0.3 | パッチ | 1.0.2 | 輪 | 0.43.0 |
ワードクラウド | 1.9.3 | ラッピング | 1.14.1 | XGBoost | 2.0.3 |
XGブースト-レイ | 0.1.19 | xxhashの | 3.4.1 | ヤップ | 0.33.0 |
ヤール | 1.9.3 | ydata-プロファイリング | 4.9.0 | ジップ | 3.17.0 |
ZSTDの | 1.5.5.1 |
Python ライブラリ on GPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
---|---|---|---|---|---|
absl-py | 1.0.0 | 早める | 0.33.0 | AIOhttp | 3.9.5 |
AIOhttp-CORSの | 0.7.0 | AIOシグナル | 1.2.0 | 注釈付きタイプ | 0.7.0 |
アニオ | 4.2.0 | argcomplete(日本語) | 3.5.0 | アルゴン2-CFFI | 21.3.0 |
argon2-cffi-結合 | 21.2.0 | 矢 | 1.2.3 | アスター | 0.8.1 |
アストトークンズ | 2.0.5 | アストゥンパース | 1.6.3 | 非同期-LRU | 2.0.4 |
属性 | 23.1.0 | オーディオ読み取り | 3.0.1 | 自動コマンド | 2.2.2 |
azure-core | 1.31.0 | azure-cosmos | 4.3.1 | azure-identity | 1.18.0 |
azure-storage-blob | 12.23.1 | azure-storage-file-datalake | 12.17.0 | バベル | 2.11.0 |
バックオフ | 2.2.1 | backports.tarファイル | 1.2.0 | bcryptの | 3.2.0 |
美しいスープ4 | 4.12.3 | 黒い | 24.4.2 | bleach | 4.1.0 |
ウィンカー | 1.7.0 | ブリス | 0.7.11 | ボト3 | 1.34.69 |
ボトコア | 1.34.69 | ブロトリ | 1.0.9 | cachetools | 5.3.3 |
カタログ | 2.0.10 | カテゴリ-エンコーダー | 2.6.3 | 認証 | 2024.6.2 |
cffi | 1.16.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
サーキットブレーカー | 2.0.0 | クリック | 8.1.7 | クラウドパスライブラリ | 0.19.0 |
クラウドピクルス | 2.2.1 | cmdstanpyさん | 1.2.4 | カラフル | 0.5.6 |
カラーログ | 6.8.2 | 通信 | 0.2.1 | 作曲家 | 0.24.1 |
コンフェクション | 0.1.5 | コンフィグパーサー | 5.2.0 | コントルピー | 1.2.0 |
クールネーム | 2.2.0 | cryptography | 42.0.5 | サーマルサイクラー | 0.11.0 |
サイメム | 2.0.8 | シトン | 3.0.11 | デイサイト | 1.8.1 |
Databricks 自動 ml ランタイム | 0.2.21 | databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.7.0 | databricks-sdk | 0.30.0 |
データセット | 2.20.0 | DBLテンポ | 0.1.26 | DBUSPython | 1.3.2 |
デバッグ | 1.6.7 | デコレータ | 5.1.1 | ディープスピード | 0.14.4 |
defusedxml | 0.7.1 | 非推奨 | 1.2.14 | ディル | 0.3.8 |
ディストリビューション | 0.3.8 | DMツリー | 0.1.8 | docstring-to-markdown | 0.11 |
エイノップス | 0.8.0 | エントリポイント | 0.4 | 評 | 0.4.2 |
実行 | 0.8.3 | facets-概要 | 1.1.1 | ファラマ通知 | 0.0.4 |
fastjsonスキーマ | 2.20.0 | fasttext-ホイール | 0.9.2 | ファイルロック | 3.13.1 |
flash_attn | 2.5.6 | flask | 2.2.5 | フラットバッファ | 24.3.25 |
fonttools | 4.51.0 | FQDNの | 1.5.1 | フローズンリスト | 1.4.0 |
FSSPECの | 2023.5.0 | 未来 | 0.18.3 | ガスト | 0.4.0 |
ギットDB | 4.0.11 | ギットパイソン | 3.1.37 | グーグルAPIコア | 2.20.0 |
グーグル認証 | 2.21.0 | グーグル認証 - oauthlib | 1.0.0 | グーグルクラウドコア | 2.4.1 |
Google Cloud Storage | 2.10.0 | グーグル-CRC32C | 1.6.0 | グーグルパスタ | 0.2.0 |
Googleの再開可能なメディア | 2.7.2 | googleapis-common-protos | 1.65.0 | GQLの | 3.5.0 |
graphql-コア | 3.2.4 | グリーンレット | 3.0.1 | grpcio | 1.60.0 |
grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
体育館 | 0.28.1 | H11 | 0.14.0 | h5pyさん | 3.11.0 |
hjson | 3.1.0 | 休日 | 0.54 | htmlmin | 0.1.12 |
httpコア | 1.0.5 | httplib2の | 0.20.4 | httpxの | 0.27.2 |
抱きしめるface-hub | 0.24.5 | イドナ | 3.7 | イメージハッシュ | 4.3.1 |
イメージイオ | 2.33.1 | 不均衡な学習 | 0.12.3 | importlib-metadata | 6.0.0 |
importlib_resources | 6.4.5 | 活用 | 7.3.1 | ipyflow-コア | 0.0.201 |
ipykernel(英語) | 6.28.0 | アイパイソン | 8.25.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | イソデート | 0.6.1 | アイソデュレーション | 20.11.0 |
それは危険です | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functoolsの | 4.0.1 |
jaraco.text | 3.12.1 | ジャックスジャンピー | 1.0.0 | ジェダイ | 0.19.1 |
ジンジャ2 | 3.1.4 | ジター | 0.5.0 | jmespath | 1.0.1 |
joblib | 1.4.2 | ジョブリブスパーク | 0.5.1 | JSON5の | 0.9.6 |
jsonパッチ | 1.33 | jsonポインター | 3.0.0 | jsonschema(jsonschema) | 4.19.2 |
jsonschema-仕様 | 2023.7.1 | ジュピターイベント | 0.10.0 | jupyter-lsp | 2.2.0 |
jupyter_client | 8.6.0 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
jupyter_server_terminals | 0.4.4 | JupyterLab | 4.0.11 | jupyterlab-pygmentsの | 0.1.2 |
jupyterlab_server | 2.25.1 | keras | 3.5.0 | キウイソルバー | 1.4.4 |
ラングチェーン | 0.2.12 | langchain-コア | 0.2.41 | langchain-text-splitters | 0.2.4 |
ラングコード | 3.4.1 | ラングスミス | 0.1.129 | language_data | 1.2.0 |
ローンチパッドリブ | 1.11.0 | lazr.restfulクライアント | 0.14.6 | lazr.uri です。 | 1.0.6 |
lazy_loader | 0.4 | リブクラン | 15.0.6.1 | てんびん座 | 0.10.2 |
LightGBM | 4.5.0 | ライトニングユーティリティ | 0.11.7 | リンキファイ・イット・ピー | 2.0.0 |
LLVMLITEの | 0.42.0 | LZ4 | 4.3.2 | アオザメ | 1.2.0 |
マリサ・トリエ | 1.2.0 | Markdown | 3.4.1 | マークダウンイットピー | 2.2.0 |
マークアップセーフ | 2.1.3 | Matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 |
マッケイブ | 0.7.0 | mdit-py-plugins | 0.3.0 | mdurlの | 0.1.0 |
メモリレイ | 1.14.0 | ミスチューン | 2.0.4 | ml-dタイプ | 0.4.1 |
mlflow-skinny | 2.15.1 | もっと-itertools | 10.3.0 | mosaicml-CLI | 0.6.41 |
mosaicml-ストリーミング | 0.8.0 | MPMATHの | 1.3.0 | MSALの | 1.31.0 |
MSAL-拡張機能 | 1.2.0 | msgpackの | 1.1.0 | マルチディクト | 6.0.4 |
マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | つぶやき | 1.0.10 |
マイピー | 1.10.0 | mypy-extensions | 1.0.0 | ナメックス | 0.0.8 |
NBクライアント | 0.8.0 | NBコンバート | 7.10.0 | NBフォーマット | 5.9.2 |
ネスト-アシンシオ | 1.6.0 | ネットワークX | 3.2.1 | 忍者 | 1.11.1.1 |
nltk | 3.8.1 | ノードenv | 1.9.1 | notebook | 7.0.8 |
notebook_shim | 0.2.3 | ナンバ | 0.59.1 | numpy | 1.26.4 |
nvidia-cublas-cu12 | 12.4.2.65 | nvidia-cuda-cupti-cu12 | 12.4.99 | nvidia-cuda-nvrtc-cu12 | 12.4.99 |
nvidia-cuda-runtime-cu12 | 12.4.99 | nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.0.44 |
nvidia-curand-cu12 | 10.3.5.119 | nvidia-cusolver-cu12 | 11.6.0.99 | nvidia-cusparse-cu12 | 12.3.0.142 |
nvidia-ml-py | 12.560.30 | nvidia-nccl-cu12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.4.99 |
nvidia-nvtx-cu12 | 12.4.99 | OAuthlib | 3.2.0 | OCIの | 2.135.0 |
OpenAI | 1.40.2 | オープンセンサス | 0.11.4 | opencensus-コンテキスト | 0.1.3 |
opentelemetry-api | 1.27.0 | opentelemetry-sdkの | 1.27.0 | opentelemetry-セマンティック規約 | 0.48b0 |
opt_einsum | 3.4.0 | オプトリー | 0.12.1 | オプトゥーナ | 3.6.1 |
optuna-インテグレーション | 3.6.0 | またはjson | 3.10.7 | オーバーライド | 7.4.0 |
packaging | 24.1 | pandas | 1.5.3 | pandocフィルター | 1.5.0 |
パラミコ | 3.4.0 | パルソ | 0.8.3 | パススペック | 0.10.3 |
patsy | 0.5.6 | pexpect | 4.8.0 | ピク | 0.12.4 |
枕 | 10.3.0 | 種 | 24.2 | プラットフォームディレクトリ | 3.10.0 |
Plotly | 5.22.0 | プラギー | 1.0.0 | エムダリマ | 2.0.4 |
犬 | 1.8.2 | ポルタロッカー | 2.10.1 | プレシェッド | 3.0.9 |
prometheus-クライアント | 0.14.1 | プロンプトツールキット | 3.0.43 | Prophet | 1.1.5 |
プロトプラス | 1.24.0 | protobuf | 4.24.1 | psutil の | 5.9.0 |
サイコップ2 | 2.9.3 | PTYPROCESSの | 0.7.0 | ピュア評価 | 0.2.2 |
py-cpuinfo | 9.0.0 | py-spy | 0.3.14 | pyarrow | 15.0.2 |
pyarrow-ホットフィックス | 0.6 | pyasn1 | 0.4.8 | pyasn1モジュール | 0.2.8 |
pybind11 | 2.13.6 | ピッコロ | 0.0.65 | pycparser | 2.21 |
ピダンティック | 2.8.2 | pydantic_core | 2.20.1 | パイフレーク | 3.2.0 |
ピグメント | 2.15.1 | PyGObject | 3.48.2 | PyJWTの | 2.7.0 |
PyNaClの | 1.5.0 | pyodbc | 5.0.1 | pyOpenSSLの | 24.0.0 |
pyparsing | 3.0.9 | パイライト | 1.1.294 | ピテッセラクト | 0.3.10 |
Python-dateutil | 2.9.0.投稿0 | Pythonエディタ | 1.0.4 | Python-JSON- ロガー | 2.0.7 |
Python-lsp-jsonrpc | 1.1.2 | Python-lsp-server | 1.10.0 | Python-スナッピー | 0.6.1 |
pytoolconfig(ピーツールコンフィグ) | 1.2.6 | PyTorchレンジャー | 0.1.1 | pytz | 2024.1 |
Pyウェーブレット | 1.5.0 | PyYAML (英語) | 6.0.1 | ピズム | 25.1.2 |
質問 | 1.10.0 | Ray | 2.35.0 | 参照 | 0.30.2 |
正規表現 | 2023.10.3 | 要求 | 2.32.2 | リクエスト-oauthlib | 1.3.1 |
rfc3339-バリデータ | 0.1.4 | rfc3986-バリデータ | 0.1.1 | 裕福 | 13.3.5 |
縄 | 1.12.0 | rpds-py | 0.10.6 | rsa | 4.9 |
ruamel.yaml | 0.18.6 | ruamel.yaml.clib | 0.2.8 | S3トランスファー | 0.10.2 |
セーフテンソル | 0.4.4 | scikitのイメージ | 0.23.2 | scikit-learn | 1.4.2 |
scipy | 1.13.1 | シーボーン | 0.13.2 | Send2Trash(センド2トラッシュ) | 1.8.2 |
センテンストランスフォーマー | 3.0.1 | センテンスピース | 0.2.0 | setuptools | 74.0.0 |
シャップ | 0.46.0 | シェリンガム | 1.5.4 | シンプルJSON | 3.17.6 |
six | 1.16.0 | スライサー | 0.0.8 | スマートオープン | 5.2.1 |
SMMAPの | 5.0.0 | スニフィオ | 1.3.0 | サウンドファイル | 0.12.1 |
スープふるい | 2.5 | ソックスアール | 0.5.0.ポスト1 | スペイシー | 3.7.5 |
スペイシーレガシー | 3.0.12 | スペイシーロガー | 1.0.5 | SQLAlchemy | 2.0.30 |
sqlparse | 0.4.2 | srslyの | 2.4.8 | ssh-import-id | 5.11 |
スタックデータ | 0.2.0 | スタニオ | 0.5.1 | statsmodels | 0.14.2 |
シンピー | 1.12 | 表 | 0.9.0 | Unicodeで絡み合った | 0.2.0 |
持久力 | 8.2.2 | TensorBoard | 2.17.0 | TensorBoard-data-server | 0.7.2 |
TensorBoard-plugin-profile | 2.17.0 | テンソルボードX | 2.6.2.2 | TensorFlow | 2.18.0 |
テンソルフロー推定器 | 2.15.0 | タームカラー | 2.4.0 | テルミナド | 0.17.1 |
テキスト | 0.81.0 | tf_keras | 2.17.0 | シンク | 8.2.5 |
threadpoolctl | 2.2.0 | tiffファイル(tifffile) | 2023.4.12 | ティックトークン | 0.7.0 |
tinycss2 | 1.2.1 | トークン化-RT | 4.2.1 | トークナイザー | 0.19.1 |
トムリ | 2.0.1 | トーチ | 2.4.0 + CU124 | トーチオプティマイザー | 0.3.0 |
トーチバル | 0.0.7 | トーチメトリクス | 1.4.0.投稿0 | トーチビジョン | 0.19.0+cu124 |
竜巻 | 6.4.1 | tqdm | 4.66.4 | トレイトレット | 5.14.3 |
transformers | 4.44.0 | トライトン | 3.0.0 | タイプガード | 4.3.0 |
タイパー | 0.12.5 | タイプ-protobuf | 3.20.3 | タイプ-psutil | 5.9.0 |
タイプ-pytz | 2023.3.1.1 | タイプ-PyYAML | 6.0.0 | タイプ-リクエスト | 2.31.0.0 |
types-setuptools | 68.0.0.0 | タイプ-6 | 1.16.0 | タイプ-urllib3 | 1.26.25.14 |
typing_extensions | 4.11.0 | UC-マイクロPY | 1.0.1 | ujson | 5.10.0 |
無人アップグレード | 0.1 | uriテンプレート | 1.3.0 | urllib3 の | 1.26.16 |
バリデータ | 0.34.0 | virtualenv | 20.26.2 | ビジョン | 0.7.5 |
ワドリブ | 1.3.6 | 山葵 | 1.1.3 | WC幅 | 0.2.5 |
鼬 | 0.4.1 | ウェブカラー | 24.8.0 | webencodings | 0.5.1 |
websocket-クライアント | 1.8.0 | ウェブソケット | 11.0.3 | ヴェルクツォイク | 3.0.3 |
パッチ | 1.0.2 | 輪 | 0.43.0 | ワードクラウド | 1.9.3 |
ラッピング | 1.14.1 | XGBoost | 2.0.3 | XGブースト-レイ | 0.1.19 |
xxhashの | 3.4.1 | ヤップ | 0.33.0 | ヤール | 1.9.3 |
ydata-プロファイリング | 4.9.0 | ジップ | 3.17.0 | ZSTDの | 1.5.5.1 |
R ライブラリ
R ライブラリは、Databricks Runtime16.0 の R ライブラリ と同じです。
Java and Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 16.0 ML には、Databricks Runtime 16.0 の Java ライブラリと Scala ライブラリに加えて、次の JAR が含まれています。
CPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.dmlc | XGBOOST4Jのspark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflowの | mlflow-クライアント | 2.15.1 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
グループID | アーティファクト ID | バージョン |
---|---|---|
com.typesafe.akka (英語) | アッカ-actor_2.12 | 2.5.23 |
ml.dmlc | XGBOOST4Jのgpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflowの | mlflow-クライアント | 2.15.1 |
org.tensorflowの | spark-tensorflow-connector_2.12 | 1.15.0 |