機械学習向け Databricks Runtime 17.0 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、 「サポート終了履歴」を参照してください。サポートされているすべてのDatabricks Runtimeバージョンについては、 Databricks Runtimeリリースノートのバージョンと互換性」を参照してください。
Databricks Runtime 17.0 for Machine Learning は、 Databricks Runtime 17.0 (EoS)に基づいた機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールであるAutoMLが含まれています。Databricks Runtime ML は、TorchDistributor、DeepSpeed、Ray を使用した分散ディープラーニング トレーニングもサポートします。
新機能と改善点
Databricks Runtime 17.0 ML は、Databricks Runtime 17.0 上に構築されています。Apache Spark MLlibやSparkRなど、 Databricks Runtime 17.0 の新機能については、 Databricks Runtime 17.0 (EoS)リリース ノートを参照してください。
SparkML が標準クラスターでサポートされるようになりました
Databricks Runtime 17.0 ML は、標準 (以前は共有と呼ばれていました) クラスター上の SparkML をサポートします。標準クラスターの詳細については、 「アクセス モード」を参照してください。
標準クラスターで SparkML を実行する場合、次の制限が適用されます。
- 最大モデルサイズは 1GB です。
- セッションあたりの最大モデル キャッシュ サイズは 10 GB です。
- モデルのサイズが 1GB を超えそうになると、ツリー モデルのトレーニングは早期に停止します。
- 次の SparkML モデルはサポートされていません。
- 分散LDAモデル
- FPGrowthModel
その他の変更点
XGBoost4J-Spark が削除されました
以前のバージョンの Databricks Runtime ML に含まれていた XGBoost4J-Spark は、Databricks Runtime 17.0 ML には含まれていません。Databricks では、 xgboost.sparkに Python API を使用することをお勧めします。xgboost.sparkを使用した XGBoost モデルの分散トレーニングを参照してください。
システム環境
Databricks Runtime 17.0 ML のシステム環境は、Databricks Runtime 17.0 と次の点で異なります。
- GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6
- キュブラス 12.6.4.1-1
- cusolver 11.7.1.2-1
- カップティ 12.6.80-1
- カスパース 12.5.4.2-1
- cuDNN 9.5.1.17-1
- NCCL 2.26.2
- テンソルRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 17.0 ML に含まれるライブラリのうち、Databricks Runtime 17.0 に含まれるライブラリと異なるものを一覧表示します。
このセクションの内容：
最上位のライブラリ
Databricks Runtime 17.0 ML には、次の最上位層のライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- transformers
Pythonライブラリ
Databricks Runtime 17.0 ML は Python パッケージ管理にvirtualenvを使用し、多くの一般的な ML パッケージが含まれています。
次のセクションで指定されているパッケージに加えて、Databricks Runtime 17.0 ML には次のパッケージも含まれています。
- オートml 1.30.0
ローカル Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、 requirements-17.0.txtファイルをダウンロードし、 pip install -r requirements-17.0.txtを実行します。このコマンドは、 Databricks Runtime MLが使用するすべてのオープンソース ライブラリをインストールしますが、 Databricksによって開発されたライブラリ ( databricks-automlやhyperoptのDatabricksフォークなど) はインストールしません。
Python ライブラリ on CPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 1.0.0 | 加速する | 1.5.2 | aiohappyeyeballs | 2.4.4 |
aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 |
蒸留器 | 1.15.2 | 注釈付き型 | 0.7.0 | どれでも | 4.6.2 |
引数完全 | 3.6.2 | アルゴン2-cffi | 21.3.0 | アルゴン2-cffi-結合 | 21.2.0 |
矢印 | 1.3.0 | アスター | 0.8.1 | astトークン | 2.0.5 |
astunparse | 1.6.3 | 非同期LRU | 2.0.4 | 属性 | 24.3.0 |
音声読み上げ | 3.0.1 | 自動コマンド | 2.2.2 | azure - コモン | 1.1.28 |
azureコア | 1.33.0 | azureコスモス | 4.3.1 | azureアイデンティティ | 1.20.0 |
azure -mgmt-core | 1.5.0 | azure -mgmt-web | 8.0.0 | azureストレージ BLOB | 12.23.0 |
azureストレージファイルデータレイク | 12.17.0 | バベル | 2.16.0 | バックオフ | 2.2.1 |
バックポート.tarファイル | 1.2.0 | bcrypt | 3.2.0 | 美しいスープ4 | 4.12.3 |
黒 | 24.10.0 | bleach | 6.2.0 | ウィンカー | 1.7.0 |
至福 | 0.7.11 | ボト3 | 1.36.2 | ボトコア | 1.36.3 |
ブロトリ | 1.1.0 | キャッシュツール | 5.5.1 | カタログ | 2.0.10 |
カテゴリエンコーダ | 2.6.3 | 認定 | 2025年1月31日 | cffi | 1.17.1 |
chardet | 4.0.0 | charset-normalizer | 3.3.2 | 回路遮断器 | 2.1.3 |
クリック | 8.1.7 | クラウドパスライブラリ | 0.21.0 | クラウドピクル | 3.0.0 |
コマンドスタンピー | 1.2.5 | カラフル | 0.5.6 | カラーログ | 6.9.0 |
通信 | 0.2.1 | 作曲家 | 0.29.0 | 菓子 | 0.1.5 |
設定パーサー | 5.2.0 | 輪郭線 | 1.3.1 | クールな名前 | 2.2.0 |
詰め込み | 2.10.0 | cryptography | 43.0.3 | サイクラー | 0.11.0 |
シメム | 2.0.11 | シトン | 3.0.12 | デイサイト | 1.9.2 |
データブリックス オートML ランタイム | 0.2.21 | databricks-sdk | 0.49.0 | データセット | 2.20.0 |
ダブルテンポ | 0.1.26 | dbus- Python | 1.3.2 | デバッグ | 1.8.11 |
デコレータ | 5.1.1 | ディープスピード | 0.14.4 | defusedxml | 0.7.1 |
非推奨 | 1.2.13 | ディル | 0.3.8 | ディストリビューション | 0.3.9 |
dmツリー | 0.1.9 | docstring-to-markdown | 0.11 | エントリポイント | 0.4 |
評価する | 0.4.2 | 実行中 | 0.8.3 | ファセットの概要 | 1.1.1 |
ファラマ通知 | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 | flask | 2.2.5 |
フラットバッファ | 25.2.10 | フォントツール | 4.55.3 | FQDN | 1.5.1 |
凍結リスト | 1.5.0 | ファイルシステムスペック | 2023年5月0日 | 未来 | 0.18.3 |
ガスト | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.43 |
Google API コア | 2.20.0 | Google認証 | 2.38.0 | Google 認証 OAuth ライブラリ | 1.0.0 |
google-クラウド-コア | 2.4.3 | Google Cloud Storage | 2.10.0 | google-crc32c | 1.7.1 |
Googleパスタ | 0.2.0 | Google 再開可能メディア | 2.7.2 | googleapis-common-protos | 1.65.0 |
gql | 3.5.2 | graphql-core | 3.2.4 | グリーンレット | 3.1.1 |
grpcio | 1.67.0 | grpcio-status | 1.67.0 | gunicorn | 20.1.0 |
ジム | 0.28.1 | h11 | 0.14.0 | h5py | 3.12.1 |
hjson | 3.1.0 | 休日 | 0.54 | htmlmin | 0.1.12 |
httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
huggingface-hub | 0.30.2 | イドナ | 3.7 | 画像ハッシュ | 4.3.1 |
イメージ | 2.37.0 | 不均衡な学習 | 0.13.0 | importlib-メタデータ | 6.0.0 |
インポートライブラリリソース | 6.5.2 | 語形変化 | 7.3.1 | iniconfig | 1.1.1 |
ipyflow-core | 0.0.209 | ipyカーネル | 6.29.5 | iPython | 8.30.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | 同位体 | 0.6.1 |
等張性 | 20.11.0 | 危険だ | 2.2.0 | jaraco.context | 5.3.0 |
jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | ジャックス・ジャンピー | 1.0.0 |
ジェダイ | 0.19.2 | ジンジャ2 | 3.1.5 | ジター | 0.9.0 |
jmespath | 1.0.1 | joblib | 1.4.2 | ジョブリブスパーク | 0.5.1 |
json5 | 0.9.25 | JSONパッチ | 1.33 | JSONポインタ | 3.0.0 |
jsonschema | 4.23.0 | jsonschema仕様 | 2023年7月1日 | jupyterイベント | 0.10.0 |
jupyter-lsp | 2.2.0 | jupyter_クライアント | 8.6.3 | jupyter_core | 5.7.2 |
jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | JupyterLab | 4.3.4 |
jupyterlab-pygments | 0.1.2 | JupyterLabウィジェット | 1.0.0 | jupyterlab_サーバー | 2.27.3 |
keras | 3.5.0 | キウイソルバー | 1.4.8 | ランチェーン | 0.3.21 |
langchain-core | 0.3.55 | langchain-テキストスプリッター | 0.3.8 | 言語コード | 3.5.0 |
ラングスミス | 0.1.133 | 言語データ | 1.3.0 | ランチパッドライブラリ | 1.11.0 |
lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | 遅延ローダー | 0.4 |
libclang | 15.0.6.1 | リブロサ | 0.10.2 | LightGBM | 4.5.0 |
ライトニングユーティリティ | 0.14.3 | リンクファイ・イット・パイ | 2.0.0 | llvmlite | 0.44.0 |
lz4 | 4.3.2 | マコ | 1.2.0 | マリサ・トライ | 1.2.0 |
Markdown | 3.4.1 | マークダウン・イット・パイ | 2.2.0 | マークアップセーフ | 3.0.2 |
Matplotlib | 3.10.0 | matplotlibインライン | 0.1.7 | マッケイブ | 0.7.0 |
mdit-py-プラグイン | 0.3.0 | mdurl | 0.1.0 | メモリ | 1.17.1 |
不調 | 2.0.4 | ml_dtypes | 0.5.1 | mlflow-skinny | 2.21.3 |
mmh3 | 5.1.0 | より多くのitertools | 10.3.0 | mosaicml- CLI | 0.6.41 |
mosaicml-ストリーミング | 0.8.0 | mpmath | 1.3.0 | msal | 1.32.0 |
msal拡張機能 | 1.3.1 | メッセージパック | 1.1.0 | マルチディクテーション | 6.1.0 |
マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | つぶやき | 1.0.12 |
mypy拡張機能 | 1.0.0 | ナメックス | 0.0.8 | nbクライアント | 0.8.0 |
nbconvert | 7.16.4 | nbフォーマット | 5.10.4 | ネスト非同期 | 1.6.0 |
ネットワークx | 3.4.2 | 忍者 | 1.11.1.1 | nltk | 3.9.1 |
ノードenv | 1.9.1 | notebook | 7.3.2 | ノートブックシム | 0.2.3 |
ナンバー | 0.61.0 | numpy | 2.1.3 | nvidia-ml-py | 12.570.86 |
oauthlib | 3.2.0 | oci | 2.150.2 | OpenAI | 1.40.2 |
オープンセンサス | 0.11.4 | オープンセンサスコンテキスト | 0.1.3 | オープンテレメトリAPI | 1.32.1 |
オープンテレメトリSDK | 1.32.1 | opentelemetry セマンティック規約 | 0.53b1 | opt_einsum | 3.4.0 |
オプツリー | 0.15.0 | オプチュナ | 3.6.1 | Optuna統合 | 3.6.0 |
オルジェソン | 3.10.16 | オーバーライド | 7.4.0 | packaging | 24.1 |
pandas | 2.2.3 | パンドックフィルター | 1.5.0 | パラミコ | 3.4.0 |
パルソ | 0.8.4 | パススペック | 0.10.3 | patsy | 1.0.1 |
期待する | 4.8.0 | ピック | 0.12.4 | 枕 | 11.1.0 |
ピップ | 25.0 | プラットフォームディレクトリ | 3.10.0 | Plotly | 5.24.1 |
プラグ状の | 1.5.0 | pmdarima | 2.0.4 | 犬 | 1.8.2 |
プレシェッド | 3.0.9 | プロメテウスクライアント | 0.21.0 | プロンプトツールキット | 3.0.43 |
プロップキャッシュ | 0.2.0 | Prophet | 1.1.6 | プロトプラス | 1.26.1 |
protobuf | 5.29.4 | psutil | 5.9.0 | サイコップ2 | 2.9.3 |
ptyプロセス | 0.7.0 | 純粋評価 | 0.2.2 | ピュアマジック | 1.28 |
py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow | 19.0.1 |
pyarrow-hotfix | 0.6 | ピヤスン1 | 0.4.8 | pyasn1モジュール | 0.2.8 |
pybind11 | 2.13.6 | ピッコロ | 0.0.71 | pycパーサー | 2.21 |
ピダンティック | 2.10.6 | pydantic_core | 2.27.2 | パイフレーク | 3.2.0 |
ピグメント | 2.15.1 | PyGオブジェクト | 3.48.2 | PyIceberg | 0.9.0 |
ピジョンJWT | 2.10.1 | ピナクロライド | 1.5.0 | pyodbc | 5.2.0 |
pyOpenSSL | 24.2.1 | pyparsing | 3.2.0 | 海賊権 | 1.1.394 |
ピテッセラクト | 0.3.10 | pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 |
Pythonエディター | 1.0.4 | Python-JSON-ロガー | 3.2.1 | Python-lsp-jsonrpc | 1.1.2 |
Python-lsp-サーバー | 1.12.0 | Python スナッピー | 0.7.3 | pytoolconfig | 1.2.6 |
PyTorch -レンジャー | 0.1.1 | pytz | 2024.1 | PyWavelet | 1.8.0 |
パイヤム | 6.0.2 | ピズムク | 26.2.0 | アンケート | 2.1.0 |
Ray | 2.37.0 | 参照 | 0.30.2 | 正規表現 | 2024年11月6日 |
リクエスト | 2.32.3 | リクエスト-oauthlib | 1.3.1 | リクエストツールベルト | 1.0.0 |
rfc3339バリデータ | 0.1.4 | rfc3986 バリデータ | 0.1.1 | リッチ | 13.9.4 |
ロープ | 1.12.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3転送 | 0.11.3 |
セーフテンサー | 0.5.3 | scikit-image | 0.25.0 | scikit-learn | 1.6.1 |
scipy | 1.15.1 | シーボーン | 0.13.2 | ゴミ箱へ送信 | 1.8.2 |
文変換子 | 3.0.1 | 文章 | 0.2.0 | setuptools | 74.0.0 |
シャープ | 0.46.0 | シェリンガム | 1.5.4 | シンプルなJSON | 3.17.6 |
six | 1.16.0 | sklearn互換 | 0.1.3 | スライサー | 0.0.8 |
スマートオープン | 7.1.0 | smmap | 5.0.0 | スニッフィオ | 1.3.0 |
ソートされたコンテナ | 2.4.0 | サウンドファイル | 0.12.1 | スープふるい | 2.5 |
ソックス | 0.5.0.post1 | スペーシー | 3.7.5 | スペーシーレガシー | 3.0.12 |
スペースロガー | 1.0.5 | SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 |
本当に | 2.5.1 | sshインポートID | 5.11 | スタックデータ | 0.2.0 |
スタニオ | 0.5.1 | スターレット | 0.46.2 | statsmodels | 0.14.4 |
厳格な | 1.7.3 | シンピー | 1.13.3 | 表にする | 0.9.0 |
粘り強さ | 9.0.0 | TensorBoard | 2.19.0 | TensorBoard -データサーバー | 0.7.2 |
テンソルボードX | 2.6.2.2 | TensorFlow | 2.19.0 | テンソルフロー推定器 | 2.15.0 |
用語色 | 3.0.1 | 終了する | 0.17.1 | テキスト | 3.1.1 |
tf_keras | 2.19.0 | 薄い | 8.2.4 | threadpoolctl | 3.5.0 |
tiffファイル | 2024年12月12日 | ティックトック | 0.7.0 | タイニーCSS2 | 1.4.0 |
トークン化_rt | 6.1.0 | トークナイザー | 0.21.1 | トムリ | 2.0.1 |
トーチ | 2.4.0+CPU | トーチオプティマイザー | 0.3.0 | トーシュヴァル | 0.0.7 |
トーチメトリクス | 1.4.0.post0 | トーチビジョン | 0.19.0+CPU | 竜巻 | 6.4.2 |
tqdm | 4.67.1 | 特性レット | 5.14.3 | transformers | 4.49.0 |
タイプガード | 4.4.2 | タイパー | 0.15.2 | タイプ-Python-dateutil | 2.9.0.20241206 |
タイピング拡張機能 | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
ujson | 5.10.0 | 無人アップグレード | 0.1 | uriテンプレート | 1.3.0 |
urllib3 | 2.3.0 | ウビコーン | 0.34.2 | バリデーター | 0.34.0 |
仮想環境 | 20.29.3 | ビジョン | 0.8.1 | ワドリブ | 1.3.6 |
わさび | 1.1.3 | トイレ幅 | 0.2.5 | イタチ | 0.4.1 |
ウェブカラー | 24.11.1 | webencodings | 0.5.1 | Websocketクライアント | 1.8.0 |
ウェブソケット | 11.0.3 | ヴェルクツォイグ | 3.1.3 | パッチ | 1.0.2 |
車輪 | 0.45.1 | ウィジェットnb拡張機能 | 3.6.6 | ワードクラウド | 1.9.4 |
ラップト | 1.17.0 | XGBoost | 2.0.3 | xgboost-ray | 0.1.19 |
xxハッシュ | 3.5.0 | ヤップ | 0.33.0 | ヤール | 1.18.0 |
ydataプロファイリング | 4.16.1 | ジップ | 3.21.0 | zstd | 1.5.5.1 |
Python ライブラリ on GPU クラスター
PyTorch は、Databricks Runtime 17.0 ML に組み込まれている CUDA ライブラリ バージョンではなく、CUDA PyPI 依存関係を使用して CUDA サポートを提供します。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 1.0.0 | 加速する | 1.5.2 | aiohappyeyeballs | 2.4.4 |
aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 |
蒸留器 | 1.15.2 | 注釈付き型 | 0.7.0 | どれでも | 4.6.2 |
引数完全 | 3.6.2 | アルゴン2-cffi | 21.3.0 | アルゴン2-cffi-結合 | 21.2.0 |
矢印 | 1.3.0 | アスター | 0.8.1 | astトークン | 2.0.5 |
astunparse | 1.6.3 | 非同期LRU | 2.0.4 | 属性 | 24.3.0 |
音声読み上げ | 3.0.1 | 自動コマンド | 2.2.2 | azure - コモン | 1.1.28 |
azureコア | 1.33.0 | azureコスモス | 4.3.1 | azureアイデンティティ | 1.20.0 |
azure -mgmt-core | 1.5.0 | azure -mgmt-web | 8.0.0 | azureストレージ BLOB | 12.23.0 |
azureストレージファイルデータレイク | 12.17.0 | バベル | 2.16.0 | バックオフ | 2.2.1 |
バックポート.tarファイル | 1.2.0 | bcrypt | 3.2.0 | 美しいスープ4 | 4.12.3 |
黒 | 24.10.0 | bleach | 6.2.0 | ウィンカー | 1.7.0 |
至福 | 0.7.11 | ボト3 | 1.36.2 | ボトコア | 1.36.3 |
ブロトリ | 1.1.0 | キャッシュツール | 5.5.1 | カタログ | 2.0.10 |
カテゴリエンコーダ | 2.6.3 | 認定 | 2025年1月31日 | cffi | 1.17.1 |
chardet | 4.0.0 | charset-normalizer | 3.3.2 | 回路遮断器 | 2.1.3 |
クリック | 8.1.7 | クラウドパスライブラリ | 0.21.0 | クラウドピクル | 3.0.0 |
コマンドスタンピー | 1.2.5 | カラフル | 0.5.6 | カラーログ | 6.9.0 |
通信 | 0.2.1 | 作曲家 | 0.29.0 | 菓子 | 0.1.5 |
設定パーサー | 5.2.0 | 輪郭線 | 1.3.1 | クールな名前 | 2.2.0 |
詰め込み | 2.10.0 | cryptography | 43.0.3 | サイクラー | 0.11.0 |
シメム | 2.0.11 | シトン | 3.0.12 | デイサイト | 1.9.2 |
データブリックス オートML ランタイム | 0.2.21 | databricks-sdk | 0.49.0 | データセット | 2.20.0 |
ダブルテンポ | 0.1.26 | dbus- Python | 1.3.2 | デバッグ | 1.8.11 |
デコレータ | 5.1.1 | ディープスピード | 0.14.4 | defusedxml | 0.7.1 |
非推奨 | 1.2.13 | ディル | 0.3.8 | ディストリビューション | 0.3.9 |
dmツリー | 0.1.9 | docstring-to-markdown | 0.11 | エントリポイント | 0.4 |
評価する | 0.4.2 | 実行中 | 0.8.3 | ファセットの概要 | 1.1.1 |
ファラマ通知 | 0.0.4 | fastapi | 0.115.12 | fastjsonschema | 2.21.1 |
ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 | flask | 2.2.5 |
フラットバッファ | 25.2.10 | フォントツール | 4.55.3 | FQDN | 1.5.1 |
凍結リスト | 1.5.0 | ファイルシステムスペック | 2023年5月0日 | 未来 | 0.18.3 |
ガスト | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.43 |
Google API コア | 2.20.0 | Google認証 | 2.38.0 | Google 認証 OAuth ライブラリ | 1.0.0 |
google-クラウド-コア | 2.4.3 | Google Cloud Storage | 2.10.0 | google-crc32c | 1.7.1 |
Googleパスタ | 0.2.0 | Google 再開可能メディア | 2.7.2 | googleapis-common-protos | 1.65.0 |
gql | 3.5.2 | graphql-core | 3.2.4 | グリーンレット | 3.1.1 |
grpcio | 1.67.0 | grpcio-status | 1.67.0 | gunicorn | 20.1.0 |
ジム | 0.28.1 | h11 | 0.14.0 | h5py | 3.12.1 |
hjson | 3.1.0 | 休日 | 0.54 | htmlmin | 0.1.12 |
httpcore | 1.0.2 | httplib2 | 0.20.4 | httpx | 0.27.0 |
huggingface-hub | 0.30.2 | イドナ | 3.7 | 画像ハッシュ | 4.3.1 |
イメージ | 2.37.0 | 不均衡な学習 | 0.13.0 | importlib-メタデータ | 6.0.0 |
インポートライブラリリソース | 6.5.2 | 語形変化 | 7.3.1 | iniconfig | 1.1.1 |
ipyflow-core | 0.0.209 | ipyカーネル | 6.29.5 | iPython | 8.30.0 |
ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | 同位体 | 0.6.1 |
等張性 | 20.11.0 | 危険だ | 2.2.0 | jaraco.context | 5.3.0 |
jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | ジャックス・ジャンピー | 1.0.0 |
ジェダイ | 0.19.2 | ジンジャ2 | 3.1.5 | ジター | 0.9.0 |
jmespath | 1.0.1 | joblib | 1.4.2 | ジョブリブスパーク | 0.5.1 |
json5 | 0.9.25 | JSONパッチ | 1.33 | JSONポインタ | 3.0.0 |
jsonschema | 4.23.0 | jsonschema仕様 | 2023年7月1日 | jupyterイベント | 0.10.0 |
jupyter-lsp | 2.2.0 | jupyter_クライアント | 8.6.3 | jupyter_core | 5.7.2 |
jupyter_server | 2.14.1 | jupyter_server_terminals | 0.4.4 | JupyterLab | 4.3.4 |
jupyterlab-pygments | 0.1.2 | JupyterLabウィジェット | 1.0.0 | jupyterlab_サーバー | 2.27.3 |
keras | 3.5.0 | キウイソルバー | 1.4.8 | ランチェーン | 0.3.21 |
langchain-core | 0.3.55 | langchain-テキストスプリッター | 0.3.8 | 言語コード | 3.5.0 |
ラングスミス | 0.1.133 | 言語データ | 1.3.0 | ランチパッドライブラリ | 1.11.0 |
lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | 遅延ローダー | 0.4 |
libclang | 15.0.6.1 | リブロサ | 0.10.2 | LightGBM | 4.5.0 |
ライトニングユーティリティ | 0.14.3 | リンクファイ・イット・パイ | 2.0.0 | llvmlite | 0.44.0 |
lz4 | 4.3.2 | マコ | 1.2.0 | マリサ・トライ | 1.2.0 |
Markdown | 3.4.1 | マークダウン・イット・パイ | 2.2.0 | マークアップセーフ | 3.0.2 |
Matplotlib | 3.10.0 | matplotlibインライン | 0.1.7 | マッケイブ | 0.7.0 |
mdit-py-プラグイン | 0.3.0 | mdurl | 0.1.0 | メモリ | 1.17.1 |
不調 | 2.0.4 | ml_dtypes | 0.5.1 | mlflow-skinny | 2.21.3 |
mmh3 | 5.1.0 | より多くのitertools | 10.3.0 | mosaicml- CLI | 0.6.41 |
mosaicml-ストリーミング | 0.8.0 | mpmath | 1.3.0 | msal | 1.32.0 |
msal拡張機能 | 1.3.1 | メッセージパック | 1.1.0 | マルチディクテーション | 6.1.0 |
マルチメソッド | 1.12 | マルチプロセス | 0.70.16 | つぶやき | 1.0.12 |
mypy拡張機能 | 1.0.0 | ナメックス | 0.0.8 | nbクライアント | 0.8.0 |
nbconvert | 7.16.4 | nbフォーマット | 5.10.4 | ネスト非同期 | 1.6.0 |
ネットワークx | 3.4.2 | 忍者 | 1.11.1.1 | nltk | 3.9.1 |
ノードenv | 1.9.1 | notebook | 7.3.2 | ノートブックシム | 0.2.3 |
ナンバー | 0.61.0 | numpy | 2.1.3 | nvidia-ml-py | 12.570.86 |
oauthlib | 3.2.0 | oci | 2.150.2 | OpenAI | 1.40.2 |
オープンセンサス | 0.11.4 | オープンセンサスコンテキスト | 0.1.3 | オープンテレメトリAPI | 1.32.1 |
オープンテレメトリSDK | 1.32.1 | opentelemetry セマンティック規約 | 0.53b1 | opt_einsum | 3.4.0 |
オプツリー | 0.15.0 | オプチュナ | 3.6.1 | Optuna統合 | 3.6.0 |
オルジェソン | 3.10.16 | オーバーライド | 7.4.0 | packaging | 24.1 |
pandas | 2.2.3 | パンドックフィルター | 1.5.0 | パラミコ | 3.4.0 |
パルソ | 0.8.4 | パススペック | 0.10.3 | patsy | 1.0.1 |
期待する | 4.8.0 | ピック | 0.12.4 | 枕 | 11.1.0 |
ピップ | 25.0 | プラットフォームディレクトリ | 3.10.0 | Plotly | 5.24.1 |
プラグ状の | 1.5.0 | pmdarima | 2.0.4 | 犬 | 1.8.2 |
プレシェッド | 3.0.9 | プロメテウスクライアント | 0.21.0 | プロンプトツールキット | 3.0.43 |
プロップキャッシュ | 0.2.0 | Prophet | 1.1.6 | プロトプラス | 1.26.1 |
protobuf | 5.29.4 | psutil | 5.9.0 | サイコップ2 | 2.9.3 |
ptyプロセス | 0.7.0 | 純粋評価 | 0.2.2 | ピュアマジック | 1.28 |
py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow | 19.0.1 |
pyarrow-hotfix | 0.6 | ピヤスン1 | 0.4.8 | pyasn1モジュール | 0.2.8 |
pybind11 | 2.13.6 | ピッコロ | 0.0.71 | pycパーサー | 2.21 |
ピダンティック | 2.10.6 | pydantic_core | 2.27.2 | パイフレーク | 3.2.0 |
ピグメント | 2.15.1 | PyGオブジェクト | 3.48.2 | PyIceberg | 0.9.0 |
ピジョンJWT | 2.10.1 | ピナクロライド | 1.5.0 | pyodbc | 5.2.0 |
pyOpenSSL | 24.2.1 | pyparsing | 3.2.0 | 海賊権 | 1.1.394 |
ピテッセラクト | 0.3.10 | pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 |
Pythonエディター | 1.0.4 | Python-JSON-ロガー | 3.2.1 | Python-lsp-jsonrpc | 1.1.2 |
Python-lsp-サーバー | 1.12.0 | Python スナッピー | 0.7.3 | pytoolconfig | 1.2.6 |
PyTorch -レンジャー | 0.1.1 | pytz | 2024.1 | PyWavelet | 1.8.0 |
パイヤム | 6.0.2 | ピズムク | 26.2.0 | アンケート | 2.1.0 |
Ray | 2.37.0 | 参照 | 0.30.2 | 正規表現 | 2024年11月6日 |
リクエスト | 2.32.3 | リクエスト-oauthlib | 1.3.1 | リクエストツールベルト | 1.0.0 |
rfc3339バリデータ | 0.1.4 | rfc3986 バリデータ | 0.1.1 | リッチ | 13.9.4 |
ロープ | 1.12.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
ruamel.yaml | 0.18.10 | ruamel.yaml.clib | 0.2.12 | s3転送 | 0.11.3 |
セーフテンサー | 0.5.3 | scikit-image | 0.25.0 | scikit-learn | 1.6.1 |
scipy | 1.15.1 | シーボーン | 0.13.2 | ゴミ箱へ送信 | 1.8.2 |
文変換子 | 3.0.1 | 文章 | 0.2.0 | setuptools | 74.0.0 |
シャープ | 0.46.0 | シェリンガム | 1.5.4 | シンプルなJSON | 3.17.6 |
six | 1.16.0 | sklearn互換 | 0.1.3 | スライサー | 0.0.8 |
スマートオープン | 7.1.0 | smmap | 5.0.0 | スニッフィオ | 1.3.0 |
ソートされたコンテナ | 2.4.0 | サウンドファイル | 0.12.1 | スープふるい | 2.5 |
ソックス | 0.5.0.post1 | スペーシー | 3.7.5 | スペーシーレガシー | 3.0.12 |
スペースロガー | 1.0.5 | SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 |
本当に | 2.5.1 | sshインポートID | 5.11 | スタックデータ | 0.2.0 |
スタニオ | 0.5.1 | スターレット | 0.46.2 | statsmodels | 0.14.4 |
厳格な | 1.7.3 | シンピー | 1.13.3 | 表にする | 0.9.0 |
粘り強さ | 9.0.0 | TensorBoard | 2.19.0 | TensorBoard -データサーバー | 0.7.2 |
テンソルボードX | 2.6.2.2 | TensorFlow | 2.19.0 | テンソルフロー推定器 | 2.15.0 |
用語色 | 3.0.1 | 終了する | 0.17.1 | テキスト | 3.1.1 |
tf_keras | 2.19.0 | 薄い | 8.2.4 | threadpoolctl | 3.5.0 |
tiffファイル | 2024年12月12日 | ティックトック | 0.7.0 | タイニーCSS2 | 1.4.0 |
トークン化_rt | 6.1.0 | トークナイザー | 0.21.1 | トムリ | 2.0.1 |
トーチ | 2.4.0+CPU | トーチオプティマイザー | 0.3.0 | トーシュヴァル | 0.0.7 |
トーチメトリクス | 1.4.0.post0 | トーチビジョン | 0.19.0+CPU | 竜巻 | 6.4.2 |
tqdm | 4.67.1 | 特性レット | 5.14.3 | transformers | 4.49.0 |
タイプガード | 4.4.2 | タイパー | 0.15.2 | タイプ-Python-dateutil | 2.9.0.20241206 |
タイピング拡張機能 | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
ujson | 5.10.0 | 無人アップグレード | 0.1 | uriテンプレート | 1.3.0 |
urllib3 | 2.3.0 | ウビコーン | 0.34.2 | バリデーター | 0.34.0 |
仮想環境 | 20.29.3 | ビジョン | 0.8.1 | ワドリブ | 1.3.6 |
わさび | 1.1.3 | トイレ幅 | 0.2.5 | イタチ | 0.4.1 |
ウェブカラー | 24.11.1 | webencodings | 0.5.1 | Websocketクライアント | 1.8.0 |
ウェブソケット | 11.0.3 | ヴェルクツォイグ | 3.1.3 | パッチ | 1.0.2 |
車輪 | 0.45.1 | ウィジェットnb拡張機能 | 3.6.6 | ワードクラウド | 1.9.4 |
ラップト | 1.17.0 | XGBoost | 2.0.3 | xgboost-ray | 0.1.19 |
xxハッシュ | 3.5.0 | ヤップ | 0.33.0 | ヤール | 1.18.0 |
ydataプロファイリング | 4.16.1 | ジップ | 3.21.0 | zstd | 1.5.5.1 |
Rライブラリ
R ライブラリはDatabricks Runtime 17.0 のR ライブラリと同じです。
Java and Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 17.0 の Java および Scala ライブラリに加えて、Databricks Runtime 17.0 ML には次の JAR が含まれています。
CPU クラスター
グループID | アーティファクトID | バージョン |
|---|---|---|
com.typesafe.akka | アッカアクター_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
ml.dmlc | xgboost4j_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflow | mlflowクライアント | 2.15.1 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
グループID | アーティファクトID | バージョン |
|---|---|---|
com.typesafe.akka | アッカアクター_2.12 | 2.5.23 |
ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
org.mlflow | mlflowクライアント | 2.15.1 |
org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |