機械学習向け Databricks Runtime 17.1 (EoS)
この Databricks Runtime バージョンのサポートは終了しました。サポート終了日については、 「サポート終了履歴」を参照してください。サポートされているすべてのDatabricks Runtimeバージョンについては、 Databricks Runtimeリリースノートのバージョンと互換性」を参照してください。
Databricks Runtime 17.1 for Machine Learning は、 Databricks Runtime 17.1 (EoS)に基づいた機械学習とデータサイエンスのためのすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールであるAutoMLが含まれています。Databricks Runtime ML は、TorchDistributor、DeepSpeed、Ray を使用した分散ディープラーニング トレーニングもサポートします。
新機能と改善点
Databricks Runtime 17.1 ML は、Databricks Runtime 17.1 上に構築されています。Apache Spark MLlibやSparkRなど、 Databricks Runtime 17.1 の新機能については、 Databricks Runtime 17.1 (EoS)リリース ノートを参照してください。
システム環境
Databricks Runtime 17.1 ML のシステム環境は、Databricks Runtime 17.1 と次の点で異なります。
- GPU クラスターの場合、 Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 12.6
- キュブラス 12.6.4.1-1
- cusolver 11.7.1.2-1
- カップティ 12.6.80-1
- カスパース 12.5.4.2-1
- cuDNN 9.5.1.17-1
- NCCL 2.26.2
- テンソルRT 10.2.0.19-1
ライブラリ
次のセクションでは、Databricks Runtime 17.1 ML に含まれるライブラリのうち、Databricks Runtime 17.1 に含まれるライブラリと異なるものを一覧表示します。
このセクションの内容：
最上位のライブラリ
Databricks Runtime 17.1 ML には、次の最上位層のライブラリが含まれています。
- データセット
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- ストリーミング
- TensorFlow
- TensorBoard
- transformers
Pythonライブラリ
Databricks Runtime 17.1 ML は Python パッケージ管理にvirtualenvを使用し、多くの一般的な ML パッケージが含まれています。
次のセクションで指定されているパッケージに加えて、Databricks Runtime 17.1 ML には次のパッケージも含まれています。
- オートml 1.30.0
ローカルのPython仮想環境でDatabricks Runtime ML Python環境を再現するには、 requirements-cpu-17.1.txtをダウンロードしてください。CPU クラスターまたは要件-gpu-17.1.txtの場合 GPU クラスター向け。次に、 pip install -r requirements-<cpu|gpu>-17.1.txtを実行します。このコマンドは、 Databricks Runtime MLが使用するすべてのオープンソース ライブラリをインストールしますが、 Databricksによって開発されたライブラリ ( databricks-automlなど) はインストールしません。
Python ライブラリ on CPU クラスター
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 1.0.0 | 加速する | 1.5.2 | aiohappyeyeballs | 2.4.4 |
aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 |
蒸留器 | 1.16.2 | 注釈付き型 | 0.7.0 | どれでも | 4.6.2 |
引数完全 | 3.6.2 | アルゴン2-cffi | 21.3.0 | アルゴン2-cffi-結合 | 21.2.0 |
矢印 | 1.3.0 | アスター | 0.8.1 | astトークン | 2.0.5 |
astunparse | 1.6.3 | 非同期LRU | 2.0.4 | 属性 | 24.3.0 |
音声読み上げ | 3.0.1 | 自動コマンド | 2.2.2 | azure - コモン | 1.1.28 |
azureコア | 1.35.0 | azureコスモス | 4.3.1 | azureアイデンティティ | 1.20.0 |
azure -mgmt-core | 1.6.0 | azure -mgmt-web | 8.0.0 | azureストレージ BLOB | 12.23.0 |
azureストレージファイルデータレイク | 12.17.0 | バベル | 2.16.0 | バックオフ | 2.2.1 |
バックポート.tarファイル | 1.2.0 | bcrypt | 3.2.0 | 美しいスープ4 | 4.12.3 |
黒 | 24.10.0 | bleach | 6.2.0 | ウィンカー | 1.7.0 |
至福 | 0.7.11 | ボト3 | 1.36.2 | ボトコア | 1.36.3 |
ブロトリ | 1.1.0 | キャッシュツール | 5.5.1 | カタログ | 2.0.10 |
カテゴリエンコーダ | 2.6.3 | 認定 | 2025年1月31日 | cffi | 1.17.1 |
chardet | 4.0.0 | charset-normalizer | 3.3.2 | 回路遮断器 | 2.1.3 |
クリック | 8.1.7 | クラウドパスライブラリ | 0.21.1 | クラウドピクル | 3.0.0 |
コマンドスタンピー | 1.2.5 | カラフル | 0.5.7 | カラーログ | 6.9.0 |
通信 | 0.2.1 | 菓子 | 0.1.5 | 設定パーサー | 5.2.0 |
輪郭線 | 1.3.1 | クールな名前 | 2.2.0 | 詰め込み | 2.10.0 |
cryptography | 43.0.3 | サイクラー | 0.11.0 | シメム | 2.0.11 |
シトン | 3.0.12 | デイサイト | 1.9.2 | データブリックス オートML ランタイム | 0.2.21 |
databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.12.1 | databricks-sdk | 0.49.0 | データセット | 3.5.0 |
ダブルテンポ | 0.1.26 | dbus- Python | 1.3.2 | デバッグ | 1.8.11 |
デコレータ | 5.1.1 | ディープスピード | 0.16.5 | defusedxml | 0.7.1 |
ディル | 0.3.8 | ディストリビューション | 0.3.9 | dmツリー | 0.1.9 |
docstring-to-markdown | 0.11 | エイノプス | 0.8.1 | エントリポイント | 0.4 |
評価する | 0.4.3 | 実行中 | 0.8.3 | ファセットの概要 | 1.1.1 |
ファラマ通知 | 0.0.4 | fastapi | 0.115.14 | fastjsonschema | 2.21.1 |
ファストテキストホイール | 0.9.2 | ファイルロック | 3.13.1 | flask | 2.2.5 |
フラットバッファ | 25.2.10 | フォントツール | 4.55.3 | FQDN | 1.5.1 |
凍結リスト | 1.5.0 | ファイルシステムスペック | 2023年5月0日 | 未来 | 0.18.3 |
ガスト | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.43 |
Google API コア | 2.20.0 | Google認証 | 2.40.3 | google-クラウド-コア | 2.4.3 |
Google Cloud Storage | 2.10.0 | google-crc32c | 1.7.1 | Googleパスタ | 0.2.0 |
Google 再開可能メディア | 2.7.2 | googleapis-common-protos | 1.65.0 | gql | 3.5.3 |
graphql-core | 3.2.4 | グリーンレット | 3.1.1 | grpcio | 1.67.0 |
grpcio-status | 1.67.0 | gunicorn | 20.1.0 | ジム | 0.28.1 |
h11 | 0.14.0 | h5py | 3.12.1 | hjson | 3.1.0 |
休日 | 0.54 | htmlmin | 0.1.12 | httpcore | 1.0.2 |
httplib2 | 0.20.4 | httpx | 0.27.0 | huggingface-hub | 0.30.2 |
イドナ | 3.7 | 画像ハッシュ | 4.3.1 | イメージ | 2.37.0 |
不均衡な学習 | 0.13.0 | importlib-メタデータ | 6.6.0 | インポートライブラリリソース | 6.5.2 |
語形変化 | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
ipyカーネル | 6.29.5 | iPython | 8.30.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.8.1 | 同位体 | 0.6.1 | 等張性 | 20.11.0 |
危険だ | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
jaraco.text | 3.12.1 | ジャックス・ジャンピー | 1.0.0 | ジェダイ | 0.19.2 |
ジンジャ2 | 3.1.5 | ジター | 0.10.0 | jmespath | 1.0.1 |
joblib | 1.4.2 | ジョブリブスパーク | 0.6.0 | json5 | 0.9.25 |
JSONパッチ | 1.33 | JSONポインタ | 3.0.0 | jsonschema | 4.23.0 |
jsonschema仕様 | 2023年7月1日 | jupyterイベント | 0.10.0 | jupyter-lsp | 2.2.0 |
jupyter_クライアント | 8.6.3 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
jupyter_server_terminals | 0.4.4 | JupyterLab | 4.3.4 | jupyterlab-pygments | 0.1.2 |
JupyterLabウィジェット | 1.0.0 | jupyterlab_サーバー | 2.27.3 | keras | 3.5.0 |
キウイソルバー | 1.4.8 | ランチェーン | 0.3.21 | langchain-core | 0.3.63 |
langchain-テキストスプリッター | 0.3.8 | 言語コード | 3.5.0 | ラングスミス | 0.1.133 |
言語データ | 1.3.0 | ランチパッドライブラリ | 1.11.0 | lazr.restfulclient | 0.14.6 |
lazr.uri | 1.0.6 | 遅延ローダー | 0.4 | libclang | 15.0.6.1 |
リブロサ | 0.11.0 | LightGBM | 4.6.0 | ライトニングユーティリティ | 0.14.3 |
リンクファイ・イット・パイ | 2.0.0 | llvmlite | 0.44.0 | lz4 | 4.3.2 |
マコ | 1.2.0 | マリサ・トライ | 1.2.0 | Markdown | 3.4.1 |
マークダウン・イット・パイ | 2.2.0 | マークアップセーフ | 3.0.2 | Matplotlib | 3.10.0 |
matplotlibインライン | 0.1.7 | マッケイブ | 0.7.0 | mdit-py-プラグイン | 0.3.0 |
mdurl | 0.1.0 | メモリ | 1.17.2 | 不調 | 2.0.4 |
ml_dtypes | 0.5.1 | mlflow-skinny | 3.0.1 | mmh3 | 5.1.0 |
より多くのitertools | 10.3.0 | mosaicml- CLI | 0.6.41 | mosaicml-ストリーミング | 0.12.0 |
mpmath | 1.3.0 | msal | 1.32.3 | msal拡張機能 | 1.3.1 |
メッセージパック | 1.1.1 | マルチディクテーション | 6.1.0 | マルチメソッド | 1.12 |
マルチプロセス | 0.70.16 | つぶやき | 1.0.13 | mypy拡張機能 | 1.0.0 |
ナメックス | 0.1.0 | nbクライアント | 0.8.0 | nbconvert | 7.16.4 |
nbフォーマット | 5.10.4 | ネスト非同期 | 1.6.0 | ネットワークx | 3.4.2 |
忍者 | 1.11.1.4 | nltk | 3.9.1 | ノードenv | 1.9.1 |
notebook | 7.3.2 | ノートブックシム | 0.2.3 | ナンバー | 0.61.0 |
numpy | 2.1.3 | nvidia-nccl-cu12 | 2.27.5 | oauthlib | 3.2.0 |
oci | 2.155.0 | OpenAI | 1.69.0 | オープンセンサス | 0.11.4 |
オープンセンサスコンテキスト | 0.1.3 | オープンテレメトリAPI | 1.34.1 | オープンテレメトリSDK | 1.34.1 |
オープンテレメトリのセマンティック規約 | 0.55b1 | opt_einsum | 3.4.0 | オプツリー | 0.16.0 |
オプチュナ | 3.6.1 | Optuna統合 | 3.6.0 | オルジェソン | 3.10.18 |
オーバーライド | 7.4.0 | packaging | 24.1 | pandas | 2.2.3 |
パンドックフィルター | 1.5.0 | パラミコ | 3.4.0 | パルソ | 0.8.4 |
パススペック | 0.10.3 | patsy | 1.0.1 | 期待する | 4.8.0 |
ピック | 0.12.4 | 枕 | 11.1.0 | ピップ | 24.2 |
プラットフォームディレクトリ | 3.10.0 | Plotly | 5.24.1 | プラグ状の | 1.5.0 |
pmdarima | 2.0.4 | 犬 | 1.8.2 | プレシェッド | 3.0.10 |
プロメテウスクライアント | 0.21.0 | プロンプトツールキット | 3.0.43 | プロップキャッシュ | 0.2.0 |
Prophet | 1.1.6 | プロトプラス | 1.26.1 | protobuf | 5.29.4 |
psutil | 5.9.0 | サイコップ2 | 2.9.3 | ptyプロセス | 0.7.0 |
純粋評価 | 0.2.2 | ピュアマジック | 1.30 | py-cpuinfo | 9.0.0 |
py-spy | 0.4.0 | pyarrow | 19.0.1 | ピヤスン1 | 0.4.8 |
pyasn1モジュール | 0.2.8 | pybind11 | 2.13.6 | ピッコロ | 0.0.71 |
pycパーサー | 2.21 | ピダンティック | 2.10.6 | pydantic_core | 2.27.2 |
パイフレーク | 3.2.0 | ピグメント | 2.15.1 | PyGオブジェクト | 3.48.2 |
PyIceberg | 0.9.0 | ピジョンJWT | 2.10.1 | ピナクロライド | 1.5.0 |
pyodbc | 5.2.0 | pyOpenSSL | 24.2.1 | pyparsing | 3.2.0 |
海賊権 | 1.1.394 | ピテッセラクト | 0.3.10 | pytest | 8.3.5 |
Python-dateutil | 2.9.0.post0 | Pythonエディター | 1.0.4 | Python-JSON-ロガー | 3.2.1 |
Python-lsp-jsonrpc | 1.1.2 | Python-lsp-サーバー | 1.12.0 | Python スナッピー | 0.7.3 |
pytoolconfig | 1.2.6 | PyTorch -レンジャー | 0.1.1 | pytz | 2024.1 |
PyWavelet | 1.8.0 | ピヤム | 6.0.2 | ピズムク | 26.2.0 |
アンケート | 2.1.0 | Ray | 2.37.0 | 参照 | 0.30.2 |
正規表現 | 2024年11月6日 | リクエスト | 2.32.3 | リクエスト-oauthlib | 1.3.1 |
リクエストツールベルト | 1.0.0 | rfc3339バリデータ | 0.1.4 | rfc3986 バリデータ | 0.1.1 |
リッチ | 13.9.4 | ロープ | 1.12.0 | rpds-py | 0.22.3 |
rsa | 4.9.1 | ruamel.yaml | 0.18.14 | ruamel.yaml.clib | 0.2.12 |
s3転送 | 0.11.3 | セーフテンサー | 0.5.3 | scikit-image | 0.25.0 |
scikit-learn | 1.6.1 | scipy | 1.15.1 | シーボーン | 0.13.2 |
ゴミ箱へ送信 | 1.8.2 | 文変換子 | 4.0.1 | 文章 | 0.2.0 |
setuptools | 74.0.0 | シャープ | 0.47.1 | シェリンガム | 1.5.4 |
シンプルなJSON | 3.17.6 | six | 1.16.0 | sklearn互換 | 0.1.3 |
スライサー | 0.0.8 | スマートオープン | 7.3.0.post1 | smmap | 5.0.0 |
スニッフィオ | 1.3.0 | ソートされたコンテナ | 2.4.0 | サウンドファイル | 0.13.1 |
スープふるい | 2.5 | ソックス | 0.5.0.post1 | スペーシー | 3.7.5 |
スペーシーレガシー | 3.0.12 | スペースロガー | 1.0.5 | SQLAlchemy | 2.0.37 |
sqlparse | 0.4.2 | 本当に | 2.5.1 | sshインポートID | 5.11 |
スタックデータ | 0.2.0 | スタニオ | 0.5.1 | スターレット | 0.46.2 |
statsmodels | 0.14.4 | 厳格な | 1.7.3 | シンピー | 1.13.3 |
表にする | 0.9.0 | 粘り強さ | 9.0.0 | TensorBoard | 2.19.0 |
TensorBoard -データサーバー | 0.7.2 | テンソルボードX | 2.6.4 | TensorFlow | 2.19.0 |
テンソルフロー推定器 | 2.15.0 | 用語色 | 3.1.0 | 終了する | 0.17.1 |
テキスト | 3.5.0 | tf_keras | 2.19.0 | 薄い | 8.2.4 |
threadpoolctl | 3.5.0 | tiffファイル | 2024年12月12日 | ティックトック | 0.9.0 |
タイニーCSS2 | 1.4.0 | トークン化_rt | 6.1.0 | トークナイザー | 0.21.0 |
トムリ | 2.0.1 | トーチ | 2.7.0+CPU | トーチオプティマイザー | 0.3.0 |
トーシュヴァル | 0.0.7 | トーチメトリクス | 1.6.0 | トーチビジョン | 0.22.0+CPU |
竜巻 | 6.4.2 | tqdm | 4.67.1 | 特性レット | 5.14.3 |
transformers | 4.51.3 | タイプガード | 4.4.2 | タイパー | 0.16.0 |
タイプ-Python-dateutil | 2.9.0.20250516 | タイピング拡張機能 | 4.12.2 | tzdata | 2024.1 |
uc-micro-py | 1.0.1 | ujson | 5.10.0 | 無人アップグレード | 0.1 |
uriテンプレート | 1.3.0 | urllib3 | 2.3.0 | ウビコーン | 0.35.0 |
バリデーター | 0.35.0 | 仮想環境 | 20.29.3 | ビジョン | 0.8.1 |
ワドリブ | 1.3.6 | わさび | 1.1.3 | トイレ幅 | 0.2.5 |
イタチ | 0.4.1 | ウェブカラー | 24.11.1 | webencodings | 0.5.1 |
Websocketクライアント | 1.8.0 | ウェブソケット | 11.0.3 | ヴェルクツォイグ | 3.1.3 |
パッチ | 1.0.2 | 車輪 | 0.45.1 | ウィジェットnb拡張機能 | 3.6.6 |
ワードクラウド | 1.9.4 | ラップト | 1.17.0 | XGBoost | 3.0.0 |
xgboost-ray | 0.1.19 | xxハッシュ | 3.5.0 | ヤップ | 0.40.2 |
ヤール | 1.18.0 | ydataプロファイリング | 4.16.1 | ジップ | 3.21.0 |
zstd | 1.5.5.1 |
Python ライブラリ on GPU クラスター
PyTorch は、Databricks Runtime 17.1 ML に組み込まれている CUDA ライブラリ バージョンではなく、CUDA PyPI 依存関係を使用して CUDA サポートを提供します。
ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
absl-py | 1.0.0 | 加速する | 1.5.2 | aiohappyeyeballs | 2.4.4 |
aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 |
注釈付き型 | 0.7.0 | どれでも | 4.6.2 | 引数完全 | 3.6.2 |
アルゴン2-cffi | 21.3.0 | アルゴン2-cffi-結合 | 21.2.0 | 矢印 | 1.3.0 |
アスター | 0.8.1 | astトークン | 2.0.5 | astunparse | 1.6.3 |
非同期LRU | 2.0.4 | 属性 | 24.3.0 | 音声読み上げ | 3.0.1 |
自動コマンド | 2.2.2 | azure - コモン | 1.1.28 | azureコア | 1.35.0 |
azureコスモス | 4.3.1 | azureアイデンティティ | 1.20.0 | azure -mgmt-core | 1.6.0 |
azure -mgmt-web | 8.0.0 | azureストレージ BLOB | 12.23.0 | azureストレージファイルデータレイク | 12.17.0 |
バベル | 2.16.0 | バックオフ | 2.2.1 | バックポート.tarファイル | 1.2.0 |
bcrypt | 3.2.0 | 美しいスープ4 | 4.12.3 | 黒 | 24.10.0 |
bleach | 6.2.0 | ウィンカー | 1.7.0 | 至福 | 0.7.11 |
ボト3 | 1.36.2 | ボトコア | 1.36.3 | ブロトリ | 1.1.0 |
キャッシュツール | 5.5.1 | カタログ | 2.0.10 | カテゴリエンコーダ | 2.6.3 |
認定 | 2025年1月31日 | cffi | 1.17.1 | chardet | 4.0.0 |
charset-normalizer | 3.3.2 | 回路遮断器 | 2.1.3 | クリック | 8.1.7 |
クラウドパスライブラリ | 0.21.1 | クラウドピクル | 3.0.0 | コマンドスタンピー | 1.2.5 |
カラフル | 0.5.7 | カラーログ | 6.9.0 | 通信 | 0.2.1 |
菓子 | 0.1.5 | 設定パーサー | 5.2.0 | 輪郭線 | 1.3.1 |
クールな名前 | 2.2.0 | 詰め込み | 2.10.0 | cryptography | 43.0.3 |
サイクラー | 0.11.0 | シメム | 2.0.11 | シトン | 3.0.12 |
デイサイト | 1.9.2 | データブリックス オートML ランタイム | 0.2.21 | databricks-feature-engineering (データブリック - 特徴量エンジニアリング) | 0.12.1 |
databricks-sdk | 0.49.0 | データセット | 3.5.0 | ダブルテンポ | 0.1.26 |
dbus- Python | 1.3.2 | デバッグ | 1.8.11 | デコレータ | 5.1.1 |
ディープスピード | 0.16.5 | defusedxml | 0.7.1 | ディル | 0.3.8 |
ディストリビューション | 0.3.9 | dmツリー | 0.1.9 | docstring-to-markdown | 0.11 |
エイノプス | 0.8.1 | エントリポイント | 0.4 | 評価する | 0.4.3 |
実行中 | 0.8.3 | ファセットの概要 | 1.1.1 | ファラマ通知 | 0.0.4 |
fastapi | 0.115.14 | fastjsonschema | 2.21.1 | ファストテキストホイール | 0.9.2 |
ファイルロック | 3.13.1 | フラッシュ_attn | 2.7.4.post1 | flask | 2.2.5 |
フラットバッファ | 25.2.10 | フォントツール | 4.55.3 | FQDN | 1.5.1 |
凍結リスト | 1.5.0 | ファイルシステムスペック | 2023年5月0日 | 未来 | 0.18.3 |
ガスト | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.43 |
Google API コア | 2.20.0 | Google認証 | 2.40.3 | google-クラウド-コア | 2.4.3 |
Google Cloud Storage | 2.10.0 | google-crc32c | 1.7.1 | Googleパスタ | 0.2.0 |
Google 再開可能メディア | 2.7.2 | googleapis-common-protos | 1.65.0 | gql | 3.5.3 |
graphql-core | 3.2.4 | グリーンレット | 3.1.1 | grpcio | 1.67.0 |
grpcio-status | 1.67.0 | gunicorn | 20.1.0 | ジム | 0.28.1 |
h11 | 0.14.0 | h5py | 3.12.1 | hjson | 3.1.0 |
休日 | 0.54 | htmlmin | 0.1.12 | httpcore | 1.0.2 |
httplib2 | 0.20.4 | httpx | 0.27.0 | huggingface-hub | 0.30.2 |
イドナ | 3.7 | 画像ハッシュ | 4.3.1 | イメージ | 2.37.0 |
不均衡な学習 | 0.13.0 | importlib-メタデータ | 6.6.0 | インポートライブラリリソース | 6.5.2 |
語形変化 | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
ipyカーネル | 6.29.5 | iPython | 8.30.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.8.1 | 同位体 | 0.6.1 | 等張性 | 20.11.0 |
危険だ | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
jaraco.text | 3.12.1 | ジャックス・ジャンピー | 1.0.0 | ジェダイ | 0.19.2 |
ジンジャ2 | 3.1.5 | ジター | 0.10.0 | jmespath | 1.0.1 |
joblib | 1.4.2 | ジョブリブスパーク | 0.6.0 | json5 | 0.9.25 |
JSONパッチ | 1.33 | JSONポインタ | 3.0.0 | jsonschema | 4.23.0 |
jsonschema仕様 | 2023年7月1日 | jupyterイベント | 0.10.0 | jupyter-lsp | 2.2.0 |
jupyter_クライアント | 8.6.3 | jupyter_core | 5.7.2 | jupyter_server | 2.14.1 |
jupyter_server_terminals | 0.4.4 | JupyterLab | 4.3.4 | jupyterlab-pygments | 0.1.2 |
JupyterLabウィジェット | 1.0.0 | jupyterlab_サーバー | 2.27.3 | keras | 3.5.0 |
キウイソルバー | 1.4.8 | ランチェーン | 0.3.21 | langchain-core | 0.3.63 |
langchain-テキストスプリッター | 0.3.8 | 言語コード | 3.5.0 | ラングスミス | 0.1.133 |
言語データ | 1.3.0 | ランチパッドライブラリ | 1.11.0 | lazr.restfulclient | 0.14.6 |
lazr.uri | 1.0.6 | 遅延ローダー | 0.4 | libclang | 15.0.6.1 |
リブロサ | 0.11.0 | LightGBM | 4.6.0 | ライトニングユーティリティ | 0.14.3 |
リンクファイ・イット・パイ | 2.0.0 | llvmlite | 0.44.0 | lz4 | 4.3.2 |
マコ | 1.2.0 | マリサ・トライ | 1.2.0 | Markdown | 3.4.1 |
マークダウン・イット・パイ | 2.2.0 | マークアップセーフ | 3.0.2 | Matplotlib | 3.10.0 |
matplotlibインライン | 0.1.7 | マッケイブ | 0.7.0 | mdit-py-プラグイン | 0.3.0 |
mdurl | 0.1.0 | メモリ | 1.17.2 | 不調 | 2.0.4 |
ml_dtypes | 0.5.1 | mlflow-skinny | 3.0.1 | mmh3 | 5.1.0 |
より多くのitertools | 10.3.0 | mosaicml- CLI | 0.6.41 | mosaicml-ストリーミング | 0.12.0 |
mpmath | 1.3.0 | msal | 1.32.3 | msal拡張機能 | 1.3.1 |
メッセージパック | 1.1.1 | マルチディクテーション | 6.1.0 | マルチメソッド | 1.12 |
マルチプロセス | 0.70.16 | つぶやき | 1.0.13 | mypy拡張機能 | 1.0.0 |
ナメックス | 0.1.0 | nbクライアント | 0.8.0 | nbconvert | 7.16.4 |
nbフォーマット | 5.10.4 | ネスト非同期 | 1.6.0 | ネットワークx | 3.4.2 |
忍者 | 1.11.1.4 | nltk | 3.9.1 | ノードenv | 1.9.1 |
notebook | 7.3.2 | ノートブックシム | 0.2.3 | ナンバー | 0.61.0 |
numpy | 2.1.3 | nvidia-cublas-cu12 | 12.6.4.1 | nvidia-cuda-cupti-cu12 | 1980年12月6日 |
nvidia-cuda-nvrtc-cu12 | 1977年6月12日 | nvidia-cuda-ランタイム-cu12 | 1977年6月12日 | nvidia-cudnn-cu12 | 9.5.1.17 |
nvidia-cufft-cu12 | 11.3.0.4 | nvidia-cufile-cu12 | 1.11.1.6 | nvidia-curand-cu12 | 10.3.7.77 |
nvidia-cusolver-cu12 | 11.7.1.2 | nvidia-cusparse-cu12 | 12.5.4.2 | nvidia-cusparselt-cu12 | 0.6.3 |
nvidia-nccl-cu12 | 2.26.2 | nvidia-nvjitlink-cu12 | 1985年6月12日 | nvidia-nvtx-cu12 | 1977年6月12日 |
oauthlib | 3.2.0 | oci | 2.155.0 | OpenAI | 1.69.0 |
オープンセンサス | 0.11.4 | オープンセンサスコンテキスト | 0.1.3 | オープンテレメトリAPI | 1.34.1 |
オープンテレメトリSDK | 1.34.1 | オープンテレメトリのセマンティック規約 | 0.55b1 | opt_einsum | 3.4.0 |
オプツリー | 0.16.0 | オプチュナ | 3.6.1 | Optuna統合 | 3.6.0 |
オルジェソン | 3.10.18 | オーバーライド | 7.4.0 | packaging | 24.1 |
pandas | 2.2.3 | パンドックフィルター | 1.5.0 | パラミコ | 3.4.0 |
パルソ | 0.8.4 | パススペック | 0.10.3 | patsy | 1.0.1 |
期待する | 4.8.0 | ピック | 0.12.4 | 枕 | 11.1.0 |
ピップ | 24.2 | プラットフォームディレクトリ | 3.10.0 | Plotly | 5.24.1 |
プラグ状の | 1.5.0 | pmdarima | 2.0.4 | 犬 | 1.8.2 |
プレシェッド | 3.0.10 | プロメテウスクライアント | 0.21.0 | プロンプトツールキット | 3.0.43 |
プロップキャッシュ | 0.2.0 | Prophet | 1.1.6 | プロトプラス | 1.26.1 |
protobuf | 5.29.4 | psutil | 5.9.0 | サイコップ2 | 2.9.3 |
ptyプロセス | 0.7.0 | 純粋評価 | 0.2.2 | ピュアマジック | 1.30 |
py-cpuinfo | 9.0.0 | py-spy | 0.4.0 | pyarrow | 19.0.1 |
ピヤスン1 | 0.4.8 | pyasn1モジュール | 0.2.8 | pybind11 | 2.13.6 |
ピッコロ | 0.0.71 | pycパーサー | 2.21 | ピダンティック | 2.10.6 |
pydantic_core | 2.27.2 | パイフレーク | 3.2.0 | ピグメント | 2.15.1 |
PyGオブジェクト | 3.48.2 | PyIceberg | 0.9.0 | ピジョンJWT | 2.10.1 |
ピナクロライド | 1.5.0 | pyodbc | 5.2.0 | pyOpenSSL | 24.2.1 |
pyparsing | 3.2.0 | 海賊権 | 1.1.394 | ピテッセラクト | 0.3.10 |
pytest | 8.3.5 | Python-dateutil | 2.9.0.post0 | Pythonエディター | 1.0.4 |
Python-JSON-ロガー | 3.2.1 | Python-lsp-jsonrpc | 1.1.2 | Python-lsp-サーバー | 1.12.0 |
Python スナッピー | 0.7.3 | pytoolconfig | 1.2.6 | PyTorch -レンジャー | 0.1.1 |
pytz | 2024.1 | PyWavelet | 1.8.0 | ピヤム | 6.0.2 |
ピズムク | 26.2.0 | アンケート | 2.1.0 | Ray | 2.37.0 |
参照 | 0.30.2 | 正規表現 | 2024年11月6日 | リクエスト | 2.32.3 |
リクエスト-oauthlib | 1.3.1 | リクエストツールベルト | 1.0.0 | rfc3339バリデータ | 0.1.4 |
rfc3986 バリデータ | 0.1.1 | リッチ | 13.9.4 | ロープ | 1.12.0 |
rpds-py | 0.22.3 | rsa | 4.9.1 | ruamel.yaml | 0.18.14 |
ruamel.yaml.clib | 0.2.12 | s3転送 | 0.11.3 | セーフテンサー | 0.5.3 |
scikit-image | 0.25.0 | scikit-learn | 1.6.1 | scipy | 1.15.1 |
シーボーン | 0.13.2 | ゴミ箱へ送信 | 1.8.2 | 文変換子 | 4.0.1 |
文章 | 0.2.0 | setuptools | 74.0.0 | シャープ | 0.47.1 |
シェリンガム | 1.5.4 | シンプルなJSON | 3.17.6 | six | 1.16.0 |
sklearn互換 | 0.1.3 | スライサー | 0.0.8 | スマートオープン | 7.3.0.post1 |
smmap | 5.0.0 | スニッフィオ | 1.3.0 | ソートされたコンテナ | 2.4.0 |
サウンドファイル | 0.13.1 | スープふるい | 2.5 | ソックス | 0.5.0.post1 |
スペーシー | 3.7.5 | スペーシーレガシー | 3.0.12 | スペースロガー | 1.0.5 |
SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 | 本当に | 2.5.1 |
sshインポートID | 5.11 | スタックデータ | 0.2.0 | スタニオ | 0.5.1 |
スターレット | 0.46.2 | statsmodels | 0.14.4 | 厳格な | 1.7.3 |
シンピー | 1.13.3 | 表にする | 0.9.0 | 粘り強さ | 9.0.0 |
TensorBoard | 2.19.0 | TensorBoard -データサーバー | 0.7.2 | テンソルボードX | 2.6.4 |
TensorFlow | 2.19.0 | テンソルフロー推定器 | 2.15.0 | 用語色 | 3.1.0 |
終了する | 0.17.1 | テキスト | 3.5.0 | tf_keras | 2.19.0 |
薄い | 8.2.4 | threadpoolctl | 3.5.0 | tiffファイル | 2024年12月12日 |
ティックトック | 0.9.0 | タイニーCSS2 | 1.4.0 | トークン化_rt | 6.1.0 |
トークナイザー | 0.21.0 | トムリ | 2.0.1 | トーチ | 2.7.0 |
トーチオプティマイザー | 0.3.0 | トーシュヴァル | 0.0.7 | トーチメトリクス | 1.6.0 |
トーチビジョン | 0.22.0 | 竜巻 | 6.4.2 | tqdm | 4.67.1 |
特性レット | 5.14.3 | transformers | 4.51.3 | トリトン | 3.3.0 |
タイプガード | 4.4.2 | タイパー | 0.16.0 | タイプ-Python-dateutil | 2.9.0.20250516 |
タイピング拡張機能 | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
ujson | 5.10.0 | 無人アップグレード | 0.1 | uriテンプレート | 1.3.0 |
urllib3 | 2.3.0 | ウビコーン | 0.35.0 | バリデーター | 0.35.0 |
仮想環境 | 20.29.3 | ビジョン | 0.8.1 | ワドリブ | 1.3.6 |
わさび | 1.1.3 | トイレ幅 | 0.2.5 | イタチ | 0.4.1 |
ウェブカラー | 24.11.1 | webencodings | 0.5.1 | Websocketクライアント | 1.8.0 |
ウェブソケット | 11.0.3 | ヴェルクツォイグ | 3.1.3 | パッチ | 1.0.2 |
車輪 | 0.45.1 | ウィジェットnb拡張機能 | 3.6.6 | ワードクラウド | 1.9.4 |
ラップト | 1.17.0 | XGBoost | 3.0.0 | xgboost-ray | 0.1.19 |
xxハッシュ | 3.5.0 | ヤップ | 0.40.2 | ヤール | 1.18.0 |
ydataプロファイリング | 4.16.1 | ジップ | 3.21.0 | zstd | 1.5.5.1 |
Rライブラリ
R ライブラリはDatabricks Runtime 17.1 のR ライブラリと同じです。
Java and Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 17.1 の Java および Scala ライブラリに加えて、Databricks Runtime 17.1 ML には次の JAR が含まれています。
CPU クラスター
グループID | アーティファクトID | バージョン |
|---|---|---|
ml.dmlc | xgboost4j-spark_2.13 | 2.1.3 |
ml.dmlc | xgboost4j_2.13 | 2.1.3 |
org.graphframes | グラフフレーム_2.13 | 0.8.4-db1-spark3.5 |
org.mlflow | mlflowクライアント | 2.15.1 |
org. Scala -lang.modules | Scala -コレクション-compat_2.13 | 2.12.0 |
org.tensorflow | spark-tensorflow-connector_2.13 | 1.15.0 |
GPU クラスター
グループID | アーティファクトID | バージョン |
|---|---|---|
ml.dmlc | xgboost4j-spark_2.13 | 2.1.3 |
ml.dmlc | xgboost4j_2.13 | 2.1.3 |
org.graphframes | グラフフレーム_2.13 | 0.8.4-db1-spark3.5 |
org.mlflow | mlflowクライアント | 2.15.1 |
org. Scala -lang.modules | Scala -コレクション-compat_2.13 | 2.12.0 |
org.tensorflow | spark-tensorflow-connector_2.13 | 1.15.0 |