Databricks Webターミナルでシェルコマンドを実行する

Databricks Webターミナルは、Databricks CLIコマンドを含むコマンドラインインターフェイス(CLI)でシェルコマンドを実行し、プログラムを通じてDatabricksオブジェクトに対してアクションを実行するための便利で高度にインタラクティブな方法を提供します。これは、既存のユーザーインターフェース (UI) が完全にサポートしていない可能性のある複数のファイルに対するバッチ操作など、高度なユースケースに特に役立ちます。

SSHと異なり、多くのユーザーがWebターミナルを1つのコンピュートで利用でき、キーの設定も必要ありません。

Webターミナルを使用して、次の操作を実行できます。

VimまたはEmacsを使用してファイルをすばやく編集します。
htop (クラスターの使用状況) や nvidia-smi (GPU の使用状況) などのコマンドを使用して、リソースの使用状況を監視します。
Spark 以外の Python スクリプトを実行します。
mv や mkdirなどのシェルコマンドを使用してファイル操作を実行します。
ライブラリをコンピュートにインストールして管理します。
Databricks CLI を使用して、Databricks のさまざまな側面を自動化します。

必要条件

警告

Databricksは、コンピュートの Spark ドライバーのポート7681からWebターミナルサービスをプロキシします。このWebプロキシは、Webターミナルでの使用のみを目的としています。コンピュートの起動時にポートが占有されていたり、何らかの競合がある場合、Webターミナルが期待どおりに動作しない可能性があります。他の Web サービスがポート 7681 で起動されている場合、コンピュートユーザーは潜在的なセキュリティ悪用にさらされる可能性があります。 Databricks は、サポートされていないソフトウェアをコンピュートにインストールしたことに起因する問題について責任を負いません。

Webターミナルは、すべてのワークスペースユーザーに対してデフォルトによって無効になっています。有効にするには、 Webターミナルを有効にするを参照してください。
コンピュートに対するCAN ATTACH TO権限。
Webターミナルを標準アクセスモード(旧共有アクセスモード)で使用するには、コンピュートが Databricks Runtime 15.1以上である必要があります。

Webターミナルを起動します

Webターミナルは、コンピュートの詳細ページまたはノートブックから起動できます。

ノートブックから

ノートブックからWebターミナルを起動するには:

ノートブックをコンピュートに接続します。
ノートブックの右側のサイドバーの下部にあるターミナルアイコンをクリックして、Webターミナルを起動します。
または、添付のコンピュートドロップダウンをクリックし、添付のコンピュートにカーソルを合わせて、[ Webターミナル ]をクリックします。

Webターミナルは、画面下部のパネルで開きます。パネルの右上にあるボタンを使用すると、次のことができます。

新しいタブで新しいターミナルセッションを開きます。
ターミナルセッションを再読み込みします。
底面パネルを閉じます。パネルを再度開くには、右側のサイドバーの下部にある [ ] をクリックします。

コンピュート詳細ページより

コンピュート詳細ページからWebターミナルを起動するには:

ワークスペースのサイドバーで、[ コンピュート ] をクリックします。
[ 汎用コンピュート ] タブで、コンピュートの名前をクリックします。
開始をクリックしてコンピュートを開始します。
Apps タブで、 Webターミナル をクリックします。

新しいタブが開き、WebターミナルUIとBashプロンプトが表示されます。

Webターミナルを使用する

Webターミナルでは、コンピュートドライバーノードのコンテナ内のルートからコマンドを実行することができます。

各ユーザーは、最大100のアクティブなWebターミナルセッション(タブ)を開くことができます。アイドル状態のWebターミナルセッションがタイムアウトし、WebターミナルWebアプリケーションが再接続され、新しいシェルプロセスが発生する可能性があります。 Bash セッションを保持する場合、Databricks では tmux を使用することをお勧めします。

Databricks CLI コマンドの実行

Webターミナルを使用して Databricks CLI コマンドを実行することもできます。使用可能な CLI は常に最新バージョンであり、認証は現在のユーザーに基づいて行われます。

注記

Webターミナルで CLI コマンドを実行する場合、設定プロファイルコマンドはサポートされません。これは、Webターミナルが CLIへの認証に環境変数を使用するためであり、これは評価の認証順序において構成プロファイルよりも先行します。

コンピュートは、次の要件を満たしている必要があります。

Databricks Runtime 15.0 以降
ワークスペースは PrivateLink に対して有効にしないでください

Webターミナルを起動し、次のコマンドを実行して、現在のユーザーに関する情報を出力します。

Bash
   databricks current-user me

また、Bundle コマンドも用意されており、Databricksワークスペース内のWebターミナルから直接、 Databricksアセットバンドルを作成・管理することができます。たとえば、デフォルトのテンプレートを使用して単純なバンドルを作成、デプロイ、および実行するには、次のようにします。

Webターミナルのルートからワークスペースのホームに移動し、 bundle initを実行します。
Bash
```
cd /Workspace/Users/someone@example.com
databricks bundle init
```
デフォルトのテンプレートプロンプトを受け入れ、バンドルディレクトリに移動してデプロイします。
Bash
```
cd my_project
databricks bundle deploy
```
デプロイされた my_project バンドルは、Databricks ワークスペース UI で表示できます。
最後に、バンドル内のデフォルトジョブを実行します。
Bash
```
databricks bundle run my_project_job
```
ジョブ実行 に移動して、実行中のジョブを確認します。

Webターミナルを構成する

.bashrc設定ファイルを使用して、Webターミナルの永続的な構成を設定できます。

Databricksはワークスペースファイルシステムのホームフォルダーから.bashrc という名前のファイルを自動的にsourceします。これらのファイルの設定は、新しいターミナルセッションを開始するたびに自動的にアクティブになります。

他のファイル (.zshrc など) をソースにする場合あなたのWebターミナル体験のために、あなたの.bashrcからそれらをソースファイルを使用して構成を永続化します。

すべての設定ファイルをワークスペースフォルダに保存し、テキストエディタを使用して設定できるようにします。

制限

Databricks は、Webターミナルからの Spark ジョブの実行をサポートしていません。
Databricks Webターミナルは、次のコンピュートタイプでは使用できません。
- ジョブコンピュート
- コンピュートは DISABLE_WEB_TERMINAL=true 環境変数を設定して起動しました。
- 15.1 より前のバージョンDatabricks Runtime標準コンピュート。
- ARM インスタンスタイプが 16.4 未満のDatabricks Runtimeを使用する標準コンピュート。
- サーバレスコンピュートサーバレス環境バージョン 1 を使用します。
- Spark構成で起動したコンピュートspark.databricks.pyspark.enableProcessIsolation``trueに設定されています。
最初のページの読み込みから 12 時間のハード制限があり、その後は、アクティブであってもすべての接続が終了します。 Webターミナルを更新して再接続できます。 Databricks では、 tmux を使用してシェルセッションを保持することをお勧めします。
16.4より前の Databricks Runtime のARMコンピュートリソースは、Webターミナルを使用して、 Git フォルダ内のファイルを含むワークスペースファイルにアクセスできません。
Docker Container Servicesを有効にすると、Webターミナルが無効になります。

必要条件​

Webターミナルを起動します​

ノートブックから​

コンピュート詳細ページより​

Webターミナルを使用する​

Databricks CLI コマンドの実行​

Webターミナルを構成する​

制限​