RStudio on Databricks

R の一般的な統合開発環境 (IDE) であるRStudioを使用して、Databricks ワークスペース内の Databricks コンピュートリソースに接続できます。 RStudio Desktopを使用して、ローカル開発マシンから DatabricksクラスターまたはSQL ウェアハウスに接続します。 Web ブラウザーを使用して Databricks ワークスペースにサインインし、そのワークスペース内でRStudio Serverがインストールされている Databricks クラスターに接続することもできます。

RStudio デスクトップを使用して接続する

RStudio デスクトップを使用して、ローカル開発コンピューターからリモート Databricks クラスターまたは SQLウェアハウスに接続します。このシナリオで接続するには、ODBC 接続を使用し、このセクションで説明する R の ODBC パッケージ関数を呼び出します。

注

Databricks Connect も使用しない限り、この RStudio Desktop シナリオでは、 SparkR や sparklyr などのパッケージを使用できません。RStudio Desktop を使用する代わりに、Web ブラウザーを使用して Databricks ワークスペースにサインインし、そのワークスペースに RStudio Server がインストールされている Databricks クラスターに接続できます。

ローカル開発マシンで RStudio デスクトップをセットアップするには:

(オプション)RStudio プロジェクトを作成するには:

RStudio デスクトップを起動します。
[ ファイル] > [新しいプロジェクト] をクリックします。
[ 新しいディレクトリ] > [新しいプロジェクト] を選択します。
プロジェクトの新しいディレクトリを選択し、[ プロジェクトの作成] をクリックします。

R スクリプトを作成するには:

プロジェクトを開いた状態で、[ ファイル] > [新しいファイル > R スクリプト] をクリックします。
[ ファイル] > [名前を付けて保存] をクリックします。
ファイルに名前を付け、[ 保存] をクリックします。

リモート Databricks クラスターまたは SQL ウェアハウスに ODBC for R を使用して接続するには、次のようにします。

リモートクラスターまたは SQLウェアハウスの [ サーバーのホスト名 ]、[ ポート ]、および [HTTP パス ] の値を取得します。クラスターの場合、これらの値は [詳細オプション] の [JDBC/ODBC] タブにあります。SQLウェアハウスの場合、これらの値は「 接続の詳細 」タブにあります。
Databricks の個人用アクセストークンを取得します。

注

自動化されたツール、システム、スクリプト、アプリを使用して認証する場合のセキュリティのベストプラクティスとして、Databricks ではOAuth トークンを使用することをお勧めします。

個人用アクセストークン認証を使用する場合、Databricks では、ワークスペースユーザーではなく、サービスプリンシパルに属する個人用アクセストークンを使用することをお勧めします。サービスプリンシパルのトークンを作成するには、「サービスプリンシパルのトークンを管理する」を参照してください。
ローカルコンピューターのオペレーティングシステムに基づいて、 Windows、 macOS、または Linux 用の Databricks ODBC ドライバーをインストールして構成します。
ローカルマシンのオペレーティングシステムに基づいて、リモートクラスタまたは Windows、 macOS、または Linux用のSQLウェアハウスにODBCデータソース名(DSN)を設定します。

RStudio コンソール (表示>コンソールへのフォーカスの移動) から、 CRAN から ODBC および DBI パッケージをインストールします。

require(devtools)

install_version(
  package = "odbc",
  repos   = "http://cran.us.r-project.org"
)

install_version(
  package = "DBI",
  repos   = "http://cran.us.r-project.org"
)

R スクリプト (表示>ソースへのフォーカスの移動) に戻り、インストールされている odbc パッケージと DBI パッケージを読み込みます。
```
library(odbc)
library(DBI)
```
DBI パッケージ内の ODBC バージョンの dbConnect 関数を呼び出し、 odbc パッケージ内の odbc ドライバーと、作成した ODBC DSN (たとえば、ODBC DSN Databricks) を指定します。
```
conn = dbConnect(
  drv = odbc(),
  dsn = "Databricks"
)
```
ODBC DSN を使用して操作を呼び出します。たとえば、 DBI パッケージの dbGetQuery 関数を使用して SELECT ステートメントを呼び出し、接続変数の名前と SELECT ステートメント自体を指定します (たとえば、 defaultという名前のスキーマ (データベース) 内の diamonds という名前のテーブルから) を指定します。
```
print(dbGetQuery(conn, "SELECT * FROM default.diamonds LIMIT 2"))
```

完全な R スクリプトは次のとおりです。

library(odbc)
library(DBI)

conn = dbConnect(
  drv = odbc(),
  dsn = "Databricks"
)

print(dbGetQuery(conn, "SELECT * FROM default.diamonds LIMIT 2"))

スクリプトを実行するには、ソースビューで [ ソース] をクリックします。上記の R スクリプトの結果は次のとおりです。

  _c0 carat     cut color clarity depth table price    x    y    z
1   1  0.23   Ideal     E     SI2  61.5    55   326 3.95 3.98 2.43
2   2  0.21 Premium     E     SI1  59.8    61   326 3.89 3.84 2.31

RStudio サーバーを使用して接続する

Web ブラウザーを使用して Databricks ワークスペースにサインインし、そのワークスペース内の RStudio サーバーがインストールされている Databricks クラスターに接続します。

注

RStudio Server の代わりに、 RStudio Desktop を使用して、ODBC 接続を介してローカル開発マシンから Databricks クラスターまたは SQLウェアハウスに接続し、R の ODBC パッケージ関数を呼び出すことができます。 Databricks Connect も使用しない限り、RStudio Desktop シナリオでは SparkR や sparklyr などのパッケージを使用できません。

RStudio Server の場合、Databricks でオープンソースエディションまたは RStudio Workbench (以前の RStudio Server Pro) エディションを使用できます。 RStudio Workbench / RStudio Server Pro を使用する場合は、既存の RStudio Workbench / RStudio Server Pro ライセンスを Databricks に転送する必要があります (「はじめに: RStudio Workbench」を参照)。

Databricks では、クラスターの開始時間を短縮するために、RStudio Server を使用する Databricks クラスターで機械学習用 Databricks ランタイム (Databricks Runtime ML) を使用することをお勧めします。 Databricks Runtime 機械学習には、変更されていないバージョンの RStudio Server オープンソース Edition パッケージが含まれており、ソースコードは GitHub にあります。次の表は、現在 Databricks Runtime 機械学習バージョンにプレインストールされている RStudio Server オープンソースエディションのバージョンの一覧です。

Databricks Runtime for 機械学習バージョン	RStudio サーバーのバージョン
Databricks Runtime 9.1 LTS ML および 10.4 LTS ML	1.4

RStudio 統合アーキテクチャ

Databricksで RStudio サーバーを使用すると、RStudio サーバーデーモンは Databricks クラスターのドライバーノードで実行されます。RStudio Web UI は Databricks Web アプリを介してプロキシされるため、クラスターネットワーク構成を変更する必要はありません。この図は、RStudio 統合コンポーネントのアーキテクチャを示しています。

警告

Databricks は、クラスターの Spark ドライバーのポート 8787 から RStudio Web サービスをプロキシします。この Web プロキシは、RStudio でのみ使用することを目的としています。ポート 8787 で他の Web サービスを起動すると、ユーザーが潜在的なセキュリティエクスプロイトにさらされる可能性があります。 Databricks は、サポートされていないソフトウェアをクラスターにインストールすることに起因する問題については責任を負いません。

要件

クラスターは汎用クラスターである必要があります。
そのクラスターに対するCan Attach To権限が必要です。クラスター管理者は、この権限をユーザーに付与できます。「コンピュート権限」を参照してください。

クラスターでは、テーブルアクセスコントロール、自動終了、または資格情報のパススルーを有効にしないでください。

クラスターでは、共有 アクセス モードを使用しないでください。
クラスターの Spark 構成 spark.databricks.pyspark.enableProcessIsolation が trueに設定 されていない必要があります 。
Pro エディションを使用するには、RStudio Server フローティング Pro ライセンスが必要です。

注

クラスターは Unity Catalog をサポートするアクセスモードを使用できますが、そのクラスターから RStudio Server を使用して Unity Catalog 内のデータにアクセスすることはできません。

はじめに: RStudio Server OS Edition

RStudio Server オープンソースエディションは、Databricks Runtime for Machine Learning (Databricks Runtime 機械学習) を使用する Databricks クラスターにプレインストールされています。

クラスターで RStudio Server OS Edition を開くには、次の操作を行います。

クラスターの詳細ページを開きます。
クラスターを起動し、 [ アプリ ] タブをクリックします。
[アプリ] タブで、[RStudio のセットアップ] ボタンをクリックします。これにより、ワンタイムパスワードが生成されます。表示リンクをクリックして表示し、パスワードをコピーします。
[ RStudio を開く ] リンクをクリックして、UI を新しいタブで開きます。ログインフォームにユーザー名とパスワードを入力し、サインインします。

RStudio UI から、 SparkR パッケージをインポートし、クラスターで Spark ジョブを起動するための SparkR セッションを設定できます。

library(SparkR)

sparkR.session()

# Query the first two rows of a table named "diamonds" in a
# schema (database) named "default" and display the query result.
df <- SparkR::sql("SELECT * FROM default.diamonds LIMIT 2")
showDF(df)

sparklyr パッケージを添付して、Spark 接続を設定することもできます。

library(sparklyr)

sc <- spark_connect(method = "databricks")

# Query a table named "diamonds" and display the first two rows.
df <- spark_read_table(sc = sc, name = "diamonds")
print(x = df, n = 2)

はじめに: RStudio ワークベンチ

このセクションでは、Databricks クラスターで RStudio Workbench (以前の RStudio Server Pro) をセットアップして使用を開始する方法について説明します。名前の変更に関する FAQ を参照してください。ライセンスによっては、RStudio Workbench に RStudio Server Pro が含まれている場合があります。

RStudio ライセンスサーバーをセットアップする

Databricks で RStudio Workbench を使用するには、Pro ライセンスをフローティングライセンスに変換する必要があります。サポートが必要な場合は、 help@rstudio までお問い合わせください。com. ライセンスを変換するときは、RStudio ワークベンチのライセンスサーバーを設定する必要があります。

ライセンスサーバーを設定するには:

クラウドプロバイダーネットワーク上で小さなインスタンスを起動します。ライセンスサーバーデーモンは非常に軽量です。
対応するバージョンの RStudio ライセンスサーバーをインスタンスにダウンロードしてインストールし、サービスを開始します。詳細な手順については、「 RStudio ワークベンチ管理者ガイド」を参照してください。
ライセンスサーバーポートが Databricks インスタンスに対して開かれていることを確認します。

RStudio ワークベンチをインストールする

Databricks クラスター上に RStudio Workbench をセットアップするには、RStudio Workbench バイナリパッケージをインストールし、ライセンスリースにライセンスサーバーを使用するように構成するための init スクリプトを作成する必要があります。

注

RStudio Server オープンソースエディションパッケージが既に含まれている Databricks Runtime バージョンに RStudio Workbench をインストールする場合は、インストールを成功させるために、まずそのパッケージをアンインストールする必要があります。

以下は、ワークスペースファイルとしてホームディレクトリ、 Unity Catalogボリューム、オブジェクトストレージなどの場所に init スクリプトとして保存できる .sh ファイルの例です。詳細については、「クラスタースコープの init スクリプトの使用」を参照してください。このスクリプトは、Databricks との統合を合理化する追加の認証構成も実行します。

警告

DBFS 上のクラスタースコープの init スクリプトはサポートが終了しました。 DBFS に init スクリプトを保存することは、レガシーワークロードをサポートするために一部のワークスペースに存在しますが、推奨されません。 DBFS に保存されているすべての init スクリプトを移行する必要があります。移行手順については、「DBFS からの init スクリプトの移行」を参照してください。

#!/bin/bash

set -euxo pipefail

if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  sudo apt-get update
  sudo dpkg --purge rstudio-server # in case open source version is installed.
  sudo apt-get install -y gdebi-core alien

  ## Installing RStudio Workbench
  cd /tmp

  # You can find new releases at https://rstudio.com/products/rstudio/download-commercial/debian-ubuntu/.
  wget https://download2.rstudio.org/server/bionic/amd64/rstudio-workbench-2022.02.1-461.pro1-amd64.deb -O rstudio-workbench.deb
  sudo gdebi -n rstudio-workbench.deb

  ## Configuring authentication
  sudo echo 'auth-proxy=1' >> /etc/rstudio/rserver.conf
  sudo echo 'auth-proxy-user-header-rewrite=^(.*)$ $1' >> /etc/rstudio/rserver.conf
  sudo echo 'auth-proxy-sign-in-url=<domain>/login.html' >> /etc/rstudio/rserver.conf
  sudo echo 'admin-enabled=1' >> /etc/rstudio/rserver.conf
  sudo echo 'export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin' >> /etc/rstudio/rsession-profile

  # Enabling floating license
  sudo echo 'server-license-type=remote' >> /etc/rstudio/rserver.conf

  # Session configurations
  sudo echo 'session-rprofile-on-resume-default=1' >> /etc/rstudio/rsession.conf
  sudo echo 'allow-terminal-websockets=0' >> /etc/rstudio/rsession.conf

  sudo rstudio-server license-manager license-server <license-server-url>
  sudo rstudio-server restart || true
fi

<domain> を Databricks の URL に置き換え、 <license-server-url> をフローティングライセンスサーバーの URL に置き換えます。
この .sh ファイルを init スクリプトとして、ワークスペースファイルとしてホームディレクトリ、 Unity Catalogボリューム、オブジェクトストレージなどの場所に保存します。詳細については、「クラスタースコープの init スクリプトの使用」を参照してください。
クラスターを起動する前に、この.shファイルを関連する場所から init スクリプトとして追加します。手順については、「クラスタースコープの init スクリプトの使用」を参照してください。
クラスターを起動します。

RStudio Server Pro を使用する

クラスターの詳細ページを開きます。
クラスターを起動し、 [ アプリ ] タブをクリックします。
[ アプリ ] タブで、[ RStudio のセットアップ ] ボタンをクリックします。
ワンタイムパスワードは必要ありません。 [ RStudio UI を開く ] リンクをクリックすると、認証された RStudio Pro セッションが開きます。

RStudio UI から、 SparkR パッケージをアタッチし、クラスターで Spark ジョブを起動するための SparkR セッションを設定できます。

library(SparkR)

sparkR.session()

# Query the first two rows of a table named "diamonds" in a
# schema (database) named "default" and display the query result.
df <- SparkR::sql("SELECT * FROM default.diamonds LIMIT 2")
showDF(df)

sparklyr パッケージを添付して、Spark 接続を設定することもできます。

library(sparklyr)

sc <- spark_connect(method = "databricks")

# Query a table named "diamonds" and display the first two rows.
df <- spark_read_table(sc = sc, name = "diamonds")
print(x = df, n = 2)

RStudio Server FAQ

RStudio Server オープンソース Edition と RStudio Workbench の違いは何ですか?

RStudio ワークベンチは、オープンソースエディションでは利用できない幅広いエンタープライズ機能をサポートしています。機能の比較は、RStudioのウェブサイトで見ることができます。

さらに、RStudio Server オープンソース Edition は GNU Affero General Public License (AGPL) の下で配布されていますが、Pro バージョンには AGPL ソフトウェアを使用できない組織向けの商用ライセンスが付属しています。

最後に、RStudio Workbench には RStudio、PBC によるプロフェッショナルおよびエンタープライズサポートが付属していますが、RStudio Server オープンソースエディションにはサポートがありません。

RStudio Workbench / RStudio Server Pro ライセンスを Databricks で使用できますか?

はい、RStudio サーバーのプロライセンスまたはエンタープライズライセンスを既にお持ちの場合は、そのライセンスを Databricks で使用できます。 Databricks で RStudio ワークベンチを設定する方法については、「はじめに: RStudio ワークベンチ」を参照してください。

RStudio サーバーはどこで実行されますか? 追加のサービス/サーバーを管理する必要がありますか?

RStudio 統合アーキテクチャの図からわかるように、RStudio サーバーデーモンは Databricks クラスターのドライバー (マスター) ノードで実行されます。RStudio Server オープンソースエディションでは、追加のサーバー/サービスを実行する必要はありません。ただし、RStudio ワークベンチの場合は、RStudio ライセンスサーバーを実行する別のインスタンスを管理する必要があります。

標準クラスタで RStudio サーバーを使用できますか?

注

この記事では、従来のクラスター UI について説明します。クラスターアクセスモードの用語の変更を含む、新しいクラスター UI (プレビュー版) に関する情報については、「コンピュート構成リファレンス」を参照してください。新しいクラスタータイプと従来のクラスタータイプの比較については、「クラスター UI の変更とクラスターアクセスモード」を参照してください。

はいできますよ。

自動終了機能を備えたクラスターで RStudio サーバーを使用できますか?

いいえ、自動終了が有効になっている場合は RStudio を使用できません。自動終了では、RStudio セッション内の保存されていないユーザースクリプトとデータを消去できます。この意図しないデータ損失のシナリオからユーザーを保護するために、このようなクラスターでは RStudio はデフォルトによって無効になっています。

使用されていないときにクラスターリソースをクリーンアップする必要がある顧客の場合、Databricks では、クラスターを使用して、スケジュールに基づいて APIsRStudio クラスターをクリーンアップすることをお勧めします。

RStudioで作業を維持するにはどうすればよいですか?

RStudio のバージョン管理システムを使用して作業を保持することを強くお勧めします。 RStudio は、さまざまなバージョン管理システムを強力にサポートしており、プロジェクトをチェックインして管理することができます。次のいずれかの方法でコードを永続化しないと、ワークスペース管理者がクラスターを再起動または終了すると、作業内容が失われるリスクがあります。

1 つの方法は、ファイル (コードまたはデータ) を [Databricks ファイルシステム (DBFS) とは] に保存することです。たとえば、 /dbfs/ の下にファイルを保存した場合、クラスターが終了または再起動されてもファイルは削除されません。

別の方法は、R ノートブックを Rmarkdownとしてエクスポートしてローカルファイルシステムに保存し、後でファイルを RStudio インスタンスにインポートすることです。ブログ「RMarkdown を使用した R ノートブックの共有」では、ステップについて詳しく説明しています。

別の方法は、Amazon エラスティックファイルシステム (Amazon EFS) ボリュームをクラスターにマウントして、クラスターがシャットダウンされたときに作業内容が失われないようにすることです。クラスターが再起動すると、Databricks によって Amazon EFS ボリュームが再マウントされ、中断したところから続行できます。既存の Amazon EFS ボリュームをクラスターにマウントするには、クラスター API 2.0 でクラスターの作成 (POST /api/2.0/clusters/create) またはクラスターの編集 (POST /api/2.0/clusters/edit) オペレーションを呼び出し、オペレーションの cluster_mount_infos 配列で Amazon EFS ボリュームのマウント情報を指定します。

作成または使用するクラスターで、Unity Catalog、自動終了、または自動スケーリングが有効になっていないことを確認します。また、クラスターで chmod a+w </path/to/volume> コマンドを実行するなどして、クラスターにマウントされたボリュームへの書き込みアクセス権があることを確認します。このコマンドは、クラスターの Web ターミナルを使用して既存のクラスターで実行することも、前の操作の init_scripts 配列で指定した initスクリプトを使用して新しいクラスターで実行することもできます。

既存の Amazon EFS ボリュームがない場合は、作成できます。まず、Databricks 管理者に連絡して、Databricks ワークスペースの VPC ID、パブリックサブネット ID、およびセキュリティグループ ID を取得します。次に、この情報と AWS マネジメントコンソールを使用して、 Amazon EFS コンソールを使用してカスタム設定のファイルシステムを作成します。この手順の最後のステップで、[ 接続 ] をクリックし、前述の cluster_mount_infos アレイで指定した DNS 名とマウントオプションをコピーします。

`SparkR` セッションを開始するにはどうすればよいですか?

SparkR は Databricks Runtimeに含まれていますが、RStudio にロードする必要があります。 RStudio 内で次のコードを実行して、 SparkR セッションを初期化します。

library(SparkR)

sparkR.session()

SparkR パッケージのインポート中にエラーが発生した場合は、 .libPaths() を実行し、結果に /home/ubuntu/databricks/spark/R/lib が含まれていることを確認します。

含まれていない場合は、 /usr/lib/R/etc/Rprofile.siteの内容を確認してください。ドライバーに /home/ubuntu/databricks/spark/R/lib/SparkR を一覧表示して、 SparkR パッケージがインストールされていることを確認します。

`sparklyr` セッションを開始するにはどうすればよいですか?

sparklyr パッケージをクラスターにインストールする必要があります。次のいずれかの方法を使用して、 sparklyr パッケージをインストールします。

Databricks 図書館として
install.packages() コマンド
RStudio パッケージ管理 UI

library(sparklyr)

sc <- spark_connect(method = “databricks”)

RStudio は Databricks R ノートブックとどのように統合されますか?

バージョン管理を使用して、ノートブックと RStudio の間で作業を移動できます。

作業ディレクトリとは何ですか?

RStudio でプロジェクトを開始するときは、作業ディレクトリを選択します。デフォルトは、RStudio サーバーが実行されているドライバー (マスター) コンテナー上のホームディレクトリです。必要に応じて、このディレクトリを変更できます。

Databricks で実行されている RStudio からシャイニーアプリを起動できますか?

はい、 Databricks上のRStudioサーバー内で光沢のあるアプリケーションを開発および表示できます。

私は Databricks上でRStudio内でターミナルやgitを使用することはできません。どうすれば修正できますか?

Web ソケットが無効になっていることを確認します。 RStudio Server オープンソースエディションでは、UI からこれを行うことができます。

RStudio サーバープロでは、 /etc/rstudio/rsession.conf に allow-terminal-websockets=0 を追加して、すべてのユーザーに対して Web ソケットを無効にすることができます。

クラスターの詳細の下に [アプリ] タブが表示されません。

この機能は、すべてのお客様が利用できるわけではありません。プレミアムプラン以上である必要があります。