Databricks SQL リリースノート 2021

2021 年 1 月から 12 月にかけての Databricks SQL の機能強化と更新の概要を次に示します。

2021年12月15日

Databricks SQL は一般公開されています。これは、データ、 AI、 BI ワークロードを 1 か所に統合できる初のレイクハウスプラットフォームを提供する大きなマイルストーンとなります。 GA では、ミッションクリティカルなワークロードに対して、Databricks の最高レベルの安定性、サポート、エンタープライズ対応を期待できます。詳細については、 GA のお知らせのブログをご覧ください。
アラートは、クエリとは独立してスケジュールされるようになりました。新しいアラートを作成してクエリを作成すると、アラートのスケジュールも作成するように求められます。既存のアラートがある場合は、元のクエリからスケジュールが複製されています。この変更により、 所有者として実行クエリ と ビューアーとして実行 クエリの両方に対してアラートを設定することもできます。 所有者クエリとして実行 指定されたアラートスケジュールで、クエリ所有者の資格情報を使用して実行されます。 ビューアーがクエリを実行するとき 、アラート作成者の資格情報を使用して指定されたアラートスケジュールを実行します。「Databricks SQL アラートとは」を参照してください。と [クエリのスケジュール] をクリックします。
SQL エディターとダッシュボードの両方でパラメーターを並べ替えることができるようになりました。
ヒートマップのビジュアライゼーションを作成するためのドキュメントが拡張されました。「ヒートマップオプション」を参照してください。

2021年12月9日

テーブルビジュアライゼーションを作成するときに、列のフォントの色を静的な値または列のフィールドの値に基づく値の範囲に設定できるようになりました。リテラル値はしきい値と比較されます。例えば、値が 500000を超える結果を色付けするには、しきい値を > 500,000ではなく > 500000にします。「列の色を条件付きで書式設定する」を参照してください。
タブ付き SQL エディタのスキーマブラウザのアイコンで、テーブルとビューを区別できるようになりました。

2021年12月1日

SQL 構成パラメーターをワークスペース・レベルで適用できるようになりました。これらのパラメーターは、ワークスペース内のすべての既存および新規の SQLエンドポイントに自動的に適用されます。「SQL パラメーターの構成」を参照してください。

2021年11月18日

これで、サイドバーのショートカットを使用して SQL エディターを開くことができます。 SQL エディターを開くには、[ SQL エディター] をクリックします。
データサイエンス &エンジニアリングクラスタリングを作成する権限がある場合は、サイドバーの「作成SQL 」をクリックし、「エンドポイント」をクリックすることで、SQL エンドポイントを作成できるようになりました。
管理者は、UI を使用して、クエリ、ダッシュボード、またはアラートの所有権を別のユーザーに譲渡できるようになりました。見る：
クエリの所有権を譲渡する
従来のダッシュボードの所有権を移行する
アラートの所有権を譲渡する

2021年11月4日

マップ (コロプレス) ビジュアライゼーションのビジュアライゼーションで、凡例の色のグラデーションステップの最大数が 11 から 20 に増加しました。デフォルトは、 最小色 と 最大色を含む 5 つのグラデーションステップです。
タブ SQL エディターで、一括タブ管理がサポートされるようになりました。タブを右クリックすると、[ 他のユーザーを閉じる]、[ 左を閉じる]、[ 右を閉じる]、および [すべて閉じる] のオプションが表示されます。最初または最後のタブを右クリックしても、[ 左を閉じる] または[ 右を閉じる]のオプションが表示されないことに注意してください。

2021年10月28日

カタログエクスプローラでテーブルを表示する場合、テーブルの操作を簡略化するための 2 つのオプションがあります。
[ クエリの作成 ] をクリックして>すべての列を選択し、最初の 1000 行を返すクエリを作成します。
[クイックダッシュボードの作成] をクリックすると>、設定ページが開き、関心のある列を選択し、ダッシュボードと、それらの列を使用して基本情報を提供し、ダッシュボードレベルのパラメーターやその他の機能を紹介するサポートクエリを作成できます。

2021年10月19日

新しいキーボードショートカットがタブ付きエディターで使用できるようになりました。
新しいタブを開く:
- Windows： Cmd+Alt+T
- Macの場合: Cmd+Option+T
現在のタブを閉じる
- Windows： Cmd+Alt+W
- Macの場合: Cmd+Option+W
クエリーダイアログを開く
- Windows： Cmd+Alt+O
- Macの場合: Cmd+Option+O

2021年9月23日

ダッシュボードとすべてのアップストリームクエリに対する CAN RUN、CAN EDIT、および CAN MANAGE のアクセス許可がある限り、既存のダッシュボードを複製して新しいダッシュボードを作成できるようになりました。「レガシーダッシュボードのクローンを作成する」を参照してください。
複数の Y 軸列を持つビジュアライゼーションで GROUP BY を使用できるようになりました。散布図を参照してください。
{{ @@yPercent}} を使用して、正規化されていない積み上げ棒グラフのデータラベルを書式設定できるようになりました。棒グラフを参照してください。
SAML 認証を使用していて、SAML 認証情報が数分以内に期限切れになる場合、クエリを実行したりダッシュボードを更新したりする前に、事前に再度ログインするように求められます。これにより、クエリの実行中に有効期限が切れる資格情報による中断を防ぐことができます。

2021年9月20日

ダッシュボード、クエリ、アラートの所有権を、Permissions REST API を使用して移行できるようになりました。「クエリ ACL」を参照してください。

2021年9月16日

クエリ結果では、 BIGINT の結果が 9007199254740991 より大きい場合に文字列としてシリアル化されるようになりました。これにより、クエリ結果で BIGINT 結果が切り捨てられる可能性がある問題が修正されます。その他の整数の結果は、引き続き数値としてシリアル化されます。軸ラベルとツールヒントの数値の書式設定は、文字列としてシリアル化された BIGINT 結果には適用されません。 Databricks SQLのデータ型の詳細については、「BIGINT 型」を参照してください。

2021年9月7日

Databricks は、1 週間にわたって変更を展開しています。ワークスペースは、9 月 7 日以降までこれらの変更が有効になりません。

Databricks SQL は現在パブリックプレビュー段階にあり、新しいワークスペースのすべてのユーザーが利用できるようになりました。

注：

パブリックプレビュー期間中 (つまり、2021 年 9 月 7 日から始まる週より前) にワークスペースで Databricks SQL が有効になっていた場合、ユーザーはその日付より前に割り当てられた権利を保持します (それを変更しない限り)。つまり、パブリックプレビュー期間中に Databricks SQL へのアクセス権がなかったユーザーは、管理者からアクセス権を付与されない限り、現在はアクセスできません。

管理者は、 Databricks SQL アクセス 資格 (API のdatabricks-sql-access ) をユーザーまたはグループに割り当てることで、Databricks SQL にアクセスできるユーザーを管理できます。デフォルトでは、新しいユーザーにはこの権限があります。

管理者は、ユーザーまたはグループからDatabricks SQL Databricks Mosaic AIワークスペースアクセス資格 (workspace-access API内の) を削除することで、ユーザーまたはグループへのアクセスをのみに制限し、データサイエンス & エンジニアリングまたはにアクセスできないようにすることができます。デフォルトでは、新しいユーザーにはこの権限があります。

重要

Databricks にログインしてアクセスするには、 Databricks SQL アクセス または ワークスペースアクセス のエンタイトルメント (あるいはその両方) が必要です。

SQLスターターエンドポイントと呼ばれる小さなクラシックエンドポイントは、すべてのワークスペースで事前に構成されているため、ダッシュボード、視覚化、クエリの作成をすぐに開始できます。より複雑なワークロードを処理するには、サイズを簡単に増やす (レイテンシを減らすため) または基になるクラスタリングの数を増やす (より多くの並列ユーザーを処理するため) ことができます。コストを管理するために、スターターエンドポイントは 120 分間アイドル状態になると終了するように構成されています。

ワークスペースでサーバレスコンピュートを有効にしている場合、サーバレスSQL エンドポイントを有効にすると、サーバレスSQL エンドポイント (サーバレス Starter Endpoint) が自動的に作成され、ダッシュボード、視覚化、クエリに使用できます。サーバレス SQLエンドポイントは、従来の SQLエンドポイントよりも迅速に起動し、アイドル状態が 10 分経過すると自動的に終了します。
すぐに使い始められるように、管理者とユーザーが利用できる新しいガイド付きオンボーディングエクスペリエンスが用意されています。オンボーディングパネルはデフォルトで表示され、サイドバーに残っているオンボーディングタスクの数をいつでも確認できます。 左側のタスクをクリックして、オンボーディングパネルを再度開きます。
Databricks SQL の使用をすぐに開始するには、すべてのワークスペースから使用できる SAMPLESという読み取り専用カタログに 2 つの豊富なデータセットがあります。 Databricks SQL について学習すると、これらのスキーマを使用してクエリ、視覚化、ダッシュボードを作成できます。設定は不要で、すべてのユーザーがこれらのスキーマにアクセスできます。
- nyctaxi スキーマには、trips テーブルにタクシー乗車データが含まれています。
- tpchスキーマには、次のテーブルに小売収益とサプライチェーンのデータが含まれています。
  - customer
  - lineitem
  - nation
  - orders
  - part
  - partsupp
  - region
  - supplier
オンボーディングパネルで [ Run your first query (最初のクエリを実行 )] をクリックして、 nyctaxi スキーマの新しいクエリを生成します。
構成を必要とせずに Databricks SQL でデータを視覚化する方法を学習するには、ダッシュボードサンプルギャラリーからダッシュボードをインポートできます。これらのダッシュボードは、 SAMPLES カタログのデータセットによって提供されます。

ダッシュボードのサンプルギャラリーを表示するには、オンボーディングパネルでサンプル ダッシュボードのインポート をクリックします。
「 CREATE FUNCTION 」コマンドおよび「関数のドロップ」コマンドを使用して、ネイティブ SQL 関数を作成およびドロップできるようになりました。

2021年9月2日

ダッシュボードに対する CAN EDIT 権限を持つユーザーは、ダッシュボードの更新スケジュールとサブスクリプションリストを管理できるようになりました。以前は、CAN MANAGE 権限が必要でした。詳細については、「ダッシュボードを自動的に更新する」を参照してください。

ダッシュボードのサブスクライバーへのスケジュールされたエクスポートを、スケジュールを変更せずに一時的に停止できるようになりました。以前は、すべてのサブスクライバーを削除し、スケジュールを無効にしてから再作成する必要がありました。詳細については、「スケジュールされたダッシュボードの更新を一時的に停止する」を参照してください。

デフォルトでは、ビジュアライゼーションは返された結果の数に基づいて動的にサイズ変更されなくなりましたが、結果の数に関係なく同じ高さが維持されます。以前の動作に戻り、ビジュアリゼーションのサイズを動的に変更するように構成するには、ダッシュボードのビジュアリゼーションの設定で [パネルの高さを動的にサイズ変更 ] を有効にします。詳細については、「テーブルオプション」を参照してください。
同じアカウント内の複数のワークスペースにアクセスできる場合は、 Databricks SQL内からワークスペースを切り替えることができます。 Databricks ワークスペースの左下隅にある [ ] をクリックし、ワークスペースを選択して切り替えます。

2021年8月30日

サーバレス SQLエンドポイントは、 SQL クエリの即時コンピュート、最小限の管理、およびコストの最適化を提供します。

これまで、 SQLエンドポイントの計算は、 AWS アカウントのコンピュートプレーンで行われていました。サーバレスコンピュートの初期リリースでは、サーバレス SQLエンドポイントが [Databricks SQL] に追加され、これらのコンピュートリソースをDatabricks アカウントに移動します。

サーバレスSQL ウェアハウスは、独自のDatabricks SQL SQLAWSアカウント ( 現在は ClassicSQL エンドポイントと呼ばれている) に存在する エンドポイントを使用するのと同じように、クエリと共に使用します。ただし、サーバレス SQLウェアハウスは、通常、Classic SQLエンドポイントに比べて低レイテンシで開始し、管理が容易で、コストが最適化されています。

サーバレス SQLウェアハウスを作成する前に、管理者がワークスペースのサーバレス SQLエンドポイントオプションを有効にする必要があります。有効にすると、新しいSQLエンドポイントはデフォルトでサーバレスになりますが、SQLエンドポイントは引き続きサーバレスまたはクラシックとして作成できます。

サーバレスコンピュートアーキテクチャの詳細と、従来のコンピュートプレーンとの比較については、サーバレスコンピュート planeを参照してください。サーバレス SQLウェアハウスの設定方法 (Classic SQLエンドポイントをサーバレスに変換する方法など) の詳細については、サーバレス SQLウェアハウスを有効にするを参照してください。

サーバレス SQLウェアハウスでサポートされているリージョンの一覧については、「 Databricks クラウドとリージョン」を参照してください。

..重要:: サーバレスコンピュートは、この機能を有効にするためにアカウントの所有者またはアカウント管理者が同意する必要がある適用条件の対象となります。

2021年8月12日

スケジュールされたダッシュボードの更新を、 Databricks アカウントに関連付けられていないEメールアドレスに送信できるようになりました。ダッシュボードを表示しているときに 、[スケジュール済み ] をクリックして、購読している Eメールアドレスのリストを表示または更新します。 Eメールアドレスが Databricks アカウントに関連付けられていない場合は、通知先として設定する必要があります。詳細については、「ダッシュボードを自動的に更新する」を参照してください。

管理者は、別のユーザーのクエリの実行中にクエリを終了できるようになりました。詳細については、「実行中のクエリを終了する」を参照してください。

2021年8月05日

ワークスペース SQL外部メタストアとして AWS Glue データカタログを使用する場合にエンドポイントのレイテンシーを減らすために、クライアント側のキャッシュを構成できるようになりました。詳細については、「Glue カタログの待機時間が Databricks Hive metastoreよりも長い」および「SQLウェアハウスのデータアクセスプロパティの構成」を参照してください。

EXPLAIN結果の書式設定の改善
- 説明結果が読みやすくなりました
- 行の折り返しなしの等幅として書式設定されます

2021年7月29日

クエリエディタで複数のタブがサポートされているため、複数のクエリの操作が簡単になりました。タブ付きエディタを使用するには、「複数のクエリの編集」を参照してください。

2021年7月8日

ダッシュボードのビジュアライゼーションウィジェットにタイトルと説明が表示されるようになったため、複数のダッシュボードで使用されるビジュアライゼーションのタイトルと説明をダッシュボード自体に合わせて調整できます。
サイドバーが更新され、視認性とナビゲーションが向上しました。
- ウェアハウスはエンドポイントSQLになり、履歴はクエリー履歴に名前が変更されました。
- アカウント設定(旧称「ユーザー」)はアカウントに移動しました。[アカウント] を選択すると、Databricks ワークスペースを変更してログアウトできます。
- ユーザー設定は設定に移動され、[ 設定 ] と [SQL 管理コンソール] に分割されました。 SQL Admin Console は、管理者にのみ表示されます。
- ヘルプアイコンが ヘルプに変更されました。

2021年7月1日

新しいカタログエクスプローラーでは、データベースとテーブルに対するパーミッションを簡単に表示および管理できます。ユーザーは、スキーマの詳細を表示したり、サンプルデータをプレビューしたり、テーブルの詳細とプロパティを表示したりできます。管理者はデータ・オブジェクトの所有者を表示および変更でき、データ・オブジェクトの所有者は権限の付与および取り消しを行うことができます。詳細については、「カタログエクスプローラとは」を参照してください。
水平グラフの Y 軸が更新され、テーブルと同じ順序が反映されるようになりました。以前に逆順を選択した場合は、[Y 軸] タブの [逆順 ] トグルを使用して、新しい順序を逆にすることができます。

2021年6月23日

一時ビューがサポートされるようになりました。

2021年6月17日

Photon, Databricks' 新しいベクトル化された実行エンジンは、新しく作成された SQLエンドポイント (UI と REST APIの両方) のデフォルトによってオンになりました。Photonは透過的にスピードアップします
- Parquet テーブルと Delta テーブルに書き込みます。
- 多くの SQL クエリ。制限事項を参照してください。
CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS、および SHOW USERS コマンドを使用して、ユーザーとグループを簡単に管理できます。詳細については、「セキュリティ関連のステートメント」および「表示関連のステートメント」を参照してください。
クエリエディタのスキーマブラウザは、100 を超えるテーブルを持つスキーマでより迅速で高速です。このようなスキーマでは、スキーマブラウザーはすべての列を自動的にロードしません。テーブルのリストは通常どおり表示されますが、列はテーブルをクリックしたときにのみ読み込まれます。この変更は、候補を表示するためにこの情報に依存するため、クエリエディターのクエリオートコンプリートに影響します。テーブルを展開してその列を読み込むまで、これらの提案は使用できません。

2021年6月03日

新しく有効になった Databricks ワークスペースの管理者は、デフォルトで Databricks SQL エンタイトルメントを受け取るようになり、管理コンソールを使用して自分自身に Databricks SQL アクセスエンタイトルメントを付与する必要がなくなりました。
Photon は現在パブリックプレビュー段階にあり、新しい SQLエンドポイントに対してデフォルトで有効になっています。
マルチクラスタリングの負荷分散がパブリックプレビューになりました。
ダッシュボードやクエリでのコラボレーションを、CAN EDIT 権限を使用して組織の他のメンバーと有効にできるようになりました。アクセス制御リストを参照してください。

2021年5月26日

SQL アナリティクスは Databricks SQLに名前が変更されました。この変更により、顧客に対して次のような影響が及びます。
- Web UI の参照が更新されました。
- Databricks SQL へのアクセス権を付与する権限の名前が変更されました。
  - UI: Databricks SQLアクセス(以前はアナリティクスアクセスSQL)
  - SCIM API: databricks-sql-access (以前の sql-analytics-access)
  以前の資格を持つユーザー、グループ、サービスプリンシパルは、新しい資格に移行されました。
- Databricks SQL に関連する監査ログイベントのタグが変更されました。
  - Databricks SQL イベントのプレフィックスが databrickssqlになりました。
  - changeSqlAnalyticsAcl が changeDatabricksSqlAclになりました。
ダッシュボードの更新
- ダッシュボードのエクスポートファイル名は、UUIDではなく、ダッシュボードの名前+タイムスタンプに更新されました。
- 輸出レコードの上限が22kから64kに引き上げられました。
- ダッシュボードの作成者は、Eメールダッシュボードのスナップショットを定期的にエクスポートできるようになりました。ダッシュボードスナップショットは、デフォルトダッシュボードの状態から取得されるため、視覚化との対話はスナップショットに存在しません。
  - ダッシュボードの所有者は、更新スケジュールを作成し、他のユーザーをサブスクライブして、ダッシュボードが更新されるたびにダッシュボードのEメールスナップショットを取得できます。
  - ダッシュボードの表示権限がある場合は、既存の更新スケジュールをサブスクライブできます。
  ダッシュボードのスナップショットサブスクリプションを参照してください。
- 述語プッシュダウン式 (StartsWith、 EndsWith、 Contains、 Not(EqualTo())、 DataType) はサポートされていないため、AWS Glue Catalog では無効になっています。

2021年5月13日

Databricks SQL は、列の型を推測しようとしなくなりました。以前は、 xxxx-yy-dd 形式の列は、識別コードであっても自動的に日付として扱われていました。これで、その列は自動的に日付として扱われなくなりました。必要に応じて、クエリでこれを指定する必要があります。この変更により、以前の動作に依存していた一部の視覚化が機能しなくなる可能性があります。このリリースでは、[ 設定] > [ 下位互換性] オプション >変更して、以前の動作に戻すことができます。今後のリリースでは、この機能を削除する予定です。
クエリエディタにクエリ進行状況インジケータが追加されました。状態の変更が、継続的に更新される進行状況バーに表示されるようになりました。

解決された問題

SQL エディター。 SQL エディターは、クエリタブを切り替えるときに、選択したテキストとスクロール位置を保持するようになりました。
SQL エディター。 SQL エディターでクエリの [実行] をクリックし、クエリの実行中に別のページに移動して戻ると、エディターに正しいクエリの状態が表示されます。別のページでクエリが完了した場合、クエリ結果は SQL エディターページに戻ったときに使用できます。
MySQL 8.0 を外部メタストアとして使用できるようになりました。
DESCRIBE DETAIL Delta テーブルに対するコマンドが java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
INT96タイムスタンプを持つ Parquet ファイルの読み取りが失敗しなくなりました。
ユーザーがクエリに対する実行可能権限を持っていてそれを実行すると、クエリが別のユーザーによって作成された場合、クエリ履歴にはクエリの実行者がユーザーとして表示されます。
グラフのレンダリング時に null 値が無視されるようになり、グラフの使いやすさが向上しました。たとえば、以前は、NULL 値が存在すると、棒グラフの棒は非常に小さく見えました。これで、軸は null 以外の値のみに基づいて設定されます。