Databricks SQL リリースノート 2021
2021 年 1 月から 12 月にかけての Databricks SQL の機能強化と更新の概要を次に示します。
2021年12月15日
- Databricks SQL は一般公開されています。 これは、データ、 AI、 BI ワークロードを 1 か所に統合できる初のレイクハウスプラットフォームを提供する大きなマイルストーンとなります。 GA では、ミッションクリティカルなワークロードに対して、Databricks の最高レベルの安定性、サポート、エンタープライズ対応を期待できます。 詳細については、 GA のお知らせのブログ をご覧ください。
- アラートは、クエリとは独立してスケジュールされるようになりました。 新しいアラートを作成してクエリを作成すると、アラートのスケジュールも作成するように求められます。 既存のアラートがある場合は、元のクエリからスケジュールが複製されています。 この変更により、 所有者として実行クエリ と ビューアーとして実行 クエリの両方に対してアラートを設定することもできます。 所有者クエリとして実行 指定されたアラート スケジュールで、クエリ所有者の資格情報を使用して実行されます。 ビューアーがクエリを実行するとき 、アラート作成者の資格情報を使用して指定されたアラート スケジュールを実行します。 「Databricks SQL アラートとは」を参照してください。 と [クエリのスケジュール] をクリックします。
- SQL エディターとダッシュボードの両方でパラメーターを並べ替えることができるようになりました。
- ヒートマップのビジュアライゼーションを作成するためのドキュメントが拡張されました。 「ヒートマップオプション」を参照してください。
2021年12月9日
- テーブル ビジュアライゼーションを作成するときに、列のフォントの色を静的な値または列のフィールドの値に基づく値の範囲に設定できるようになりました。リテラル値はしきい値と比較されます。 例えば、値が
500000
を超える結果を色付けするには、しきい値を> 500,000
ではなく> 500000
にします。「列の色を条件付きで書式設定する」を参照してください。 - タブ付き SQL エディタのスキーマブラウザのアイコンで、テーブルとビューを区別できるようになりました。
2021年12月1日
- SQL 構成パラメーターをワークスペース・レベルで適用できるようになりました。 これらのパラメーターは、ワークスペース内のすべての既存および新規の SQLエンドポイントに自動的に適用されます。 「SQL パラメーターの構成」を参照してください。
2021年11月18日
- これで、サイドバーのショートカットを使用して SQL エディターを開くことができます。 SQL エディターを開くには、[ SQL エディター ] をクリックします。
- データサイエンス &エンジニアリング クラスターを作成する権限がある場合は、サイドバーの 「作成SQL 」をクリックし、「エンドポイント 」をクリックすることで、 SQL エンドポイントを作成できるようになりました。
- 管理者は、UI を使用して、クエリ、ダッシュボード、またはアラートの所有権を別のユーザーに譲渡できるようになりました。 見る:
- クエリの所有権を譲渡する
- 従来のダッシュボードの所有権を移行する
- アラートの所有権を譲渡する
2021年11月4日
- マップ (コロプレス) ビジュアライゼーションのビジュアライゼーションで、凡例の色のグラデーション ステップの最大数が 11 から 20 に増加しました。デフォルトは、 最小色 と 最大色 を含む 5 つのグラデーション ステップです。
- タブ SQL エディターで、一括タブ管理がサポートされるようになりました。 タブを右クリックすると、[ 他のユーザーを閉じる ]、[ 左を閉じる ]、[ 右を閉じる ]、および [すべて閉じる ] のオプションが表示されます。 最初または最後のタブを右クリックしても、[ 左を閉じる] または[ 右を閉じる ]のオプションが表示されないことに注意してください。
2021年10月28日
- カタログエクスプローラでテーブルを表示する場合、テーブルの操作を簡略化するための 2 つのオプションがあります。
- [ クエリの作成 ] をクリックして>すべての列を選択し、最初の 1000 行を返すクエリを作成します。
- [クイック ダッシュボードの作成] をクリックすると>、 設定ページが開き、関心のある列を選択し、ダッシュボードと、それらの列を使用して基本情報を提供し、ダッシュボード レベルのパラメーターやその他の機能を紹介するサポート クエリを作成できます。
2021年10月19日
-
新しいキーボードショートカットがタブ付きエディターで使用できるようになりました。
-
新しいタブを開く:
- Windows:
Cmd+Alt+T
- Macの場合:
Cmd+Option+T
- Windows:
-
現在のタブを閉じる
- Windows:
Cmd+Alt+W
- Macの場合:
Cmd+Option+W
- Windows:
-
クエリーダイアログを開く
- Windows:
Cmd+Alt+O
- Macの場合:
Cmd+Option+O
- Windows:
2021年9月23日
- ダッシュボードとすべてのアップストリーム クエリに対する CAN RUN、CAN EDIT、および CAN MANAGE のアクセス許可がある限り、既存のダッシュボードを複製して新しいダッシュボードを作成できるようになりました。 「レガシーダッシュボードのクローンを作成する」を参照してください。
- 複数の Y 軸列を持つビジュアライゼーションで
GROUP BY
を使用できるようになりました。 散布図を参照してください。 {{ @@yPercent}}
を使用して、正規化されていない積み上げ棒グラフのデータ ラベルを書式設定できるようになりました。棒グラフを参照してください。- SAML 認証を使用していて、SAML 認証情報が数分以内に期限切れになる場合、クエリを実行したりダッシュボードを更新したりする前に、事前に再度ログインするように求められます。 これにより、クエリの実行中に有効期限が切れる資格情報による中断を防ぐことができます。
2021年9月20日
- ダッシュボード、クエリ、アラートの所有権を、Permissions REST API を使用して移行できるようになりました。 「クエリ ACL」を参照してください。
2021年9月16日
- クエリ結果では、
BIGINT
の結果が 9007199254740991 より大きい場合に文字列としてシリアル化されるようになりました。 これにより、クエリ結果でBIGINT
結果が切り捨てられる可能性がある問題が修正されます。 その他の整数の結果は、引き続き数値としてシリアル化されます。 軸ラベルとツールヒントの数値の書式設定は、文字列としてシリアル化されたBIGINT
結果には適用されません。 Databricks SQLのデータ型の詳細については、「BIGINT
の種類」を参照してください。
2021年9月7日
Databricks は、1 週間にわたって変更を展開しています。 ワークスペースは、9 月 7 日以降までこれらの変更が有効になりません。
- Databricks SQL は現在パブリック プレビュー段階にあり、新しいワークスペースのすべてのユーザーが利用できるようになりました。
パブリック プレビュー期間中 (つまり、2021 年 9 月 7 日から始まる週より前) にワークスペースで Databricks SQL が有効になっていた場合、ユーザーはその日付より前に割り当てられた権利を保持します (それを変更しない限り)。 つまり、パブリック プレビュー期間中に Databricks SQL へのアクセス権がなかったユーザーは、管理者からアクセス権を付与されない限り、現在はアクセスできません。
- 管理者は、 Databricks SQL アクセス 資格 (API の
databricks-sql-access
) をユーザーまたはグループに割り当てることで、Databricks SQL にアクセスできるユーザーを管理できます。 デフォルトでは、新しいユーザーにはこの権限があります。
管理者は、ユーザーまたはグループからDatabricks SQL Databricks Mosaic AI ワークスペース アクセス 資格 (workspace-access
API内の) を削除することで、ユーザーまたはグループへのアクセスを のみに制限し、データサイエンス & エンジニアリング または にアクセスできないようにすることができます。デフォルトでは、新しいユーザーにはこの権限があります。
Databricks にログインしてアクセスするには、 Databricks SQL アクセス または ワークスペース アクセス のエンタイトルメント (あるいはその両方) が必要です。
- SQLスターター エンドポイント と呼ばれる小さな クラシック エンドポイントは、すべてのワークスペースで事前に構成されているため、ダッシュボード、視覚化、クエリの作成をすぐに開始できます。より複雑なワークロードを処理するには、サイズを簡単に増やす (レイテンシを減らすため) または基になるクラスターの数を増やす (より多くの並列ユーザーを処理するため) ことができます。 コストを管理するために、スターター エンドポイントは 120 分間アイドル状態になると終了するように構成されています。
2021年9月2日
-
ダッシュボードに対する CAN EDIT 権限を持つユーザーは、ダッシュボードの更新スケジュールとサブスクリプション リストを管理できるようになりました。 以前は、CAN MANAGE 権限が必要でした。 詳細については、「 ダッシュボードを自動的に更新する」を参照してください。
-
デフォルトでは、ビジュアライゼーションは返された結果の数に基づいて動的にサイズ変更されなくなりましたが、結果の数に関係なく同じ高さが維持されます。 以前の動作に戻り、ビジュアリゼーションのサイズを動的に変更するように構成するには、ダッシュボードのビジュアリゼーションの設定で [パネルの高さを動的にサイズ変更 ] を有効にします。 詳細については、「 テーブル オプション」を参照してください。
-
同じアカウント内の複数のワークスペースにアクセスできる場合は、 Databricks SQL内からワークスペースを切り替えることができます。 Databricks ワークスペースの左下隅にある [
] をクリックし、ワークスペースを選択して切り替えます。
2021年7月1日
- 新しいカタログエクスプローラーを使用すると、データベースとテーブルに対する権限を簡単に探索および管理できます。 ユーザーは、スキーマの詳細を表示したり、サンプル データをプレビューしたり、テーブルの詳細とプロパティを表示したりできます。 管理者はデータ・オブジェクトの所有者を表示および変更でき、データ・オブジェクトの所有者は権限を付与および取り消すことができます。 詳細については、「 カタログ エクスプローラとは」を参照してください。
- 水平グラフの Y 軸が更新され、テーブルと同じ順序が反映されるようになりました。 以前に逆順を選択した場合は、[Y 軸] タブの [逆順 ] トグルを使用して、新しい順序を逆にすることができます。
2021年6月23日
2021年6月17日
-
Photon, Databricks' 新しいベクトル化された実行エンジンは、新しく作成された SQLエンドポイント (UI と REST APIの両方) に対して デフォルト によってオンになりました。Photonは透過的にスピードアップします
- Parquet テーブルと Delta テーブルに書き込みます。
- 多くの SQL クエリ。 制限事項を参照してください。
-
CREATE GROUP
、DROP GROUP
、ALTER GROUP
、SHOW GROUPS
、およびSHOW USERS
コマンドを使用して、ユーザーとグループを簡単に管理できます。詳細については、「 セキュリティステートメント 」および 「Show ステートメント」を参照してください。 -
クエリエディタの スキーマブラウザ は、100 を超えるテーブルを持つスキーマでより迅速で高速です。 このようなスキーマでは、スキーマブラウザーはすべての列を自動的にロードしません。テーブルのリストは通常どおり表示されますが、列はテーブルをクリックしたときにのみ読み込まれます。 この変更は、候補を表示するためにこの情報に依存するため、クエリ エディターのクエリ オートコンプリートに影響します。 テーブルを展開してその列を読み込むまで、これらの提案は使用できません。
2021年6月03日
- 新しく有効になった Databricks ワークスペースの管理者は、デフォルトで Databricks SQL エンタイトルメントを受け取るようになり、管理コンソールを使用して自分自身に Databricks SQL アクセスエンタイトルメントを付与する必要がなくなりました。
- Photon は現在パブリックプレビュー段階にあり、新しい SQLエンドポイントに対してデフォルトで有効になっています。
- マルチクラスターの負荷分散がパブリック プレビューになりました。
- ダッシュボードやクエリでのコラボレーションを、CAN EDIT 権限を使用して組織の他のメンバーと有効にできるようになりました。 アクセス制御リストを参照してください。
2021年5月26日
-
SQL アナリティクスは Databricks SQLに名前が変更されました。 この変更により、顧客に対して次のような影響が及びます。
-
Web UI の参照が更新されました。
-
Databricks SQL へのアクセス権を付与する権限の名前が変更されました。
- UI : Databricks SQLアクセス (以前は アナリティクスアクセスSQL )
- SCIM API :
databricks-sql-access
(以前のsql-analytics-access
)
以前の資格を持つユーザー、グループ、サービスプリンシパルは、新しい資格に移行されました。
-
Databricks SQL に関連する 監査ログ イベントの タグが変更されました。
- Databricks SQL イベントのプレフィックスが
databrickssql
になりました。 changeSqlAnalyticsAcl
がchangeDatabricksSqlAcl
になりました。
- Databricks SQL イベントのプレフィックスが
-
-
ダッシュボードの更新
2021年5月13日
-
Databricks SQL は、列の型を推測しようとしなくなりました。 以前は、
xxxx-yy-dd
形式の列は、識別コードであっても自動的に日付として扱われていました。 これで、その列は自動的に日付として扱われなくなりました。 必要に応じて、クエリでこれを指定する必要があります。 この変更により、以前の動作に依存していた一部の視覚化が機能しなくなる可能性があります。 このリリースでは、[設定] > [ 下位互換性] オプション >変更して、以前の動作に戻すことができます。今後のリリースでは、この機能を削除する予定です。
-
クエリエディタにクエリ進行状況インジケータが追加されました。 状態の変更が、継続的に更新される進行状況バーに表示されるようになりました。