メインコンテンツまでスキップ

Databricks SQL リリースノート 2021

2021 年 1 月から 12 月にかけての Databricks SQL の機能強化と更新の概要を次に示します。

2021年12月15日​

  • Databricks SQL は一般公開されています。 これは、データ、 AI、 BI ワークロードを 1 か所に統合できる初のレイクハウスプラットフォームを提供する大きなマイルストーンとなります。 GA では、ミッションクリティカルなワークロードに対して、Databricks の最高レベルの安定性、サポート、エンタープライズ対応を期待できます。 詳細については、 GA のお知らせのブログ をご覧ください。
  • アラートは、クエリとは独立してスケジュールされるようになりました。 新しいアラートを作成してクエリを作成すると、アラートのスケジュールも作成するように求められます。 既存のアラートがある場合は、元のクエリからスケジュールが複製されています。 この変更により、 所有者として実行クエリ と ビューアーとして実行 クエリの両方に対してアラートを設定することもできます。 所有者クエリとして実行 指定されたアラート スケジュールで、クエリ所有者の資格情報を使用して実行されます。 ビューアーがクエリを実行するとき 、アラート作成者の資格情報を使用して指定されたアラート スケジュールを実行します。 「Databricks SQL アラートとは」を参照してください。 と [クエリのスケジュール] をクリックします。
  • SQL エディターとダッシュボードの両方でパラメーターを並べ替えることができるようになりました。
  • ヒートマップのビジュアライゼーションを作成するためのドキュメントが拡張されました。 「ヒートマップオプション」を参照してください。

2021年12月9日​

  • テーブル ビジュアライゼーションを作成するときに、列のフォントの色を静的な値または列のフィールドの値に基づく値の範囲に設定できるようになりました。リテラル値はしきい値と比較されます。 例えば、値が 500000を超える結果を色付けするには、しきい値を > 500,000ではなく > 500000にします。「列の色を条件付きで書式設定する」を参照してください。
  • タブ付き SQL エディタのスキーマブラウザのアイコンで、テーブルとビューを区別できるようになりました。

2021年12月1日​

  • SQL 構成パラメーターをワークスペース・レベルで適用できるようになりました。 これらのパラメーターは、ワークスペース内のすべての既存および新規の SQLエンドポイントに自動的に適用されます。 「SQL パラメーターの構成」を参照してください。

2021年11月18日​

  • これで、サイドバーのショートカットを使用して SQL エディターを開くことができます。 SQL エディターを開くには、[ SQL エディター ] をクリックします。
  • データサイエンス &エンジニアリング クラスターを作成する権限がある場合は、サイドバーの 「作成SQL 」をクリックし、「エンドポイント 」をクリックすることで、 SQL エンドポイントを作成できるようになりました。
  • 管理者は、UI を使用して、クエリ、ダッシュボード、またはアラートの所有権を別のユーザーに譲渡できるようになりました。 見る：
  • クエリの所有権を譲渡する
  • 従来のダッシュボードの所有権を移行する
  • アラートの所有権を譲渡する

2021年11月4日​

  • マップ (コロプレス) ビジュアライゼーションのビジュアライゼーションで、凡例の色のグラデーション ステップの最大数が 11 から 20 に増加しました。デフォルトは、 最小色 と 最大色 を含む 5 つのグラデーション ステップです。
  • タブ SQL エディターで、一括タブ管理がサポートされるようになりました。 タブを右クリックすると、[ 他のユーザーを閉じる ]、[ 左を閉じる ]、[ 右を閉じる ]、および [すべて閉じる ] のオプションが表示されます。 最初または最後のタブを右クリックしても、[ 左を閉じる] または[ 右を閉じる ]のオプションが表示されないことに注意してください。

2021年10月28日​

  • カタログエクスプローラでテーブルを表示する場合、テーブルの操作を簡略化するための 2 つのオプションがあります。
  • [ クエリの作成 ] をクリックして>すべての列を選択し、最初の 1000 行を返すクエリを作成します。
  • [クイック ダッシュボードの作成] をクリックすると>、 設定ページが開き、関心のある列を選択し、ダッシュボードと、それらの列を使用して基本情報を提供し、ダッシュボード レベルのパラメーターやその他の機能を紹介するサポート クエリを作成できます。

2021年10月19日​

  • 新しいキーボードショートカットがタブ付きエディターで使用できるようになりました。

  • 新しいタブを開く:

    • Windows： Cmd+Alt+T
    • Macの場合: Cmd+Option+T

  • 現在のタブを閉じる

    • Windows： Cmd+Alt+W
    • Macの場合: Cmd+Option+W

  • クエリーダイアログを開く

    • Windows： Cmd+Alt+O
    • Macの場合: Cmd+Option+O

2021年9月23日​

  • ダッシュボードとすべてのアップストリーム クエリに対する CAN RUN、CAN EDIT、および CAN MANAGE のアクセス許可がある限り、既存のダッシュボードを複製して新しいダッシュボードを作成できるようになりました。 「レガシーダッシュボードのクローンを作成する」を参照してください。
  • 複数の Y 軸列を持つビジュアライゼーションで GROUP BY を使用できるようになりました。 散布図を参照してください。
  • {{ @@yPercent}} を使用して、正規化されていない積み上げ棒グラフのデータ ラベルを書式設定できるようになりました。棒グラフを参照してください。
  • SAML 認証を使用していて、SAML 認証情報が数分以内に期限切れになる場合、クエリを実行したりダッシュボードを更新したりする前に、事前に再度ログインするように求められます。 これにより、クエリの実行中に有効期限が切れる資格情報による中断を防ぐことができます。

2021年9月20日​

2021年9月16日​

  • クエリ結果では、 BIGINT の結果が 9007199254740991 より大きい場合に文字列としてシリアル化されるようになりました。 これにより、クエリ結果で BIGINT 結果が切り捨てられる可能性がある問題が修正されます。 その他の整数の結果は、引き続き数値としてシリアル化されます。 軸ラベルとツールヒントの数値の書式設定は、文字列としてシリアル化された BIGINT 結果には適用されません。 Databricks SQLのデータ型の詳細については、「BIGINTの種類」を参照してください。

2021年9月7日​

Databricks は、1 週間にわたって変更を展開しています。 ワークスペースは、9 月 7 日以降までこれらの変更が有効になりません。

  • Databricks SQL は現在パブリック プレビュー段階にあり、新しいワークスペースのすべてのユーザーが利用できるようになりました。
注記

パブリック プレビュー期間中 (つまり、2021 年 9 月 7 日から始まる週より前) にワークスペースで Databricks SQL が有効になっていた場合、ユーザーはその日付より前に割り当てられた権利を保持します (それを変更しない限り)。 つまり、パブリック プレビュー期間中に Databricks SQL へのアクセス権がなかったユーザーは、管理者からアクセス権を付与されない限り、現在はアクセスできません。

  • 管理者は、 Databricks SQL アクセス 資格 (API のdatabricks-sql-access ) をユーザーまたはグループに割り当てることで、Databricks SQL にアクセスできるユーザーを管理できます。 デフォルトでは、新しいユーザーにはこの権限があります。

管理者は、ユーザーまたはグループからDatabricks SQL Databricks Mosaic AI ワークスペース アクセス 資格 (workspace-access API内の) を削除することで、ユーザーまたはグループへのアクセスを のみに制限し、データサイエンス & エンジニアリング または にアクセスできないようにすることができます。デフォルトでは、新しいユーザーにはこの権限があります。

important

Databricks にログインしてアクセスするには、 Databricks SQL アクセス または ワークスペース アクセス のエンタイトルメント (あるいはその両方) が必要です。

  • SQLスターター エンドポイント と呼ばれる小さな クラシック エンドポイントは、すべてのワークスペースで事前に構成されているため、ダッシュボード、視覚化、クエリの作成をすぐに開始できます。より複雑なワークロードを処理するには、サイズを簡単に増やす (レイテンシを減らすため) または基になるクラスターの数を増やす (より多くの並列ユーザーを処理するため) ことができます。 コストを管理するために、スターター エンドポイントは 120 分間アイドル状態になると終了するように構成されています。

  • ワークスペースでサーバレス コンピュートを有効にしている場合、サーバレスSQL エンドポイント を有効にすると、 サーバレスSQL Starter Endpoint というサーバレス エンドポイントが自動的に作成され、ダッシュボード、視覚化、クエリに使用できます。サーバレス SQLエンドポイントは、従来の SQLエンドポイントよりも迅速に起動し、アイドル状態が 10 分経過すると自動的に終了します。

  • すぐに使い始められるように、管理者とユーザーが利用できる新しいガイド付きオンボーディング エクスペリエンスが用意されています。 オンボーディングパネルはデフォルトで表示され、サイドバーに残っているオンボーディングタスクの数をいつでも確認できます。 左側のタスク をクリックして、オンボーディングパネルを再度開きます。

  • Databricks SQL の使用をすぐに開始するには、すべてのワークスペースから使用できる SAMPLESという読み取り専用カタログに 2 つの豊富なデータセットがあります。 Databricks SQL について学習すると、これらのスキーマを使用してクエリ、視覚化、ダッシュボードを作成できます。 設定は不要で、すべてのユーザーがこれらのスキーマにアクセスできます。

    • nyctaxi スキーマには、trips テーブルにタクシー乗車データが含まれています。
    • tpchスキーマには、次のテーブルに小売収益とサプライ チェーンのデータが含まれています。
      • customer
      • lineitem
      • nation
      • orders
      • part
      • partsupp
      • region
      • supplier

    オンボーディングパネルで [ Run your first query (最初のクエリを実行 )] をクリックして、 nyctaxi スキーマの新しいクエリを生成します。

  • 構成を必要とせずに Databricks SQL でデータを視覚化する方法を学習するには、 ダッシュボード サンプル ギャラリーからダッシュボードをインポートできます。 これらのダッシュボードは、 SAMPLES カタログのデータセットによって提供されます。

    ダッシュボードのサンプルギャラリーを表示するには、オンボーディングパネルでサンプル ダッシュボードのインポート をクリックします。

  • CREATE FUNCTION コマンドと DROP FUNCTION コマンドを使用して、ネイティブ SQL 関数を作成および削除できるようになりました。

2021年9月2日​

  • ダッシュボードに対する CAN EDIT 権限を持つユーザーは、ダッシュボードの更新スケジュールとサブスクリプション リストを管理できるようになりました。 以前は、CAN MANAGE 権限が必要でした。 詳細については、「 ダッシュボードを自動的に更新する」を参照してください。

  • ダッシュボードのサブスクライバーへのスケジュールされたエクスポートを、スケジュールを変更せずに一時的に停止できるようになりました。 以前は、すべてのサブスクライバーを削除し、スケジュールを無効にしてから再作成する必要がありました。 詳細については、「 スケジュールされたダッシュボードの更新を一時的に停止する」を参照してください。

  • デフォルトでは、ビジュアライゼーションは返された結果の数に基づいて動的にサイズ変更されなくなりましたが、結果の数に関係なく同じ高さが維持されます。 以前の動作に戻り、ビジュアリゼーションのサイズを動的に変更するように構成するには、ダッシュボードのビジュアリゼーションの設定で [パネルの高さを動的にサイズ変更 ] を有効にします。 詳細については、「 テーブル オプション」を参照してください。

  • 同じアカウント内の複数のワークスペースにアクセスできる場合は、 Databricks SQL内からワークスペースを切り替えることができます。 Databricks ワークスペースの左下隅にある [ アカウントアイコン ] をクリックし、ワークスペースを選択して切り替えます。

2021年8月30日​

  • サーバレス SQLエンドポイントは、 SQL クエリの即時コンピュート、最小限の管理、およびコストの最適化を提供します。

    これまで、 SQLエンドポイントの計算は、 AWS アカウントのコンピュートプレーンで行われていました。 サーバレス コンピュートの初期リリースでは、 サーバレス エンドポイントSQLエンドポイント が Databricks SQLに追加され、コンピュート リソースがDatabricks アカウントに移動されます。

    サーバレスSQL ウェアハウスは、独自のDatabricks SQL SQLAWSアカウント ( 現在は ClassicSQL エンドポイント と呼ばれている) に存在する エンドポイントを使用するのと同じように、 クエリと共に使用します。ただし、サーバレス SQLウェアハウスは、通常、Classic SQLエンドポイントに比べて低レイテンシで開始し、管理が容易で、コストが最適化されています。

    サーバレス SQLウェアハウスを作成する前に、管理者が ワークスペースのサーバレス SQLエンドポイント オプションを有効にする必要があります。 有効にすると、新しい SQLエンドポイントはデフォルトによってサーバレスになりますが、必要に応じてサーバレスまたはクラシックとして SQLエンドポイントを引き続き作成できます。

    サーバレス コンピュート アーキテクチャの詳細と、従来のコンピュート プレーンとの比較については、 サーバレス コンピュート planeを参照してください。 サーバレス SQLウェアハウスの設定方法 (Classic エンドポイントを Classic エンドポイント SQLサーバレスに変換する方法など) の詳細については、 サーバレス SQLウェアハウスを有効にするを参照してください。

    サーバレス SQLウェアハウスでサポートされているリージョンの一覧については、「 Databricks クラウドとリージョン」を参照してください。

important

サーバレス コンピュートには、機能を有効にするためにアカウントの所有者またはアカウント管理者が同意する必要がある適用条件が適用されます。

2021年8月12日​

  • スケジュールされたダッシュボードの更新を、 Databricks アカウントに関連付けられていないEメールアドレスに送信できるようになりました。 ダッシュボードを表示しているときに 、[スケジュール済み ] をクリックして、購読している Eメール アドレスのリストを表示または更新します。 Eメール アドレスが Databricks アカウントに関連付けられていない場合は、通知先として設定する必要があります。 詳細については、「 ダッシュボードを自動的に更新する」を参照してください。

  • 管理者は、別のユーザーのクエリの実行中にクエリを終了できるようになりました。 詳細については、「 実行中のクエリを終了する」を参照してください。

2021年8月05日​

2021年7月29日​

  • クエリエディタで複数のタブがサポートされているため、複数のクエリの操作が簡単になりました。 タブ付きエディタを使用するには、「 複数のクエリの編集」を参照してください。

2021年7月8日​

  • ダッシュボードのビジュアライゼーション ウィジェットにタイトルと説明が表示されるようになったため、複数のダッシュボードで使用されるビジュアライゼーションのタイトルと説明をダッシュボード自体に合わせて調整できます。
  • サイドバーが更新され、視認性とナビゲーションが向上しました。
    • ウェアハウス は エンドポイントSQLになり、 履歴 は クエリー履歴 に名前が変更されました。
    • アカウント設定(旧称 「ユーザー 」)はSQL アカウント アイコン アカウント に移動しました。 [アカウント ] を選択すると、Databricks ワークスペースを変更してログアウトできます。
    • ユーザー設定は ユーザー設定アイコン 設定 に移動され、[ 設定 ] と [SQL 管理コンソール ] に分割されました。 SQL Admin Console は、管理者にのみ表示されます。
    • ヘルプ アイコンが ヘルプアイコン ヘルプ に変更されました。

2021年7月1日​

  • 新しいカタログエクスプローラーを使用すると、データベースとテーブルに対する権限を簡単に探索および管理できます。 ユーザーは、スキーマの詳細を表示したり、サンプル データをプレビューしたり、テーブルの詳細とプロパティを表示したりできます。 管理者はデータ・オブジェクトの所有者を表示および変更でき、データ・オブジェクトの所有者は権限を付与および取り消すことができます。 詳細については、「 カタログ エクスプローラとは」を参照してください。
  • 水平グラフの Y 軸が更新され、テーブルと同じ順序が反映されるようになりました。 以前に逆順を選択した場合は、[Y 軸] タブの [逆順 ] トグルを使用して、新しい順序を逆にすることができます。

2021年6月23日​

  • 一時ビューがサポートされるようになりました。

2021年6月17日​

  • Photon, Databricks' 新しいベクトル化された実行エンジンは、新しく作成された SQLエンドポイント (UI と REST APIの両方) に対して デフォルト によってオンになりました。Photonは透過的にスピードアップします

    • Parquet テーブルと Delta テーブルに書き込みます。
    • 多くの SQL クエリ。 制限事項を参照してください。

  • CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS、およびSHOW USERSコマンドを使用して、ユーザーとグループを簡単に管理できます。詳細については、「 セキュリティステートメント 」および 「Show ステートメント」を参照してください。

  • クエリエディタの スキーマブラウザ は、100 を超えるテーブルを持つスキーマでより迅速で高速です。 このようなスキーマでは、スキーマブラウザーはすべての列を自動的にロードしません。テーブルのリストは通常どおり表示されますが、列はテーブルをクリックしたときにのみ読み込まれます。 この変更は、候補を表示するためにこの情報に依存するため、クエリ エディターのクエリ オートコンプリートに影響します。 テーブルを展開してその列を読み込むまで、これらの提案は使用できません。

2021年6月03日​

  • 新しく有効になった Databricks ワークスペースの管理者は、デフォルトで Databricks SQL エンタイトルメントを受け取るようになり、管理コンソールを使用して自分自身に Databricks SQL アクセスエンタイトルメントを付与する必要がなくなりました。
  • Photon は現在パブリックプレビュー段階にあり、新しい SQLエンドポイントに対してデフォルトで有効になっています。
  • マルチクラスターの負荷分散がパブリック プレビューになりました。
  • ダッシュボードやクエリでのコラボレーションを、CAN EDIT 権限を使用して組織の他のメンバーと有効にできるようになりました。 アクセス制御リストを参照してください。

2021年5月26日​

  • SQL アナリティクスは Databricks SQLに名前が変更されました。 この変更により、顧客に対して次のような影響が及びます。

    • Web UI の参照が更新されました。

    • Databricks SQL へのアクセス権を付与する権限の名前が変更されました。

      • UI : Databricks SQLアクセス (以前は アナリティクスアクセスSQL )
      • SCIM API : databricks-sql-access (以前の sql-analytics-access)

      以前の資格を持つユーザー、グループ、サービスプリンシパルは、新しい資格に移行されました。

    • Databricks SQL に関連する 監査ログ イベントの タグが変更されました。

      • Databricks SQL イベントのプレフィックスが databrickssqlになりました。
      • changeSqlAnalyticsAcl が changeDatabricksSqlAclになりました。

  • ダッシュボードの更新

    • ダッシュボードのエクスポートファイル名は、UUIDではなく、ダッシュボードの名前+タイムスタンプに更新されました。

    • 輸出レコードの上限が22kから64kに引き上げられました。

    • ダッシュボードの作成者は、Eメール ダッシュボードのスナップショットを定期的にエクスポートできるようになりました。 ダッシュボード スナップショットは、デフォルト ダッシュボードの状態から取得されるため、視覚化との対話はスナップショットに存在しません。

      • ダッシュボードの所有者は、更新スケジュールを作成し、他のユーザーをサブスクライブして、ダッシュボードが更新されるたびにダッシュボードのEメール スナップショットを取得できます。

      • ダッシュボードの表示権限がある場合は、既存の更新スケジュールをサブスクライブできます。

      ダッシュボードのスナップショットサブスクリプションを参照してください。

    • 述語プッシュダウン式 (StartsWith、 EndsWith、 Contains、 Not(EqualTo())、 DataType) はサポートされていないため、AWS Glue Catalog では無効になっています。

2021年5月13日​

  • Databricks SQL は、列の型を推測しようとしなくなりました。 以前は、 xxxx-yy-dd 形式の列は、識別コードであっても自動的に日付として扱われていました。 これで、その列は自動的に日付として扱われなくなりました。 必要に応じて、クエリでこれを指定する必要があります。 この変更により、以前の動作に依存していた一部の視覚化が機能しなくなる可能性があります。 このリリースでは、[ユーザー設定アイコン 設定] > [ 下位互換性] オプション >変更して、以前の動作に戻すことができます。今後のリリースでは、この機能を削除する予定です。

  • クエリエディタにクエリ進行状況インジケータが追加されました。 状態の変更が、継続的に更新される進行状況バーに表示されるようになりました。

    プログレスバー

解決された問題​

  • SQL エディター。 SQL エディターは、クエリ タブを切り替えるときに、選択したテキストとスクロール位置を保持するようになりました。
  • SQL エディター。 SQL エディターでクエリの [実行] をクリックし、クエリの実行中に別のページに移動して戻ると、エディターに正しいクエリの状態が表示されます。 別のページでクエリが完了した場合、クエリ結果は SQL エディター ページに戻ったときに使用できます。
  • MySQL 8.0 を外部メタストアとして使用できるようになりました。
  • DESCRIBE DETAIL Delta テーブルに対するコマンドが java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
  • INT96タイムスタンプを持つ Parquet ファイルの読み取りが失敗しなくなりました。
  • ユーザーがクエリに対する 実行可能権限を持っていてそれを実行すると、クエリが別のユーザーによって作成された場合、クエリ履歴にはクエリの実行者がユーザーとして表示されます。
  • グラフのレンダリング時に null 値が無視されるようになり、グラフの使いやすさが向上しました。 たとえば、以前は、NULL 値が存在すると、棒グラフの棒は非常に小さく見えました。 これで、軸は null 以外の値のみに基づいて設定されます。
に最終更新