Databricks SQL リリースノート

この記事では、Databricks SQL の新機能と機能強化、既知の問題と FAQ の一覧を示します。

リリースプロセス

Databricks は、Databricks SQL Web アプリケーション ユーザー インターフェイスの更新を継続的にリリースし、すべてのユーザーが短期間で同じ更新をロールアウトします。

さらに、Databricks は通常、新しい SQLウェアハウス コンピュート バージョンを定期的にリリースします。 2 つのチャンネル が常に利用可能です: プレビューと現在。

注

リリースは段階的に行われます。 Databricks アカウントは、最初のリリース日から 1 週間以上経たないと、新しい SQLウェアハウス バージョンまたは Databricks SQL 機能で更新されない場合があります。

チャンネル

チャンネルでは、 Current SQLwarehouse コンピュート バージョンまたはプレビューバージョンを選択できます。 プレビュー バージョンでは、Databricks SQL 標準になる前に機能を試すことができます。 プレビュー バージョンを利用して、本番運用のクエリとダッシュボードを今後の変更に対してテストします。

通常、プレビュー バージョンは、プレビュー チャンネルにリリースされてから約 2 週間後に現在のチャンネルに昇格されます。 セキュリティ機能、メンテナンスアップデート、バグ修正などの一部の機能は、現在のチャンネルに直接リリースされる場合があります。 Databricks は、プレビュー バージョンを別のスケジュールで現在のチャンネルに昇格させることがあります。 各新しいバージョンは、次のセクションで発表されます。

既存の SQL ウェアハウスをプレビュー チャンネルに切り替える方法については、 「プレビュー チャンネル」を参照してください。 ユーザー インターフェイスの更新セクションに記載されている機能は、リリース ノートの「修正された問題」セクションに記載されている SQLwarehouse コンピュートのバージョンとは独立しています。

利用可能な Databricks SQL バージョン

Current チャンネル: Databricks SQL version 2024.40

  • 2024.40 の機能をご覧ください。

2024年11月13日

レガシーダッシュボード:

  • テンプレート化されたツールヒントに 2 軸グラフと複数フィールド軸グラフの詳細なコンテンツが表示されない問題を解決しました。

2024年11月6日

Databricks SQL ストリーミング テーブルとマテリアライズド ビューに対する人間が読めるスケジュールのサポート

ユーザーは、CRON スケジューリングの人間が判読できる構文を使用して、ストリーミング テーブルとマテリアライズド ビューのスケジュールを開始、作成、および変更できるようになりました。 ALTER MATERIALIZED VIEW、ALTER STREAMING TABLE、CREATE MATERIALIZED VIEW、および CREATE STREAMING TABLEを参照してください。

ストリーミングテーブルでタイムトラベルクエリがサポートされるようになりました

タイムトラベルを使用して、タイムスタンプまたはテーブルバージョン (トランザクションログに記録された) に基づいて以前のテーブルバージョンをクエリできるようになりました。 タイムトラベルクエリを使用する前に、ストリーミングテーブルを更新する必要がある場合があります。 「Delta Lake タイムトラベルとは」を参照してください。

タイムトラベルクエリは、マテリアライズドビューではサポートされていません。

2024年10月31日

ユーザー インターフェイスの更新

新しい SQL エディター (パブリック プレビュー)

  • これで、キーボードショートカットの Command (または Ctrl) + Shift + Enterを使用して、アクティブな SQL クエリを実行できるようになりました。

  • パラメーター入力領域に、テキストが表示ウィンドウの外側に広がるとスクロールバーが表示されるようになりました。

  • クエリ プロファイルの詳細ページが完全に開かない問題を修正しました。

  • クエリの名前を変更するには、タブのタイトルに新しい名前を入力します。

  • [ スケジュール ] ボタンは、以前に保存されたことのないクエリに対して無効になりました。

2024年10月24日

AI/BI ツールのリリースノート

AI/BIダッシュボードとAI/BI genieのリリースノートは、AI/BIリリースノートに移動しました。今後のリリースと更新については、そちらで説明します。

2024年10月17日

通知先が一般公開されました

ワークスペースユーザーが特定のワークフロー(アラート、 Databricks ジョブ、 AI/BI ダッシュボードスケジュールなど)に追加できる通知先を作成および構成して、イベント実行時にEメールまたはWebhookを送信できます。 「通知先を管理する」を参照してください。

2024年10月10日

マテリアライズド ビューとストリーミング テーブルが Databricks SQL で一般公開されました

ストリーミングテーブルは、クラウドストレージとメッセージキューからの増分インジェストを可能にしますが、マテリアライズドビューは、新しいデータが到着すると自動的かつ増分的に更新されるプレコンピュートビューです。 「Databricks SQL でのマテリアライズド ビューの使用」および「Databricks SQL でのストリーミング テーブルを使用したデータの読み込み」を参照してください。

Query 知見

2024年10月3日

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

カタログエクスプローラー

  • AIが生成したコメントがカタログ、スキーマ、ボリューム、モデル、および関数でサポートされるようになり、ユーザーはインラインチャットアシスタントを使用してコメントを編集できるようになりました。

SQL AI 関数vector_search() 関数がパブリック プレビューで利用できるようになりました。vector_search機能を見る

2024年9月26日

2024年9月11日

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

SQLエディタ

名前付きパラメーター マーカー構文を SQL エディターで使用できるようになりました。 名前付きパラメーター マーカー構文は、SQL エディター、ノートブック、AI/BI ダッシュボード全体で使用できます。 「クエリ パラメーターの操作」を参照してください。

クエリとレガシーダッシュボード

SQL クエリとレガシーダッシュボードの場合、削除されたアイテムはリストページに表示されなくなりました。 ワークスペースのごみ箱フォルダーで削除済みアイテムを見つけます。 ワークスペース管理者は、すべてのユーザーのゴミ箱フォルダ内の削除済みアイテムを表示できます。

2024年9月5日

2024.40の変更点

Databricks SQL バージョン 2024.40 には、次の動作の変更、新機能、および改善が含まれています。

行動の変化

  • ビューのデフォルトのスキーマ・バインディング・モードへの変更

    ビューは、通常のキャストルールでスキーマ補正を使用して、基になるクエリのスキーマ変更に適応するようになりました。 これは、ビューを参照するときにセーフキャストを実行できなかった場合にエラーを発生させていた以前のデフォルトの BINDING モードからの変更です。

    CREATE VIEW とキャスト関数を参照してください。

  • 文書化されていない ! 構文を Boolean 式の外部で NOT 代わりに使用することを許可しない

    このリリースでは、ブール式以外の NOT の同義語として ! を使用することは許可されなくなりました。たとえば、次のようなステートメントは、 CREATE ... IF ! EXISTS、 IS !NULL、 ! NULL 列またはフィールドのプロパティ、 ! IN および !BETWEENは、 CREATE ... IF NOT EXISTS、 IS NOT NULL、 NOT NULL 列またはフィールドプロパティ、 NOT IN 、および NOT BETWEENに置き換える必要があります。

    この変更により、一貫性が確保され、SQL 標準に合致し、SQL の移植性が向上します。

    ブール接頭辞演算子! (!is_mgr や !(true AND false)など) は、この変更の影響を受けません。

  • ドキュメント化されていない列定義構文をビューで許可しない

    Databricks では、名前付き列と列コメントを使用した CREATE VIEW がサポートされています。 以前は、列タイプ、 NOT NULL 制約、または DEFAULT の指定が許可されていました。 このリリースでは、この構文は使用できなくなりました。

    この変更により、一貫性が確保され、SQL 標準に準拠し、将来の機能拡張がサポートされます。

  • 無効な列に [ CHECK ] 制約を追加すると、 UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスが返されるようになりました

    より有用なエラー メッセージングを提供するために、Databricks Runtime 15.3 以降では、無効な列名を参照する CHECK 制約を含む ALTER TABLE ADD CONSTRAINT ステートメントがUNRESOLVED_COLUMNを返します。WITH_SUGGESTION エラー クラス。以前は、 INTERNAL_ERROR が返されていました。

新機能と改善点

  • ALTER TABLE を使用した UniForm Iceberg の有効化

    データファイルを書き換えることなく、既存のテーブルで UniForm Iceberg を有効にできるようになりました。 既存のテーブルを変更して有効にするを参照してください。

  • UTF-8 検証関数

    このリリースでは、UTF-8 文字列を検証するための次の関数が導入されています。

    • is_valid_utf8 文字列が有効な UTF-8 文字列であるかどうかを確認しました。

    • make_valid_utf8 は、無効な可能性のある UTF-8 文字列を、置換文字を使用して有効な UTF-8 文字列に変換します

    • validate_utf8 は、入力が有効な UTF-8 文字列でない場合、エラーを発生させます。

    • try_validate_utf8 は、入力が有効な UTF-8 文字列でない場合、 NULL を返します。

  • to_avroおよびfrom_avro機能

    to_avro 関数と from_avro 関数を使用すると、SQL 型と Avro バイナリ データとの間で変換できます。

  • try_url_decode機能

    このリリースでは、URL エンコードされた文字列をデコードする try_url_decode 関数が導入されています。 文字列が正しい形式でない場合、関数はエラーを発生させるのではなく NULL を返します。

  • オプションで、オプティマイザが強制されていない外部キー制約に依存できるようにします

    クエリのパフォーマンスを向上させるために、テーブルを CREATE または ALTER するときに、FOREIGN KEY制約に RELY キーワードを指定できるようになりました。

  • チェック制約テーブル機能の削除のサポート

    replaceWhereを使用した選択的上書きでは、データの削除と新しいデータの挿入を並行して実行するジョブが実行されるようになり、クエリのパフォーマンスとクラスターの使用率が向上しました。

  • 選択的な上書きのための並列化されたジョブの実行

    replaceWhereを使用した選択的上書きでは、データの削除と新しいデータの挿入を並行して実行するジョブが実行されるようになり、クエリのパフォーマンスとクラスターの使用率が向上しました。

  • 選択的上書きによるチェンジデータフィードのパフォーマンスの向上

    チェンジデータフィードを持つテーブルで replaceWhere を使用した選択的上書きは、挿入されたデータに対して個別の変更データファイルを書き込まなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の _change_type 列を使用して、書き込み増幅なしで変更を記録します。

  • COPY INTO コマンドのクエリ待ち時間の改善

    このリリースには、 COPY INTO コマンドのクエリの待ち時間を改善する変更が含まれています。 この機能強化は、 RocksDB 状態ストアによる状態の読み込みを非同期にすることで実装されます。 この変更により、既に取り込まれた多数のファイルを含むクエリなど、大きな状態を持つクエリの開始時間が改善されます。

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

視覚 エフェクト

  • ツールチップの合計が積み上げグラフにのみ表示されるようになりました。

2024年8月22日

視覚 エフェクト

グループ化された構成と複数フィールドの構成では、グラフ要素にカーソルを合わせると、ツールヒントに合計が表示されるようになりました。

2024年8月15日

視覚 エフェクト

ページ サイズを変更した後、テーブル視覚化の行番号が更新されない問題を修正しました。

データディスカバリー

Unity Catalog テーブルでネストされた複雑な列の型を展開および折りたたむ機能がサポートされるようになりました。

2024年8月1日

ビジュアリゼーション:

  • テーブルの並べ替えは、フィルタリングによってデータが変更されたときに保持されるようになりました。

SQL エディター:

  • クエリの最後の行と結果出力の間にパディングを追加することで、読みやすさが向上しました。

2024年7月25日

Databricks REST API :

  • クエリ、アラート、データソース、および権限を管理するためのAPIs変更されました。 レガシーバージョンは、引き続き 6 か月間サポートされます。 この移行期間は、古いバージョンが段階的に廃止される前に、アプリケーションと統合を新しいバージョンに移行するための十分な時間を確保することを目的としています。 最新のDatabricks SQL APIバージョンへの更新を参照してください

2024年7月18日

ユーザー インターフェイスの更新

カタログエクスプローラー:

  • カタログを作成するときに、ワークスペース バインディング、カタログ権限、およびメタデータを設定するための新しいカタログ構成ウィザードが利用できるようになりました。

SQLウェアハウスモニタリング:

2024年7月11日

Databricks SQL バージョン 2024.35 が利用可能

ロールアウト スケジュール: 2024.35 のプレビュー ロールアウト: 7月9日から7月15日まで

2024.35の変更点

ドロップ機能を使用した列マッピングの無効化

DROP FEATUREを使用して、Delta テーブルの列マッピングを無効にし、テーブル プロトコルをダウングレードできるようになりました。 列マッピングの無効化を参照してください。

バリアント型の構文と関数がパブリック プレビューに登場

半構造化データをVARIANTタイプとして操作するための組み込み Apache Spark サポートが、Spark DataFrames および SQL で利用できるようになりました。 「バリアント データのクエリ」を参照してください。

パブリック プレビューでの Delta Lake のバリアント型サポート

VARIANTを使用して、Delta Lake でサポートされるテーブルに半構造化データを保存できるようになりました。 Delta Lake でのバリアントのサポートを参照してください。

ビューにおけるスキーマ進化のさまざまなモードのサポート

CREATE VIEWおよびALTER VIEWでは、スキーマ バインディング モードを設定できるようになり、ビューが基になるオブジェクトのスキーマ変更を処理する方法が強化されました。 この機能により、ビューは、基になるオブジェクトのスキーマの変更を許容または適応できます。 これは、オブジェクト定義の変更に起因するクエリ スキーマの変更に対処します。

一部のウィンドウ機能のパフォーマンスの向上

このリリースには、一部の Spark ウィンドウ関数、具体的にはORDER BY句またはwindow_frameパラメーターを含まない関数のパフォーマンスを向上させる変更が含まれています。 このような場合、システムはクエリを書き換えて集計関数を使用して実行することができます。 この変更により、部分的な集計を使用し、ウィンドウ関数の実行によるオーバーヘッドを回避することで、クエリの実行速度が向上します。 Spark構成 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled はこの最適化を制御し、デフォルトによって true に設定されています。 この最適化をオフにするには、[ spark.databricks.optimizer.replaceWindowsWithAggregates.enabled ] を [ false] に設定します。

try_mod機能のサポートが追加されました

このリリースでは、PySpark try_mod()関数のサポートが追加されました。 この関数は、2 つの数値を除算することによる整数剰余の ANSI SQL 互換計算をサポートします。 divisor 引数が 0 の場合、 try_mod() 関数は例外をスローする代わりに null を返します。 modまたは%の代わりにtry_mod()関数を使用できます。この場合、除数引数が 0 で ANSI SQL が有効な場合に例外がスローされます。

ユーザー インターフェイスの更新

SQL エディター:

インライン アシスタントが SQL エディターで利用できるようになりました。 エディターボックスのアシスタントアイコンをクリックして、入力を切り替えます。 質問またはコメントを英語で入力し、Enter キー (クエリを実行する Shift + Enter キーではありません) を押すと、エディター内で直接、別のビューで応答が生成されます。

プラットフォーム:

通知先用の API が利用可能になりました。 アラート通知とジョブ実行通知の Webhook と電子メールの送信先をプログラムで管理できるようになりました。 通知先を参照してください。

2024年7月4日

Databricks SQL バージョン 2024.30 が利用可能

ロールアウト スケジュール: 2024.30 のプレビュー ロールアウト: 7月9日から7月15日まで

2024.30の変更点

レイクハウスフェデレーションは一般提供 (GA)

次の種類のレイクハウスフェデレーション コネクタが一般提供 (GA) になりました。

  • MySQL

  • PostgreSQL

  • Amazon Redshift

  • Snowflake

  • Microsoft SQL Server

  • Azure Synapse（SQLデータウェアハウス）

  • Databricks

このリリースでは、次の改善も導入されています。

  • 追加のプッシュダウン（文字列、数学、その他の関数）のサポート。

  • さまざまなクエリ図形間でのプッシュダウン成功率が向上しました。

  • 追加のプッシュダウン デバッグ機能:

    • EXPLAIN FORMATTED出力には、プッシュダウンされたクエリ テキストが表示されます。

    • クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーション ノード識別子、および JDBC クエリ実行時間 (詳細モード) が表示されます。 システム生成の横串検索の表示を参照してください。

DESCRIBE HISTORY リキッドクラスタリングを使用するテーブルにクラスタリング列が表示されるようになりました

DESCRIBE HISTORYクエリを実行すると、operationParameters列には、CREATE OR REPLACEおよびOPTIMIZE操作のclusterByフィールドがデフォルトで表示されます。リキッドクラスタリングを使用する Delta テーブルの場合、clusterBy フィールドにはテーブルのクラスタリング列が入力されます。 テーブルがリキッドクラスタリングを使用していない場合、フィールドは空です。

主キーと外部キーのサポートが一般公開されました

Databricks Runtime での主キーと外部キーのサポートは、一般提供されています。 GA リリースには、プライマリ・キーと外部キーを使用するために必要な権限に対する次の変更が含まれています。

  • 外部キーを定義するには、外部キーが参照するプライマリ・キーを持つ表に対する SELECT 権限が必要です。 以前に必要だった主キーを持つテーブルを所有する必要はありません。

  • CASCADE句を使用してプライマリ・キーを削除する場合、プライマリ・キーを参照する外部キーを定義するテーブルに対する権限は必要ありません。以前は、参照元テーブルを所有する必要がありました。

  • 制約を含む表をドロップするには、制約を含まない表をドロップする場合と同じ権限が必要になりました。

テーブルまたはビューで主キーと外部キーを使用する方法については、 CONSTRAINT 句、 ADD CONSTRAINT 句、および DROP CONSTRAINT 句を参照してください。

リキッドクラスタリングはGA

リキッドクラスタリングのサポートは、 Databricks Runtime 15.2 以降を使用して一般提供が開始されました。 「Deltaテーブルにリキッドクラスタリングを使用する」を参照してください。

型の拡大はパブリック プレビュー段階です

Delta Lake を基盤とするテーブルで型の拡大を有効にできるようになりました。 型の拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「タイプ拡幅区間」を参照してください。

SQL マージ構文にスキーマ進化句が追加されました

これで、WITH SCHEMA EVOLUTION 句を SQL merge ステートメントに追加して、操作のスキーマ進化を有効にできるようになりました。 マージのスキーマ進化構文を参照してください。

真空在庫サポート

Delta テーブルで VACUUM コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 OSS Delta のドキュメントを参照してください。

Zstandard 圧縮関数のサポート

zst_compress、zstd_decompress、および try_zstd_decompress 関数を使用して、BINARYデータを圧縮および圧縮解除できるようになりました。

SQL UI のクエリ プランにPhotonWriteStageが正しく表示されるようになりました

SQL UI で表示すると、クエリ プランの write コマンドで PhotonWriteStage が誤って演算子として表示されていました。 このリリースでは、UI が更新され、 PhotonWriteStage がステージとして表示されます。 これは UI の変更であり、クエリの実行方法には影響しません。

ユーザー インターフェイスの更新

APIサポート:

  • REST API を使用して通知先を管理できるようになりました。 通知先を参照してください。

2024年6月27日

Databricks SQL マテリアライズド ビューとストリーミング テーブルの行フィルターと列マスクがパブリック プレビューです

Databricks SQL マテリアライズド ビューとストリーミング テーブルの行フィルターと列マスクは 、パブリック プレビューです。 パブリック プレビュー リリースには、次の変更が含まれています。

  • Databricks SQLマテリアライズドビューまたはストリーミングテーブルに行フィルターと列マスクを追加できます。

    • 行フィルターと列マスクを含むテーブルに、Databricks SQL マテリアライズド ビューまたはストリーミング テーブルを定義できます。

    CREATE MATERIALIZED VIEWおよびCREATE STREAMING TABLEを参照してください。

ユーザー インターフェイスの更新

ビジュアリゼーション:

  • 多数のデータポイントを含む円グラフ、散布図、ヒートマップ チャートにマウスを移動したときにツールヒントを表示する際のインタラクティブ性が向上しました。

「カタログエクスプローラ」(Catalog Explorer):

  • 改良されたカタログ エクスプローラー UI により、Unity Catalog クイック アクセス ビューから最近の アセットを簡単に見つけてお気に入りに追加できるようになりました。ナビゲーションエクスペリエンスも簡素化され、コンピュート、ストレージ、資格情報、接続、 DBFS 、管理の詳細を設定アイコン画面の左上隅にある設定。 Delta Sharing、Clean Rooms、およびExternal Dataに専用のページが追加されました。

2024年6月6日

Databricks SQL マテリアライズド ビューとストリーミング テーブルの修正

Databricks SQL マテリアライズド ビューおよびストリーミング テーブルに対するALTER SCHEDULEクエリが次の REFRESH 操作の後にのみ有効になる問題が修正されました。 これで、 ALTER SCHEDULE クエリがすぐに適用されます。 「マテリアライズド ビューの更新をスケジュールする」を参照してください。

Databricks SQL のマテリアライズド ビューとストリーミング テーブルがパブリック プレビューに

Databricks SQLのマテリアライズド ビューとストリーミング テーブルはパブリック プレビューであり、すべての顧客が利用できます。 パブリック プレビュー リリースには、次の変更が含まれています。

ユーザー インターフェイスの更新

ダッシュボード:

  • アカウントユーザーは公開されたダッシュボードから視覚化データをダウンロードできるようになりました

  • 未公開のダッシュボードは、ダッシュボードの上部近くにある[下書き/公開]ドロップダウンを使用して公開できるようになりました。

  • 名前付き制限が検出されない問題を修正しました。

  • AWS GovCloud のサイドナビゲーションにダッシュボードが表示されるようになりました。

ビジュアリゼーション:

  • ダークモードでのボックス プロットのレンダリングが改善されました。

クエリの発見:

  • SQLウェアハウスに添付されているすべてのデータベースについては、クエリを含むセルの下の[パフォーマンスを表示]をクリックすると、クエリ プロファイルにアクセスできます。 セルに複数のクエリが含まれている場合は、各ステートメントにそれぞれのクエリ プロファイルへのリンクが提供されます。

2024年5月30日

SQLウェアハウスの新しい権限レベル

[監視可能 ] アクセス許可を使用すると、ユーザーは、関連するクエリ履歴やクエリ プロファイルなど、 SQLウェアハウスを監視できます。 [監視可能] アクセス許可がパブリック プレビューになりました。ベクトル検索エンドポイント ACLを参照してください。

ユーザー インターフェイスの更新

ダッシュボードの改善:

  • 画像やデータをダウンロードするためのケバブメニューをダッシュボードウィジェットに追加しました。

  • ユーザーは、従来のダッシュボードのクエリ ベースの 引数 と 引数 リスト 引数 をダッシュボードに移行できます。

2024年5月23日

ユーザー インターフェイスの更新

  • ワークスペース内の複数の項目を選択して移動または削除できるようになりました。 複数のオブジェクトを選択すると、アクションバーが表示され、アイテムを移動または削除するためのオプションが表示されます。 さらに、マウスを使用して複数のアイテムを選択し、それらを新しい場所にドラッグすることもできます。 オブジェクトに対する既存の権限は、一括移動および一括削除操作中も適用されます。

  • カタログ エクスプローラーとスキーマ ブラウザーでUnity Catalogアセットをお気に入りとしてマークできるようになりました。 これには、カタログ、スキーマ、表、モデル、ボリューム、および関数が含まれます。 お気に入りとしてマークした Unity Catalog アセットには、Databricks ホームページから簡単にアクセスできます。

ダッシュボードの更新:

  • 2 軸複合グラフで、右側の軸に棒の凡例が正しく表示され、それに応じて線の凡例が表示されるようになりました。

  • 2 重軸グラフで、棒グラフにラベルが正しく表示されるようになりました。

ビジュアライゼーションの更新:

  • テーブルエディタの if and then の条件付き書式ラベルで、ダークモードがサポートされるようになりました。

  • 冗長 なリンクを開く アイコンが、テーブルエディタのフォーマットツールチップから削除されました。

  • テーブル エディター内のデフォルト フォント カラーのラベルが自動的に揃えられるようになりました。

2024年5月16日

ロールアウト スケジュール

  • 2024.25 のプレビュー ロールアウト: 5月1日竣工

  • 2024.25 の現在のロールアウト: 5月14日から5月21日まで

注

panda Python ライブラリのアップグレード (バージョン 2.0.3) Databricks SQL バージョン 2024.20 で重大な変更が発生しました。 Databricksバージョン 2024.20 を現在のチャンネルにロールアウトしていません。 代わりに、プレビューチャンネルは2025年5月1日に2024.25にアップグレードされました。 現在のチャンネルのロールアウトは、2024.15 から 2024.25 に直接行われます。

2024.25 の変更点

データガバナンス

資格情報パススルーとHive metastoreテーブルアクセスコントロールは非推奨です。

資格情報パススルーとHive metastoreアクセスコントロールは、従来のデータガバナンス モデルです。 Unity Catalog にアップグレードすると、アカウント内の複数のワークスペースにわたるデータ アクセスを一元的に管理および監査できる場所が提供され、データのセキュリティとガバナンスが簡素化されます。 「Unity Catalog とは何ですか?」を参照してください。

資格情報パススルーとHive metastoreアクセスコントロールのサポートは、今後の DBR バージョンでは削除されます。

SQL言語の機能

* (スター) 句が WHERE 句でサポートされるようになりました。

WHERE 句で star (*) 句を使用して、SELECT リストのすべての列を参照できるようになりました。たとえば、 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)です。

Cloudflare R2ストレージのサポートにより、2024.15以降、リージョン間のエグレス料金を回避

Unity Catalog に登録されたデータのクラウドストレージとして Cloudflare R2 を使用できるようになりました。 Cloudflare R2 は主に、データがリージョンをまたぐときにクラウド プロバイダーによって課金されるデータ送信料金を回避したい Delta Sharing のユースケースを対象としています。

Cloudflare R2 ストレージは、AWS S3 でサポートされているすべての Databricks データと AI アセットをサポートします。

「Cloudflare R2 レプリカを使用するか、ストレージを R2 に移行する」および「Cloudflare R2 に接続するためのストレージ資格情報を作成する」を参照してください。

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

データディスカバリーの更新: Hive metastoreからUnity Catalogへの更新ウィザードは、汎用コンピュートまたは SQL ウェアハウスを使用したHive metastoreマネージドテーブルのアップグレードをサポートします。 20 を超えるテーブルを更新すると、変換を実行するSYNCコマンドとALTER TABLEコマンドを含む新しいノートブックが作成されます。

ダッシュボードの更新:

  • 2 軸機能は、面グラフ、横棒グラフ、折れ線グラフ、散布図タイプで使用できるようになりました。

    • 二重軸グラフを有効にすると、軸のタイトルと範囲が第 2 軸にコピーされなくなります。

    • ビジュアリゼーション構成で識別された最後のフィールドは、右側の Y 軸に自動的に再配置されます。

2024年5月9日

SQL エディターの修正:

  • 管理者設定の結果テーブルのクリップボード機能が、SQL エディターの新規結果テーブルに適用されるようになりました。

ダッシュボードの改善:

  • クエリベースの 引数 を使用すると、作成者は、閲覧者がダッシュボード キャンバス上の他の視覚化の 引数 として使用できる選択可能な値のリストを定義できます。 クエリベースのインストールの使用を参照してください。

  • テーブルウィジェットからダウンロードされたファイルの列の順序が保持されるようになりました。

  • テーブルエディタに、列の名前を表示するホバーツールチップが含まれるようになりました。

  • 他の視覚化タイプからヒストグラムに切り替えると、情報のエンコードがより適切に保持されるようになりました。

ダッシュボードの修正:

  • 1 つのグリッドの高さフィルターで不要なオーバーフロー スクロール バーが表示される問題を修正しました。

  • 参照されたデータセット列が削除された公開ダッシュボードで視覚化が誤ってレンダリングされる問題を修正しました。

2024年5月2日

サーバレス SQLウェアハウスのサポートが拡張されました: サーバレス SQLウェアハウスが以下のリージョンで利用できるようになりました。

  • CA-中央-1

  • ap-北東-2

利用可能な地域が限られている機能を見る

ダッシュボードの更新:

  • クエリと視覚化を SQL エディターから新しいダッシュボードにコピーできるようになりました。 SQL エディターから従来のダッシュボードに視覚化を追加することもできます。 「 ダッシュボードの編集、ダウンロード、またはダッシュボードへの追加」を参照してください。

  • ダッシュボードは、最初の読み込み時間を最適化するために、24時間の結果キャッシュを維持するようになりました。 データセットの最適化とキャッシュを参照してください。

  • カテゴリ X と定量 Y を含む棒グラフが、Databricks Assistant の応答で並べ替えられるようになりました。

  • 正確な移行を確実にするために、従来のヒストグラム COUNT (*) の移行の問題を修正しました。

  • フィルターウィジェットに数値型と日付型を混在させる機能を実装しました。

  • グラフを作成するときに、Databricks Assistant は入力時に関連する列を自動的に提案するようになりました。

ビジュアライゼーションの更新:

  • ユーザーが選択した表の色が、従来のグラフのライトモードとダークモードをまたいで保持されるようになりました。

  • データ切り捨てロジックが改善され、コンボ チャート、円グラフ、ヒートマップ チャート、ヒストグラム チャートのパフォーマンスが向上しました。

  • 目盛りは、基本グラフの定量的軸の上部に常に表示されるようになりました。

2024年4月23日

UI の更新:

  • UI のすべての共有ダイアログで、 All Usersグループの名前がAll Workspace Usersに変更されました。 新しい名前は、ワークスペースに割り当てられたユーザーを常に含めるグループの範囲をより正確に反映します。 この名前変更では、グループ メンバーシップには変更は加えられません。

ダッシュボードの改善:

  • ダッシュボードの SQLwarehouse が起動すると、待機時間を説明するダイアログが表示されます。

  • キャンバス タブとデータタブを切り替えるときに、スクロール位置は保持されます。

  • レガシーダッシュボードを複製してLakeviewダッシュボードを作成すると、一部のパラメーター変換がサポートされるようになりました。 「 レガシ パラメーターの調整」を参照してください。

  • 日付と日時の引数では、 Today 、 Tomorrow 、 7 days agoなどの相対日付がサポートされるようになりました。

  • 数値範囲スライダーは、ダッシュボードにフィルターとして追加できます。

  • ヒストグラムに非集計データを表示できるようになりました。

  • 散布図はサイズエンコーディングをサポートするようになりました。

ダッシュボードの修正:

  • テンポラルカラーエンコーディングで、カラー割り当てを正しく変更できるようになりました。

ビジュアライゼーションの更新:

  • カスタムツールトップの書式が、多軸グラフで正しく機能するようになりました。

  • ユーザーが過去 14 日間にトグルを変更していない場合、新しいグラフのプレビュー タグは削除されます。

2024年4月18日

Lakeviewダッシュボードは一般公開されています

Lakeview ダッシュボードがデフォルトのダッシュボード ツールになりました。 UI では ダッシュボード に名前が変更されました。 Databricks SQL ダッシュボードは、レガシー ダッシュボードと呼ばれるようになりました。 関連する API ツールの名前は変更されていません。

  • ダッシュボードの改善:

    • Lakeview ダッシュボードでは監査ログが利用できます。 「 ダッシュボードのイベント」を参照してください。

    • ダッシュボードからダウンロードされたデータが適用されます。

    • 最初にデータセットを追加しなくても、Databricks Assistant は[データ]タブで有効になります。

    • 複数の Y フィールドを持つ積み上げバー チャートでは、Y 軸の値の合計に基づいて X 軸を並べ替えることができます。

    • 可視化軸メニューで Linear(線形 )スケール関数と Log(Symmetric) スケール機能を切り替えます。

    • フィルター ウィジェットのデフォルト サイズがよりコンパクトになりました。

    • テキスト入力フィルターウィジェットの初期読み込み時間が短縮されました。

    • レガシーダッシュボードから移行する際のチャートの自動変換が改善されました。

  • ダッシュボードの修正:

    • 表示制限設定の警告は、ダッシュボードが他のユーザーと共有されている場合には表示されません。

    • データタブの SQL エディターのエラー メッセージでダーク モードが有効になりました。

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

改善点:

  • 積み上げグラフのツールチップに、デフォルトで積み上げ値とパーセンテージが表示されるようになりました。

  • 複数軸グラフのツールチップで、ホバーされた項目が強調表示されるようになりました。

  • Databricks SQL のテーブル視覚化では、SQL エディターで編集するときに、新しいクエリ結果のデータ型が適応されるようになりました。

  • カタログ エクスプローラーのクエリ履歴テーブルには、クエリ ソース属性のツリー ビューが表示されます。 これを使用して、クエリ ステートメントの実行をトリガーしたエンティティを確認できます。

2024年4月11日

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

改善点:

  • Databricks SQL およびノートブックで視覚化を作成するときに、パーセンテージでグループ化できるようになりました。

  • 新しいグラフ (パブリック プレビュー) では、軸に平行な直線をクリックしてドラッグすることで、1 つの軸に沿ってズームインできます。

  • Unity Catalog 共有クラスターの許可リストUI が一般提供されました。 カタログエクスプローラのメタストア詳細ページからアクセスできます。 「 許可リストに項目を追加する方法」を参照してください。

  • 外部場所を作成および編集するためのフォームがフルページとして開きます。 これには、ストレージ資格情報を含めるオプションが含まれています。

修正内容:

  • ヒストグラムチャートで、負の値が誤って正としてマークされる問題を修正しました。

2024年4月4日

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

改善点:

  • Lakeview ダッシュボードのヒストグラム チャートが改善されました。

    • ラベルのサポートが追加されました。

    • 異なるフィールド間で切り替えてもビンの設定が保持されるようになりました。

  • ダッシュボード一覧ページのサンプル ギャラリーで、Lakeview ダッシュボードが作成されるようになりました。 「チュートリアル: サンプル ダッシュボードの使用」を参照してください。

  • Lakeview ダッシュボード上のウィジェットの境界を右クリックすると、コンテキスト メニューが開きます。

  • 公開された Lakeview ダッシュボードを表示するワークスペース ユーザーのために、左側のナビゲーション バーは保持されます。

  • フィルターの選択は、公開済みの Lakeview ダッシュボードとドラフトの Lakeview ダッシュボード間を移動するときに保持されます。

  • ドラフト Lakeview ダッシュボードの[データ]タブからクエリを編集するときに、SQL エディターに列名を挿入できるようになりました。

  • Lakeview ダッシュボードを置き換えると、既存のダッシュボード名が維持され、内容が置き換えられます。

  • ヒートマップと他のグラフタイプの間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。

修正内容:

  • カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。

  • 一部のビジュアライゼーションで [PNG としてダウンロード ] ボタンが表示されない問題を解決しました。

  • 以前は数千の区切り文字が欠落していた負の長整数の書式設定を修正しました。

  • 折れ線グラフのラベルにカーソルを合わせたときのホバー線の配置が正しくない問題を修正しました。

2024年3月28日

Databricks SQL バージョン 2024.15 が利用可能になりました

ロールアウトスケジュール

  • 2024.15 のプレビュー ロールアウト: 2月14日から3月4日まで

  • 2024.15 の現在のロールアウト: 3月25日から4月8日まで

2024.15 の変更点

Delta更新

  • Delta UniForm が一般提供されました: UniForm が一般提供され、IcebergCompatV2 テーブル機能を使用します。 既存のテーブルで UniForm を有効にしたりアップグレードしたりできるようになりました。 「Iceberg クライアントで Delta テーブルを読み取るには UniForm を使用する」を参照してください。

  • Delta テーブルのデータ スキップ統計を再計算: データ スキップに使用される列を変更した後、Delta ログに保存されている統計を再計算できるようになりました。 Delta統計列の指定 」を参照してください。

SQL言語のアップデート

  • SQL セッションで一時変数を宣言する:このリリースでは、セッションで一時変数を宣言し、それを設定してクエリで参照する機能が導入されました。 「 変数」を参照してください。

  • ネイティブ XML ファイル形式のサポート (パブリック プレビュー): ネイティブ XML ファイル形式のサポートがパブリック プレビューになりました。 XML ファイル形式のサポートにより、バッチ処理またはストリーミング用の XML データの取り込み、クエリ、および解析が可能になります。 スキーマとデータ型を自動的に推論および進化させることができ、 from_xmlなどの SQL 式をサポートし、XML ドキュメントを生成できます。 外部の jar は必要なく、Auto Loader、 read_files 、 COPY INTO 、Delta Live Tables とシームレスに連携します。 「XML ファイルの読み取りと書き込み」を参照してください。

  • クラウド Fetch が無意識によって有効になりました:バケットのバージョニングが有効になっているAWSワークスペースで、クラウド Fetch がデフォルトで有効になりました。 バケットのバージョン管理が有効になっている場合、Databricks では、アップロードされたクエリ結果の古いバージョンを自動的に削除するライフサイクル ポリシーを設定することをお勧めします。 「ODBC でのクラウドフェッチ(ODBC)」および「JDBC でのクラウドフェッチ(JDBC)」を参照してください。

Apache Spark SQL の更新

Databricks SQL 2024.15 には Apache Spark 3.5.0 が含まれています。 SQLの追加のバグ修正と改善点は、 Databricks Runtime 14.3 リリース ノートに記載されています。 完全なリストについては、 Apache Sparkを参照し、 [SQL]タグを探してください。

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

  • カタログ エクスプローラーのエンティティ ページにある新しい概要タブには、ファイルサイズ、データ ソース、所有者、テーブル スキーマ、コメントなどの重要なメタデータが表示されます。

  • Lakeview ダッシュボードの更新:

    • Lakeview ダッシュボードでパラメーターがサポートされるようになりました。 作成者は、[ データ ] タブからデータセット クエリにパラメーターを追加し、単一値セレクターと日付ピッカーを使用してキャンバスにパラメーターを設定できます。 「ダッシュボード パラメーターの操作」を参照してください。

    • Lakeview ダッシュボードがワークスペース権限 API でサポートされるようになりました。 リファレンスの PATCH /api/ワークスペース/ワークスペース/updatepermissions をRESTAPI 参照してください。

    • キャンバス上のコントロールウィジェットの名前が「フィルターウィジェット」に変更されました。

    • 複合グラフでは、X 軸に細分化されたフィールドを使用できなくなりました。

    • [共有] ダイアログの[リンクをコピー]ボタンに、URL に保存された問題が含まれるようになりました。

    • 公開されたダッシュボードのウィジェットにカーソルを合わせたときに境界線が表示されなくなりました。

    • Databricks Assistant および Download PNG ボタンがチャートのビジュアルと重なる問題を解決しました。

  • ヒートマップと他のグラフタイプの間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。

  • カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。

2024年3月21日

  • Unity Catalogモデル リネージは現在パブリック プレビュー段階にあります。

カタログ エクスプローラーのテーブル ビューに、主要なメタデータを説明する[概要]タブが追加されました。

  • SQLウェアハウス for ノートブック (一般提供開始) を使用すると、ノートブックの豊富なコラボレーション オーサリング環境で、 SQL ワークロードにフルマネージド、インスタント、スケーラブルなコンピュートを活用できます。 「SQLウェアハウスでノートブックを使用する」を参照してください。

次の修正と改善は Lakeview ダッシュボードに適用されます。

  • Lakeview の API サポートが拡張され、ダッシュボードを作成、取得、更新、および破棄する機能が追加されました。 REST API リファレンスのLakeviewを参照してください。

  • [データ]タブにカタログブラウザの更新ボタンを追加しました。

  • Lakeview ダッシュボードは、ワークスペース サイドバーの[新規]メニューの[ダッシュボード]の前に表示されるようになりました。 ダッシュボードのリスト ページでは、 [Lakeview ダッシュボード]タブが[ダッシュボード]タブの左側に表示されます。

  • Lakeview の Databricks Assistant エクスペリエンスが更新され、入力ボックスと提案が追加され、発見しやすさが向上し、ユーザーが提示できるプロンプトを理解しやすくなりました。

  • Lakeview ビジュアライゼーションは中央値集計をサポートするようになりました。

  • Lakeview ダッシュボード視覚化エディターのカラー ピッカーを更新し、テーブル作成時のユーザー エクスペリエンスをより合理化しました。

  • 円グラフの移行が改善され、角度または色の定義を含むシナリオのみがサポートされるようになりました。

  • count という名前のグラフでグループ化できないバグを修正しました。グラフを count という名前のフィールドでグループ化できるようになりました。

  • 棒グラフの場合、ユーザーが選択した構成に適用できない場合、グループおよびスタックのレイアウト コントロールが非表示になりました。

2024年3月14日

Lakeview ダッシュボードの場合:

  • ヒストグラムでカスタムのカテゴリ色がサポートされるようになりました。

    • ヒートマップで定量的なスケールがサポートされるようになりました。

    • タイトルと説明は、コンボ チャートを含むビジュアリゼーション タイプを切り替えるときに保持されます。

    • ドラフト ダッシュボード ウィジェットを右クリックして、そのウィジェットに関連付けられた基になるデータセットを開くことができるようになりました。 データセットが「データ」タブで開きます。

  • 新しいグラフでは、数値列の null 値にエイリアスとカスタム色が適用されるようになりました。

  • 新しいグラフでは、目盛りがレンダリングされ、Y 軸の上部が表示されるようになりました。

2024年3月7日

  • カタログ エクスプローラーでテーブルを表示する場合、 [作成]ボタンには、Databricks SQL ダッシュボードではなく Lakeview ダッシュボードを作成するオプションが含まれています。

  • Lakeview ダッシュボードでヒストグラムが利用できるようになりました。 ヒストグラムは、数値フィールドの分布を視覚化するためによく使用されます。

  • Databricks SQL ダッシュボードを複製して Lakeview ダッシュボードを作成する場合、データセット変換の問題が Lakeview ダッシュボードの新しいウィジェットにエラーとして表示されるようになりました。

  • カラー グラデーションは、Lakeview ダッシュボード上の視覚化に数値フィールドが使用されている場合に使用できます。

  • Color by フィールドが指定されている場合、Lakeview ダッシュボード視覚化エディターでカラー グラデーションが公開されるようになりました。

  • 閲覧者にドラフト Lakeview ダッシュボードの編集権限がない場合、ビジュアライゼーションに関連付けられたタイトルと説明が編集可能に表示されなくなりました。

  • 系列が 100 を超えるグラフのツールヒントにすべての系列が誤って表示される問題を修正しました。 これで、フォーカスされた系列のみが表示されます。

  • パフォーマンスの最適化により、SQL エディターでの入力遅延が 30% 削減されました。

  • SQL エディターでクエリを管理する場合、クエリをゴミ箱に移動すると、タブが自動的に閉じます。

  • SQL エディターでサイド パネルの幅を調整するときにテキストが誤って選択される問題を修正しました。

2024年2月29日

  • サーバーレス SQLウェアハウスのサポートが次のリージョンに追加されました。

    • AP-南-1

    • AP-南東-1

    • AP-北東-1

    • sa-east-1 (サ イースト 1)

    • eu-west-3 (ヨーロッパ西部 3)

    サポートされているリージョンの完全なリストについては、 「Databricks のクラウドとリージョン」を参照してください。

  • カタログエクスプローラーのスキーマブラウザに、列の主キー制約と外部キー制約が表示されるようになりました。

  • カタログ エクスプローラーの [リネージ] タブに表示される保存期間が 1 年に延長されました。

  • ノートブック内の新しいチャートのツールチップが、常に視覚化境界内にレンダリングされるようになりました。

  • REST APIを使用してLakeviewダッシュボードをプログラムで管理する方法を学びます。 「ワークスペース を使用したダッシュボードの管理APIs 」を参照してください 。

  • Lakeview ダッシュボードはヒストグラムをサポートするようになりました。

  • Lakeview ダッシュボードでの共有と公開が改善されました。

    • 共有および公開ダイアログが改善され、すべてのアカウント ユーザーと安全かつ簡単に共有できるようになりました。

    • ワークスペース ブラウザーから開かれたダッシュボードには、公開されたダッシュボードが存在する場合、それが表示されます。 閲覧者は、公開元、時間、資格情報など、最新の公開バージョンの詳細も確認できるようになりました。

    • 編集者は、Lakeview ダッシュボード UI の新しいドロップダウン スイッチャーを使用して、ドラフト バージョンと公開バージョンの間をすばやく移動できます。

2024年2月22日

  • カタログ エクスプローラーのテーブル ビューの[サンプル データ]タブが改善され、列の並べ替え、選択したデータのクリップボードへのコピー、および行番号の表示が可能になりました。 JSON オブジェクト、日付、数値、NULL 値などの特別な値をより適切に表示できるようになりました。

  • Lakeview ダッシュボードは、ダッシュボードの定期的な PDF スナップショットをワークスペース ユーザーと通知先に送信することをサポートするようになりました。 「スケジュールとサブスクリプション」を参照してください。

  • Lakeview ドロップダウン ピッカーの視覚化オプションのリストがアルファベット順に並べ替えられるようになりました。

  • Databricks SQL ダッシュボードを Lakeview ダッシュボードにコピーするときに、変換できないウィジェットには、エラー メッセージの代わりに視覚化構成ピッカーが表示されるようになりました。

2024年2月15日

  • SELECT action AS 'action::filter'などのコードベースのクエリ フィルターのドキュメントは削除されました。Databricks では、クエリを更新してこのパターンを削除することをお勧めします。

  • Lakeview ダッシュボードの場合、角度フィールドが指定されていない場合、円グラフに同じサイズのスライスが表示されるようになりました。

  • Lakeview は、棒グラフと折れ線グラフを組み合わせて同じグラフに 2 つの異なる値を表示するコンボ グラフをサポートするようになりました。

  • 色の濃さを使用して 2 つの離散変数間の相関の大きさを示すヒートマップ チャートが Lakeview で利用できるようになりました。

2024年2月8日

  • 権限を持たない Lakeview ダッシュボードへのリンクを開いたときにアクセスをリクエストできるようになりました。

  • Lakeview ダッシュボード フィルターには、明示的な[すべて]および[なし]オプションが追加されました。 作成者は、単一選択フィルターで [すべて] オプションを非表示にすることを選択できます。

  • Lakeview ダッシュボード チャートの軸の最小値と最大値を設定できるようになりました。

2024年2月1日

Databricks SQL バージョン 2024.10 が利用可能

ロールアウトスケジュール

  • 2024.10 のプレビュー ロールアウト: 2024年1月30日から2024年2月5日まで

  • 2024.10 の現在のロールアウト: 2023年2月13日から2024年2月20日まで

2024.10 の変更点

  • DML コマンドでの破損したファイルの処理を修正しました。DMLコマンドDELETE 、 UPDATE 、およびMERGE INTO読み取りオプションignoreCorruptFilesおよびignoreMissingFilesを考慮しなくなりました。 テーブル内で読み取り不可能なファイルが見つかった場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。

  • 行レベルの同時実行性は一般提供されており、デフォルトでオンになっています。行レベルの同時実行性は、行レベルでの変更を検出することにより、行書き込み操作間の競合を軽減します。 行レベルの同時実行は、パーティション分割のないテーブル (リキッドフラリングのあるテーブルを含む) でのみサポートされます。 行レベルの同時実行は、削除が有効になっているDeltaテーブルではデフォルトで有効になります。 「行レベルの同時実行性との書き込みの競合」を参照してください。

  • Unity Catalog外部テーブルの浅いクローン (パブリック プレビュー): Unity Catalogの外部テーブルで浅いクローンを使用できるようになりました。 Unity Catalogテーブルの浅いクローン」を参照してください。

  • マルチスレッド統計収集の高速化: 統計の収集は、 Iceberg テーブルや Parquet テーブルからCONVERT TO DELTAまたはクローニングを実行するときに、小さなクラスターで最大 10 倍高速になります。 「 Delta Lake への変換 」および「 Parquet テーブルと Iceberg テーブルを Delta Lake に段階的にクローンする」を参照してください。

  • Deltaファイルの DeltaSource のプッシュダウン フィルター:使用率を向上させるために、 Deltaテーブルのストリーミング クエリのパーティション フィルターが、レート制限の前にDeltaにプッシュダウンされるようになりました。

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

  • メニュー オプション [ Lakeview ダッシュボードに複製] が Databricks SQL ダッシュボード UI に追加されました。 このツールを使用して、既存の Databricks SQL ダッシュボードと同じクエリと視覚化を含む新しい Lakeview ダッシュボードを作成できます。 「レガシーダッシュボードをAI/BIダッシュボードにクローニングする」を参照してください。

  • Lakeview ダッシュボードの棒グラフは、100% に正規化する積み上げ棒をサポートしています。

  • 公開された Lakeview ダッシュボードをズームインすると、間違ったズーム間隔に焦点が当てられる問題を修正しました。

2024年1月24日

  • Lakeviewダッシュボードキャンバスは、ウィジェットの配置を自動的に調整して、可能な場合は行間の空の垂直方向の空白を削除します。

  • Lakeviewダッシュボードの視覚化でのタイトルと説明テキストの間の空白を減らしました。

2024年1月18日

  • ビジュアライゼーションで、X 軸に 1 つの日付を示す棒グラフが非常に細い棒になるレンダリングの問題を修正しました。 新しいグラフの視覚化は、期待どおりにレンダリングされます。

  • Lakeviewダッシュボードのリストページには、デフォルトでダッシュボードが表示されます。 そのページのフィルターを使用して、他のワークスペースユーザーが所有するLakeviewダッシュボードにアクセスできます。

2024年1月11日

  • Databricks SQL クエリとダッシュボード APIs では、プログラムによる [ 実行 ] ロール設定の変更がサポートされています。

2024年1月4日

2023年12月21日

  • Lakeview カウンター ビジュアライゼーション タイプでは、メインの [値] フィールドと [ターゲット] フィールドのBigInt値を比較すると色が表示されます。

  • Lakeviewでテーブルの列の表示を切り替えるときに表示されるツールチップが改善されました。 これらは期待どおりに動作し、永続化しません。

  • ユーザーは Databricks Assistant を使用して Lakeview でビジュアライゼーションを作成できるようになりました。 「Databricks Assistant を使用してビジュアライゼーションを作成する」を参照してください。

  • 新しいチャートの場合、ヒートマップタイプのチャートは reverseY 設定を尊重します。

  • 多数の視覚化を含むノートブックのレンダリング パフォーマンスの問題を修正しました。

2023年12月14日

  • 手動ページの更新なしでLakeviewダッシュボードがLakeviewリストページに表示されないバグを修正しました。

  • Esc キーを使用して、キャンバスに配置するときに Lakeview ウィジェットの作成をキャンセルします。

  • カタログ エクスプローラーでは、 Mosaic AI Vector Searchパブリック プレビューの一部として、UI に検索インデックスが表示されるようになりました。

2023年12月7日

ユーザー インターフェイスの更新

  • Lakeviewダッシュボードをお気に入りに追加して、すばやくアクセスできます。

  • キーボードショートカットのコピーと貼り付けは、Lakeviewダッシュボードの作成中にサポートされます。 また、削除キーは選択したウィジェットを削除します。

  • Lakeviewウィジェットのタイトルと説明が強化され、ロード中にテキストがクリッピングされるのを防ぎます。

  • 大きな整数値が誤って浮動小数点数として表示されるビジュアライゼーションの書式設定の問題を修正しました。

  • Databricks SQL ダッシュボードで、展開されたグラフ ビューに空白のグラフが表示されることがある問題を修正しました。

  • X 軸と Y 軸の両方に量的フィールドがある棒グラフでは、データ ラベルが読みやすく表示されます。

  • SQL エディターの問題が修正され、タイトルに単語streamが含まれるテーブルが予約されたキーワードと競合しなくなりました。 これらのテーブルは、スキーマ ブラウザーに期待どおりに表示され、エラーは強調表示されません。

  • クエリーの履歴ページで、列のサイズ変更と列の選択がサポートされるようになりました。

  • クエリーの履歴ページでは、「クエリー source 」と「 クエリー source type」の 2 つの新しい列がサポートされています。

  • Tableau や Power BI などの BI オプションは、対象ページのカタログ エクスプローラーで簡単に見つけることができます。

2023年11月30日

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

  • Lakeviewの円グラフは、カスタマイズされた色の割り当てを持つことができるようになりました。

  • Lakeview での視覚化変換は、互換性のあるフィールド タイプを切り替えるときに保持されるようになりました。

  • Lakeview 円チャートの角度チャネルのタイトル設定を追加しました。

  • Lakeview データセットのドロップダウンが検索可能になり、ナビゲーションが簡単になりました。

  • Lakeviewは、10,000未満の値の完全な数値表示をサポートし、略語を排除します。

  • Lakeviewのカテゴリ日付フィールドを色分けする機能が追加されました。

  • Lakeviewユーザーは、チャートの凡例をカーソルで強調表示して、値をコピーして貼り付けることができるようになりました。

  • Lakeviewの円グラフにラベルトグルオプションが追加されました。

  • すべての Lakeview ビジュアライゼーションでデフォルトの青色を標準化しました。

  • 変換の Lakeview 列アイコンが、使用されている変換方法と一貫して一致するようになりました。

  • Lakeview の編集パネルのコントロールが自動折り返され、読みやすさが向上しました。

  • Lakeviewビジュアライゼーション用の強化されたカラーエディターをリリースしました。

  • Lakeview のテーブル フォント条件のコントロールがラップされ、読みやすさが向上しました。

  • 新しいグラフのラベルのダークモードの互換性が向上しました。

  • 新しいグラフでは、棒グラフ内のラベル表示が一貫して優先されるようになりました。

  • 一部の右クリックメニューアクションがSQLエディターで機能していなかったバグを修正しました。

2023年11月16日

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

  • Lakeviewウィジェットは、サイズ変更トリガーゾーンが大きくなったため、サイズ変更が簡単になりました。

  • ワークスペース管理者は、Lakeview ダッシュボードの所有者を変更できるようになりました。 Lakeview ダッシュボードの編集モードから:

    • [共有] をクリックします

    • クリック 歯車アイコン

    • [新しい所有者を割り当てる] をクリックします

  • ユーザーは、Lakeviewでラベルのオンとオフを切り替えることができます。

ビジュアリゼーション:

  • 新しいグラフ ラベルでは、可能な場合はバー内に配置することが強く推奨されるようになりました。

  • 新しいグラフ ラベルが、ラベル全体を表示するのに十分な幅の積み上げ棒グラフに正しく表示されるようになりました。

  • 棒グラフ内のラベルの色がより一貫性のあるものになりました。

2023年11月9日

2023.50 の変更点:

ハイライト：

SQL 言語の更新: 以下の組み込み関数が追加されました: - 'from_xml': XML STRING を STRUCTに解析します。 - ' schema_of_xml': XML STRINGからスキーマを派生させます。- ' session_user': ログインしているユーザーを返します。 - 'try_reflect': Java メソッドが失敗した場合に、例外の代わりに NULL を返します。

以下の組み込み関数が拡張されました。

  • 関数呼び出し。 関数へのテーブル引数によるパーティション分割と順序付けのサポート: PARTITION BY 句と ORDER BY 句を使用して、テーブル引数を関数に渡す方法を制御できるようになりました。

  • 'mode': 決定論的な結果を強制するオプションのパラメーターのサポート。

  • 'to_char': DATE、 TIMESTAMP、および BINARYを新たにサポートしました。

  • 'to_varchar': DATE、 TIMESTAMP、および BINARYを新たにサポートしました。

  • 'array_insert()' は負のインデックスに対して 1 から始まります: array_insert 関数は、正のインデックスと負のインデックスの両方で 1 から始まります。 インデックス -1 の入力配列の末尾に新しい要素が挿入されるようになりました。

ユーザー インターフェイスの更新

このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。

視覚 エフェクト：

  • 新しいグラフのツールヒントには、カーディナリティの高いグラフのホバーされた項目のみが表示されます。

  • 新しいグラフでは、2 重軸グラフが自動的に 0 に揃えられます。

  • チャートの回転ラベルと軸テキストの角度方向が -90 度から 90 度に変更されました。

  • チャートは、ラベルの幅を使用して回転を決定するようになりました。

Lakeviewダッシュボード:

  • 修理する： Lakeview ダッシュボードのテーブル行は、少数の行のみが返される場合に垂直パディングを追加しなくなりました。

  • 新しい Lakeview ダッシュボード ウィジェットのクローン作成では、キャンバスに十分なスペースがある場合、最初に元のウィジェットの右側にクローンを配置しようとします。 使用可能なスペースが不足している場合、クローンは元のクローンの下に配置されます。

  • [共有]ダイアログからLakeviewダッシュボードの所有者を再割り当てできるようになりました。

SQL エディター: オートコンプリートの積極性が弱まり、文末で自動的に閉じるようになりました

2023年11月2日

改善：

以下は、Lakeviewダッシュボードのリネージの改善点です。

  • テーブル、ビュー、およびマテリアライズドビューに個別のアイコンを追加しました。

  • アップストリームデータソースが多数ある場合の垂直スクロールのサポートが追加されました。

  • ビューアにアップストリームオブジェクトに対する権限がない場合のエラーメッセージを改善しました。

  • サンプルデータテーブルと HMS データに関するメッセージが明確になりました。

  • アップストリーム データソースにキー値タグを追加しました。

修理する：

  • Boolean値を持つ系列の名前を変更した後にレンダリングが妨げられる新しいグラフの問題を修正しました。

2023年10月26日

Databricks SQL バージョン 2023.45 の変更点

ハイライト：

クエリー optimizations:

  • 外部結合がすべて個別の集計関数である場合、それらを削除しました。 スパーク-42583

  • 述語のフィルタリングの順序を最適化しました。 スパーク-40045

SQL 関数の更新:

ユーザー インターフェイスの更新

改善：

  • Lakeview SQL エディターで、クエリーを実行するためのキーボード ショートカットがサポートされるようになりました。

  • Lakeview のフィルターには、過去 7 日間、14 日間、28 日間、30 日間、60 日間、90 日間の相対的な日付範囲の迅速な選択が一覧表示されるようになりました。

  • データ フィールド名のピリオドによって空白のグラフが表示されなくなりました。

  • 従来のスキーマブラウザが Unity Catalogで動作するようになりました。

  • SQL エディターでアクティブなタブのみを読み込むようにパフォーマンスを改善し、初期読み込み時間を最大 20% 短縮しました。

  • カタログエクスプローラーのAI生成テーブルコメントが正式リリースされました。

修正：

  • 時系列棒グラフの棒が日付目盛りの中央に配置されるようになりました。

  • 集計式を含むデータ ラベル テンプレートで、適切な数値フォーマッタが使用されるようになりました。

  • 新しいチャートのズームは、時系列データを使用してカテゴリに設定されたスケールで機能するようになりました。

新しい記事:

  • すべての Lakeview ビジュアライゼーションを示す新しい記事を公開しました。これには、各スクリーンショット内の各ビジュアライゼーションを再作成する方法を示すスクリーンショットとメモが含まれています。 「 ダッシュボードの視覚化の種類」を参照してください。

2023年10月19日

改善：

  • スキーマブラウザでのドラッグアンドドロップが利用可能になりました。

  • Lakeview ダッシュボードの [テーブルの選択] モーダルを使用すると、カタログまたはスキーマ内のすべてのテーブルから簡単に選択でき、入力時にオートコンプリート検索予測が使用されるようになりました。

修正：

  • 凡例選択ツールチップの指示では、Mac ユーザーが cmd を使用し、Windows ユーザーが ctrlを使用することを指定します。

  • レンダリングされたデータが制限を超えた場合の Lakeview ダッシュボードでの制限捨てられたメッセージの可視性が向上しました。

  • データが切り捨てられたグラフは、エディターに表示されるように一貫した色で表示されます。

2023年10月12日

改善：

  • 特殊文字を含むテキスト フィルター値が、Lakeview ダッシュボードで正しくフィルター処理されるようになりました。

  • 新しいグラフでは、散布図プロットの @@name データ ラベルがサポートされます。

  • カスタマイズされたパーセンテージ形式は、新しいグラフのグループ化されたグラフのツールヒントに適用されます。

  • ワークスペース バインド拡張機能 UI は GA です。

修正：

  • 新しいグラフでのラベルのレンダリングが改善され、ラベルがグラフの境界外にこぼれるのを防ぎました。

  • 新しいチャートの目盛りとグリッド線のコントラストを上げて、視認性を向上させました。

  • 軸ラベルの間隔を広げて、新しいグラフでの読みやすさを向上させました。

2023年10月5日

改善：

  • Lakeview ダッシュボードの公開モードのアクションと日付リネージに正確なツールヒントが追加されました。

  • Lakeview テーブル ビジュアライゼーションの条件付き書式とリンク テンプレートで、非表示の列がサポートされるようになりました。

  • 幅広のバーの時系列グラフのラベル位置を最適化して、新しいグラフの明瞭さを高めました。

  • Lakeview のカウンター ビジュアライゼーションは、他のフィールドが削除された後でも変換を保持し、一貫性を確保します。

  • グラフ内の系列にカーソルを合わせると、ツールヒント内の周囲の系列が淡色表示され、新しいグラフの読みやすさが向上するようになりました。

  • パーセント値を使用する新しいグラフでは、ツールヒントが絶対値で表示されるようになりました。

  • ボリュームを作成するためのオートコンプリートのサポートが追加されました。

  • 非アクティブなタブを閉じても、タブが切り替わらなくなりました。

  • 選択した実行は、テキストを強調表示するタイミングを明確に示します。

修正：

  • データが切り捨てられたときのピボットテーブルのエラーメッセージの文言が改善されました。

  • ピボットテーブルで、BigInt データ型の使用時に色が表示されないレンダリングエラーを修正しました。

  • 多数の凡例項目を含む新しいチャートで PNG をダウンロードするときに、オーバーフロー凡例エントリの色記号が削除されました。

  • 新しいグラフの線は、一番上のビュー境界でも一定の太さを維持します。

  • Lakeview では、データセットが存在しない場合、キャンバスのデータセット ピッカーは空です。

  • Delta Live Tables は SQL パーサーによって適切に検出され、スキーマ ブラウザーに無効なテーブルとして表示されません。

  • ツールチップがサイドバーに追加されました。

2023年9月28日

改善：

  • 公開された Lakeview ダッシュボードに更新ボタンが追加されました。

  • Lakeview ダッシュボードにアクセスできないユーザーのエラー メッセージが改善されました。

  • Lakeview ダッシュボードのフィルター構成で、選択リストの上部に有効なフィールドが一覧表示されるようになりました。

  • Lakeview ダッシュボードからチャートを PNG としてダウンロードすると、タイトルと説明が保持されるようになりました。

  • カタログ エクスプローラーでのDeltaテーブル履歴の改善には、日付範囲、ユーザー、操作の種類のフィルターの追加、並べ替え可能な列、関連付けられたジョブとノートブックへのインライン リンクの追加が含まれます。

  • 凡例、ツールチップ、テーブルの視覚化にダークモードのサポートが追加されました。

修理する：

  • Lakeview ダッシュボードを更新するときにフィルターの選択がクリアされなくなりました。

2023年9月21日

改善：

  • ピボットテーブルのレンダリングパフォーマンスが向上しました。

  • UI のリネージ表形式ビュー用の新しい DuBois パターン。

2023 年9月14日

改善：

  • 新しいチャート ビジュアライゼーションで PNG をダウンロードするときにファイル名が保持されるようになりました。 Databricks の新しいグラフの視覚化 を参照してください。

2023 年9月7日

Databricks SQL バージョン2023.40が利用可能

ロールアウト スケジュール

  • 2023.40 のプレビュー ロールアウト: 2023年9月5日から2023年9月11日まで

  • 2023.40 の現在のロールアウト: 2023年9月18日から2023年9月25日まで

2023.40での変更点:

  • タグが Unity Catalogで使用できるようになりました。

  • Databricks Runtime は、クエリー計画と呼び出しの間にファイルが変更されると、エラーを返します。

  • Databricks ODBC / JDBC ドライバーのサポート。

  • 時系列列のラベル付けを有効にします。

  • 新しいビットマップ SQL 関数。

  • 暗号化機能を改善しました。

  • Unity Catalog のサポート REFRESH FOREIGN.

  • INSERT BY NAME がサポートされるようになりました。

  • マテリアライズドビューを Delta Sharingと共有します。

ユーザー インターフェイスの更新

改善：

  • 新しいチャートが利用可能になり、レンダリングパフォーマンスが向上し、美しい色とインタラクティブ性が向上しました。 Databricks の新しいグラフの視覚化 を参照してください。

  • クエリー Profile のグラフ ビューで、クエリー プランに結合を含む任意のノードの結合タイプを表示できるようになりました。

  • Data Explorer は、データ オブジェクトだけでなく、Unity Catalog 内のすべてのセキュリティ保護可能なオブジェクトを操作するために使用できるという事実を認識するために、カタログ エクスプローラーに名前が変更されました。 「カタログエクスプローラとは」を参照してください。

  • Databricks SQL ステートメント実行 API は、Databricks SQL バージョン 2023.35 以降で一般提供されるようになりました。 API を使用すると、Databricks SQLウェアハウスで実行するために SQL ステートメントを送信したり、状態を確認して結果をフェッチしたり、実行中の SQL ステートメントの実行をキャンセルしたりできます。 「ステートメント実行 API」を参照してください。

2023 年8月31日

新機能:

2023 年8月24日

改善：

  • オートコンプリートは、スペースバーを押した後、推奨事項の提案を停止します。

  • スキーマブラウザは、 live Delta Live Tables 壊れたテーブルとして認識しなくなりました。

2023 年8月16日

改善：

  • SQL エディターの [カタログ] ドロップダウンは、タブを切り替えると閉じるようになりました。 以前は、タブを切り替えると、ドロップダウンは開いたままでした。

2023 年8月10日

改善：

  • オートコンプリートで、 Unity Catalog タグを設定するための新しい構文がサポートされるようになりました。 コマンドに関する情報については、「 SQL 言語リファレンス」を参照してください。

2023 年8月3日

改善：

  • 基盤となる Monaco エディターでバージョン 37.1 が使用されるようになりました。

  • SHOW ARCHIVED FILES FOR Delta コマンドのオートコンプリートのサポート。

2023 年7月27日

改善：

  • SQL エディターは Windows 改行文字と互換性があり、クエリーの書式設定がすべてのケースで期待どおりに機能するようになりました。

  • クエリー プロファイル ナビゲーションは、ノートブックの結果から開くことができます。 クエリーの場合は、SQLウェアハウスを使用してクエリーを実行します。

2023 年7月20日

Databricks SQL バージョン 2023.35 が利用可能

ロールアウト スケジュール

  • 2023.35 のプレビュー ロールアウト: 2023/07/18から2023/07/24 まで

  • 2023.35 の現在のロールアウト: 2023/07/31 から 2023/08/08 まで

2023.35の変更点:

  • Unity Catalogの浅いクローンを使用した VACUUM の信頼性が向上しました。

  • SQL での Python UDF のサポート。

  • Delta Lake UniForm for Iceberg はパブリック プレビュー段階です。

  • Delta Lake リキッドクラスタリングはパブリック プレビュー段階です。

  • Delta Lakeのアーカイブサポート。

  • 識別子句のサポート。

  • Python および Pandas ユーザー定義関数 (UDF) のサポートUnity Catalog 。

改善：

  • カタログ エクスプローラーのテーブルの人気度は、すべての Unity Catalog ユーザーが使用できます。

2023年7月13 日

改善：

  • Unity Catalog ユーザーは、頻繁に結合されるテーブル、特定のテーブルの頻繁なユーザー、頻繁に使用されるノートブックとダッシュボードなど、カタログエクスプローラーで追加のテーブル知見を表示できるようになりました。

2023年6月22 日

パブリック プレビュー:

  • Databricks SQL では、モデル サービス エンドポイントでホストされる大規模な言語モデル (LLM) がサポートされるようになりました。 ai_query() 電話してLLMにアクセスしてください。この関数は、Databricks SQL Pro およびサーバレスのパブリック プレビューでのみ使用できます。 パブリック プレビューに参加するには、 AI関数パブリックプレビュー登録フォームを送信します。

2023 年6月15日

新機能:

  • ジョブの SQL タスクが一般公開されました。 クエリ、ダッシュボード、アラートは、ジョブ ページから調整できます。 ジョブの SQL タスクを参照してください。

  • 新しいスキーマ ブラウザーがパブリック プレビュー段階になり、更新された UX、[ おすすめ ] タブ、および改善されたフィルターが特徴です。 スキーマ ブラウザーは、Databricks SQL、カタログ エクスプローラー、ノートブックで使用できます。 「データの参照」を参照してください。

2023年6月8 日

DBSQL バージョン 2023.30 が利用可能

2023.30の変更点

  • 新しい SQL 組み込み関数 ( array_prepend(array, elem)、 try_aes_decrypt(expr, key [, mode [, padding]])、 sql_keywords() など)。

  • 浅い複製を使用して、既存の Unity Catalog マネージド テーブルから新しい Unity Catalog マネージド テーブルを作成できるようになりました。 「 Unity Catalog テーブルの浅い複製」を参照してください。

  • int、long、および string型の切り捨てられた列にパーティションが定義されている Iceberg テーブルで CLONE と CONVERT TO DELTA を使用できるようになりました。decimal 型の切り捨て列はサポートされていません。

  • START VERSION は ALTER SHAREで非推奨になりました。

ユーザー インターフェイスの更新

修理する：

  • カウンター ビジュアライゼーションで、ビッグ整数を使用する際の書式設定がサポートされるようになりました。

2023年6月1 日

改善：

  • バイナリ データは、Arrow 形式を使用するときに 16 進文字列としてレンダリングされるようになりました。

  • SQL ステートメント API では、 EXTERNAL_LINKS 処理で CSV 形式がサポートされるようになりました。 これにより、クライアントは署名付き URL を使用して最大 100 GiB のデータを CSV 形式で抽出できますが、JSON の INLINE 制限は 16 MiB です。

2023 年5月29日

新機能:

2023 年5月25日

改善：

  • オートコンプリートの結果パネルを切り替えられるようになりました。

  • Enter キーを無効にして、オートコンプリート候補を受け入れないようにします。[DBSQL ユーザー設定] で、[エディターの設定]、[新しいエディターの設定] の順にクリックします。 *Enterキーはオートコンプリートの提案を受け入れる*をオフにします。

修正：

  • 並べ替えられたテーブルヘッダーに色が追加されました。

  • グラフの線が正しくレンダリングされるようになりました。

2023 年5月18日

改善：

  • SQL ステートメント API では、 EXTERNAL_LINKS 処理で JSON_ARRAY 形式がサポートされるようになりました。 署名付き URL を使用して、JSON 形式で最大 100 GiB のデータを抽出できます。 JSON の INLINE 制限は 16 MiB です。

2023 年5月11日

新機能:

  • スキーマ ブラウザがカタログ エクスプローラで一般公開されました。

改善：

  • ホバー テーブルの詳細パネルの表示は、感度が低くなります。

  • エスケープ キーはオートコンプリートパネルを閉じるようになりました。

  • ビュー定義の [カタログ エクスプローラの詳細] タブで構文が強調表示されるようになりました。

修正：

  • ピボットテーブルが Windows デバイスで正しくレンダリングされるようになりました。

  • 補完候補は、最初のキーワードの大文字と小文字に正しく従うようになりました。

2023年5月4 日

Databricks SQL バージョン 2023.26 が利用可能

ロールアウトスケジュール

  • 2023.26 のプレビュー ロールアウト: 2023年4月19日から2023年4月25日まで

  • 2023.26 の現在のロールアウト: 2023年5月3日から2023年5月10日まで

2023.26の変更点

  • Photonは、クエリーの計画と実行の間にファイルが変更された場合、エラーを返します。

  • 新機能と予測 I/O 機能の拡張サポート。 「Databricks Runtime 13.0 (EoS)」を参照してください。

  • Databricks コネクタを使用して、別の Databricks ワークスペースに接続します。

  • CREATE TABLE LIKE Delta テーブルの機能。

  • ファイルブロックの開始と長さを示す新しいメタデータ列フィールド。

  • 新しい H3 地理空間関数。 H3 地理空間関数を参照してください。

  • 新しい SQL 組み込み関数。 「Databricks Runtime 13.0 (EoS)」を参照してください。

ユーザー インターフェイスの更新

改善：

  • 管理者は、ユーザー インターフェースまたはAPIを使用して、ウェアハウスの所有者を変更できます。 「SQL ウェアハウスの管理」を参照してください。

  • カタログエクスプローラーのユーザーリストに、 Unity Catalogのアセットのユーザーリストにアカウント サービスプリンシパルが表示されるようになりました。 たとえば、アカウント サービスプリンシパルは、カタログ エクスプローラで権限を編集したり、所有者を変更したりするときに表示されます。

  • カスタム グラフ ラベルは、データセット内の任意の列を参照する機能をサポートします。

  • ダッシュボード フィルターは、カタログまたはスキーマ情報を持たないクエリーを使用している場合でも、列名を読み込むようになりました。

2023 年4月27日

改善：

  • SQL エディターは、より信頼性の高い編集エクスペリエンスのために Monaco エディターに依存するようになりました。

  • SQL履歴リストページ(クエリー)にデュボアデザインシステムが含まれるようになりました。

2023 年4月20日

改善：

  • 64k を超える結果を集計できる新しいピボットテーブルが導入されました。

  • Databricks SQL テーブルと視覚化で、BigInt、38 ビット 10 進数、および UTF-8 以外の文字がサポートされるようになりました。 数値の場合、デフォルト設定はユーザー定義の数字の精度になりました。

  • オートコンプリートでは、 Databricks Runtime 12.0 以降の Unity Catalog 系列データを利用して、 Unity Catalog テーブルの過去の結合が頻繁に提案されるようになりました。

  • クラウド フェッチは、バケットのバージョニングが有効になっている AWS ワークスペースではデフォルトで有効になっています。 バケットのバージョン管理を有効にしている場合、Databricks では、アップロードされたクエリ結果の古いバージョンを自動的に削除するようにライフサイクル ポリシーを設定することをお勧めします。 「クラウド Fetch in ODBC (ODBC)」および「 クラウド Fetch in JDBC ( JDBC )」を参照してください。

新機能:

  • 選択した大規模言語モデル (LLM) によって生成されたテキストに 、AIのプロンプトで返します。この機能は、 Databricks SQL Pro およびサーバレスのパブリック プレビューとしてのみ使用できます。 パブリック プレビューに参加するには、 AI関数パブリックプレビュー登録フォームに入力して送信します。

2023年4月13 日

新機能:

  • TIMESTAMP_NTZ 型は、年、月、日、時、分、および秒のフィールドで構成される値を表します。すべての操作は、タイムゾーンに関係なく実行されます。 TIMESTAMP_NTZタイプを参照してください。

改善：

  • ユーザーは、カスタムアラートメッセージで QUERY_RESULT_TABLE タグを使用して、アラート内でフォーマットされた結果を送信できるようになりました。

  • ユーザーは、カタログ エクスプローラーで Unity Catalog テーブルのファイル データ サイズを表示できるようになりました。

2023年4月6 日

Databricks SQL バージョン2023.20が利用可能

ロールアウトスケジュール

  • 2023.20 のプレビュー ロールアウト: 2023/03/15 から 2023/03/23 まで

  • 2023.20 の現在のロールアウト: 2023/03/27 から 2023/04/03 まで

2023.20の変更点

  • Delta Lake スキーマ進化では、merge ステートメントでのソース列の指定がサポートされています。

  • array_compactを使用して配列からすべての NULL 要素を削除します。

  • 配列に要素を追加するには、 array_append を使用します。

  • 機密性の高い文字列値を匿名化するには、 mask 関数を使用します。

  • 一般的なエラー条件 が SQLSTATE を返すようになりました。

  • クエリの通常の FROM 句でテーブル値ジェネレーター関数を呼び出します。

  • from_protobuf 関数と to_protobuf 関数を使用して、バイナリ型と構造体型の間でデータを交換します。プロトコルバッファの読み取りと書き込みを参照してください。

  • update、delete、および merge コマンドに関連する空のトランザクションの Delta コミット動作の一貫性が向上しました。

  • 動作の変更

    • 横方向の列のエイリアス機能では、名前解決中の動作が変更されています。 動作の変更を参照してください。

ユーザー インターフェイスの更新

改善：

  • カタログ エクスプローラで Hive metastore 削除がサポートされるようになりました。

  • ビジュアライゼーション エディターの初期状態のメッセージが [必須の列がありません ] から [データなし] に変更されました。

2023 年4月3日

新機能:

2023年3月30 日

改善：

  • ウェアハウス モニタリング ページで、選択した時間範囲のクエリ履歴をスケーリング チャートとともに表示できるようになりました。 また、現在実行中およびキューに入れられているクエリ、アクティブな SQL セッション、ウェアハウスのステータス、および現在のクラスター数を表示することもできます。 「SQL ウェアハウスの監視」を参照してください。

  • マップクラスターは、マーカーマップのデフォルトでオフになりました。

  • ビジュアライゼーションの制限捨てとレンダリング制限のためのツールチップが追加されました。

修正：

  • グラフは、軸値の並べ替えが無効になっていて、グラフに列でグループ化されている場合に、元の順序に従うようになりました。

2023 年3月23日

改善：

  • ビジュアライゼーションで週ごとの時間ビン分割がサポートされるようになりました。

  • Total 100 X 100 セルを超えるすべてのデータが最大 64 KB で計算され、ノートブックのピボット テーブルが表示されるようになりました。

  • ユーザーは、新しいノートブックのピボットテーブルのセル値を書式設定できるようになりました。

  • ファイル、クエリー、および Feature Store 系列を使用できます。

2023 年3月16日

改善：

  • GROUP BY ALL 構文のサポート。

2023年3月9 日

新機能:

  • Databricks SQL ステートメント実行 API がパブリック プレビューで利用できるようになりました。 ステートメントの実行は、Databricks SQLウェアハウスで SQL ステートメントを実行しているエンドポイントを提供します。 また、ステータスの確認、結果のフェッチ、実行中の SQL ステートメントのキャンセルを行うこともできます。

改善：

  • SQL 管理コンソールは、一般的な管理設定と統合され、管理ユーザー向けに統一されたエクスペリエンスを実現します。 すべての SQL 管理設定に管理コンソールからアクセスできるようになりました。

  • アラート通知先は、通知先と呼ばれるようになりました。

修正：

  • 表に 2 つのスクロールバーが表示されなくなりました。

  • 空白のウィジェットタイトルがダッシュボードで上書きされなくなりました。

2023年3月2 日

修理する：

  • テーブルで相対 URL を使用してダッシュボードにアクセスできるようになりました。

2023年2 月23日

改善：

  • TINYINT がノートブックの結果テーブルでサポートされるようになりました。

修理する：

  • ダッシュボードの作成フィルターモーダルをスクロールするとエラーが発生するバグを修正しました。

2023 年2月16日

改善：

  • グラフのデータラベルには、説明が切り捨てられるのを避けるために、より多くの文字が表示されるようになりました。

  • オートコンプリートは、 range() および Python UDF create 関数を認識するようになりました。

  • オートコンプリートにより、小数やコードコメント内でスニペットを開始する必要がなくなりました。

修正：

  • ユーザーはマップを拡大できるようになりました。

  • ノートブックで、色がグラフに正しく割り当てられるようになりました。

2023年2月2 日

改善：

  • エディターでの DESCRIBE DETAILS のサポート。

  • スキーマブラウザの読み込み速度が向上しました。

  • SELECT *のサイドパネルで可能な列のリストを表示できるようになりました。

2023年1 月26日

改善：

  • クエリーのエラー メッセージに、エラーを説明する関連ドキュメント トピックへのリンクが含まれるようになりました。

2023 年1月19日

改善：

  • これで、主要な機能強化を強調する [ 新機能 ] パネルが表示されます。 このパネルは、ギフトアイコンをクリックして開閉できます。

  • 管理者は、SQLウェアハウスの所有権を変更できるようになりました。

  • [フィルター の追加] をクリックし、フィルターするクエリーと列を選択することで、ダッシュボード内の複数のビジュアリゼーション>フィルター処理できるようになりました。

2023年1 月12日

改善：

  • ダッシュボードのビジュアライゼーション ウィジェットのタイトルが、デフォルトで [ビジュアリゼーション名 - クエリー名 ] として書式設定されるようになりました。

  • インラインパネル参照にH3地理空間関数を追加しました。

  • CREATE TABLE や OVERなどの SQL 構文のインライン参照を追加しました。

修正：

  • 並べ替えと逆方向の切り替えは、X 軸スケールが自動に設定されている場合に使用できるようになりました。

  • ヒートマップとピボットテーブルは、特定のエッジケースに対応できるようになりました。

  • カテゴリの Y 軸目盛りがデフォルトで並べ替えられるようになりました。

  • クエリーの下書きは、ブラウザの更新後に失われなくなりました。

2022年12月8 日

  • Databricks SQL アラートで、クエリの結果列 ( SUM、 COUNT、 AVGなどのクエリ結果列の集計に関するアラートがサポートされるようになりました。

  • ダッシュボードで新しいウィジェットを作成するときのデフォルトのビジュアライゼーションタイトルが「ビジュアライゼーション名 - クエリ名」になりました。

2022 年11月17日

アラート：

  • Chatworks、Mattermost、Google Hangouts Chat は通知の宛先ではなくなりました。

改善：

  • Y 軸に、パーセント値を確認するときに数値がパーセンテージで表示されるようになりました。

  • データのアップロード UI を無効にするワークスペース管理者の設定が、新しいデータのアップロード UI に適用されるようになりました。この設定は、データサイエンス & エンジニアリング、 Databricks Mosaic AI、および Databricks SQL ペルソナに適用されます。

修正：

  • Databricks SQL アラートで、null 値との比較が正しく評価されない問題を修正しました。

  • ピボットテーブルのスクロールバーが消える問題を修正しました。

  • スキーマブラウザがオーバーフローしたタブでサイズを変更できない問題を修正しました。

2022年11月10 日

改善：

  • 複数のクエリーで同時に機能するダッシュボードフィルターを作成できるようになりました。 ダッシュボードの編集モードで、[追加 ]、[フィルター]、[新しいダッシュボードフィルター] の順に選択します。

  • オートコンプリートで CREATE MATERIALIZED VIEWがサポートされるようになりました。

修理する：

  • ダッシュボードのページングされた一連の結果の最後までスクロールするとエラーが送信される問題を修正しました。

  • 積み上げ横棒グラフから折れ線グラフに切り替えても積み上げプロパティが保持される問題を修正しました。

  • 重複するフェッチ呼び出しを修正しました。

2022 年11月3日

改善：

  • Databricks SQL でアクセスを要求するときに、既定のアクセス許可が "実行可能" になりました。

修正：

  • クエリーとダッシュボード API を使用した created_at による並べ替えで、正しい並べ替え順序が返されない問題を修正しました。

  • HTML 形式の URL を含む列の列幅が広すぎる問題を修正しました。

  • キーワード WHERE 強調表示されない問題を修正しました。

2022年10 月27日

改善：

  • クエリ結果を Excel にダウンロードできる行数の制限が、64,000 行から 100,000 行に引き上げられました。 CSV と TSV のダウンロード制限は変更されません (約 1 GB のデータ)。

  • オートコンプリートで、 LIST 構文、URL、および資格情報がサポートされるようになりました。

  • 統合および最新の Fix-me 提案パネル。

  • Databricks SQL に新しいウェアハウス タイプである Databricks SQL Pro が導入されました。 このウェアハウス タイプを使用すると、 Databricks SQLウェアハウスでジョブ統合、クエリ フェデレーション、地理空間機能、予測 IO を使用できるようになります。

修正：

  • エディターの警告バナーがフルハイトのビジュアライゼーションと重なる問題を修正しました。

  • テーブルの列を移動したときにテーブルの列幅が保持されない問題を修正しました。

  • SQL エディターからビジュアライゼーションが追加された場合、ポップアップ通知のダッシュボードへのリンクが壊れる問題を修正しました。

2022年10 月20日

改善：

  • これで、フッターにクエリーの進行状況バーが表示され、ケバブメニューにビジュアライゼーションの編集アクションが表示されます。

  • オートコンプリートは Delta タイムトラベルをサポートし、外部キーを定義するときに列のオートコンプリートを提供するようになりました。

修理する：

  • ダッシュボードに複数のビジュアライゼーションをすばやく連続して追加すると、ビジュアライゼーションがダッシュボードに表示されない問題を修正しました。

2022年10月13 日

改善：

  • 報告されたエラーメッセージを削除できるようになりました。

  • COMMENT ON 命令がエディタでサポートされるようになりました。

  • Cmd+ P または Ctr+P (PC の場合) を トップ検索のショートカットとして使用できるようになりました。パラメーターの追加 には 、Cmd+I または Ctr+I(PC の場合) を使用します。

2022年10月11 日

改善：

2022年10月6 日

改善：

  • EXTERNAL は予約済みテーブル プロパティになりました。 コマンド CREATE TABLE ... TBLPROPERTIES と ALTER TABLE ... SET TBLPROPERTIES は、プロパティで EXTERNAL が指定されている場合に失敗します。

  • format_string(strfmt, obj, ...) と printf(strfmt, obj, ...) の strfmt では、最初の引数として 0$ を使用することはサポートされなくなりました。引数インデックスを使用して引数リスト内の引数の位置を示す場合は、最初の引数を 1$ が参照する必要があります。

  • 円グラフのセグメントに、さまざまなセグメントを描画するための細い境界線が追加されました。

  • Cmd+I (Mac の場合) または Ctr+I (PC の場合) を [パラメーターの追加] のショートカットとして使用できるようになりました。グローバル検索 のショートカットとして Cmd+P または Ctr+P(PC の場合) を使用します。

  • フィードバックボタンは、クエリーエラーメッセージの良し悪しに使用できます。

  • 修正 の提案が クイック修正として利用可能になりました。

修正：

  • lpad および rpad 関数は、 BINARY 文字列入力で正しく動作するようになりました。 BINARY 文字列入力の lpad と rpad の出力は、 BINARY 文字列になりました。

  • 手動アラート更新が機能しない問題を修正しました。

  • 自動カウンター サイジングの変更をロールバックして、書式設定の問題を修正しました。

2022 年9月29日

改善：

  • Databricks SQL クエリー、アラート、およびダッシュボードへのアクセスを、それらの資産の所有者に要求できるようになりました。

  • クエリ履歴ページで、クエリー期間とステートメントタイプでフィルタリングできるようになりました。

    • クエリー期間フィルターを使用するには、時間を入力し、時間単位を選択します。 履歴の結果は、指定された時間より長く実行されたクエリーを返します。

    • ステートメントタイプフィルタを使用するには、ドロップダウンからステートメントタイプを選択します。 履歴の結果は、そのステートメントを含むクエリーを返します。

修理する：

  • サポートされているすべての HTML タグがカスタムアラートテンプレートで機能しない問題を修正しました。 すべてのタグは、文書化されたとおりに使用できます。

  • ビジュアライゼーション 通知がトーストする問題を修正しました。たとえば、ダブルクリックしてビジュアライゼーションをズームアウトすることは、以前は表示されていませんでした。

  • グラフの軸を入れ替えてもグラフ名に反映されない問題を修正しました。

2022年9月22 日

改善：

  • 同じサイズのカウンターウィジェットは、ダッシュボードに複数のカウンターウィジェットが表示される場合、同じフォントサイズになります。

  • 組み合わせグラフを更新し、二重軸を使用する場合、同じグラフの種類 (折れ線、棒など) のみを同じ軸で使用できるようになりました。 系列エイリアスも軸に適用されます。

  • 代理キーと LIST 操作のオートコンプリートのサポートが追加されました。

修理する：

  • テキスト パラメーターが有効な値として Null を受け入れない問題を修正しました。

2022 年9月15日

修理する：

  • SQLウェアハウス リスト ページからクエリ履歴を表示できない問題を修正しました。

2022年9月8 日

改善：

  • DSE/SQLホームページに新しい「オープンソース統合」カードを導入し、 Delta Live Tables やdbtコアなどのオープンソース統合オプションを表示します。

修理する：

  • パラメーターのドロップダウン メニューが [視覚化] タブによってブロックされる問題を修正しました。

2022 年9月1日

改善：

  • パラメーターとフィルターを追加するための新しい簡略化された UI を導入します。 <button></button> + を選択し、フィルターまたはパラメーターの追加を選択します。

  • 'OVER()' などの SQL トークンの括弧がオートコンプリートされるようになりました。

修正：

  • ダッシュボードを全画面で表示するとカラーパレットが無視される問題を修正しました。

  • すばやく入力してから [実行 ] ショートカットを使用すると、新しく入力したクエリー テキストではなく、前のクエリー テキストが実行される問題を修正しました。

  • キーボード コマンドを使用して ctrl+Enter キークエリを実行すると、クエリーが重複して送信される問題を修正しました。

2022年8月25 日

修理する：

  • クエリー パラメーターが変更されたときにダッシュボード フィルターが更新されない問題を修正しました。

2022 年8月18日

  • Databricks SQL の場合、 Unity Catalog (パブリック プレビュー) はプレビュー チャンネルで使用できます。 詳細については、「 Unity Catalogとは」を参照してください。

  • ドキュメント: アラート API のドキュメントがリリースされました。

  • ビジュアライゼーション: ユーザーは日付フィルターのデフォルト値を設定できるようになりました。 クエリーまたはダッシュボードでフィルターが更新されるたびに、既定値が適用されます。

  • 修正：

    • ダッシュボードがまだリロードされている場合に適用の変更が機能しない問題を修正しました。

    • クエリーが結果を返さないときに列が狭すぎる問題を修正しました。

2022 年8月11日

改善：

  • ユーザーは、更新が失敗したときに Email を受信できます。 このような通知を有効にするには、管理コンソールの [SQL 設定 ] タブに移動します。 [失敗メール] で、失敗通知を受信するオブジェクトのタイプ (クエリー、ダッシュボード、またはアラート) を選択します。失敗レポートは毎時送信されます。

  • 視覚 エフェクト

    • ビジュアライゼーションとダッシュボード用の新しい最新のカラーパレットを導入しました。 ダッシュボードを新しいカラー パレットに変更するには、ダッシュボードに移動し、 <button></button> <button>編集</button> -> 色 -> <button></button> インポート をクリックし、 Databricks カラー パレット を選択します。SQL 管理者は、 <button>設定</button> -> <button>QL 管理コンソール</button> -> <button>ワークスペースの色 -></button> インポート<button></button> に移動して、新しいパレットを選択することで、新しいカラー パレットをワークスペースの既定のオプションとして設定することもできます。

修正：

  • 以前に <button>変更の適用</button> を選択してフィルターを適用すると、クエリーが既に実行されている場合に機能しない問題を修正しました。

2022年8月4 日

改善：

  • ダッシュボードのクローン作成時に、クエリーもクローンするかどうかのオプションが追加されました。

  • タブの内容は、ブラウザーのタブ間で同期されます。 これで、クエリの状態がすべてのブラウザタブで同期されます。 つまり、ブラウザー タブ 1 で query1 を操作していて、ブラウザー タブ 2 に切り替えると、元のブラウザー タブでは query1 がそのままの状態で表示されます。

修理する：

  • 円グラフの空の文字列のラベルは、値のインデックスではなく、文字列が空であることを反映するようになりました。

2022 年7月28日

  • アラート

    • カスタムアラートEメールテンプレートが更新され、セキュリティリスクをもたらす可能性のある特定のHTMLタグが許可されなくなりました。 許可されていない HTML タグと属性は自動的にサニタイズされます。 たとえば、<button> は許可されていない HTML タグであるため、ボタンをレンダリングする代わりに、"button" というテキストが表示されます。 許可される HTML タグと属性のリストについては、「 アラート 」を参照してください。

    • ユーザーは、管理者権限を必要とする通知先を作成しなくても、他のユーザーをアラートにサブスクライブできるようになりました。

  • ダウンロード: ユーザーは、以前の 64,000 行から最大 1 GB の結果データを CSV および TSV 形式で Databricks SQL からダウンロードできるようになりました。

  • 視覚 エフェクト

    • ダッシュボードでビジュアライゼーションを直接編集できるようになりました。 編集モードで、ケバブ メニューをクリックし、[ ビジュアライゼーションの編集 ] を選択してビジュアライゼーションの編集を開始します。

    • 集計を利用してビジュアリゼーションに関連付けられた結果をダウンロードすると、ダウンロードされた結果も集計されます。 ダウンロードするオプションは、下のケバブからタブに関連付けられているケバブに移動しています。 ダウンロードされた結果は、ビジュアライゼーションを作成したクエリーの最新の実行からのものです。

  • SQL エディター: ブラウザー内テーブルに表示されるデータが 64,000 行に制限されている場合に、結果テーブルにメッセージが表示されるようになりました。 TSVとCSVのダウンロードは、最大約1GBのデータです。

  • クエリー フィルター:

    • クエリー フィルター は、パフォーマンスを最適化するために、クライアント側またはサーバー側で動的に機能するように更新されました。 以前のクエリー フィルター (現在はレガシ) はクライアント側でのみ動作していました。 ユーザーは、必要に応じて、 :: 構文でレガシ フィルターを引き続き使用できます。

    • 更新されたフィルターはより単純です: ユーザーは [+ フィルターの追加 ] ボタンをクリックし、ドロップダウンから列を選択します。 以前は、ユーザーはクエリー テキストを直接変更する必要がありました。

    • 関連する値が強調表示され、フィルター内のどの選択が他のフィルター選択で結果を返すかを簡単に確認できます。

  • クエリー履歴: クエリー履歴のクエリー詳細に、実行されたクエリーの元であるクエリーソースが表示されるようになりました。

2022 年7月21日

  • 共有時の通知: ダッシュボード、クエリー、またはアラートがユーザーと共有されるたびに、Eメールでユーザーに通知されるようになりました。

  • 新しい組み込みエディターツールキットによる強化されたSQLエディターエクスペリエンス

    • ライブ構文エラーの強調表示 (たとえば、間違ったキーワード、テーブルが存在しない、エラーを修正するための提案)

    • コンテキストヘルプ:ホバー時(たとえば、完全なテーブル名、詳細な関数パネル)およびインライン実行エラーメッセージ(たとえば、実行後のエラーで行を強調表示)

    • 提案のインテリジェントなランク付け (パラメーターのオートコンプリート、ランク付け式、ノイズの少ないマッチングなど)

2022 年7月14日

  • CSV ファイルに加えて、 Create Table UI を使用して TSV ファイルをアップロードできるようになりました。

  • Databricks SQL では、ダッシュボード、クエリー、またはアラートがユーザーと共有されるたびに Email によってユーザーに通知するオプションが提供されるようになりました。

  • ビジュアライゼーション テーブルには、オプションで結果の横に表示される行番号が含まれるようになりました。

  • クロロプレス ビジュアライゼーションの地理的地域を選択すると、受け入れられる値のインライン ヒントが表示されるようになりました。

2022 年6月23日

  • SQLエンドポイント名の変更: Databricks は、SQL コマンドを実行するための単なる API エントリ ポイントではないため、名前を SQLエンドポイント から SQLウェアハウスに変更しました。 SQLウェアハウスは、Databricksプラットフォームの不可欠な部分である、すべてのデータウェアハウジングのニーズに対応する計算リソースです。 コンピュートリソースは、クラウド上で処理機能を提供するインフラストラクチャリソースです。

  • コロプレス ビジュアリゼーションの場合、ビジュアリゼーション エディターの [キー列] と [ターゲット フィールド] の選択の名前が [地理的列] と [地理タイプ] に変更されました。 わかりやすくするためにこの名前を変更しても、新規または既存のコロプレスの動作の変更は導入されません。

  • limit 1000 クエリー オプションは、SQL クエリー エディターのチェック ボックスから実行ボタンのチェック ボックスに移動しました。

  • クエリー履歴テーブルにキャッシュされたクエリーに、Cacheタグを付けるようになりました。

  • ダッシュボードを手動で更新すると、個々のクエリのウェアハウスではなく、ダッシュボードのウェアハウス (使用可能な場合) が使用されます。

  • アラートを更新すると、[閲覧者/所有者として実行] 設定に関係なく、常にアラートのウェアハウスが使用されます。

2022年6月9 日

  • エンドポイントセレクターにカーソルを合わせると、完全なエンドポイント名がツールチップとして表示されます。

  • SQL エディターのスキーマ ブラウザーでフィルター処理すると、検索結果で検索語句が強調表示されるようになりました。

  • SQL エディターの [すべて閉じる] ダイアログ ボックスに、未保存のクエリーの一覧が表示されるようになりました。

  • SQL エディターで最後に閉じたタブを再度開くには、この新しいキーボード ショートカットを使用します。 <Cmd> + <Shift> + <Option> + T

  • 複合グラフにデータ ラベルを追加できるようになりました。

  • 視覚化集計操作のリストに、分散と標準偏差が含まれるようになりました。

2022 年5月26日

オーサリングの改善:

  • ビジュアライゼーションを作成するときに集計をバイパスできるようになりました。 これは、クエリーに既に集計が含まれている場合に特に便利です。 たとえば、クエリが SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudioの場合、以前はチャートエディタで別の集計レイヤーを明示的に指定する必要がありました。

  • ダッシュボードを作成するときに、次のことができるようになります。

    • テキストボックスウィジェットの複製

    • 編集テキストボックスパネルのサイズを拡大する

  • ビジュアライゼーションを作成するときのエラー列のデフォルトの集計は標準偏差です。

修正：

  • ビジュアリゼーションの編集アクションは、ダッシュボードが編集モードの場合にのみ使用できます。 編集アクションは、表示モード アクションとして使用できなくなりました。

  • 新しいクエリーを作成すると、リストの末尾ではなく、フォーカスのあるタブのすぐ右側のタブで開きます。

  • open クエリー モーダルは、どのクエリーが既に開いているかを示し、そのクエリー タブにフォーカスを切り替えるオプションを提供します。

  • Sankey & Sunburst チャートでは、0 は null として扱われなくなりました。

2022年5月19 日

  • 修正された問題: 特定の視覚化タブで SQL エディターのフォーカスを開いていて、リンクを別のユーザーと共有すると、ユーザーが共有リンクをクリックすると、SQL エディターで同じフォーカスが設定されます。

  • 改善：

    • Microsoft Teams が通知先としてサポートされるようになりました。

    • [日付範囲]、[日付と時刻の範囲]、および [日付と時刻の範囲 (秒単位)] パラメーターで、日曜日をデフォルトとして週の開始曜日を指定するオプションがサポートされるようになりました。

2022年5月12 日

  • ビジュアライゼーションで、UI で直接時間ビン分割がサポートされるようになりました。 クエリー テキスト自体に date_trunc() 関数を追加および変更するのではなく、ドロップダウン値を変更することで、データの年単位、月単位、日単位、または時間単位のビンを簡単に切り替えることができるようになりました。

  • ダッシュボードの色の一貫性がデフォルトで設定されるようになりました。 複数のグラフに同じ系列がある場合、系列は常にすべてのグラフで同じ色になり、手動で構成する必要はありません。

2022年5月3 日

  • ダッシュボードをユーザーまたはグループと共有するときに、ビジュアライゼーションとパラメーターで使用されるすべてのアップストリーム クエリーを共有する機能も提供されるようになりました。

    • 1 つ以上のアップストリームクエリーを共有する権限がない場合は、すべてのクエリーを共有できないという警告メッセージが表示されます。

    • ダッシュボードの共有時に付与されるアクセス許可は、アップストリーム クエリの既存のアクセス許可をオーバーライドしたり、否定したり、拡張したりすることはありません。 たとえば、ユーザーまたはグループが共有ダッシュボードに対して所有者として 実行可能権限を持っているが、上流クエリに対しては閲覧者として実行権限しかない場合、その上流クエリに対する有効な権限は閲覧者として実行になります。

2022 年4月27日

  • ダッシュボードのレイアウトは、オンデマンドでPDFにエクスポートし、スケジュールされたサブスクリプションEメールを生成するときに保持されるようになりました。

2022年3月17 日

  • チャート には、新しい組み合わせの視覚化オプションが含まれています。 これにより、棒と線の両方を含むグラフを作成できます。

2022年3月10 日

  • Unity Catalog (プレビュー) を使用すると、アカウントのレベルでガバナンスとデータへのアクセスを管理できます。 メタストアとデータ権限を一元的に管理でき、アカウント内の複数のワークスペースにメタストアを割り当てることができます。 Databricks SQL カタログ エクスプローラーまたは SQL エディターを使用して Unity Catalog データとオブジェクトを管理および操作したり、ダッシュボードと視覚化で Unity Catalog データを使用したりできます。 「 Unity Catalogとは」を参照してください。

注

Unity Catalog では、プレビュー チャンネルにあるバージョン 2022.11 を使用するために SQLエンドポイントが必要です。

  • Delta Sharing (プレビュー) を使用すると、読み取り専用データを組織外の受信者と共有できます。 Databricks SQL では、 Delta Sharing データのクエリと、視覚化およびダッシュボードでの使用がサポートされています。

    Delta Sharing は、機能を有効にするためにアカウント管理者が受け入れる必要のある適用条件の対象となります。

    Delta Sharingは何ですか?」を参照してください。

  • ダッシュボードが手動またはスケジュールに従って更新されるたびに、ダッシュボードとアップストリーム内のすべてのクエリー (パラメーターで使用されるものを含む) が更新されます。 個々のビジュアライゼーションが更新されると、パラメーターで使用されるものも含め、すべてのアップストリーム クエリーが更新されます。

2022年3月3 日

  • コホートの視覚化が更新され、コホートが 0 と 100 ではなく最小値と最大値から補間されるようになりました。 利用可能なデータの実際の範囲内でコホートを区別することがはるかに簡単になりました。 以前は、すべての数字が近接している場合、同じ色を使用していました。 現在、互いに近接している数値は、コホートが各系列を形成するために最大から最小の範囲に分割されるため、異なる色を使用する可能性が高くなります。

  • ダッシュボードのサブスクリプション スケジュールがアクティブか停止するかを簡単に確認できます。 [ サブスクライブ] をクリックすると、ダッシュボードのサブスクリプション スケジュールが [停止する] の場合は、[ このスケジュールは停止されました] というメッセージが表示されます。 ダッシュボードのサブスクリプション スケジュールが停止する場合、ダッシュボードをサブスクライブまたはサブスクライブ解除できますが、スケジュールされたスナップショットは送信されず、ダッシュボードの視覚化は更新されません。

  • クエリー履歴を表示するときに、期間でリストを並べ替えることができるようになりました。デフォルトでは、クエリーは開始時刻でソートされます。

2022 年2月24日

  • カタログ エクスプローラーで、ユーザーまたはグループがテーブル、ビュー、スキーマ、またはカタログに対して持つアクセス許可を表示できるようになりました。 オブジェクトをクリックし、[ アクセス許可 ] をクリックして、新しいフィルター ボックスを使用します。

2022年2月17 日

  • ビジュアライゼーションが 少しスマートになりました! クエリーの結果が 1 列または 2 列になると、推奨されるビジュアライゼーション タイプが自動的に選択されます。

  • ヒストグラム を作成して、データセット内で各値が発生する頻度を視覚化し、データセットに少数の範囲にクラスター化された値があるのか、それともより分散しているのかを把握できるようになりました。

  • クエリー履歴とクエリー プロファイル の両方で、クエリー文字列と失敗した クエリーのエラーメッセージを全幅に展開できるようになりました。これにより、クエリープランの分析や失敗したクエリーのトラブルシューティングが容易になります。

  • 棒、線、面、円、およびヒートマップのビジュアライゼーションでは、クエリー自体を変更することなく、ビジュアライゼーション構成 UI で直接集計を実行できるようになりました。 これらの新機能を利用する場合、集計は最初の 64,000 行に制限されるのではなく、データ セット全体に対して実行されます。 このリリースより前に作成されたビジュアリゼーションを編集すると、「新しい機能を利用する場合は、ビジュアリゼーションを再作成する必要があります」というメッセージが表示されます This visualization uses an old configuration. New visualizations support aggregating data directly within the editor. 「 ビジュアリゼーションでの集計の有効化」を参照してください。

2022年2月10 日

  • ダッシュボードのカスタムカラーパレットを設定できるようになりました。そのダッシュボードに表示されるすべてのビジュアリゼーションは、指定されたパレットを使用します。 カスタム パレットを設定しても、他のダッシュボードや SQL エディターでのビジュアリゼーションの表示方法には影響しません。

    パレットの 16 進値を指定するか、Databricks によって提供されるか、ワークスペース管理者によって作成されたかにかかわらず、別のパレットから色をインポートできます。

    パレットがダッシュボードに適用されると、ビジュアリゼーションの作成時にカスタム色を構成した場合でも、そのダッシュボードに表示されるすべてのビジュアリゼーションはデフォルトで選択したカラー パレットを使用します。 この動作をオーバーライドするには、「 ビジュアリゼーションの色のカスタマイズ」を参照してください。

  • ワークスペース管理者は、管理コンソールを使用してカスタム カラー パレットを作成できるようになりました。 作成したカスタム カラー パレットは、新規および既存のダッシュボードで使用できます。 ダッシュボードにカスタム カラー パレットを使用したり、カスタマイズしたりするには、ダッシュボードの設定を編集します。

  • SQLからダッシュボードにgを使用する視覚化を追加すると、ケバブメニューメニューでは、視覚化では デフォルト によるダッシュボード レベルの を使用するようになりました。 これは、ダッシュボードの [視覚化の追加 ] ボタンを使用してウィジェットを追加するときの動作と一致します。

  • クエリー履歴を表示し、パラメータの組み合わせで一覧を絞り込むと、一致するクエリーの数が表示されるようになりました。

  • ビジュアライゼーションで、Y 軸の範囲を特定の値に調整できない問題が修正されました。

2022年2月3 日

  • タブ付き SQL エディターは、すべてのユーザーに対してデフォルトで有効になりました。 詳細について、またはタブ付きエディターを無効にするには、「 複数のクエリの編集」を参照してください。

2022 年1月27日

  • クエリのプロファイルを表示、共有、インポートする方法が改善されました。 「 クエリ プロファイル」を参照してください。

  • 詳細ビジュアライゼーションでは、テーブル ビジュアリゼーションと同様に列の名前を変更できるようになりました。

  • SQL エディターでタブを中マウスボタンをクリックして閉じることができるようになりました。

  • 次のキーボード ショートカットがタブ付き SQL エディターに追加されました。

    • すべてのタブを閉じる: Cmd + Option + Shift + A (macOS) / Ctrl + Option + Shift + A (Windows)

    • 他のタブを閉じる: Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)

    これらのキーボードショートカットは、タブを右クリックして同じアクションにアクセスする代わりになります。 すべてのキーボードショートカットを表示するには、タブ付きSQLエディタのキーボードアイコンをクリックします キーボードアイコン 。

2022 年1月20日

  • テーブル内の整数データ型と浮動小数点データ型のデフォルトフォーマットが更新され、コンマが含まれなくなりました。 つまり、デフォルトにより、 10002343 のような値にコンマが含まれなくなります。 これらのタイプをコンマで表示するように書式設定するには、[ ビジュアリゼーションの編集] をクリックし、列の領域を展開して、コンマを含むように形式を変更します。

  • ブラウザーのレンダリング制限に合わせて、ビジュアリゼーションに最大 10,000 データポイントが表示されるようになりました。 たとえば、散布図には最大 10,000 個のドットが表示されます。 データポイント の数が制限されている場合は、警告が表示されます。

2022 年1月13日

  • SQL エディターの [保存 ] ボタンが無効になることがある問題を修正しました。 [ 保存 ] ボタンは常に有効になり、保存されていない変更が検出されるとアスタリスク (*) が表示されます。

2021年12月15 日

  • Databricks SQL の一般提供が開始されました。 これは、データ、AI、BIのワークロードを1か所に統合する初のレイクハウスプラットフォームを提供する上で大きなマイルストーンとなります。 GA では、ミッションクリティカルなワークロードに対して、Databricks から最高レベルの安定性、サポート、エンタープライズ対応性を期待できます。 詳細については、 GA の発表に関するブログ をご覧ください。

  • アラートは、クエリーとは無関係にスケジュールされるようになりました。 新しいアラートを作成してクエリーを作成すると、アラートのスケジュールも作成するように求められます。 既存のアラートがある場合は、元のクエリーからスケジュールが複製されています。 この変更により、[ 所有者として実行 ] と [ 閲覧者として実行 ] クエリーの両方にアラートを設定することもできます。 Run as Owner クエリー 指定されたアラートスケジュールで、クエリー所有者の認証情報を使用して実行します。 Run as Viewer クエリー アラート作成者の資格情報を使用して、指定されたアラートスケジュールで実行します。 「 Databricks SQL アラートとは」を参照してください。 と Schedule a クエリー。

  • SQL エディターとダッシュボードの両方でパラメーターを並べ替えることができるようになりました。

  • ヒートマップのビジュアライゼーションを作成するためのドキュメントが拡張されました。 ヒートマップのオプションを参照してください。

2021年12月9 日

  • テーブル ビジュアリゼーションを作成するときに、列のフォントの色を静的な値に設定したり、列のフィールドの値に基づいて値の範囲に設定したりできるようになりました。リテラル値がしきい値と比較されます。 たとえば、値が 500000を超える結果を色分けするには、 ではなく > 500,000ではなく > 500000のしきい値を作成します。列の色を条件付きで書式設定するを参照してください。

  • タブ付き SQL エディターのスキーマ ブラウザーのアイコンで、テーブルとビューを区別できるようになりました。

2021年12月1 日

  • SQL 構成をワークスペース レベルで適用できるようになりました。 これらのパラメーターは、ワークスペース内のすべての既存および新規の SQLエンドポイントに自動的に適用されます。 「SQL の構成」を参照してください。

2021 年 11 月 18 日

  • サイドバーのショートカットを使用して SQL エディターを開くことができるようになりました。 SQL エディターを開くには、[ SQL エディター] をクリックします。

  • データサイエンス & エンジニアリング クラスターを作成する権限がある場合は、サイドバーの [ 作成 ] をクリックし、[SQLエンドポイント] をクリックして SQLエンドポイントを作成できるようになりました。

  • 管理者は、UI を使用して、クエリー、ダッシュボード、またはアラートの所有権を別のユーザーに譲渡できるようになりました。 見る：

2021 年 11 月 4 日

  • マップ (コロプレス) ビジュアリゼーション ビジュアリゼーションで、凡例の色のグラデーション ステップの最大数が 11 から 20 に増加しました。デフォルトは、 最小色 と 最大色を含む5つのグラデーションステップです。

  • タブ付き SQL エディターで一括タブ管理がサポートされるようになりました。 タブを右クリックすると、[ その他を閉じる]、[ 左を閉じる]、[ 右を閉じる]、[ すべて閉じる] のオプションが表示されます。 最初または最後のタブを右クリックしても、[ 左を閉じる ] または [右を閉じる] のオプションは表示されません。

2021 年 10 月 28 日

  • カタログ エクスプローラでテーブルを表示する場合、テーブルの操作を簡略化するための 2 つのオプションがあります。

    • [ クエリー の作成] をクリックして>すべての列を選択し、最初の 1000 行を返すクエリーを作成します。

    • 「 クイック・ダッシュボードの作成 」をクリックすると>構成ページが開き、目的の列を選択し、それらの列を使用して基本情報を提供し、ダッシュボード・レベルのパラメーターやその他の機能を紹介するダッシュボードとサポート・クエリーを作成できます。

2021 年 10 月 19 日

  • 新しいキーボードショートカットがタブ付きエディターで使用できるようになりました。

    • 新しいタブを開く:

      • Windows： Cmd+Alt+T

      • マック: Cmd+Option+T

    • 現在のタブを閉じる

      • Windows： Cmd+Alt+W

      • マック: Cmd+Option+W

    • クエリーを開く ダイアログ

      • Windows： Cmd+Alt+O

      • マック: Cmd+Option+O

2021年9 月23日

  • ダッシュボードとすべての上流クエリに対する CAN RUN、CAN EDIT、CAN MANAGE 権限を持っている限り、既存のダッシュボードを複製して新しいダッシュボードを作成できるようになりました。 「 レガシーダッシュボードの複製」を参照してください。

  • 複数の Y 軸列を持つビジュアリゼーションで GROUP BY を使用できるようになりました。 散布図を参照してください。

  • {{ @@yPercent}}を使用して、正規化されていない積み上げ棒グラフのデータラベルを書式設定できるようになりました。棒グラフ (bar chart) を参照。

  • SAML 認証を使用していて、SAML 資格情報が数分以内に期限切れになる場合は、クエリーを実行したりダッシュボードを更新したりする前に、再度ログインするように事前に求められるようになりました。 これにより、クエリーの実行中に有効期限が切れる資格情報による中断を防ぐことができます。

2021年9 月20日

2021年9月16 日

  • クエリー結果で、 BIGINT 結果が 9007199254740991 より大きい場合に文字列としてシリアル化されるようになりました。 これにより、クエリー結果で BIGINT 結果が切り捨てられる可能性がある問題が修正されます。 その他の整数の結果は、引き続き数値としてシリアル化されます。 軸ラベルとツールヒントの数値書式は BIGINT 文字列としてシリアル化される結果には適用されません。 Databricks SQLのデータ型の詳細については、「 BIGINT 型」を参照してください。

2021年9月7 日

Databricks は、1 週間にわたって続く変更をロールアウトしています。 ワークスペースは、9 月 7 日以降までこれらの変更に対して有効になっていない可能性があります。

  • Databricks SQL はパブリック プレビュー段階になり、新しいワークスペースのすべてのユーザーに対して有効になりました。

    注

    パブリック プレビュー中 (つまり、2021 年 9 月 7 日から始まる週より前) にワークスペースで Databricks SQL が有効になっていた場合、ユーザーは変更しない限り、その日付より前に割り当てられた権利を保持します。 つまり、パブリック プレビュー中にユーザーが Databricks SQL にアクセスできなかった場合、管理者から許可されない限り、ユーザーは Databricks SQL にアクセスできません。

  • 管理者は、 Databricks SQL アクセス 権限 (API ではdatabricks-sql-access ) をユーザーまたはグループに割り当てることで、Databricks SQL にアクセスできるユーザーを管理できます。 デフォルトにより、新規ユーザーにはこの資格があります。

    管理者は、ユーザーまたはグループからDatabricks SQL Databricks Mosaic AIワークスペース アクセス 資格 (workspace-access API内の) を削除することで、ユーザーまたはグループへのアクセスを のみに制限し、データサイエンス & エンジニアリング または にアクセスできないようにすることができます。デフォルトでは、新しいユーザーにはこの権限があります。

    重要

    ログインして Databricks にアクセスするには、ユーザーは Databricks SQL アクセスまたは ワークスペース アクセス 権限 (あるいはその両方) を持っている必要があります。

  • すべてのワークスペースには、 Starter Endpoint と呼ばれる小さな 従来の SQL エンジン が事前構成されているため、ダッシュボード、視覚化、クエリの作成をすぐに開始できます。より複雑なワークロードを処理するには、サイズを増やす (レイテンシを削減するため) か、基盤となるクラスターの数を増やす (より多くの並列ユーザーを処理するため) だけで簡単に実行できます。 コストを管理するために、スターター エンドポイントは 120 分間のアイドル状態の後に終了するように構成されています。

  • ワークスペースでサーバレス コンピュートが有効で、サーバレス SQLエンドポイントを有効にすると、サーバレス スターター エンドポイントと呼ばれるサーバレス SQLエンドポイントが自動的に作成され、ダッシュボード、視覚化、クエリに使用できます。 サーバーレス SQLエンドポイントは、従来の SQLエンドポイントよりも迅速に開始され、10 分間アイドル状態になると自動的に終了します。

  • すばやく起動して実行できるように、管理者とユーザーは新しいガイド付きオンボード エクスペリエンスを利用できます。 オンボーディングパネルはデフォルトで表示され、サイドバーに残っているオンボーディングタスクの数をいつでも確認できます。 左のタスク をクリックして、オンボーディングパネルを再度開きます。

  • Databricks SQL の使用をすばやく開始するには、すべてのワークスペースから使用できる SAMPLESという読み取り専用カタログ内の 2 つの豊富なデータセットを使用します。 Databricks SQL について学習すると、これらのスキーマを使用して、クエリー、視覚化、およびダッシュボードを作成できます。 構成は不要で、すべてのユーザーがこれらのスキーマにアクセスできます。

    • nyctaxi スキーマには、 trips テーブルにタクシー乗車データが含まれています。

    • tpch スキーマには、次の表に小売収益とサプライ チェーンのデータが含まれています。

      • customer

      • lineitem

      • nation

      • orders

      • part

      • partsupp

      • region

      • supplier

    オンボーディングパネルで [ 最初のクエリーを実行 ] をクリックして、 nyctaxi スキーマの新しいクエリーを生成します。

  • 構成を必要とせずに Databricks SQL でデータを視覚化する方法については、ダッシュボード サンプル ギャラリーからダッシュボードをインポートできます。 これらのダッシュボードは、 SAMPLES カタログ内のデータセットを利用しています。

    ダッシュボード サンプル ギャラリーを表示するには、オンボード パネルの [ サンプル ダッシュボードのインポート ] をクリックします。

  • 「 CREATE FUNCTION 」コマンドおよび 「関数のドロップ 」コマンドを使用して、ネイティブ SQL 関数を作成およびドロップできるようになりました。

2021年9月2 日

  • ダッシュボードの CAN EDIT 権限を持つユーザーは、ダッシュボードの更新スケジュールとサブスクリプション リストを管理できるようになりました。 以前は、CAN MANAGE 権限が必要でした。 詳細については、 「ダッシュボードを自動的に更新する」を参照してください。

  • スケジュールを変更せずに、ダッシュボード サブスクライバーへのスケジュールされたエクスポートを一時的に停止できるようになりました。 以前は、すべてのサブスクライバーを削除し、スケジュールを無効にしてから再作成する必要がありました。 詳細については、 「スケジュールされたダッシュボードの更新を一時的に停止する」を参照してください。

  • デフォルトでは、ビジュアライゼーションは返された結果の数に基づいて動的にサイズ変更されなくなりましたが、結果の数に関係なく同じ高さを維持します。 前の動作に戻り、動的にサイズ変更するようにビジュアリゼーションを構成するには、ダッシュボードのビジュアリゼーションの設定で [パネルの高さを動的にサイズ変更 ] を有効にします。 詳細については、「 テーブル オプション」を参照してください。

  • 同じアカウント内の複数のワークスペースにアクセスできる場合は、Databricks SQL 内からワークスペースを切り替えることができます。 Databricks ワークスペースの左下隅をクリックし アカウント アイコン 、ワークスペースを選択して切り替えます。

2021年8 月30日

2021年8月12 日

  • スケジュールされたダッシュボードの更新を、Databricks アカウントに関連付けられていない Eメール アドレスに送信できるようになりました。 ダッシュボードを表示しているときに、[ スケジュール済み] をクリックして、サブスクライブしている Eメール アドレスのリストを表示または更新します。 Eメール アドレスが Databricks アカウントに関連付けられていない場合は、通知先として構成する必要があります。 詳細については、「 ダッシュボードの自動更新」を参照してください。

2021年8月05 日

  • EXPLAIN 結果の書式設定の改善

    • 結果の説明が読みやすくなりました

    • 行の折り返しのない等幅として書式設定

2021 年7月29日

  • クエリエディタで複数のタブがサポートされるようになったことで、複数のクエリのジャグリングが簡単になりました。 タブ付きエディターを使用するには、「 複数のクエリの編集」を参照してください。

2021年7月08 日

  • ダッシュボードのビジュアリゼーション ウィジェットにタイトルと説明が追加され、複数のダッシュボードで使用されるビジュアリゼーションのタイトルと説明をダッシュボード自体に合わせて調整できるようになりました。

  • サイドバーが更新され、視認性とナビゲーションが向上しました。

    • ウェアハウス は SQLエンドポイント になり、履歴の名前は クエリー履歴に変更されました。

    • アカウント設定 (以前の 名前は [ユーザー] ) が SQL アカウント アイコン [アカウント ] に移動 されました。[アカウント] を選択すると、Databricks ワークスペース を変更してログアウトできます。

    • ユーザー設定は以下に移動されましたユーザー設定アイコン設定と は、設定とSQL 管理コンソールに分割されました。 SQL 管理コンソールは管理者にのみ表示されます。

    • ヘルプ アイコンが ヘルプ アイコン [ヘルプ] に 変わりました。

2021年7月01 日

  • 新しいカタログエクスプローラーでは、データベースとテーブルに対するパーミッションを簡単に表示および管理できます。 ユーザーは、スキーマの詳細を表示したり、サンプル データをプレビューしたり、テーブルの詳細とプロパティを表示したりできます。 管理者はデータ・オブジェクトの所有者を表示および変更でき、データ・オブジェクトの所有者は権限の付与および取り消しを行うことができます。 詳細については、「 カタログエクスプローラとは」を参照してください。

  • 水平グラフの Y 軸は、テーブルと同じ順序を反映するように更新されました。 以前に逆順を選択した場合は、[Y 軸] タブの [順序 の反転 ] トグルを使用して、新しい順序を逆にすることができます。

2021 年6月23日

  • 一時ビューがサポートされるようになりました。

2021年6月17 日

  • Databricksの新しいベクトル化された実行エンジンであるPhotonは、新しく作成されたSQLエンドポイント(UIとREST APIの両方)に対してデフォルトでオンになりました。Photonは透過的に高速化

    • Parquet テーブルと Delta テーブルに書き込みます。

    • Many SQL クエリー. 「制限事項」を参照してください。

  • CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS、および SHOW USERS コマンドを使用して、ユーザーとグループを簡単に管理できます。詳細については、「 セキュリティ関連のステートメント 」および「 表示関連のステートメント」を参照してください。

  • クエリエディターのスキーマブラウザは、100を超えるテーブルを持つ スキーマ でより高速に高速になります。 このようなスキーマでは、スキーマブラウザはすべてのカラムを自動的にロードしません。テーブルのリストは通常どおり表示されますが、列はテーブルをクリックしたときにのみ読み込まれます。 この変更は、候補を表示するためにこの情報に依存するため、クエリ エディターでのクエリ オートコンプリートに影響します。 テーブルを展開してその列を読み込むまで、これらの候補は使用できません。

2021年6月03 日

  • 新しく有効になった Databricks ワークスペースの管理者は、デフォルトで Databricks SQL エンタイトルメントを受け取るようになり、管理コンソールを使用して自分自身に Databricks SQL アクセスエンタイトルメントを付与する必要がなくなりました。

  • Photonは現在パブリック プレビュー段階にあり、新しいSQL サーバ用にデフォルトによって有効化されています。

  • マルチクラスター負荷分散は、パブリック プレビュー段階になりました。

  • CAN EDIT 権限を使用して、ダッシュボードやクエリで組織内の他のメンバーとのコラボレーションを有効にできるようになりました。 アクセス制御リストを参照してください。

2021年5 月26日

  • SQL アナリティクスは Databricks SQL に名前が変更されました。 この変更により、顧客向けの次の影響があります。

    • Web UI の参照が更新されました。

    • Databricks SQL へのアクセスを許可する資格の名前が変更されました。

      • UI: Databricks SQL アクセス (以前の SQL アナリティクス アクセス)

      • SCIM API: databricks-sql-access (以前は sql-analytics-access)

      以前の資格を持つユーザー、グループ、およびサービスプリンシパルは、新しい資格に移行されました。

    • Databricks SQL に関連する監査ログ イベントのタグが変更されました。

      • Databricks SQL イベントのプレフィックスが databrickssqlになりました。

      • changeSqlAnalyticsAcl 現在 changeDatabricksSqlAclされています。

  • ダッシュボードの更新

    • ダッシュボードのエクスポートファイル名が、UUID ではなくダッシュボード + タイムスタンプの名前に更新されました。

    • エクスポート レコードの制限が 22k から 64k に引き上げられました。

    • ダッシュボード作成者は、ダッシュボードのスナップショットを定期的にエクスポートおよび Email できるようになりました。 ダッシュボードのスナップショットはデフォルトのダッシュボード状態から取得されるため、ビジュアリゼーションとの対話はスナップショットに存在しません。

      • ダッシュボードの所有者である場合は、更新スケジュールを作成し、他のユーザーをサブスクライブすると、ダッシュボードが更新されるたびにダッシュボードのEメールでスナップショットを取得できます。

      • ダッシュボードの表示権限がある場合は、既存の更新スケジュールをサブスクライブできます。

      ダッシュボード スナップショットのサブスクリプションを参照してください。

  • 述語プッシュダウン式 (StartsWith、 EndsWith、 Contains、 Not(EqualTo())、および DataType) はサポートされていないため、AWS Glue カタログでは無効になっています。

2021年5 月20日

  • AWS KMS からの独自のキーを使用して、Databricks SQL クエリと Databricks に保存されているクエリ履歴を暗号化できるようになりました。 マネージド サービスのデータ (ノートブックとシークレット) を暗号化するためにワークスペースに独自のキーをすでに構成している場合は、それ以上のアクションは必要ありません。 マネージド サービス用の同じ顧客管理キーで、Databricks SQL クエリとクエリ履歴も暗号化されるようになりました。 マネージドサービスの顧客管理キーを参照してください。 この変更は、保存されている新しいデータにのみ影響します。 今日より前に保存された Databricks SQL クエリとクエリ履歴は、このキーで暗号化されることが保証されません。

    Databricks SQL クエリ結果は、ワークスペースのセットアップ時に指定したルート S3 バケットに保存され、マネージドサービス キーによって暗号化されません。 ただし、独自のキーを使用して暗号化することはできます。 「ワークスペース ストレージの顧客管理キー」を参照してください。

    この機能は、 エンタープライズ価格プランで利用できます。

  • [過去の実行] タブに相対時間が表示されるようになりました。

2021年5月13 日

  • Databricks SQL は列の型を推測しなくなりました。 以前は、 xxxx-yy-dd 形式の列は、識別コードであっても自動的に日付として扱われていました。 これで、その列は自動的に日付として扱われなくなりました。 必要に応じて、クエリーで指定する必要があります。 この変更により、以前の動作に依存していた一部の視覚化が機能しなくなる可能性があります。 このリリースでは、[ユーザー設定アイコン 設定 ] > [ 下位互換性 ] オプション>を変更して 、以前の動作に戻すことができます。今後のリリースでは、この機能を削除する予定です。

  • クエリー エディターにクエリー 進行状況インジケーターが追加されました。 状態の変化は、継続的に更新される進行状況バーに表示されるようになりました。

    進行状況バー

2021年5月06 日

  • 管理者ユーザーは、すべてのクエリとダッシュボードに対する表示アクセス権を持つようになりました。 このビューでは、管理者は任意のクエリまたはダッシュボードを表示および削除できます。 ただし、クエリまたはダッシュボードが管理者と共有されていない場合、管理者は編集できません。 「 クエリ管理ビュー 」と 「従来のダッシュボード管理ビュー」を参照してください。

  • マルチクラスター負荷分散を使用してエンドポイントの同時実行性を高める機能が、すべてのアカウントで利用できるようになりました。 指定した最小クラスター数と最大クラスター数の間でオートスケールするエンドポイントを作成できます。 過負荷のエンドポイントはスケールアップされ、負荷の低いエンドポイントはスケールダウンされます。

2021 年4月29日

2021年4 月22日

  • エンドポイントにアクセスできず、内部エラーのために削除されたように見える問題を修正しました。

2021年4月16 日

Databricks SQL は、Apache Spark SQL セマンティクスとの互換性を維持します。 このリリースでは、Apache Spark 3.1 のセマンティクスと一致するようにセマンティクスが更新されます。 以前は、Databricks SQL は Apache Spark 3.0 セマンティクスに合わせて調整されていました。

  • std、stddev、stddev_samp、variance、var_samp、skewness、kurtosis、covar_samp、 corrなどの統計集計関数は、式の評価中に DivideByZero が発生した場合 (たとえば、1 つの要素セットに適用された場合など) に Double.NaN ではなく stddev_samp NULL を返します。このリリースより前のリリースでは、 Double.NaNが返されます。

  • grouping_id() 長い値を返します。 このリリースより前のリリースでは、この関数は int 値を返していました。

  • クエリープランの説明結果がフォーマットされました。

  • from_unixtime、 unix_timestamp、to_unix_timestamp、 to_timestamp、および to_date は、指定された日時パターンが無効な場合に失敗します。 このリリースの前に、彼らは NULLに戻りました。

  • Parquet、ORC、Avro、および JSON の DATA は、"ネストされた構造だけでなく、最上位の列でも重複する名前を検出した場合、読み取り中のデータ スキーマで重複する列が見つかりました" という例外 org.apache.spark.sql.AnalysisExceptionスローします。

  • 構造体とマップは、文字列にキャストする際に {} 角かっこで囲まれます。 たとえば、 show() アクションと CAST 式では、このような角かっこを使用します。このリリースより前は、d 括弧は同じ目的で使用されていました。

  • 構造体、配列、およびマップの NULL 要素は、文字列にキャストする際に "null" に変換されます。 このリリースより前のリリースでは、 NULL 要素は空の文字列に変換されていました。

  • 10 進数の列のオーバーフローの合計は null を返します。 このリリースより前のリリースでは、decimal 型の合計型列が null または誤った結果を返したり、ランタイムで失敗したりすることがありました (実際のクエリ プランの実行によって異なります)。

  • IllegalArgumentException は、無効な INTERVAL '1'、 INTERVAL '1 DAY 2'などの不完全な間隔リテラルに対して戻されます。 このリリースより前のリリースでは、これらのリテラルの結果は NULL になります。

  • Parquet ファイルとの間のタイムスタンプの読み込みと保存は、タイムスタンプが 1900-01-01 00:00:00Zより前であり、 INT96 の種類として読み込まれる (保存される) 場合、失敗します。 このリリースより前のリリースでは、アクションは失敗しませんが、ユリウス暦と先発グレゴリオ暦の間でリベースされるため、入力タイムスタンプがシフトする可能性があります。

  • schema_of_json 関数と schema_of_csv 関数は、フィールド名を引用符で囲んだ SQL 形式でスキーマを返します。このリリースより前のリリースでは、この関数はフィールド引用符なしで小文字のカタログ文字列を返します。

  • CHAR、CHARACTER、および VARCHAR 型は、テーブル スキーマでサポートされています。 テーブルのスキャンと挿入は、char/varchar セマンティクスを尊重します。 テーブルスキーマ以外の場所で char/varchar を使用すると、例外がスローされます (CAST は、以前のように char/varchar を文字列として扱うだけの例外です)。

  • Hive 外部カタログのテーブルに対して次の例外がスローされます。

    • ALTER TABLE .. ADD PARTITION 新しいパーティションが既に存在する場合は PartitionsAlreadyExistException をスローします。

    • ALTER TABLE .. DROP PARTITION 存在しないパーティションに対して NoSuchPartitionsException をスローします。

2021年4月13 日

  • SQLエンドポイントキューイングによるクエリスループットの向上。 エンドポイントが実行中のクエリですでに飽和している場合、SQL エンドポイントに送信されたクエリはキューに入れられるようになりました。 これにより、リクエストによるエンドポイントの過負荷が回避され、クエリのスループットが向上します。 パフォーマンスの向上は、エンドポイントのモニタリング画面で確認できます。

2021年4月01 日

  • 「書き込みー履歴」では、クエリのコンパイル、実行、結果の取得に費やした時間をすばやく確認できます。 「 クエリ プロファイル」を参照してください。 以前は、この情報はクエリをクリックして [実行の詳細] タブを開くことによってのみ入手できました。

  • SQLエンドポイントは、指定された最大クラスター数を超えてスケーリングされなくなりました。 SQLエンドポイントに割り当てられたすべてのクラスターは 24 時間後にリサイクルされるため、追加のクラスターが 1 つ存在する短いウィンドウを作成できます。

2021年3月18 日

  • クエリ エディターのオートコンプリートで Databricks SQL 構文がサポートされるようになり、コンテキストとエイリアスが認識されるようになりました。 「 クエリの作成」を参照してください。

  • JDBC および ODBC 要求が、サーバー上でセッションがタイムアウトした後、無効なセッション・エラーで失敗することがなくなりました。 BI クライアントは、セッションタイムアウトが発生したときにシームレスに回復できるようになりました。

2021年3月11 日

  • Databricks SQL に対して新しく有効になったワークスペースの管理者とユーザーは、Databricks SQL に自動的にアクセスできなくなりました。 Databricks SQL へのアクセスを有効にするには、管理者は次のことを行う必要があります。

    1. 管理者設定ページに移動します。

    2. [ ユーザー ] タブをクリックします。

    3. アカウントの行で、[ Databricks SQL アクセス ] チェック ボックスをオンにします。

    4. [確認]をクリックします。

    5. ステップ 3 と 4 を繰り返して、ユーザーに Databricks SQL へのアクセスを許可するか、グループへのアクセスを許可します。

  • クエリー、ダッシュボード、アラートを簡単に 新しいアイコン 作成するには、 新しい> [クエリー |ダッシュボード |アラート] をサイドバーの上部に表示します。

  • クエリ エディタで下書きが保存されるようになり、保存したクエリに戻すことができます。 「SQL エディターでのクエリの記述とデータの探索」を参照してください。

  • 外部データソースを作成できなくなりました。

  • SQLエンドポイントモニタリングチャートの信頼性が向上しました。 チャートに偽のエラーメッセージが断続的に表示されなくなりました。

2021年3月04 日

  • クエリー、ダッシュボード、およびアラート API ドキュメントが利用可能になりました。 Databricks REST API リファレンスに関するページを参照してください。

  • スケジュールされたダッシュボードの更新が常に実行されるようになりました。 更新は Web アプリケーションで実行されるため、ダッシュボードをブラウザーで開いたままにしておく必要がなくなります。 「ダッシュボードを自動的に更新する」を参照してください。

  • SQLウェアハウス API を使用して作成された新しい SQLエンドポイントでは、デフォルトのタイムアウトが 2 時間で自動停止が有効になりました。

  • Tableau Online ユーザーは SQLエンドポイントに接続できるようになりました。 Tableau Online の新しいクイックスタートをご覧ください。

  • SQLエンドポイントは、単一のアベイラビリティーゾーンの AWS リソースが不十分なために起動に失敗することがなくなりました。

2021年2 月26日

2020 年 9 月にパブリック プレビューでリリースされた Azure Databricks 用の新しい Power BI コネクタが一般提供になりました。 それは提供します:

  • 単純な接続構成: 新しい Power BI Databricks コネクタが Power BI に統合され、数回クリックするだけで簡単なダイアログを使用して構成します。

  • パフォーマンスが大幅に向上した新しい Databricks ODBC ドライバーにより、インポートと最適化されたメタデータ呼び出しが高速化されました。

  • Power BI を介した Databricks データへのアクセスは、 Databricksテーブルアクセスコントロール を尊重します。

詳細については、「 Power BI を Databricksに接続する」を参照してください。

2021 年 2 月 25 日

  • SQLエンドポイントでの権限の設定が高速になりました。これは、新しい SQLエンドポイントを作成した直後のステップであり、既存のエンドポイントを編集するときに簡単にアクセスできます。 「SQLウェアハウスへの接続」および「SQLウェアハウスの管理」を参照してください。

  • ビジュアライゼーション設定を再利用するために、ビジュアライゼーションを複製できるようになりました。 「ビジュアリゼーションの複製」を参照してください。

  • クエリ結果は、 Databricks アカウントではなく自分のアカウントに保存されるようになりました。

  • オブジェクトに定義されているすべてのアクセス許可を一覧表示して情報の漏洩を防ぐには、 SHOW GRANTS [<user>] <object> を実行するには、次のいずれかである必要があります。

    • Databricks SQL 管理者または <object>の所有者。

    • [<user>]で指定されたユーザー。

2021年1月07 日

  • アイドル状態のエンドポイントへの支出を削減するために、新しいSQLエンドポイントでは、2 時間の既定のタイムアウトで自動停止が有効になりました。 タイムアウトに達すると、エンドポイントは停止します。 タイムアウト期間はいつでも編集したり、自動停止を無効にしたりできます。

  • TEXT 型のクエリー パラメーターを除き、クエリー パラメーターに引用符は追加されなくなりました。Dropdown List、 Query Based Dropdown List、または任意の Date タイプのパラメーターを使用したことがある場合は、クエリー を機能させるために引用符を追加する必要があります。たとえば、クエリーが SELECT {{ d }}の場合、このクエリーは SELECT '{{ d }}'である必要があります。

2020 年 11 月 18 日

Databricks は、アドホック クエリーを実行し、データレイクに格納されているデータにダッシュボードを作成するための直感的な環境である Databricks SQL のパブリック プレビューを導入できることを嬉しく思います。 Databricks SQL を使用すると、組織は、データウェアハウジングのパフォーマンスとデータレイクの経済性を提供するマルチクラウド レイクハウス アーキテクチャ を運用できます。 Databricks SQL:

  • Tableau や Microsoft Power BI など、現在使用している BI ツールと統合して、データレイク内の最も完全で最新のデータを取得します。

  • 既存の BI ツールを SQL ネイティブ インターフェイスで補完し、データアナリストとデータサイエンティストが Databricks 内で直接データレイク データをクエリーできるようにします。

  • 豊富な視覚化と、重要なデータ変更の自動アラートを備えたドラッグアンドドロップダッシュボードを通じて、クエリー知見を共有できます。

  • Connect をSQLウェアハウスに使用して、信頼性、品質、スケール、セキュリティ、パフォーマンスをデータレイクにもたらし、最新かつ完全なデータを使用して従来のアナリティクス ワークロードを実行できるようにします。

  • データ アクセス管理を簡略化するための USAGE 特権を導入します。 スキーマ内のオブジェクトを使用するには、アクションを実行するために必要な権限に加えて、そのスキーマに対する USAGE 権限が付与されている必要があります。 USAGE 特権は、スキーマまたはカタログに付与できます。すでにテーブルアクセスコントロールを使用しているワークスペースの場合、 USAGE 権限はルート CATALOGのusersグループに自動的に付与されます。 詳細については 、「Hive metastore 特権とセキュリティ保護可能なオブジェクト (レガシー)」 を参照してください。

詳細については、「 Databricks のデータウェアハウジングとは」 を参照してください。

解決された問題

  • SQL エディター。 SQL エディターは、クエリー タブを切り替えるときに、選択したテキストとスクロール位置を保持するようになりました。

  • SQL エディター。 SQLエディタでクエリーで「実行」をクリックし、クエリーの実行中に別のページに移動して戻ると、エディターに正しいクエリー状態が表示されます。 別のページにいる間にクエリーが完了すると、SQLエディターページに戻ったときにクエリーの結果が表示されます。

  • MySQL 8.0 を外部メタストアとして使用できるようになりました。

  • DESCRIBE DETAIL Delta テーブルのコマンドが java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.

  • タイムスタンプが INT96 の Parquet ファイルの読み取りが失敗することがなくなりました。

  • ユーザーがクエリに対する 実行可能権限を持っていてそれを実行すると、クエリが別のユーザーによって作成された場合、クエリ履歴にはクエリの実行者がユーザーとして表示されます。

  • グラフのレンダリング時に null 値が無視されるようになり、グラフの使いやすさが向上しました。 たとえば、以前は、NULL 値が存在する場合、棒グラフの棒は非常に小さく見えました。 これで、軸は null 以外の値のみに基づいて設定されます。

既知の問題

  • マルチクラスター負荷分散 SQLエンドポイントの Delta Lake 以外の Data からの読み取りは、一貫性がなくなる可能性があります。

  • Databricks SQL でアクセスされるDelta テーブルは、そのスキーマとテーブルのプロパティを構成されたメタストアにアップロードします。外部メタストアを使用している場合は、メタストアで Delta Lake 情報を確認できます。 Delta Lake は、ベストエフォート方式でこの情報を可能な限り最新の状態に保つよう努めています。 DESCRIBE <table> コマンドを使用して、メタストア内の情報が更新されるようにすることもできます。

  • Databricks SQL では、セッション タイム ゾーンとして "GMT+8" などのゾーン オフセットはサポートされていません。 回避策は、地域ベースのタイムゾーンを使用することです https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) 代わりに 'etc / GMT + 8'のように。 タイムゾーンの設定の詳細については、「 タイムゾーンの設定 」を参照してください。

よくある質問（FAQ）

Databricks SQL ワークロードはどのように課金されますか?

Databricks SQL ワークロードは、 SQL コンピュート SKU に従って課金されます。

SQLエンドポイントはどこで実行されますか?

Databricks クラスターと同様に、 クラシック SQLエンドポイント は AWS アカウントで作成および管理されます。 従来の SQLエンドポイント は、アカウント内の SQL 最適化クラスターを自動的に管理し、エンドユーザーの需要に合わせてスケーリングします。

一方、サーバレス SQL リソース(パブリック プレビュー) の場合は、 Databricksアカウントでコンピュート リソースを使用します。 サーバレス SQL ウェアハウスは、SQL サーバの構成と使用を簡素化し、起動時間を短縮します。 サーバレス オプションは、ワークスペースに対して有効になっている場合にのみ使用できます。 詳細については、 サーバレス コンピュート プレーンを参照してください。

SQLエンドポイント from データサイエンス & エンジニアリング ワークスペース SQL ノートブックを使用できますか?

いいえ。 SQLエンドポイントは、Databricks SQL クエリ、 BI ツール、その他の JDBC クライアントや ODBC クライアントから使用できます。

クラウド プロバイダーの資格情報を使用してデータへのアクセスが許可されました。Databricks SQL でこのデータにアクセスできないのはなぜですか?

Databricks SQL では、データへのすべてのアクセスはデータ アクセス制御の対象であり、管理者またはデータ所有者は最初に適切な 特権を付与する必要があります。