Databricks SQL リリースノート 2024
2024 年 1 月から 12 月までの Databricks SQL の機能強化と更新の概要を次に示します。
2024年11月21日
SQLウェアハウス システムテーブル (パブリック プレビュー)
system.compute.warehouses
テーブルには SQLウェアハウスがいつ作成、編集、削除されたかが記録されます。 このテーブルを使用して、ウェアハウス名、タイプ、サイズ、チャンネル、タグ、自動停止、オートスケールの設定など、ウェアハウス設定の変更を監視できます。 ウェアハウス システムテーブル リファレンスを参照してください。
データディスカバリー
Catalog Explorer の [リネージ ] タブが再設計され、エンティティのフィルタリングの UI が改善されました。
2024年11月6日
Databricks SQL ストリーミング テーブルとマテリアライズド ビューに対する人間が読めるスケジュールのサポート
ユーザーは、CRON スケジューリングの人間が判読できる構文を使用して、ストリーミング テーブルとマテリアライズド ビューのスケジュールを開始、作成、および変更できるようになりました。 ALTER MATERIALIZED VIEW、ALTER STREAMING TABLE、CREATE MATERIALIZED VIEW、および CREATE STREAMING TABLEを参照してください。
ストリーミングテーブルでタイムトラベルクエリがサポートされるようになりました
タイムトラベルを使用して、タイムスタンプまたはテーブルバージョン (トランザクションログに記録された) に基づいて以前のテーブルバージョンをクエリできるようになりました。 タイムトラベルクエリを使用する前に、ストリーミングテーブルを更新する必要がある場合があります。 「Delta Lake タイムトラベルとは」を参照してください。
タイムトラベルクエリは、マテリアライズドビューではサポートされていません。
2024年10月31日
ユーザーインターフェースの更新
新しい SQL エディター (パブリック プレビュー)
これで、キーボードショートカットの
Command
(またはCtrl
) +Shift
+Enter
を使用して、アクティブな SQL クエリを実行できるようになりました。パラメーター入力領域に、テキストが表示ウィンドウの外側に広がるとスクロールバーが表示されるようになりました。
クエリ プロファイルの詳細ページが完全に開かない問題を修正しました。
クエリの名前を変更するには、タブのタイトルに新しい名前を入力します。
[ スケジュール ] ボタンは、以前に保存されたことのないクエリに対して無効になりました。
2024年10月24日
AI/BI ツールのリリースノート
AI/BIダッシュボードとAI/BI Genieのリリースノートは、AI/BIリリースノートに移動しました。今後のリリースと更新については、そちらで説明します。
2024年10月17日
通知先が一般公開されました
ワークスペースユーザーがアラート、 Databricks ジョブ、 AI/BI dashboard スケジュールなどの特定のワークフローに追加できる通知先を作成および構成して、イベント実行時にEメールまたはWebhookを送信できます。 「通知先を管理する」を参照してください。
2024年10月10日
マテリアライズド ビューとストリーミング テーブルが Databricks SQL で一般公開されました
ストリーミングテーブルは、クラウドストレージとメッセージキューからの増分インジェストを可能にしますが、マテリアライズドビューは、新しいデータが到着すると自動的かつ増分的に更新されるプレコンピュートビューです。 「Databricks SQL でのマテリアライズド ビューの使用」および「Databricks SQL でのストリーミング テーブルを使用したデータの読み込み」を参照してください。
Query 知見
新しい列
query_source
、executed_as
、およびexecuted_as_user_id
がクエリ履歴システムテーブルに追加されました。 Query history システムテーブル リファレンスを参照してください。
2024年10月3日
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
カタログエクスプローラー
AIが生成したコメントがカタログ、スキーマ、ボリューム、モデル、および関数でサポートされるようになり、ユーザーはインラインチャットアシスタントを使用してコメントを編集できるようになりました。
SQL AI 関数vector_search()
関数がパブリック プレビューで利用できるようになりました。vector_search機能を見る
2024年9月11日
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
SQLエディタ
名前付きパラメーター マーカー構文を SQL エディターで使用できるようになりました。 名前付きパラメーター マーカー構文は、SQL エディター、ノートブック、AI/BI ダッシュボード全体で使用できます。 「クエリ パラメーターの操作」を参照してください。
クエリとレガシーダッシュボード
SQL クエリとレガシーダッシュボードの場合、削除されたアイテムはリストページに表示されなくなりました。 ワークスペースのごみ箱フォルダーで削除済みアイテムを見つけます。 ワークスペース管理者は、すべてのユーザーのゴミ箱フォルダ内の削除済みアイテムを表示できます。
2024年9月5日
行動の変化
ビューのデフォルトのスキーマ・バインディング・モードへの変更
ビューは、通常のキャストルールでスキーマ補正を使用して、基になるクエリのスキーマ変更に適応するようになりました。 これは、ビューを参照するときにセーフキャストを実行できなかった場合にエラーを発生させていた以前のデフォルトの
BINDING
モードからの変更です。CREATE VIEW とキャスト関数を参照してください。
文書化されていない
!
構文を Boolean 式の外部でNOT
代わりに使用することを許可しないこのリリースでは、ブール式以外の
NOT
の同義語として!
を使用することは許可されなくなりました。たとえば、次のようなステートメントは、CREATE ... IF ! EXISTS
、 IS !NULL、! NULL
列またはフィールドのプロパティ、! IN
および !BETWEENは、CREATE ... IF NOT EXISTS
、IS NOT NULL
、NOT NULL
列またはフィールドプロパティ、NOT IN
、およびNOT BETWEEN
に置き換える必要があります。この変更により、一貫性が確保され、SQL 標準に合致し、SQL の移植性が向上します。
ブール接頭辞演算子
!
(!is_mgr
や!(true AND false)
など) は、この変更の影響を受けません。ドキュメント化されていない列定義構文をビューで許可しない
Databricks では、名前付き列と列コメントを使用した CREATE VIEW がサポートされています。 以前は、列タイプ、
NOT NULL
制約、またはDEFAULT
の指定が許可されていました。 このリリースでは、この構文は使用できなくなりました。この変更により、一貫性が確保され、SQL 標準に準拠し、将来の機能拡張がサポートされます。
無効な列に [
CHECK
] 制約を追加すると、UNRESOLVED_COLUMN.WITH_SUGGESTION
エラー クラスが返されるようになりましたより有用なエラー メッセージングを提供するために、Databricks Runtime 15.3 以降では、無効な列名を参照する
CHECK
制約を含むALTER TABLE ADD CONSTRAINT
ステートメントがUNRESOLVED_COLUMNを返します。WITH_SUGGESTION エラー クラス。以前は、INTERNAL_ERROR
が返されていました。
新機能と改善点
ALTER TABLE を使用した UniForm Iceberg の有効化
データファイルを書き換えることなく、既存のテーブルで UniForm Iceberg を有効にできるようになりました。 「既存のテーブルでの Iceberg 読み取りの有効化」を参照してください。
UTF-8 検証関数
このリリースでは、UTF-8 文字列を検証するための次の関数が導入されています。
is_valid_utf8 文字列が有効な UTF-8 文字列であるかどうかを確認しました。
make_valid_utf8 は、無効な可能性のある UTF-8 文字列を、置換文字を使用して有効な UTF-8 文字列に変換します
validate_utf8 は、入力が有効な UTF-8 文字列でない場合、エラーを発生させます。
try_validate_utf8 は、入力が有効な UTF-8 文字列でない場合、
NULL
を返します。
to_avroおよびfrom_avro機能
to_avro 関数と from_avro 関数を使用すると、SQL 型と Avro バイナリ データとの間で変換できます。
try_url_decode機能
このリリースでは、URL エンコードされた文字列をデコードする try_url_decode 関数が導入されています。 文字列が正しい形式でない場合、関数はエラーを発生させるのではなく
NULL
を返します。オプションで、オプティマイザが強制されていない外部キー制約に依存できるようにします
クエリのパフォーマンスを向上させるために、テーブルを CREATE または ALTER するときに、
FOREIGN KEY
制約にRELY
キーワードを指定できるようになりました。チェック制約テーブル機能の削除のサポート
データの削除と新しいデータの挿入を並行して行う
replaceWhere
実行ジョブを使用した選択的上書きにより、クエリのパフォーマンスとクラスタリング使用率が向上します。選択的な上書きのための並列化されたジョブの実行
データの削除と新しいデータの挿入を並行して行う
replaceWhere
実行ジョブを使用した選択的上書きにより、クエリのパフォーマンスとクラスタリング使用率が向上します。選択的上書きによるチェンジデータフィードのパフォーマンスの向上
チェンジデータフィードを持つテーブルで
replaceWhere
を使用した選択的上書きは、挿入されたデータに対して個別の変更データファイルを書き込まなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の_change_type
列を使用して、書き込み増幅なしで変更を記録します。COPY INTO コマンドのクエリ待ち時間の改善
このリリースには、
COPY INTO
コマンドのクエリの待ち時間を改善する変更が含まれています。 この機能強化は、 RocksDB 状態ストアによる状態の読み込みを非同期にすることで実装されます。 この変更により、既に取り込まれた多数のファイルを含むクエリなど、大きな状態を持つクエリの開始時間が改善されます。
2024年8月15日
可視化
ページ サイズを変更した後、テーブル視覚化の行番号が更新されない問題を修正しました。
データディスカバリー
Unity Catalog テーブルでネストされた複雑な列の型を展開および折りたたむ機能がサポートされるようになりました。
2024年8月1日
視覚化:
テーブルの並べ替えは、フィルタリングによってデータが変更されたときに保持されるようになりました。
SQL エディタ:
クエリの最後の行と結果出力の間にパディングを追加することで、読みやすさが向上しました。
2024年7月25日
Databricks REST API:
クエリ、アラート、データソース、およびアクセス許可の管理APIsが変更されました。レガシーバージョンは、引き続き 6 か月間サポートされます。 この移行期間は、古いバージョンが段階的に廃止される前に、アプリケーションと統合を新しいバージョンに移行するための十分な時間を確保することを目的としています。 「最新の Databricks SQL API バージョンへの更新」を参照してください
2024年7月18日
ユーザーインターフェースの更新
カタログエクスプローラー:
新しいカタログ構成ウィザードを使用して、カタログの作成時にワークスペース・バインディング、カタログ特権、およびメタデータを設定できるようになりました。
SQLウェアハウス モニタリング:
CAN MONITOR の許可が一般公開されました。 これにより、特権ユーザーは、関連するクエリ履歴やクエリ プロファイルなど、 SQLウェアハウスを監視できます。 ベクトル検索エンドポイント ACLを参照してください。
2024.35の変更点
ドロップ機能による列マッピングの無効化
DROP FEATURE
を使用して、Delta テーブルの列マッピングを無効にし、テーブル プロトコルをダウングレードできるようになりました。「列マッピングの無効化」を参照してください。
パブリック プレビューのバリアント型の構文と関数
VARIANT
型として半構造化データを操作するための組み込みの Apache Spark サポートが、Spark DataFrames と SQL で使用できるようになりました。「バリアント データのクエリ」を参照してください。
Delta Lake のバリアント型のサポート (パブリック プレビュー)
VARIANT
を使用して、Delta Lake を基盤とするテーブルに半構造化データを格納できるようになりました。「Delta Lake でのバリアントのサポート」を参照してください。
ビューでのスキーマ進化のさまざまなモードのサポート
CREATE VIEW と ALTER VIEW でスキーマバインディングモードを設定できるようになり、ビューが基礎となるオブジェクトのスキーマ変更を処理する方法が強化されました。 この機能により、ビューは基になるオブジェクトのスキーマ変更を許容または適応できます。 これは、オブジェクト定義の変更に起因するクエリ スキーマの変更に対処します。
一部のウィンドウ機能のパフォーマンスの向上
このリリースには、一部の Spark ウィンドウ関数 (特に ORDER BY
句や window_frame
パラメーターを含まない関数) のパフォーマンスを向上させる変更が含まれています。 このような場合、システムはクエリを書き換えて、集計関数を使用して実行できます。 この変更により、部分集計を使用し、ウィンドウ関数の実行オーバーヘッドを回避することで、クエリの実行を高速化できます。 Spark 構成パラメーター spark.databricks.optimizer.replaceWindowsWithAggregates.enabled
は、この最適化を制御し、デフォルトによってtrue
に設定されます。この最適化をオフにするには、 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled
を false
に設定します。
try_mod
機能のサポートが追加されました
このリリースでは、PySpark try_mod()
関数のサポートが追加されています。 この関数は、2 つの数値を除算することにより、ANSI SQL 互換の整数剰余の計算をサポートします。 divisor 引数が 0 の場合、 try_mod()
関数は例外をスローする代わりに null を返します。 mod
や %
の代わりに try_mod()
関数を使用すると、divisor 引数が 0 で ANSI SQL が有効になっている場合に例外がスローされます。
ユーザーインターフェースの更新
SQL エディタ:
インラインアシスタントが SQL エディターで使用できるようになりました。 エディターボックスのアシスタントアイコンをクリックして、入力を切り替えます。 質問やコメントを英語で入力し、Enterキー(Shift+Enterキーではなく、クエリを実行する)を押すと、エディタで直接異なるビューのレスポンスが生成されます。
プラットフォーム:
通知先用の API が利用可能になりました。 アラート通知とジョブ実行通知の Webhook と Eメール の送信先をプログラムで管理できるようになりました。 「通知先」を参照してください。
2024.30の変更点
レイクハウスフェデレーションの一般提供開始 (GA)
次の種類のレイクハウスフェデレーション コネクタが一般提供 (GA) になりました。
MySQL
PostgreSQL
Amazon Redshift
Snowflake
Microsoft SQL Server
Azure Synapse(SQLデータウェアハウス)
Databricks
このリリースでは、次の改善も導入されています。
SnowflakeおよびMicrosoft SQL Serverコネクタでのシングルサインオン(SSO)認証のサポート。
サーバレス コンピュート環境での安定したエグレス IP のサポート。 「ステップ 1: ネットワーク接続構成を作成し、安定した IP をコピーする」を参照してください。
追加のプッシュダウン (文字列、数学、その他の関数) のサポート。
さまざまなクエリ図形間でのプッシュダウン成功率が向上しました。
追加のプッシュダウン デバッグ機能:
EXPLAIN FORMATTED
出力には、プッシュダウンされたクエリ テキストが表示されます。クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーテッド ノード識別子、および JDBC クエリの実行時間 (詳細モード) が表示されます。 システム生成の横串検索の表示を参照してください。
DESCRIBE HISTORY
リキッドクラスタリングを使用するテーブルのクラスタリング列を表示するようになりました
DESCRIBE HISTORY
クエリを実行すると、operationParameters
列には、CREATE OR REPLACE
およびOPTIMIZE
操作のclusterBy
フィールドがデフォルトで表示されます。リキッドクラスタリングを使用する Delta テーブルの場合、clusterBy
フィールドにはテーブルのクラスタリング列が入力されます。 テーブルがリキッドクラスタリングを使用していない場合、フィールドは空です。
プライマリ・キーと外部キーのサポートが一般公開されました
Databricks Runtime での主キーと外部キーのサポートは、一般提供されています。 GA リリースには、プライマリ・キーと外部キーを使用するために必要な権限に対する次の変更が含まれています。
外部キーを定義するには、外部キーが参照するプライマリ・キーを持つテーブルに対する
SELECT
権限が必要です。 以前に必要だったプライマリキーを持つテーブルを所有する必要はありません。CASCADE
句を使用してプライマリ・キーを削除する場合、プライマリ・キーを参照する外部キーを定義するテーブルに対する権限は必要ありません。以前は、参照テーブルを所有する必要がありました。制約を含むテーブルの削除には、制約を含まないテーブルの削除と同じ権限が必要になりました。
テーブルまたはビューでプライマリ・キーと外部キーを使用する方法については、 CONSTRAINT 句、 ADD CONSTRAINT 句、 DROP CONSTRAINT 句を参照してください。
リキッドクラスタリング is GA
リキッドクラスタリングのサポートは、 Databricks Runtime 15.2 以降を使用して一般提供が開始されました。 「Deltaテーブルにリキッドクラスタリングを使用する」を参照してください。
タイプの拡大はパブリック プレビュー段階です
Delta Lake を基盤とするテーブルで型の拡大を有効にできるようになりました。 型の拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「タイプ拡幅区間」を参照してください。
SQL マージ構文に追加されたスキーマ進化節
これで、WITH SCHEMA EVOLUTION
句を SQL merge ステートメントに追加して、操作のスキーマ進化を有効にできるようになりました。 マージのスキーマ進化構文を参照してください。
バキューム在庫支援
Delta テーブルで VACUUM
コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 OSS Delta のドキュメントを参照してください。
Zstandard 圧縮関数のサポート
zst_compress、zstd_decompress、および try_zstd_decompress 関数を使用して、BINARY
データを圧縮および圧縮解除できるようになりました。
2024年6月27日
Databricks SQL マテリアライズド ビューとストリーミング テーブルの行フィルターと列マスクがパブリック プレビューです
Databricks SQL マテリアライズド ビューとストリーミング テーブルの行フィルターと列マスクは 、パブリック プレビューです。 パブリック プレビュー リリースには、次の変更が含まれています。
Databricks SQLマテリアライズドビューまたはストリーミングテーブルに行フィルターと列マスクを追加できます。
行フィルターと列マスクを含むテーブルで、Databricks SQLマテリアライズドビューまたはストリーミングテーブルを定義できます。
CREATE MATERIALIZED VIEW と CREATE STREAMING TABLE を参照してください。
ユーザーインターフェースの更新
視覚化:
多数のデータポイントを持つ円グラフ、散布図、ヒートマップチャートにカーソルを置いたときのツールチップ表示のインタラクティブ性を改善しました。
カタログエクスプローラ:
刷新された Catalog Explorer UI により、 クイックアクセス ビューから最近の Unity Catalog アセットを簡単に見つけてお気に入りに追加できるようになりました。 ナビゲーションDBFS エクスペリエンスも簡素化され、画面の左上隅にある [ 設定] を使用して、コンピュート、ストレージ、資格情報、接続、 、および管理の詳細を探索できるようになりました。Delta Sharing、クリーンルーム、External Dataに専用ページを開設しました。
2024年6月6日
Databricks SQL マテリアライズド ビューとストリーミング テーブルの修正
Databricks SQL マテリアライズド ビューとストリーミング テーブルに対する ALTER SCHEDULE
クエリが、次の REFRESH 操作が修正された後にのみ有効になる問題。 これで、 ALTER SCHEDULE
クエリがすぐに適用されます。 マテリアライズド・ビューの更新のスケジュールを参照してください。
Databricks SQL のマテリアライズド ビューとストリーミング テーブルがパブリック プレビューに
Databricks SQL の具体化されたビューとストリーミング テーブルはパブリック プレビューであり、すべての顧客が利用できます。パブリック プレビュー リリースには、次の変更が含まれています。
REFRESH
Databricks SQL の具体化されたビューとストリーミング テーブルが SYNCHRONOUS BY デフォルトになりました。REFRESH (MATERIALIZED VIEW または STREAMING TABLE)を参照してください。Databricks SQL マテリアライズド ビューまたはストリーミング テーブルの更新操作中に発生したエラーは、 SQL エディターで返されます。
Databricks SQL でマテリアライズド ビューとストリーミング テーブルを使用する方法については、「 Databricks SQL でマテリアライズド ビューを使用する 」および 「Databricks SQL でストリーミング テーブルを使用してデータを読み込む」を参照してください。
ユーザーインターフェースの更新
ダッシュボード:
アカウント ユーザーは、公開されたダッシュボードから視覚化データをダウンロードできるようになりました
未公開のダッシュボードは、ダッシュボードの上部にある [下書き/公開 ] ドロップダウンを使用して公開できるようになりました。
limit という名前のパラメーターが検出されない問題を修正しました。
ダッシュボードが AWS GovCloud のサイドナビゲーションに表示されるようになりました。
視覚化:
ダークモードでのボックスプロットレンダリングを改善しました。
Query 知見:
ウェアハウスに接続されているすべてのノートブック SQL、クエリを含むセルの下にある [パフォーマンスの表示 ] をクリックして、クエリ プロファイルにアクセスできます。 セルに複数のクエリが含まれている場合は、各ステートメントのクエリ プロファイルへのリンクが提供されます。
2024年5月30日
SQLウェアハウスの新しいアクセス許可レベル
[監視可能 ] アクセス許可を使用すると、ユーザーは、関連するクエリ履歴やクエリ プロファイルなど、 SQLウェアハウスを監視できます。 [監視可能] アクセス許可がパブリック プレビューになりました。ベクトル検索エンドポイント ACLを参照してください。
2024年5月23日
ユーザーインターフェースの更新
ワークスペース内の複数のアイテムを選択して、移動または削除できるようになりました。 複数のオブジェクトを選択すると、アクションバーが表示され、アイテムを移動または削除するオプションが提供されます。 さらに、マウスを使用して複数のアイテムを選択し、それらを新しい場所にドラッグすることもできます。 オブジェクトに対する既存の権限は、一括移動および削除操作中も引き続き適用されます。
Unity Catalog アセットを Catalog Explorer と Schema Browser でお気に入りとしてマークできるようになりました。 これには、カタログ、スキーマ、テーブル、モデル、ボリューム、および関数が含まれます。 お気に入りとしてマークした Unity Catalog アセットには、Databricks のホームページから簡単にアクセスできます。
ダッシュボードの更新:
2 軸コンボ チャートで、右軸にバーの凡例が正しく表示され、それに応じて折れ線の凡例が表示されるようになりました。
2 重軸グラフで、棒にラベルが正しく表示されるようになりました。
ビジュアライゼーションの更新:
テーブルエディタの if と then の条件付き書式ラベルがダークモードをサポートするようになりました。
冗長な オープンリンク アイコンは、テーブルエディタのフォーマットツールチップから削除されました。
テーブルエディタのデフォルトのフォントカラーのラベルが自動的に整列するようになりました。
2024年5月16日
ロールアウト スケジュール
2024.25 のプレビュー ロールアウト: 5月1日完了
2024.25 の現在のロールアウト: 5月14日から5月21日まで
注:
panda Python ライブラリ (バージョン 2.0.3) へのアップグレード Databricks SQL バージョン 2024.20 で重大な変更が発生しました。 Databricks は、現在のチャンネルにバージョン 2024.20 をロールアウトしませんでした。 代わりに、プレビューチャンネルは2025年5月1日に2024.25にアップグレードされました。 現在のチャンネルのロールアウトは、2024.15 から 2024.25 に直接行われます。
2024.25の変更点
データガバナンス
資格情報のパススルーと Hive metastore テーブルアクセスコントロール は非推奨です。
資格情報のパススルーと Hive metastore テーブルアクセスコントロール は、従来のデータガバナンス モデルです。Unity Catalog にアップグレードすると、アカウント内の複数のワークスペースにわたるデータアクセスを一元的に管理および監査できる場所が提供され、データのセキュリティとガバナンスが簡素化されます。 「Unity Catalog とは」を参照してください。
資格情報のパススルーと Hive metastore テーブルアクセスコントロール のサポートは、今後の DBR バージョンで削除されます。
SQL 言語の機能
* (スター) 句が WHERE 句でサポートされるようになりました。
これで、WHERE
句のスター (*
) 句を使用して、SELECT
リストのすべての列を参照できるようになりました。たとえば、 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)
.
Cloudflare R2ストレージのサポートにより、2024.15以降、リージョン間のエグレス料金を回避
Unity Catalogに登録したデータのクラウドストレージとしてCloudflare R2を利用できるようになりました。 Cloudflare R2は、主にDelta Sharingのユースケースを対象としており、データがリージョンをまたぐときにクラウドプロバイダーから請求されるデータエグレス料金を回避したいと考えています。
Cloudflare R2ストレージは、AWS S3でサポートされているすべてのDatabricksデータとAIアセットをサポートしています。
「Cloudflare R2 レプリカを使用するか、ストレージを R2 に移行する」および「Cloudflare R2 に接続するためのストレージ資格情報を作成する」を参照してください。
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
データディスカバリーの更新: Hive metastoreからUnity Catalogへの更新ウィザードは、汎用コンピュートまたは SQL ウェアハウスを使用したHive metastoreマネージドテーブルのアップグレードをサポートします。 20 を超えるテーブルを更新すると、変換を実行するSYNC
コマンドとALTER TABLE
コマンドを含む新しいノートブックが作成されます。
ダッシュボードの更新:
2 軸機能が、面グラフ、横棒グラフ、折れ線グラフ、散布図の種類で使用できるようになりました。
2 重軸グラフを有効にすると、軸のタイトルと範囲が 2 次軸にコピーされなくなります。
ビジュアライゼーション設定で識別された最後のフィールドは、右側の Y 軸に自動的に再配置されます。
2024年5月9日
SQL エディタの修正:
管理設定 の結果テーブルのクリップボード機能が 、SQL エディターの新しい 結果テーブルに適用されるようになりました。
ダッシュボードの改善:
クエリベースのパラメーターを使用すると、作成者は、閲覧者がダッシュボード キャンバス上の他のビジュアライゼーションのパラメーターとして使用できる選択可能な値のリストを定義できます。 「 クエリベースのパラメーターを使用する」を参照してください。
テーブルウィジェットからダウンロードしたファイルの列の順序が保持されるようになりました。
テーブル エディターに、列の名前を表示するホバー ツールヒントが含まれるようになりました。
他のビジュアライゼーションタイプからヒストグラムに切り替えるときに、情報のエンコーディングがより適切に保持されるようになりました。
ダッシュボードの修正:
1 つのグリッドの高さフィルターで不要なオーバーフロー スクロールバーが表示される問題を修正しました。
参照されたデータセット列が削除された公開済みダッシュボードでビジュアライゼーションが正しくレンダリングされない問題を修正しました。
2024年5月2日
サーバレス SQLウェアハウスのサポートが拡張されました: サーバレス SQLウェアハウスが次のリージョンで利用できるようになりました。
CA-セントラル-1
AP北東-2
ダッシュボードの更新:
クエリと視覚化を SQL エディターから新しいダッシュボードにコピーできるようになりました。 SQL エディターから従来のダッシュボードにビジュアライゼーションを追加することはできます。 「ダッシュボードの編集、ダウンロード、またはダッシュボードへの追加」を参照してください。
ダッシュボードは、初期読み込み時間を最適化するために、24時間の結果キャッシュを保持するようになりました。 データセットの最適化とキャッシングを参照してください。
カテゴリ X と定量的 Y の棒グラフが Databricks Assistant の応答で並べ替えられるようになりました。
従来のヒストグラム
COUNT (*)
に関する移行の問題を修正し、正確な移行を確保しました。フィルターウィジェットで数値型と日付型を混在させる機能を実装しました。
グラフを作成するとき、Databricks Assistant は、入力中に関連する列を自動的に提案するようになりました。
ビジュアライゼーションの更新:
テーブルのユーザー選択の色が、従来のグラフの明るいモードと暗いモードにまたがって保持されるようになりました。
データ切り捨てロジックが改善され、コンボ、円グラフ、ヒートマップグラフ、ヒストグラムグラフの性能が向上しました。
目盛りは、基本チャートの量的軸の上部に常に表示されるようになりました。
2024年4月23日
UI の更新:
UI のすべての [共有 ] ダイアログで、
All Users
グループの名前がAll Workspace Users
に変更されました。 新しい名前は、ワークスペースに割り当てられたユーザーが常に含まれていたグループのスコープをより正確に反映しています。 この名前変更の一環として、グループ メンバーシップは変更されません。
ダッシュボードの改善:
ダッシュボードの SQLウェアハウスが起動すると、待機時間を説明するダイアログが表示されます。
スクロール位置は、[ キャンバス ]タブと [データ ]タブを切り替えるときに保持されます。
レガシーダッシュボードを複製してLakeviewダッシュボードを作成すると、一部のパラメーター変換がサポートされるようになりました。 「 レガシ パラメーターの調整」を参照してください。
今日、明日、7 日前などの相対日付が、日付および日時パラメーターでサポートされるようになりました。
数値範囲スライダーは、ダッシュボードにフィルターとして追加できます。
ヒストグラムで、細分化されたデータを表示できるようになりました。
散布図プロットがサイズエンコーディングに対応しました。
ダッシュボードの修正:
テンポラル カラー エンコーディングで、カラーの割り当てを正しく変更できるようになりました。
ビジュアライゼーションの更新:
カスタムツールトップ形式が多軸グラフで正しく機能するようになりました。
新しいグラフのプレビュー タグは、ユーザーが過去 14 日間にトグルを変更していない場合に削除されます。
2024年4月18日
Lakeview ダッシュボードの一般提供開始
Lakeviewダッシュボードは、デフォルトのダッシュボードツールになりました。 UI では [ダッシュボード ] に名前が変更されました。 Databricks SQL ダッシュボードは、 レガシ ダッシュボードと呼ばれるようになりました。 関連する API ツールの名前は変更されていません。
ダッシュボードの改善:
監査ログは、Lakeviewダッシュボードで使用できます。 「ダッシュボードのイベント」を参照してください。
ダッシュボードからダウンロードされたデータでは、適用されたパラメーターが尊重されます。
Databricks Assistant は、最初にデータセットを追加せずに [ データ ] タブで有効になります。
複数の Y フィールドを持つ積み上げ棒グラフでは、Y 軸の値の合計に基づく X 軸の並べ替えをサポートできます。
視覚化軸メニューで 線形 スケール機能と 対数(対称) スケール機能を切り替えます。
フィルターウィジェットのデフォルトサイズがよりコンパクトになりました。
テキスト入力フィルターウィジェットの初期読み込み時間が短縮されました。
従来のダッシュボードから移行する際の自動チャート変換が改善されました。
ダッシュボードの修正:
表示制限設定の警告は、ダッシュボードが他のユーザーと共有されている場合には表示されません。
[データ] タブの SQL エディターのエラー メッセージがダーク モード有効になりました。
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
改善点:
積み上げグラフのツールヒントに、デフォルトで積み上げ値とパーセンテージが表示されるようになりました。
多軸グラフのツールヒントで、ホバーされた項目が強調表示されるようになりました。
Databricks SQL のテーブル視覚化では、SQL エディターで編集するときに、新しいクエリ結果のデータ型が適応されるようになりました。
Catalog Explorer の クエリー履歴 テーブルには、 Query ソース アトリビューションのツリーのようなビューが表示されます。 これを使用して、クエリステートメントの実行をトリガーしたエンティティを確認できます。
2024年4月11日
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
改善点:
Databricks SQL とノートブックで視覚化を作成するときに、パーセンテージでグループ化できるようになりました。
新しいグラフ (パブリック プレビュー) では、軸に平行な直線をクリックしてドラッグすることで、1 つの軸に沿ってズームインできます。
Unity Catalog共有クラスタリング許可リスト UI が一般公開されました。カタログエクスプローラーのメタストアの詳細ページからアクセスできます。 「許可リストに項目を追加する方法」を参照してください。
外部ロケーションを作成および編集するためのフォームが、全ページとして開くようになりました。 これには、ストレージ資格情報を含めるオプションが含まれています。
修正内容:
ヒストグラム グラフで、負の値が誤って正の値としてマークされる問題を修正しました。
2024年4月4日
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
改善点:
Lakeview ダッシュボードのヒストグラム チャートの改善。
ラベルのサポートが追加されました。
ビンの設定は、異なるフィールド間で切り替えても保持されるようになりました。
ダッシュボードのリスト ページのサンプル ギャラリーで、Lakeview ダッシュボードが作成されるようになりました。 「チュートリアル: サンプル ダッシュボードの使用」を参照してください。
Lakeview ダッシュボード上のウィジェットの境界線を右クリックすると、コンテキスト メニューが開きます。
左側のナビゲーションバーは、公開されたLakeviewダッシュボードを表示するワークスペースユーザーのために保持されます。
公開済みのLakeviewダッシュボードとドラフトのLakeviewダッシュボード間を移動する場合、フィルタの選択は保持されます。
ドラフトのLakeviewダッシュボードの[ データ ]タブからクエリを編集するときに、列名をSQLエディターに挿入できるようになりました。
Lakeview ダッシュボードを置き換えると、既存のダッシュボード名が保持され、内容が置き換えられます。
ヒート マップと他のチャート タイプ間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。
修正内容:
カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。
一部のビジュアライゼーションで [PNG としてダウンロード ] ボタンが欠落していた問題を解決しました。
以前は数千の区切り記号が欠落していた負の大きな整数の書式設定を修正しました。
折れ線グラフのラベルにカーソルを合わせたときの誤ったホバー線の配置を修正しました。
2024.15の変更点
Delta の更新
Delta UniFormは、以下のサイトで一般公開されました。 UniForm が一般公開され、IcebergCompatV2 テーブル機能を使用できるようになりました。 既存のテーブルで UniForm を有効化またはアップグレードできるようになりました。 Deltaクライアントを使用した テーブルの読み取りIceberg を参照してください。
Delta テーブルの統計をスキップするデータを再計算する: データのスキップに使用される列を変更した後、Delta ログに格納されている統計を再計算できるようになりました。 Delta 統計カラムの指定を参照してください。
SQL 言語の更新
SQL セッションで一時変数を宣言します。 このリリースでは、セッションで一時変数を宣言し、クエリで設定して参照できる機能が導入されています。 変数を参照してください。
ネイティブ XML ファイル形式のサポート (パブリック プレビュー): ネイティブ XML ファイル形式のサポートがパブリック プレビューになりました。 XML ファイル形式のサポートにより、バッチ処理またはストリーミングのための XML データの取り込み、クエリ、および解析が可能になります。 スキーマとデータ型を自動的に推論して進化させることができ、
from_xml
などの SQL 式をサポートし、XML ドキュメントを生成できます。 外部 jar を必要とせず、Auto Loader、read_files
、COPY INTO
、Delta Live Tables とシームレスに連携します。 XML ファイルの読み取りと書き込みを参照してください。
Cloud Fetch がデフォルトで有効になりました。 Cloud Fetch は、バケットのバージョニングが有効になっている AWS ワークスペースではデフォルトで有効になっています。 バケットのバージョン管理を有効にしている場合、Databricks では、アップロードされたクエリ結果の古いバージョンを自動的に削除するようにライフサイクル ポリシーを設定することをお勧めします。 ODBC での Cloud Fetch (ODBC)およびJDBC での Cloud Fetch (JDBC)を参照してください。
Apache Spark SQL の更新
Databricks SQL 2024.15 には、Apache Spark 3.5.0 が含まれています。 SQLのその他のバグ修正と改善点については、Databricks Runtime 14.3 リリースノートに記載されています。Apache Spark を参照し、[SQL]
タグで完全な一覧を探します。
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
Catalog Explorer のエンティティ ページにある新しい概要タブには、ファイル サイズ、データソース、所有者、テーブル スキーマ、コメントなどの重要なメタデータが表示されます。
Lakeview ダッシュボードの更新:
Lakeview ダッシュボードでパラメーターがサポートされるようになりました。 作成者は、[ データ ] タブからデータセット クエリにパラメーターを追加し、単一値セレクターと日付ピッカーを使用してキャンバスにパラメーターを設定できます。 「ダッシュボード パラメーターの操作」を参照してください。
Lakeview ダッシュボードがワークスペース権限 API でサポートされるようになりました。 リファレンスの 「PATCH /api/ワークスペース/ワークスペース/updatepermissions RESTAPI」を参照してください。
キャンバス上のコントロール ウィジェットの名前が [フィルター ウィジェット] に変更されました。
コンボグラフでは、X 軸上の項目を分割することはできなくなりました。
[共有] ダイアログの [リンクをコピー ] ボタンに、URL に保存されているパラメーターが含まれるようになりました。
公開されたダッシュボードのウィジェットは、ホバー時に境界線を表示しなくなりました。
Databricks Assistant ボタンと [PNG のダウンロード] ボタンがグラフのビジュアルと重なる問題を解決しました。
ヒートマップと他のチャートタイプ間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。
カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。
2024年3月21日
Unity Catalog モデルリネージがパブリックプレビューになりました。
カタログエクスプローラのテーブルビューに、プライマリメタデータを説明するための 「概要 」タブが追加されました。
SQLウェアハウス for ノートブック (一般提供開始) を使用すると、ノートブックの豊富なコラボレーション オーサリング環境で、 SQL ワークロードにフルマネージド、インスタント、スケーラブルなコンピュートを活用できます。 「SQLウェアハウスでノートブックを使用する」を参照してください。
次の修正と改善がLakeviewダッシュボードに適用されます。
Lakeview の API サポートの拡張により、ダッシュボードを作成、取得、更新、およびごみ箱に入れる機能が追加されます。 REST API リファレンスの Lakeview を参照してください。
[データ] タブにカタログ ブラウザーの更新ボタンを追加しました。
Lakeview ダッシュボードは、ワークスペース サイドバーの [新規] メニューの [ダッシュボード] の前に表示されるようになりました。ダッシュボードのリストページでは、 Lakeview ダッシュボードタブが [ダッシュボード ] タブの左側に表示されます。
Lakeview の Databricks Assistant エクスペリエンスが更新され、検出可能性を向上させ、ユーザーが表示できるプロンプトを理解するのに役立つ入力ボックスと提案が追加されました。
Lakeviewビジュアライゼーションで中央値を集計できるようになりました。
Lakeview ダッシュボード視覚化エディターのカラー ピッカーを更新して、テーブルを作成する際のユーザー エクスペリエンスをより合理化しました。
円グラフの移行が改善され、角度または色の定義を持つシナリオのみをサポートするようになりました。
count という名前のグラフによるグループ化ができないバグを修正しました。グラフを count という名前のフィールドでグループ化できるようになりました。
棒グラフの場合、 グループ および スタック レイアウト コントロールは、ユーザーが選択した構成に適用できない場合に非表示になりました。
2024年3月14日
Lakeview ダッシュボードの場合:
ヒストグラムでカスタムのカテゴリカラーがサポートされるようになりました。
ヒートマップで定量的スケールがサポートされるようになりました。
タイトルと説明は、コンボ チャートを含むビジュアライゼーション タイプを切り替えるときに保持されます。
これで、ドラフトダッシュボードウィジェットに関連付けられた基になるデータセットを右クリックして開くことができます。 データセットが [ データ ] タブで開きます。
新しいグラフでは、数値列の null 値にエイリアスとカスタム色が適用されるようになりました。
新しいチャートでは、Y 軸の上部を示すように目盛りがレンダリングされるようになりました。
2024年3月7日
Catalog Explorer でテーブルを表示する場合、[ 作成 ] ボタンには、Databricks SQL ダッシュボードではなく Lakeview ダッシュボードを作成するオプションが含まれています。
ヒストグラムが Lakeview ダッシュボードで使用できるようになりました。 ヒストグラムは、数値フィールドの分布を視覚化するためによく使用されます。
Databricks SQL ダッシュボードを複製して Lakeview ダッシュボードを作成するときに、データセット変換の問題が Lakeview ダッシュボードの新しいウィジェットにエラーとして表示されるようになりました。
カラーグラデーションは、数値フィールドが Lakeview ダッシュボードのビジュアライゼーションに使用される場合に使用できます。
色のグラデーションは、 Color by フィールド が指定されている場合に Lakeview ダッシュボードの視覚化エディターで公開されるようになりました。
ビジュアライゼーションに関連付けられたタイトルと説明は、ビューアーがドラフトの Lakeview ダッシュボードに対する編集権限を持っていない場合、編集可能に表示されなくなりました。
100 を超える系列を含むグラフのツールヒントで、すべての系列が誤って表示される問題を修正しました。 現在は、フォーカスされたシリーズのみが表示されます。
パフォーマンスの最適化により、SQL エディターでの入力レイテンシを 30% 削減しました。
SQL エディタでクエリを管理する場合、クエリをゴミ箱に移動すると、タブが自動的に閉じます。
サイドパネルの幅を調整するときにテキストが誤って選択されるSQLエディターの問題を修正しました。
2024年2月29日
サーバレス SQLウェアハウスのサポートが次の地域に追加されました。
AP南-1
AP南東-1
AP北東-1
SA-東-1
EU-ウエスト-3
サポートされているリージョンの完全な一覧については、「 Databricks のクラウドとリージョン 」を参照してください。
カタログエクスプローラーのスキーマブラウザに、列の主キー制約と外部キー制約が表示されるようになりました。
カタログエクスプローラの「リネージュ」(Lineage) タブに表示される保持期間が 1 年に延長されました。
ノートブックの新しいグラフのツールヒントは、常に視覚化境界内にレンダリングされるようになりました。
REST APIを使用してLakeviewダッシュボードをプログラムで管理する方法を学びます。 「ワークスペース を使用したダッシュボードの管理APIs 」を参照してください 。
Lakeview ダッシュボードでヒストグラムがサポートされるようになりました。
Lakeviewダッシュボードでの共有と公開の改善:
共有ダイアログと公開ダイアログが改善され、どのアカウントユーザーでも安全で簡単に共有できるようになりました。
ワークスペース ブラウザーから開いたダッシュボードには、公開されたダッシュボード (存在する場合) が表示されます。 閲覧者は、発行元、時刻、資格情報など、最新の公開バージョンの詳細も表示できるようになりました。
編集者は、Lakeview Dashboard UIの新しいドロップダウンスイッチャーを使用して、ドラフトバージョンと公開バージョン間をすばやく移動できます。
2024年2月22日
カタログエクスプローラのテーブルビューの「 サンプルデータ 」タブの改善により、列のソート、選択したデータのクリップボード へのコピー 、および行番号の表示が可能になりました。 JSONオブジェクト、日付、数値、null値などの特別な値をより適切に表示できるようになりました。
Lakeview ダッシュボードは、ダッシュボードの定期的な PDF スナップショットをワークスペース ユーザーと通知先に送信することをサポートするようになりました。 「スケジュールとサブスクリプション」を参照してください。
Lakeview ドロップダウンピッカーの視覚化オプションのリストがアルファベット順に並べ替えられるようになりました。
Databricks SQL ダッシュボードを Lakeview ダッシュボードにコピーするときに、変換できないウィジェットに、エラー メッセージの代わりに視覚化構成ピッカーが表示されるようになりました。
2024年2月15日
コードベースのクエリフィルタ(
SELECT action AS 'action::filter'
など)のドキュメントは削除されました。 Databricks では、このパターンを削除するためにクエリを更新することをお勧めします。
Lakeview ダッシュボードでは、角度フィールドが指定されていない場合、円グラフに同じサイズのスライスが表示されるようになりました。
Lakeviewは、棒グラフと折れ線グラフを組み合わせて同じグラフに2つの異なる値を表示するコンボグラフをサポートするようになりました。
ヒートマップチャートは、色の強度を使用して2つの離散変数間の相関の大きさを示すもので、Lakeviewで利用できるようになりました。
2024年2月8日
権限のないLakeviewダッシュボードへのリンクを開くときに、アクセスをリクエストできるようになりました。
Lakeview ダッシュボード フィルターに、明示的な [すべて ] オプションと [なし] オプションが追加されました。 作成者は、単一選択フィルターで [すべて ] オプションを非表示にすることを選択できます。
Lakeview ダッシュボード チャートの軸の最小値と最大値を設定できるようになりました。
2024年2月1日
Databricks SQL バージョン 2024.10 が利用可能に
ロールアウトスケジュール
2024.10 のプレビュー ロールアウト: 2024年1月30日から2024年2月5日まで
2024.10 の現在のロールアウト: 2023年2月13日から2024年2月20日まで
2024.10の変更点
DML コマンドでの破損したファイルの処理を修正しました。 DML コマンド
DELETE
、UPDATE
、およびMERGE INTO
は、読み取りオプションignoreCorruptFiles
とignoreMissingFiles
を考慮しなくなりました。 テーブル内で読み取り不能なファイルが検出された場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。行レベルの同時実行性は、デフォルトによって一般公開され、オンになっています。 行レベルの同時実行性は、行レベルで変更を検出することにより、並列書き込み操作間の競合を減らします。 行レベルの同時実行性は、パーティション分割のないテーブル (リキッドクラスタリングのあるテーブルを含む) でのみサポートされます。 行レベルの同時実行性は、削除ベクトルが有効になっている Delta テーブルでデフォルトによって有効になります。 「行レベルの同時実行性との書き込みの競合」を参照してください。
シャロークローン for Unity Catalog 外部テーブル (Public Preview): これで、 Unity Catalog 外部テーブルでシャロークローンを使用できるようになりました。 Unity Catalogテーブルについては、シャロークローンを参照してください。
マルチスレッド統計収集の高速化: 統計の収集は、小規模なクラスタリングで
CONVERT TO DELTA
を実行したり、 Iceberg テーブルや Parquet テーブルからクローニングしたりすると、最大 10 倍高速になります。 「 Delta Lake への変換 」および「 Parquet テーブルと Iceberg テーブルを Delta Lake に段階的にクローンする」を参照してください。DeltaSource の Pushdown フィルターは、 Delta ファイルに対して行われます。 使用率を向上させるために、 Delta テーブルのストリーミング クエリのパーティション フィルターは、レート制限の前に Delta にプッシュダウンされるようになりました。
ユーザーインターフェースの更新
このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。
Databricks SQL オブジェクト (クエリ、ダッシュボード、アラート) の一覧ページの [管理ビュー ] タブが削除されました。 ワークスペース管理者ユーザーは、それぞれのリスティングページからすべてのオブジェクトを表示できます。 「保存されたクエリへのアクセスと管理」、「レガシ ダッシュボード」、および「Databricks SQL アラートとは」を参照してください。
クエリ履歴ページには、デフォルトで過去 24 時間のクエリが表示されます。 クエリ履歴を参照してください。
メニュー オプション [ Lakeview ダッシュボードに複製] が Databricks SQL ダッシュボード UI に追加されました。 このツールを使用して、既存の Databricks SQL ダッシュボードと同じクエリと視覚化を含む新しい Lakeview ダッシュボードを作成できます。 「レガシーダッシュボードのAI/BI dashboardへのクローン作成」を参照してください。
Lakeview ダッシュボードの棒グラフは、100% に正規化するための積み上げ棒をサポートしています。
公開された Lakeview ダッシュボードをズームインすると、誤ったズーム間隔にフォーカスが当てられる問題を修正しました。
2024年1月24日
Lakeview ダッシュボード キャンバスは、ウィジェットの配置を自動的に調整して、可能な場合は行間の空の垂直空白を削除します。
Lakeview ダッシュボードの視覚化でタイトルと説明のテキストの間の空白を減らしました。
2024年1月18日
視覚化のレンダリングの問題を修正し、X 軸に 1 つの日付を示す横棒グラフで棒が非常に細くなる問題を修正しました。 新しいグラフの視覚化は期待どおりにレンダリングされます。
Lakeview ダッシュボードのリスト ページには、デフォルトでダッシュボードが表示されます。 そのページのフィルターを使用して、他のワークスペースユーザーが所有するLakeviewダッシュボードにアクセスできます。
2024年1月11日
Databricks SQL クエリとダッシュボード APIs では、 プログラムによる実行ロール 設定の変更がサポートされています。
Lakeviewは、ワークスペース間でのドラフトダッシュボードの再現を容易にするために、ダッシュボードをファイルとしてエクスポートおよびインポートすることをサポートしています。 ダッシュボードのエクスポート、インポート、または置換を参照してください。
2024年1月4日
主キーと外部キーのエンティティ関係図をカタログエクスプローラに導入しました。 「エンティティ関係図の表示」を参照してください。