メインコンテンツまでスキップ
に最終更新

Databricks SQL リリースノート 2024

2024 年 1 月から 12 月までの Databricks SQL の機能強化と更新の概要を次に示します。

2024年11月21日​

SQLウェアハウス システムテーブル (パブリック プレビュー)

  • system.compute.warehouses テーブルには SQLウェアハウスがいつ作成、編集、削除されたかが記録されます。 このテーブルを使用して、ウェアハウス名、タイプ、サイズ、チャンネル、タグ、自動停止、オートスケールの設定など、ウェアハウス設定の変更を監視できます。 ウェアハウス システムテーブル リファレンスを参照してください。

データディスカバリー

  • カタログエクスプローラ の [リネージ ] タブが再設計され、エンティティのフィルタリングの UI が改善されました。

2024年11月13日​

レガシーダッシュボード :

  • テンプレート化されたツールヒントに 2 軸グラフと複数フィールド軸グラフの詳細なコンテンツが表示されない問題を解決しました。

2024年10月31日​

ユーザーインターフェースの更新​

新しい SQL エディター (パブリック プレビュー)

  • これで、キーボードショートカットの Command (または Ctrl) + Shift + Enterを使用して、アクティブな SQL クエリを実行できるようになりました。
  • パラメーター入力領域に、テキストが表示ウィンドウの外側に広がるとスクロールバーが表示されるようになりました。
  • クエリ プロファイルの詳細ページが完全に開かない問題を修正しました。
  • クエリの名前を変更するには、タブのタイトルに新しい名前を入力します。
  • [ スケジュール ] ボタンは、以前に保存されたことのないクエリに対して無効になりました。

2024年10月24日​

AI/BI ツールのリリースノート​

AI/BIダッシュボードとGenie Agents（以前のGenie Space）のリリースノートは、AI/BIとGenie Oneのリリースノートに移動しました。今後のリリースとアップデートは、そこで文書化されます。

2024年10月17日​

通知先が一般公開されました​

アラート、 Lakeflow ジョブ、 AI/BI dashboard スケジュールなど、ワークスペースユーザーが特定のワークフローに追加できる通知先を作成および構成して、イベント実行時にEメールまたはWebhookを送信できます。 「通知先を管理する」を参照してください。

2024年10月10日​

Query 知見

2024年10月3日​

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

カタログエクスプローラー

  • AIが生成したコメントがカタログ、スキーマ、ボリューム、モデル、および関数でサポートされるようになり、ユーザーはインラインチャットアシスタントを使用してコメントを編集できるようになりました。

2024年9月26日​

2024年9月11日​

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

SQLエディタ

SQLエディターで名前付きマーカー構文を使用できるようになりました。 名前付きマーカー構文は、 SQLエディター、ノートブック、 AI/BIダッシュボード全体で使用できます。 名前付きパラメーターマーカーの使用を参照してください。

クエリとレガシーダッシュボード

SQL クエリとレガシーダッシュボードの場合、削除されたアイテムはリストページに表示されなくなりました。ワークスペースのごみ箱フォルダーで削除済みアイテムを見つけます。ワークスペース管理者は、すべてのユーザーのゴミ箱フォルダ内の削除済みアイテムを表示できます。

SQLウェアハウス

system.compute.warehouse_eventsテーブルには、ウェアハウス SQL開始、停止、スケールアップ、スケールダウンのタイミングが記録されます。 このテーブルを使用して、ワークスペース内の SQLウェアハウスを監視できます。 ウェアハウス events システムテーブル リファレンスを参照してください。

2024年9月5日​

2024.40の変更点​

Databricks SQL バージョン 2024.40 には、次の動作の変更、新機能、および改善が含まれています。

挙動の変更​

  • ビューのデフォルトのスキーマ・バインディング・モードへの変更

    ビューは、通常のキャストルールでスキーマ補正を使用して、基になるクエリのスキーマ変更に適応するようになりました。 これは、ビューを参照するときにセーフキャストを実行できなかった場合にエラーを発生させていた以前のデフォルトの BINDING モードからの変更です。

    CREATE VIEW とcast関数を参照してください。

  • 文書化されていない ! 構文を Boolean 式の外部で NOT 代わりに使用することを許可しない

    このリリースでは、ブール式以外の NOT の同義語として ! を使用することは許可されなくなりました。たとえば、次のようなステートメントは、 CREATE ... IF ! EXISTS、 IS !NULL、 ! NULL 列またはフィールドのプロパティ、 ! IN および !BETWEENは、 CREATE ... IF NOT EXISTS、 IS NOT NULL、 NOT NULL 列またはフィールドプロパティ、 NOT IN 、および NOT BETWEENに置き換える必要があります。

    この変更により、一貫性が確保され、SQL 標準に合致し、SQL の移植性が向上します。

    ブール接頭辞演算子! (!is_mgr や !(true AND false)など) は、この変更の影響を受けません。

  • ドキュメント化されていない列定義構文をビューで許可しない

    Databricks では、名前付き列と列コメントを使用した CREATE VIEW がサポートされています。 以前は、列タイプ、 NOT NULL 制約、または DEFAULT の指定が許可されていました。 このリリースでは、この構文は使用できなくなりました。

    この変更により、一貫性が確保され、SQL 標準に準拠し、将来の機能拡張がサポートされます。

  • 無効な列に [ CHECK ] 制約を追加すると、 UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスが返されるようになりました

    より有用なエラー メッセージングを提供するために、Databricks Runtime 15.3 以降では、無効な列名を参照する CHECK 制約を含む ALTER TABLE ADD CONSTRAINT ステートメントがUNRESOLVED_COLUMNを返します。WITH_SUGGESTION エラー クラス。以前は、 INTERNAL_ERROR が返されていました。

新機能と改善点​

  • ALTER TABLE を使用した UniForm Iceberg の有効化

    既存のテーブルでデータファイルを書き換えることなく、UniForm Iceberg を有効にできるようになりました。既存のテーブルでを参照してください。

  • UTF-8 検証関数

    このリリースでは、UTF-8 文字列を検証するための次の関数が導入されています。

    • is_valid_utf8 文字列が有効な UTF-8 文字列であるかどうかを確認しました。
    • make_valid_utf8 は、無効な可能性のある UTF-8 文字列を、置換文字を使用して有効な UTF-8 文字列に変換します
    • validate_utf8 は、入力が有効な UTF-8 文字列でない場合、エラーを発生させます。
    • try_validate_utf8 は、入力が有効な UTF-8 文字列でない場合、 NULL を返します。

  • to_avroおよびfrom_avro機能

    to_avro 関数と from_avro 関数を使用すると、SQL 型と Avro バイナリ データとの間で変換できます。

  • try_url_decode機能

    このリリースでは、URL エンコードされた文字列をデコードする try_url_decode 関数が導入されています。 文字列が正しい形式でない場合、関数はエラーを発生させるのではなく NULL を返します。

  • オプションで、オプティマイザが強制されていない外部キー制約に依存できるようにします

    クエリのパフォーマンスを向上させるために、テーブルを CREATE または ALTER するときにFOREIGN KEY制約に RELY キーワードを指定できるようになりました。

  • チェック制約テーブル機能の削除のサポート

    データの削除と新しいデータの挿入を並行して行う replaceWhere 実行ジョブを使用した選択的上書きにより、クエリのパフォーマンスとクラスター使用率が向上します。

  • 選択的な上書きのための並列化されたジョブの実行

    データの削除と新しいデータの挿入を並行して行う replaceWhere 実行ジョブを使用した選択的上書きにより、クエリのパフォーマンスとクラスター使用率が向上します。

  • 選択的上書きによるチェンジデータフィードのパフォーマンスの向上

    チェンジデータフィードを持つテーブルで replaceWhere を使用した選択的上書きは、挿入されたデータに対して個別の変更データファイルを書き込まなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の _change_type 列を使用して、書き込み増幅なしで変更を記録します。

  • COPY INTO コマンドのクエリ待ち時間の改善

    このリリースには、 COPY INTO コマンドのクエリの待ち時間を改善する変更が含まれています。 この機能強化は、 RocksDB 状態ストアによる状態の読み込みを非同期にすることで実装されます。 この変更により、既に取り込まれた多数のファイルを含むクエリなど、大きな状態を持つクエリの開始時間が改善されます。

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

可視化

  • ツールチップの合計が積み上げグラフにのみ表示されるようになりました。

2024年8月22日​

可視化

グループ化された構成と複数フィールドの構成では、グラフ要素にカーソルを合わせると、ツールヒントに合計が表示されるようになりました。

2024年8月15日​

可視化

ページ サイズを変更した後、テーブル視覚化の行番号が更新されない問題を修正しました。

データディスカバリー

Unity Catalog テーブルでネストされた複雑な列の型を展開および折りたたむ機能がサポートされるようになりました。

2024年8月1日​

APIツール

視覚化 :

  • テーブルの並べ替えは、フィルタリングによってデータが変更されたときに保持されるようになりました。

SQL エディタ :

  • クエリの最後の行と結果出力の間にパディングを追加することで、読みやすさが向上しました。

2024年7月25日​

Databricks REST API :

  • クエリ、アラート、データソース、およびアクセス許可の管理APIが変更されました。レガシーバージョンは、引き続き 6 か月間サポートされます。 この移行期間は、古いバージョンが段階的に廃止される前に、アプリケーションと統合を新しいバージョンに移行するための十分な時間を確保することを目的としています。 「最新の Databricks SQL API バージョンへの更新」を参照してください

2024年7月18日​

ユーザーインターフェースの更新​

カタログエクスプローラー :

  • 新しいカタログ構成ウィザードを使用して、カタログの作成時にワークスペース・バインディング、カタログ特権、およびメタデータを設定できるようになりました。

SQLウェアハウス モニタリング :

2024年7月11日​

Databricks SQL バージョン 2024.35 が利用可能に​

ロールアウト スケジュール : 2024.35 のプレビュー ロールアウト: 7月9日から7月15日まで

2024.35の変更点​

ドロップ機能による列マッピングの無効化​

DROP FEATUREを使用すると、Deltaテーブルでの列マッピングを無効にし、テーブルプロトコルをダウングレードできます。互換性の維持を参照してください。

パブリック プレビューのバリアント型の構文と関数​

VARIANT型として半構造化データを操作するための組み込みの Apache Spark サポートが、Spark データフレーム と SQL で使用できるようになりました。「バリアント データのクエリ」を参照してください。

Delta Lake のバリアント型のサポート (パブリック プレビュー)​

これで、VARIANTを使用して、Delta Lake によってサポートされるテーブルに半構造化データを保存できます。Apache Iceberg と Delta Lake の Variant 型のサポートを参照してください。

ビューでのスキーマ進化のさまざまなモードのサポート​

CREATE VIEW と ALTER VIEW でスキーマバインディングモードを設定できるようになり、ビューが基礎となるオブジェクトのスキーマ変更を処理する方法が強化されました。この機能により、ビューは基になるオブジェクトのスキーマ変更を許容または適応できます。 これは、オブジェクト定義の変更に起因するクエリ スキーマの変更に対処します。

一部のウィンドウ機能のパフォーマンスの向上​

このリリースには、一部の Spark ウィンドウ関数 (特に ORDER BY 句や window_frame パラメーターを含まない関数) のパフォーマンスを向上させる変更が含まれています。 このような場合、システムはクエリを書き換えて、集計関数を使用して実行できます。 この変更により、部分集計を使用し、ウィンドウ関数の実行オーバーヘッドを回避することで、クエリの実行を高速化できます。 Spark 構成パラメーター spark.databricks.optimizer.replaceWindowsWithAggregates.enabled は、この最適化を制御し、デフォルトによってtrueに設定されます。この最適化をオフにするには、 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled を falseに設定します。

try_mod機能のサポートが追加されました​

このリリースでは、PySpark try_mod() 関数のサポートが追加されています。 この関数は、2 つの数値を除算することにより、ANSI SQL 互換の整数剰余の計算をサポートします。 divisor 引数が 0 の場合、 try_mod() 関数は例外をスローする代わりに null を返します。 mod や %の代わりに try_mod() 関数を使用すると、divisor 引数が 0 で ANSI SQL が有効になっている場合に例外がスローされます。

ユーザーインターフェースの更新​

SQL エディタ :

インラインアシスタントが SQL エディターで使用できるようになりました。 エディターボックスのアシスタントアイコンをクリックして、入力を切り替えます。 質問やコメントを英語で入力し、Enterキー(Shift+Enterキーではなく、クエリを実行する)を押すと、エディタで直接異なるビューのレスポンスが生成されます。

プラットフォーム :

通知先用の API が利用可能になりました。 アラート通知とジョブ実行通知の Webhook と Eメール の送信先をプログラムで管理できるようになりました。 「通知先」を参照してください。

2024年7月4日​

Databricks SQL バージョン 2024.30 が利用可能に​

ロールアウト スケジュール : 2024.30 のプレビュー ロールアウト: 7月9日から7月15日まで

2024.30の変更点​

レイクハウスフェデレーションの一般提供開始 (GA)​

次の種類のレイクハウスフェデレーション コネクタが一般提供 (GA) になりました。

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse（SQLデータウェアハウス）
  • Databricks

このリリースでは、次の改善も導入されています。

  • SnowflakeおよびMicrosoft SQL Serverコネクタでのシングルサインオン(SSO)認証のサポート。

  • 追加のプッシュダウン (文字列、数学、その他の関数) のサポート。

  • さまざまなクエリ図形間でのプッシュダウン成功率が向上しました。

  • 追加のプッシュダウン デバッグ機能:

    • EXPLAIN FORMATTED出力には、プッシュダウンされたクエリ テキストが表示されます。
    • クエリ プロファイル UI には、プッシュダウンされたクエリ テキスト、フェデレーテッド ノード識別子、および JDBC クエリの実行時間 (詳細モード) が表示されます。 システム生成の横串検索の表示を参照してください。

DESCRIBE HISTORY で、リキッドクラスタリングを使用するテーブルのクラスタリング列が表示されるようになりました​

DESCRIBE HISTORYクエリを実行すると、operationParameters列には、CREATE OR REPLACEおよびOPTIMIZE操作のclusterByフィールドがデフォルトで表示されます。リキッドクラスタリングを使用する Delta テーブルの場合、 clusterBy フィールドにはテーブルのクラスタリング列が入力されます。 テーブルがリキッドクラスタリングを使用していない場合、フィールドは空です。

プライマリ・キーと外部キーのサポートが一般公開されました​

Databricks Runtime での主キーと外部キーのサポートは、一般提供されています。 GA リリースには、プライマリ・キーと外部キーを使用するために必要な権限に対する次の変更が含まれています。

  • 外部キーを定義するには、外部キーが参照するプライマリ・キーを持つテーブルに対する SELECT 権限が必要です。 以前に必要だったプライマリキーを持つテーブルを所有する必要はありません。
  • CASCADE 句を使用してプライマリ・キーを削除する場合、プライマリ・キーを参照する外部キーを定義するテーブルに対する権限は必要ありません。以前は、参照テーブルを所有する必要がありました。
  • 制約を含むテーブルの削除には、制約を含まないテーブルの削除と同じ権限が必要になりました。

テーブルまたはビューでプライマリ・キーと外部キーを使用する方法については、 CONSTRAINT 句、 ADD CONSTRAINT 句、 DROP CONSTRAINT 句を参照してください。

リキッドクラスタリングはGAです​

リキッドクラスタリングのサポートは、 Databricks Runtime 15.2 以降を使用して一般提供が開始されました。 「テーブルにリキッドクラスタリングを使用する」を参照してください。

タイプの拡大はパブリック プレビュー段階です​

Delta Lake を基盤とするテーブルで型の拡大を有効にできるようになりました。 型の拡大が有効になっているテーブルでは、基になるデータ ファイルを書き換えることなく、列の型をより広いデータ型に変更できます。 「タイプ拡幅区間」を参照してください。

SQL マージ構文に追加されたスキーマ進化節​

これで、SQLマージステートメントにWITH SCHEMA EVOLUTION句を追加して、その操作のスキーマ進化を有効にすることができます。SQL、Python、Scalaを使用したMERGEスキーマ進化を参照してください。

vacuum インベントリのサポート​

Delta テーブルで VACUUM コマンドを実行するときに考慮するファイルのインベントリを指定できるようになりました。 OSS Delta のドキュメントを参照してください。

Zstandard 圧縮関数のサポート​

これで、 zst_compress、 zstd_decompress、および try_zstd_decompress 関数を使用して、 BINARY データを圧縮および圧縮解除できるようになりました。

SQL UI のクエリ プランが正しく表示されるようになりました PhotonWriteStage​

SQL UI で表示すると、クエリ プランの write コマンドで PhotonWriteStage が誤って演算子として表示されていました。 このリリースでは、UI が更新され、 PhotonWriteStage がステージとして表示されます。 これは UI の変更であり、クエリの実行方法には影響しません。

サーバレス SQLウェアハウスが一般公開されました。​

サーバレス SQLウェアハウス が 、サポートされている地域で一般提供されるようになりました。 これらは、 SQL クエリの即時コンピュート、最小限の管理、およびコストの最適化を提供します。 サーバレスSQL SQLを ウェアハウス 作成する か、プロまたはクラシック ウェアハウスをサーバレスに変換します。

ユーザーインターフェースの更新​

API サポート :

  • REST API を使用して通知先を管理できるようになりました。 通知先を参照してください。

2024年6月27日​

ユーザーインターフェースの更新​

視覚化 :

  • 多数のデータポイントを持つ円グラフ、散布図、ヒートマップチャートにカーソルを置いたときのツールチップ表示のインタラクティブ性を改善しました。

カタログエクスプローラ :

  • 刷新された カタログエクスプローラ UI により、 クイックアクセス ビューから最近の Unity Catalog アセットを簡単に見つけてお気に入りに追加できるようになりました。 ナビゲーションDBFS 設定アイコンエクスペリエンスも簡素化され、画面の左上隅にある [ 設定] を使用して、コンピュート、ストレージ、資格情報、接続、 、および管理の詳細を探索できるようになりました。 Delta Sharing、クリーンルーム、External Dataに専用ページを開設しました。

2024年6月6日​

ユーザーインターフェースの更新​

ダッシュボード :

  • アカウント ユーザーは、公開されたダッシュボードから視覚化データをダウンロードできるようになりました
  • 未公開のダッシュボードは、ダッシュボードの上部にある [下書き/公開 ] ドロップダウンを使用して公開できるようになりました。
  • limit という名前のパラメーターが検出されない問題を修正しました。

視覚化 :

  • ダークモードでのボックスプロットレンダリングを改善しました。

Query 知見 :

  • ウェアハウスに接続されているすべてのノートブック SQL、クエリを含むセルの下にある [パフォーマンスの表示 ] をクリックして、クエリ プロファイルにアクセスできます。 セルに複数のクエリが含まれている場合は、各ステートメントのクエリ プロファイルへのリンクが提供されます。

2024年5月30日​

サーバレス SQLウェアハウスは、次のリージョンで パブリック プレビュー 段階です。​

  • 米国西部1
  • 米国東部4
  • ヨーロッパ-西2
  • アジア-南東1
  • アジア-南1

SQLウェアハウスの新しい権限レベル​

[監視可能 ] アクセス許可を使用すると、ユーザーは、関連するクエリ履歴やクエリ プロファイルなど、 SQLウェアハウスを監視できます。 [監視可能 ] アクセス許可がパブリック プレビューになりました。「SQLウェアハウス ACL」を参照してください。

ユーザーインターフェースの更新​

ダッシュボードの改善 :

  • 画像とデータをダウンロードするためのケバブメニューをダッシュボードウィジェットに追加しました。
  • ユーザーは、従来のダッシュボードのクエリバッキング パラメーターとドロップダウン リスト パラメーターをダッシュボードに移行できます。

2024年5月23日​

新しいダッシュボードツール​

ダッシュボード (旧称 Lakeview ダッシュボード) が パブリック プレビューになりました。 UI では [ダッシュボード ] という名前が付けられています。 Databricks SQL ダッシュボードは、 レガシ ダッシュボード と呼ばれるようになりました。 関連する API ツールの名前は変更されていません。

ユーザーインターフェースの更新​

  • ワークスペース内の複数のアイテムを選択して、移動または削除できるようになりました。 複数のオブジェクトを選択すると、アクションバーが表示され、アイテムを移動または削除するオプションが提供されます。 さらに、マウスを使用して複数のアイテムを選択し、それらを新しい場所にドラッグすることもできます。 オブジェクトに対する既存の権限は、一括移動および削除操作中も引き続き適用されます。
  • Unity Catalog アセットを カタログエクスプローラ と Schema Browser でお気に入りとしてマークできるようになりました。 これには、カタログ、スキーマ、テーブル、モデル、ボリューム、および関数が含まれます。 お気に入りとしてマークした Unity Catalog アセットには、Databricks のホームページから簡単にアクセスできます。

ダッシュボードの更新 :

  • 2 軸コンボ チャートで、右軸にバーの凡例が正しく表示され、それに応じて折れ線の凡例が表示されるようになりました。
  • 2 重軸グラフで、棒にラベルが正しく表示されるようになりました。

ビジュアライゼーションの更新 :

  • テーブルエディタの if と then の条件付き書式ラベルがダークモードをサポートするようになりました。
  • 冗長な オープンリンク アイコンは、テーブルエディタのフォーマットツールチップから削除されました。
  • テーブルエディタのデフォルトのフォントカラーのラベルが自動的に整列するようになりました。

2024年5月16日​

ロールアウト スケジュール

  • 2024.25 のプレビュー ロールアウト: 5月1日完了
  • 2024.25 の現在のロールアウト: 5月14日から5月21日まで
注記

panda Python ライブラリ (バージョン 2.0.3) へのアップグレード Databricks SQL バージョン 2024.20 で重大な変更が発生しました。 Databricks は、現在のチャンネルにバージョン 2024.20 をロールアウトしませんでした。 代わりに、プレビューチャンネルは2025年5月1日に2024.25にアップグレードされました。 現在のチャンネルのロールアウトは、2024.15 から 2024.25 に直接行われます。

2024.25の変更点​

SQL 言語の機能​

* (スター) 句が WHERE 句でサポートされるようになりました。

これで、WHERE 句のスター (*) 句を使用して、SELECT リストのすべての列を参照できるようになりました。たとえば、 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

2024年以降、クロスリージョンのエグレス料金を回避するためのCloudflare R2ストレージのサポート​

Unity Catalogに登録したデータのクラウドストレージとしてCloudflare R2を利用できるようになりました。 Cloudflare R2は、主にDelta Sharingのユースケースを対象としており、データがリージョンをまたぐときにクラウドプロバイダーから請求されるデータエグレス料金を回避したいと考えています。

Cloudflare R2ストレージは、Google Cloud StorageでサポートされているすべてのDatabricksデータとAIアセットをサポートしています。

Cloudflare R2レプリカを使用するか、ストレージをR2に移行する、およびCloudflare R2の外部ロケーションに接続するを参照してください。

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

データディスカバリー アップデート : Hive metastore から Unity Catalog への更新ウィザードは Hive metastore 汎用コンピュートまたは SQLウェアハウスを使用したマネージドテーブルのアップグレードをサポートしています。 20 を超えるテーブルを更新すると、変換を実行する SYNC コマンドと ALTER TABLE コマンドを含む新しいノートブックが作成されます。

2024年5月9日​

SQL エディタの修正:

  • 管理設定 の結果テーブルのクリップボード機能が 、SQL エディターの新しい 結果テーブル に適用されるようになりました。

2024年5月2日​

ビジュアライゼーションの更新 :

  • テーブルのユーザー選択の色が、従来のグラフの明るいモードと暗いモードにまたがって保持されるようになりました。
  • データ切り捨てロジックが改善され、コンボ、円グラフ、ヒートマップグラフ、ヒストグラムグラフの性能が向上しました。
  • 目盛りは、基本チャートの量的軸の上部に常に表示されるようになりました。

2024年4月23日​

UI の更新 :

  • UI のすべての [共有 ] ダイアログで、 All Users グループの名前が All Workspace Usersに変更されました。 新しい名前は、ワークスペースに割り当てられたユーザーが常に含まれていたグループのスコープをより正確に反映しています。 この名前変更の一環として、グループ メンバーシップは変更されません。

ビジュアライゼーションの更新 :

  • カスタムツールトップ形式が多軸グラフで正しく機能するようになりました。
  • 新しいグラフ のプレビュー タグは、ユーザーが過去 14 日間にトグルを変更していない場合に削除されます。

2024年4月18日​

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

改善点 :

  • 積み上げグラフのツールヒントに、デフォルトで積み上げ値とパーセンテージが表示されるようになりました。
  • 多軸グラフのツールヒントで、ホバーされた項目が強調表示されるようになりました。
  • Databricks SQL の テーブル 視覚化では、SQL エディターで編集するときに、新しいクエリ結果のデータ型が適応されるようになりました。
  • カタログエクスプローラ の クエリー履歴 テーブルには、 Query ソース アトリビューションのツリーのようなビューが表示されます。 これを使用して、クエリステートメントの実行をトリガーしたエンティティを確認できます。

2024年4月11日​

サーバレス SQLウェアハウスがパブリック プレビューになりました。​

Databricks サーバレス アーキテクチャを使用して、サーバレス SQLウェアハウスは Databricks SQLのすべてのパフォーマンス機能をサポートします。サーバレス SQLウェアハウスとそのパフォーマンス機能には、次のような特長があります。

  • 迅速な起動時間 (通常は 2 秒から 6 秒)。
  • 低レイテンシを維持するために必要なときにより多くのコンピュートを取得するための迅速なアップスケーリング。
  • クエリのアドミタンスが、仮想マシンではなくハードウェアの制限に近い。
  • 需要が少ない場合にコストを最小限に抑えるための迅速なダウンスケーリングにより、コストとリソースを最適化して一貫したパフォーマンスを提供します。

「サーバレスSQLウェアハウスのセットアップ」を参照してください。

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

改善点 :

  • Databricks SQL とノートブックで視覚化を作成するときに、パーセンテージでグループ化できるようになりました。
  • 新しいグラフ (パブリック プレビュー) では、軸に平行な直線をクリックしてドラッグすることで、1 つの軸に沿ってズームインできます。
  • Unity Catalog共有クラスター 許可リスト UI が一般公開されました。カタログエクスプローラーのメタストアの詳細ページからアクセスできます。 「許可リストに項目を追加する方法」を参照してください。
  • 外部ロケーションを作成および編集するためのフォームが、全ページとして開くようになりました。 これには、ストレージ資格情報を含めるオプションが含まれています。

修正内容 :

  • ヒストグラム グラフで、負の値が誤って正の値としてマークされる問題を修正しました。

2024年4月4日​

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

改善点 :

  • ヒート マップと他のチャート タイプ間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。

修正内容 :

  • カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。
  • 一部のビジュアライゼーションで [PNG としてダウンロード ] ボタンが欠落していた問題を解決しました。
  • 以前は数千の区切り記号が欠落していた負の大きな整数の書式設定を修正しました。
  • 折れ線グラフのラベルにカーソルを合わせたときの誤ったホバー線の配置を修正しました。

2024年3月28日​

Databricks SQL バージョン 2024.15 が利用可能に​

ロールアウトスケジュール

  • 2024.15 のプレビュー ロールアウト: 2月14日から3月4日まで
  • 2024.15 の現在のロールアウト: 3月25日から4月8日まで

2024.15の変更点​

Delta の更新​

  • Delta UniForm が一般提供されました: UniForm は一般提供されており、IcebergCompatV2 テーブル機能を使用しています。既存のテーブルでUniFormを有効にするか、アップグレードできるようになりました。Icebergクライアントを使用したDelta Lakeテーブルの読み取りを参照してください。
  • Delta テーブルのデータ スキップ統計の再計算 : データ スキップに使用される列を変更した後、Delta ログに保存されている統計を再計算できるようになりました。「統計列の指定」を参照してください。

SQL 言語の更新​

  • SQL セッションで一時変数を宣言します。 このリリースでは、セッションで一時変数を宣言し、クエリで設定して参照できる機能が導入されています。 変数を参照してください。
  • ネイティブ XML ファイル形式のサポート (パブリック プレビュー): ネイティブ XML ファイル形式のサポートがパブリック プレビューになりました。XML ファイル形式のサポートにより、バッチ処理またはストリーミングのための XML データの取り込み、クエリ、および解析が可能になります。スキーマとデータ型を自動的に推論して進化させることができ、 from_xmlなどの SQL 式をサポートし、XML ドキュメントを生成できます。外部 jar は不要で、Auto Loader、 read_files、 COPY INTO、DLT とシームレスに連携します。XML ファイルの読み取りと書き込みを参照してください。

Apache Spark SQL の更新​

Databricks SQL 2024.15 には、Apache Spark 3.5.0 が含まれています。 SQLのその他のバグ修正と改善点については、Databricks Runtime 14.3 リリースノートに記載されています。Apache Spark を参照し、[SQL] タグで完全な一覧を探します。

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

  • カタログエクスプローラ のエンティティ ページにある新しい概要タブには、ファイル サイズ、データソース、所有者、テーブル スキーマ、コメントなどの重要なメタデータが表示されます。

  • ヒートマップと他のチャートタイプ間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。

  • カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。

2024年3月21日​

  • Unity Catalog モデルリネージがパブリックプレビューになりました。

カタログエクスプローラのテーブルビューに、プライマリメタデータを説明するための 「概要 」タブが追加されました。

2024年3月14日​

  • 新しいグラフでは、数値列の null 値にエイリアスとカスタム色が適用されるようになりました。
  • 新しいチャートでは、Y 軸の上部を示すように目盛りがレンダリングされるようになりました。

2024年3月7日​

  • 100 を超える系列を含むグラフのツールヒントで、すべての系列が誤って表示される問題を修正しました。 現在は、フォーカスされたシリーズのみが表示されます。
  • パフォーマンスの最適化により、SQL エディターでの入力レイテンシを 30% 削減しました。
  • SQL エディタでクエリを管理する場合、クエリをゴミ箱に移動すると、タブが自動的に閉じます。
  • サイドパネルの幅を調整するときにテキストが誤って選択されるSQLエディターの問題を修正しました。

2024年2月29日​

  • カタログエクスプローラーのスキーマブラウザに、列の主キー制約と外部キー制約が表示されるようになりました。
  • カタログエクスプローラの「リネージ」(Lineage) タブに表示される保持期間が 1 年に延長されました。
  • ノートブックの新しいグラフのツールヒントは、常に視覚化境界内にレンダリングされるようになりました。

2024年2月22日​

  • カタログエクスプローラのテーブルビューの「 サンプルデータ 」タブの改善により、列のソート、選択したデータのクリップボード へのコピー 、および行番号の表示が可能になりました。 JSONオブジェクト、日付、数値、null値などの特別な値をより適切に表示できるようになりました。

2024年2月15日​

  • コードベースのクエリフィルタ( SELECT action AS 'action::filter'など)のドキュメントは削除されました。 Databricks では、このパターンを削除するためにクエリを更新することをお勧めします。

2024年2月8日​

  • 権限のないLakeviewダッシュボードへのリンクを開くときに、アクセスをリクエストできるようになりました。
  • Lakeview ダッシュボード フィルターに、明示的な [すべて ] オプションと [なし] オプションが追加されました。 作成者は、単一選択フィルターで [すべて ] オプションを非表示にすることを選択できます。
  • Lakeview ダッシュボード チャートの軸の最小値と最大値を設定できるようになりました。

2024年2月1日​

Databricks SQL バージョン 2024.10 が利用可能に​

ロールアウトスケジュール

  • 2024.10 のプレビュー ロールアウト: 2024年1月30日から2024年2月5日まで
  • 2024.10 の現在のロールアウト: 2023年2月13日から2024年2月20日まで

2024.10の変更点

  • DML コマンドでの破損したファイルの処理を修正しました。 DML コマンド DELETE、 UPDATE、および MERGE INTO は、読み取りオプション ignoreCorruptFiles と ignoreMissingFilesを考慮しなくなりました。 テーブル内で読み取り不能なファイルが検出された場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。
  • 行レベルの同時実行性は、一般提供されており、デフォルト: 行レベルの同時実行性により、行レベルでの変更を検出することで、並列書き込み操作間の競合が軽減されます。 行レベルの同時実行は、パーティション分割のないテーブル (リキッドフラリングのあるテーブルを含む) でのみサポートされます。 削除ベクトルが有効になっている Delta テーブルでは、行レベルの同時実行性がデフォルトで有効になっています。行レベルの同時実行性を参照してください。
  • シャロークローン for Unity Catalog 外部テーブル (Public Preview): これで、 Unity Catalog 外部テーブルでシャロークローンを使用できるようになりました。 Unity Catalogテーブルについては、シャロークローンを参照してください。
  • マルチスレッド統計収集の高速化: 統計収集は、小規模なクラスタリングで CONVERT TO DELTA を実行したり、 Iceberg テーブルや Parquet テーブルからクローニングしたりするときに、最大 10 倍高速になります。 「Delta Lake への変換」および「Parquet テーブルと Apache Iceberg テーブルを Delta Lake に増分的にクローンする」を参照してください。
  • DeltaSource の Pushdown フィルターは、 Delta ファイルに対して行われます。 使用率を向上させるために、 Delta テーブルのストリーミング クエリのパーティション フィルターは、レート制限の前に Delta にプッシュダウンされるようになりました。

ユーザーインターフェースの更新​

このセクションに記載されている機能は、上記の SQLウェアハウス コンピュートのバージョンとは無関係です。

2024年1月18日​

  • 視覚化のレンダリングの問題を修正し、X 軸に 1 つの日付を示す横棒グラフで棒が非常に細くなる問題を修正しました。 新しいグラフの視覚化は期待どおりにレンダリングされます。

2024年1月11日​

  • Databricks SQL クエリとダッシュボード API では、プログラム による実行ロール 設定の変更がサポートされています。

2024年1月4日​

このページの見出し