Amazon
Web Services
Microsoft Azure
Google Cloud PlatformDatabricks SQL リリースノート
この記事では、Databricks SQL の新機能と機能強化、既知の問題と FAQ の一覧を示します。
リリースプロセス
Databricks は、Databricks SQL Web アプリケーション ユーザー インターフェイスの更新を継続的にリリースし、すべてのユーザーが短期間で同じ更新をロールアウトします。
さらに、Databricks は通常、新しい SQLウェアハウス コンピュート バージョンを定期的にリリースします。 2 つのチャンネル が常に利用可能です: プレビューと現在。
注
リリースは段階的に行われます。 Databricks アカウントは、最初のリリース日から 1 週間以上経たないと、新しい SQLウェアハウス バージョンまたは Databricks SQL 機能で更新されない場合があります。
チャンネル
チャンネルでは、 Current SQLwarehouse コンピュート バージョンまたはプレビューバージョンを選択できます。 プレビュー バージョンでは、Databricks SQL 標準になる前に機能を試すことができます。 プレビュー バージョンを利用して、本番運用のクエリとダッシュボードを今後の変更に対してテストします。
通常、プレビュー バージョンは、プレビュー チャンネルにリリースされてから約 2 週間後に現在のチャンネルに昇格されます。 セキュリティ機能、メンテナンスアップデート、バグ修正などの一部の機能は、現在のチャンネルに直接リリースされる場合があります。 Databricks は、プレビュー バージョンを別のスケジュールで現在のチャンネルに昇格させることがあります。 各新しいバージョンは、次のセクションで発表されます。
既存の SQL ウェアハウスをプレビュー チャンネルに切り替える方法については、 「プレビュー チャンネル」を参照してください。 ユーザー インターフェイスの更新セクションに記載されている機能は、リリース ノートの「修正された問題」セクションに記載されている SQLwarehouse コンピュートのバージョンとは独立しています。
利用可能な Databricks SQL バージョン
現在のチャンネル: Databricks SQLバージョン 2024.15
プレビュー チャンネル: Databricks SQL バージョン 2024.15
Databricks SQL バージョン 2024.15の機能と更新内容を参照してください。
2024年4月23日
UI の変更:
UI のすべての共有ダイアログで、
All Usersグループの名前がAll Workspace Usersに変更されました。 新しい名前は、ワークスペースに割り当てられたユーザーを常に含めるグループの範囲をより正確に反映します。 この名前変更では、グループ メンバーシップには変更は加えられません。
ダッシュボードの改善:
ダッシュボードの SQLwarehouse が起動すると、待機時間を説明するダイアログが表示されます。
キャンバス タブとデータタブを切り替えるときに、スクロール位置は保持されます。
レガシー ダッシュボードを複製してLakeviewダッシュボードを作成すると、一部の ダッシュボード変換がサポートされるようになりました。 「レガシーの調整」を参照してください。
日付と日時の引数では、 Today 、 Tomorrow 、 7 days agoなどの相対日付がサポートされるようになりました。
数値範囲スライダーは、ダッシュボードにフィルターとして追加できます。
ヒストグラムに非集計データを表示できるようになりました。
散布図はサイズエンコーディングをサポートするようになりました。
ダッシュボードの修正:
テンポラルカラーエンコーディングで、カラー割り当てを正しく変更できるようになりました。
ビジュアライゼーションの更新:
カスタムツールトップの書式が、多軸グラフで正しく機能するようになりました。
ユーザーが過去 14 日間にトグルを変更していない場合、新しいグラフのプレビュー タグは削除されます。
2024年4月18日
Lakeviewダッシュボードは一般公開されています
Lakeview ダッシュボードがデフォルトのダッシュボード ツールになりました。 UI では ダッシュボード に名前が変更されました。 Databricks SQL ダッシュボードは、レガシー ダッシュボードと呼ばれるようになりました。 関連する API ツールの名前は変更されていません。
ダッシュボードの改善:
Lakeview ダッシュボードでは監査ログが利用できます。 「 ダッシュボードのイベント」を参照してください。
ダッシュボードからダウンロードされたデータが適用されます。
最初にデータセットを追加しなくても、Databricks Assistant は[データ]タブで有効になります。
複数の Y フィールドを持つ積み上げバー チャートでは、Y 軸の値の合計に基づいて X 軸を並べ替えることができます。
可視化軸メニューで Linear(線形 )スケール関数と Log(Symmetric) スケール機能を切り替えます。
フィルター ウィジェットのデフォルト サイズがよりコンパクトになりました。
テキスト入力フィルターウィジェットの初期読み込み時間が短縮されました。
レガシーダッシュボードから移行する際のチャートの自動変換が改善されました。
ダッシュボードの修正:
表示制限設定の警告は、ダッシュボードが他のユーザーと共有されている場合には表示されません。
データタブの SQL エディターのエラー メッセージでダーク モードが有効になりました。
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
改善点:
積み上げグラフのツールチップに、デフォルトで積み上げ値とパーセンテージが表示されるようになりました。
複数軸グラフのツールチップで、ホバーされた項目が強調表示されるようになりました。
Databricks SQL のテーブル視覚化では、SQL エディターで編集するときに、新しいクエリ結果のデータ型が適応されるようになりました。
カタログ エクスプローラーのクエリ履歴テーブルには、クエリ ソース属性のツリー ビューが表示されます。 これを使用して、クエリ ステートメントの実行をトリガーしたエンティティを確認できます。
2024年4月11日
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
改善点:
Databricks SQL およびノートブックで視覚化を作成するときに、パーセンテージでグループ化できるようになりました。
新しいグラフ (パブリック プレビュー) では、軸に平行な直線をクリックしてドラッグすることで、1 つの軸に沿ってズームインできます。
Unity Catalog 共有クラスターの許可リストUI が一般提供されました。 カタログエクスプローラのメタストア詳細ページからアクセスできます。 「 許可リストに項目を追加する方法」を参照してください。
外部場所を作成および編集するためのフォームがフルページとして開きます。 これには、ストレージ資格情報を含めるオプションが含まれています。
修正内容:
ヒストグラムチャートで、負の値が誤って正としてマークされる問題を修正しました。
2024年4月4日
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
改善点:
Lakeview ダッシュボードのヒストグラム チャートが改善されました。
ラベルのサポートが追加されました。
異なるフィールド間で切り替えてもビンの設定が保持されるようになりました。
ダッシュボード一覧ページのサンプル ギャラリーで、Lakeview ダッシュボードが作成されるようになりました。 「チュートリアル: サンプル ダッシュボードの使用」を参照してください。
Lakeview ダッシュボード上のウィジェットの境界を右クリックすると、コンテキスト メニューが開きます。
公開された Lakeview ダッシュボードを表示するワークスペース ユーザーのために、左側のナビゲーション バーは保持されます。
フィルターの選択は、公開済みの Lakeview ダッシュボードとドラフトの Lakeview ダッシュボード間を移動するときに保持されます。
ドラフト Lakeview ダッシュボードの[データ]タブからクエリを編集するときに、SQL エディターに列名を挿入できるようになりました。
Lakeview ダッシュボードを置き換えると、既存のダッシュボード名が維持され、内容が置き換えられます。
ヒートマップと他のグラフタイプの間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。
修正内容:
カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。
一部のビジュアライゼーションで [PNG としてダウンロード ] ボタンが表示されない問題を解決しました。
以前は数千の区切り文字が欠落していた負の長整数の書式設定を修正しました。
折れ線グラフのラベルにカーソルを合わせたときのホバー線の配置が正しくない問題を修正しました。
2024.15 の変更点
Delta更新
Delta UniForm が一般提供されました: UniForm が一般提供され、IcebergCompatV2 テーブル機能を使用します。 既存のテーブルでUniFormを有効化またはアップグレードできるようになりました。 IcebergとDeltaテーブルの互換性については、「Universal Format (UniForm)」を参照してください。
Delta テーブルのデータ スキップ統計を再計算: データ スキップに使用される列を変更した後、Delta ログに保存されている統計を再計算できるようになりました。 Delta統計列の指定 」を参照してください。
SQL言語のアップデート
SQL セッションで一時変数を宣言する:このリリースでは、セッションで一時変数を宣言し、それを設定してクエリで参照する機能が導入されました。 「 変数」を参照してください。
ネイティブ XML ファイル形式のサポート (パブリック プレビュー): ネイティブ XML ファイル形式のサポートがパブリック プレビューになりました。 XML ファイル形式のサポートにより、バッチ処理またはストリーミング用の XML データの取り込み、クエリ、および解析が可能になります。 スキーマとデータ型を自動的に推論および進化させることができ、
from_xmlなどの SQL 式をサポートし、XML ドキュメントを生成できます。 外部の jar は必要なく、Auto Loader、read_files、COPY INTO、Delta Live Tables とシームレスに連携します。 「XML ファイルの読み取りと書き込み」を参照してください。
クラウド Fetch が無意識によって有効になりました:バケットのバージョニングが有効になっているAWSワークスペースで、クラウド Fetch がデフォルトによって有効になりました。 バケットのバージョン管理が有効になっている場合、Databricks では、アップロードされたクエリ結果の古いバージョンを自動的に削除するライフサイクル ポリシーを設定することをお勧めします。 「ODBC でのクラウドフェッチ(ODBC)」および「JDBC でのクラウドフェッチ(JDBC)」を参照してください。
Apache Spark SQL の更新
Databricks SQL 2024.15 には Apache Spark 3.5.0 が含まれています。 SQLの追加のバグ修正と改善点は、 Databricks Runtime 14.3 リリース ノートに記載されています。 完全なリストについては、 Apache Sparkを参照し、 [SQL]タグを探してください。
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
カタログ エクスプローラーのエンティティ ページにある新しい概要タブには、ファイルサイズ、データ ソース、所有者、テーブル スキーマ、コメントなどの重要なメタデータが表示されます。
Lakeview ダッシュボードの更新:
Lakeviewダッシュボードがサポートされるようになりました。 作成者は、 [データ]タブから 引数 を パラメータ クエリに追加し、単一値セレクターと日付ピッカーを使用してキャンバス上で 引数 を設定できます。 「ダッシュボードの使用」を参照してください。
Lakeview ダッシュボードがワークスペース権限 API でサポートされるようになりました。 リファレンスの PATCH /api/ワークスペース/ワークスペース/updatepermissions をRESTAPI 参照してください。
キャンバス上のコントロールウィジェットの名前が「フィルターウィジェット」に変更されました。
複合グラフでは、X 軸に細分化されたフィールドを使用できなくなりました。
[共有] ダイアログの[リンクをコピー]ボタンに、URL に保存された問題が含まれるようになりました。
公開されたダッシュボードのウィジェットにカーソルを合わせたときに境界線が表示されなくなりました。
Databricks Assistant および Download PNG ボタンがチャートのビジュアルと重なる問題を解決しました。
ヒートマップと他のグラフタイプの間でビジュアライゼーションを切り替えると、関連するフィールドがより適切に保持されるようになりました。
カラーエンコーディングの棒グラフで、複数の Y 軸フィールドの追加が正しく制限されるようになりました。
2024年3月21日
Unity Catalogモデル リネージは現在パブリック プレビュー段階にあります。
カタログ エクスプローラーのテーブル ビューに、主要なメタデータを説明する[概要]タブが追加されました。
ノートブック用の SQLwarehouse が一般提供開始となり、ノートブックの機能豊富で共同作業が可能なオーサリング環境で SQL ワークロードのフルマネージド、インスタント、スケーラブルなコンピュートを利用できるようになります。 「SQL ウェアハウスでノートブックを使用する」を参照してください。
次の修正と改善は Lakeview ダッシュボードに適用されます。
Lakeview の API サポートが拡張され、ダッシュボードを作成、取得、更新、および破棄する機能が追加されました。 REST API リファレンスのLakeviewを参照してください。
[データ]タブにカタログブラウザの更新ボタンを追加しました。
Lakeview ダッシュボードは、ワークスペース サイドバーの[新規]メニューの[ダッシュボード]の前に表示されるようになりました。 ダッシュボードのリスト ページでは、 [Lakeview ダッシュボード]タブが[ダッシュボード]タブの左側に表示されます。
Lakeview の Databricks Assistant エクスペリエンスが更新され、入力ボックスと提案が追加され、発見しやすさが向上し、ユーザーが提示できるプロンプトを理解しやすくなりました。
Lakeview ビジュアライゼーションは中央値集計をサポートするようになりました。
Lakeview ダッシュボード視覚化エディターのカラー ピッカーを更新し、テーブル作成時のユーザー エクスペリエンスをより合理化しました。
円グラフの移行が改善され、角度または色の定義を含むシナリオのみがサポートされるようになりました。
count という名前のグラフでグループ化できないバグを修正しました。グラフを count という名前のフィールドでグループ化できるようになりました。
棒グラフの場合、ユーザーが選択した構成に適用できない場合、グループおよびスタックのレイアウト コントロールが非表示になりました。
2024年3月14日
Lakeview ダッシュボードの場合:
ヒストグラムでカスタムのカテゴリ色がサポートされるようになりました。
ヒートマップで定量的なスケールがサポートされるようになりました。
タイトルと説明は、コンボ チャートを含むビジュアリゼーション タイプを切り替えるときに保持されます。
ドラフト ダッシュボード ウィジェットを右クリックして、そのウィジェットに関連付けられた基になるデータセットを開くことができるようになりました。 データセットが「データ」タブで開きます。
新しいグラフでは、数値列の null 値にエイリアスとカスタム色が適用されるようになりました。
新しいグラフでは、目盛りがレンダリングされ、Y 軸の上部が表示されるようになりました。
2024年3月7日
カタログ エクスプローラーでテーブルを表示する場合、 [作成]ボタンには、Databricks SQL ダッシュボードではなく Lakeview ダッシュボードを作成するオプションが含まれています。
Lakeview ダッシュボードでヒストグラムが利用できるようになりました。 ヒストグラムは、数値フィールドの分布を視覚化するためによく使用されます。
Databricks SQL ダッシュボードを複製して Lakeview ダッシュボードを作成する場合、データセット変換の問題が Lakeview ダッシュボードの新しいウィジェットにエラーとして表示されるようになりました。
カラー グラデーションは、Lakeview ダッシュボード上の視覚化に数値フィールドが使用されている場合に使用できます。
Color by フィールドが指定されている場合、Lakeview ダッシュボード視覚化エディターでカラー グラデーションが公開されるようになりました。
閲覧者にドラフト Lakeview ダッシュボードの編集権限がない場合、ビジュアライゼーションに関連付けられたタイトルと説明が編集可能に表示されなくなりました。
系列が 100 を超えるグラフのツールヒントにすべての系列が誤って表示される問題を修正しました。 これで、フォーカスされた系列のみが表示されます。
パフォーマンスの最適化により、SQL エディターでの入力遅延が 30% 削減されました。
SQL エディターでクエリを管理する場合、クエリをゴミ箱に移動すると、タブが自動的に閉じます。
SQL エディターでサイド パネルの幅を調整するときにテキストが誤って選択される問題を修正しました。
2024年2月29日
サーバーレス SQLウェアハウスのサポートが次のリージョンに追加されました。
AP-南-1
AP-南東-1
AP-北東-1
sa-east-1 (サ イースト 1)
eu-west-3 (ヨーロッパ西部 3)
サポートされているリージョンの完全なリストについては、 「Databricks のクラウドとリージョン」を参照してください。
「カタログエクスプローラ」(Catalog Explorer) のスキーマブラウザに、列の主キー制約と外部キー制約が表示されるようになりました。
カタログ エクスプローラーの [リネージ] タブに表示される保存期間が 1 年に延長されました。
ノートブック内の新しいチャートのツールチップが、常に視覚化境界内にレンダリングされるようになりました。
REST API を使用して Lakeview ダッシュボードをプログラムで管理する方法を学びます。 チュートリアルを参照してください: ワークスペースAPIsを使用してダッシュボードを管理します。
Lakeview ダッシュボードはヒストグラムをサポートするようになりました。
Lakeview ダッシュボードでの共有と公開が改善されました。
共有および公開ダイアログが改善され、すべてのアカウント ユーザーと安全かつ簡単に共有できるようになりました。
ワークスペース ブラウザーから開かれたダッシュボードには、公開されたダッシュボードが存在する場合、それが表示されます。 閲覧者は、公開元、時間、資格情報など、最新の公開バージョンの詳細も確認できるようになりました。
編集者は、Lakeview ダッシュボード UI の新しいドロップダウン スイッチャーを使用して、ドラフト バージョンと公開バージョンの間をすばやく移動できます。
2024年2月22日
カタログ エクスプローラーのテーブル ビューの[サンプル データ]タブが改善され、列の並べ替え、選択したデータのクリップボードへのコピー、および行番号の表示が可能になりました。 JSON オブジェクト、日付、数値、NULL 値などの特別な値をより適切に表示できるようになりました。
Lakeview ダッシュボードでは、ダッシュボードの PDF スナップショットを定期的にワークスペース ユーザーと通知先に送信することがサポートされるようになりました。 「 定期的な更新のためのダッシュボードのスケジュール」を参照してください。
Lakeview ドロップダウン ピッカーの視覚化オプションのリストがアルファベット順に並べ替えられるようになりました。
Databricks SQL ダッシュボードを Lakeview ダッシュボードにコピーするときに、変換できないウィジェットには、エラー メッセージの代わりに視覚化構成ピッカーが表示されるようになりました。
2024年2月15日
SELECT action AS 'action::filter'などのコードベースのクエリ フィルターのドキュメントは削除されました。Databricks では、クエリを更新してこのパターンを削除することをお勧めします。
Lakeview ダッシュボードの場合、角度フィールドが指定されていない場合、円グラフに同じサイズのスライスが表示されるようになりました。
Lakeview は、棒グラフと折れ線グラフを組み合わせて同じグラフに 2 つの異なる値を表示するコンボ グラフをサポートするようになりました。
色の濃さを使用して 2 つの離散変数間の相関の大きさを示すヒートマップ チャートが Lakeview で利用できるようになりました。
2024年2月8日
権限を持たない Lakeview ダッシュボードへのリンクを開いたときにアクセスをリクエストできるようになりました。
Lakeview ダッシュボード フィルターには、明示的な[すべて]および[なし]オプションが追加されました。 作成者は、単一選択フィルターで [すべて] オプションを非表示にすることを選択できます。
Lakeview ダッシュボード チャートの軸の最小値と最大値を設定できるようになりました。
2024年2月1日
Databricks SQL バージョン 2024.10 が利用可能
ロールアウトスケジュール
2024.10 のプレビュー ロールアウト: 2024年1月30日から2024年2月5日まで
2024.10 の現在のロールアウト: 2023年2月13日から2024年2月20日まで
2024.10 の変更点
DML コマンドでの破損したファイルの処理を修正しました。DMLコマンド
DELETE、UPDATE、およびMERGE INTO読み取りオプションignoreCorruptFilesおよびignoreMissingFilesを考慮しなくなりました。 テーブル内で読み取り不可能なファイルが見つかった場合、これらのオプションが指定されていても、これらのコマンドは失敗するようになりました。行レベルの同時実行性は一般提供されており、デフォルトでオンになっています。行レベルの同時実行性は、行レベルでの変更を検出することにより、行書き込み操作間の競合を軽減します。 行レベルの同時実行は、パーティション分割のないテーブル (リキッドフラリングのあるテーブルを含む) でのみサポートされます。 行レベルの同時実行は、削除が有効になっているDeltaテーブルではデフォルトで有効になります。 「行レベルの同時実行性との書き込みの競合」を参照してください。
Unity Catalog外部テーブルの浅いクローン (パブリック プレビュー): Unity Catalogの外部テーブルで浅いクローンを使用できるようになりました。 Unity Catalogテーブルの浅いクローン」を参照してください。
マルチスレッド統計収集の高速化:
CONVERT TO DELTAを実行する場合、または Iceberg テーブルと Parquet テーブルからクローンを作成する場合、小規模クラスターでは統計収集が最大 10 倍高速になります。 「 Delta Lake への変換 」および「Parquet テーブルと Iceberg テーブルの Delta Lake への増分クローン作成 」を参照してください。Deltaファイルの DeltaSource のプッシュダウン フィルター:使用率を向上させるために、 Deltaテーブルのストリーミング クエリのパーティション フィルターが、レート制限の前にDeltaにプッシュダウンされるようになりました。
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
Databricks SQL オブジェクト (クエリ、ダッシュボード、アラート) の一覧ページの管理者ビュータブが削除されました。 ワークスペース管理者ユーザーは、それぞれのリスト ページからすべてのオブジェクトを表示できます。 「保存されたクエリへのアクセスと管理」 、 「レガシ ダッシュボード」、および「Databricks SQL アラートとは何ですか?」を参照してください。
クエリ履歴ページには、デフォルトで過去 24 時間のクエリが表示されます。 「 クエリ履歴」を参照してください。
Databricks SQL ダッシュボード UI に、メニュー オプション「 Lakeview ダッシュボードに複製」が追加されました。 このツールを使用して、既存の Databricks SQL ダッシュボードと同じクエリと視覚化を含む新しい Lakeview ダッシュボードを作成できます。 「レガシー ダッシュボードを Lakeview ダッシュボードに複製する」を参照してください。
Lakeview ダッシュボードの棒グラフは、100% に正規化する積み上げ棒をサポートしています。
公開された Lakeview ダッシュボードをズームインすると、間違ったズーム間隔に焦点が当てられる問題を修正しました。
2024年1月24日
Lakeviewダッシュボードキャンバスは、ウィジェットの配置を自動的に調整して、可能な場合は行間の空の垂直方向の空白を削除します。
Lakeviewダッシュボードの視覚化でのタイトルと説明テキストの間の空白を減らしました。
2024年1月18日
ビジュアライゼーションで、X 軸に 1 つの日付を示す棒グラフが非常に細い棒になるレンダリングの問題を修正しました。 新しいグラフの視覚化は、期待どおりにレンダリングされます。
Lakeviewダッシュボードのリストページには、デフォルトでダッシュボードが表示されます。 そのページのフィルターを使用して、他のワークスペースユーザーが所有するLakeviewダッシュボードにアクセスできます。
2024年1月11日
Databricks SQL クエリとダッシュボード APIs では、プログラムによる [ 実行 ] ロール設定の変更がサポートされています。
Lakeview は、ワークスペース間でドラフト ダッシュボードを再現しやすくするために、ダッシュボードをファイルとしてエクスポートおよびインポートすることをサポートしています。 「ダッシュボードのエクスポート、インポート、または置換」を参照してください
2024年1月4日
主キーと外部キーのエンティティ関係図がカタログエクスプローラに導入されました。 「エンティティ関係図の表示」を参照してください。
2023年12月21日
Lakeview カウンター ビジュアライゼーション タイプでは、メインの [値] フィールドと [ターゲット] フィールドの
BigInt値を比較すると色が表示されます。Lakeviewでテーブルの列の表示を切り替えるときに表示されるツールチップが改善されました。 これらは期待どおりに動作し、永続化しません。
ユーザーは Databricks Assistant を使用して Lakeview で視覚化を作成できるようになりました。 「Databricks Assistant を使用して視覚化を作成する」を参照してください。
新しいチャートの場合、ヒートマップタイプのチャートは reverseY 設定を尊重します。
多数の視覚化を含むノートブックのレンダリング パフォーマンスの問題を修正しました。
2023年12月14日
手動ページの更新なしでLakeviewダッシュボードがLakeviewリストページに表示されないバグを修正しました。
Esc キーを使用して、キャンバスに配置するときに Lakeview ウィジェットの作成をキャンセルします。
カタログ エクスプローラーでは、 Databricks Vector Search パブリック プレビューの一部として、UI に Vector Search インデックスが表示されるようになりました。
2023年12月7日
ユーザー インターフェイスの更新
Lakeviewダッシュボードをお気に入りに追加して、すばやくアクセスできます。
キーボードショートカットのコピーと貼り付けは、Lakeviewダッシュボードの作成中にサポートされます。 また、削除キーは選択したウィジェットを削除します。
Lakeviewウィジェットのタイトルと説明が強化され、ロード中にテキストがクリッピングされるのを防ぎます。
大きな整数値が誤って浮動小数点数として表示されるビジュアライゼーションの書式設定の問題を修正しました。
Databricks SQL ダッシュボードで、展開されたグラフ ビューに空白のグラフが表示されることがある問題を修正しました。
X 軸と Y 軸の両方に量的フィールドがある棒グラフでは、データ ラベルが読みやすく表示されます。
SQL エディターの問題が修正され、タイトルに単語
streamが含まれるテーブルが予約されたキーワードと競合しなくなりました。 これらのテーブルは、スキーマ ブラウザーに期待どおりに表示され、エラーは強調表示されません。クエリーの履歴ページで、列のサイズ変更と列の選択がサポートされるようになりました。
クエリーの履歴ページでは、「クエリー source 」と「 クエリー source type」の 2 つの新しい列がサポートされています。
Tableau や Power BI などの BI オプションは、対象ページのカタログ エクスプローラーで簡単に見つけることができます。
2023年11月30日
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
Lakeviewの円グラフは、カスタマイズされた色の割り当てを持つことができるようになりました。
Lakeview での視覚化変換は、互換性のあるフィールド タイプを切り替えるときに保持されるようになりました。
Lakeview 円チャートの角度チャネルのタイトル設定を追加しました。
Lakeview データセットのドロップダウンが検索可能になり、ナビゲーションが簡単になりました。
Lakeviewは、10,000未満の値の完全な数値表示をサポートし、略語を排除します。
Lakeviewのカテゴリ日付フィールドを色分けする機能が追加されました。
Lakeviewユーザーは、チャートの凡例をカーソルで強調表示して、値をコピーして貼り付けることができるようになりました。
Lakeviewの円グラフにラベルトグルオプションが追加されました。
すべての Lakeview ビジュアライゼーションでデフォルトの青色を標準化しました。
変換の Lakeview 列アイコンが、使用されている変換方法と一貫して一致するようになりました。
Lakeview の編集パネルのコントロールが自動折り返され、読みやすさが向上しました。
Lakeviewビジュアライゼーション用の強化されたカラーエディターをリリースしました。
Lakeview のテーブル フォント条件のコントロールがラップされ、読みやすさが向上しました。
新しいグラフのラベルのダークモードの互換性が向上しました。
新しいグラフでは、棒グラフ内のラベル表示が一貫して優先されるようになりました。
一部の右クリックメニューアクションがSQLエディターで機能していなかったバグを修正しました。
2023年11月16日
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
Lakeviewウィジェットは、サイズ変更トリガーゾーンが大きくなったため、サイズ変更が簡単になりました。
ワークスペース管理者は、Lakeview ダッシュボードの所有者を変更できるようになりました。 Lakeview ダッシュボードの編集モードから:
[共有] をクリックします
クリック
[新しい所有者を割り当てる] をクリックします
ユーザーは、Lakeviewでラベルのオンとオフを切り替えることができます。
ビジュアリゼーション:
新しいグラフ ラベルでは、可能な場合はバー内に配置することが強く推奨されるようになりました。
新しいグラフ ラベルが、ラベル全体を表示するのに十分な幅の積み上げ棒グラフに正しく表示されるようになりました。
棒グラフ内のラベルの色がより一貫性のあるものになりました。
2023年11月9日
2023.50 の変更点:
ハイライト：
SQL と Python UDF で 名前付きパラメーター呼び出し を使用できるようになりました。
SQL 言語の更新: 以下の組み込み関数が追加されました: - 'from_xml': XML STRING を STRUCTに解析します。 - ' schema_of_xml': XML STRINGからスキーマを派生させます。- ' session_user': ログインしているユーザーを返します。 - 'try_reflect': Java メソッドが失敗した場合に、例外の代わりに NULL を返します。
以下の組み込み関数が拡張されました。
関数呼び出し。 関数へのテーブル引数によるパーティション分割と順序付けのサポート:
PARTITION BY句とORDER BY句を使用して、テーブル引数を関数に渡す方法を制御できるようになりました。'mode': 決定論的な結果を強制するオプションのパラメーターのサポート。
'to_char':
DATE、TIMESTAMP、およびBINARYを新たにサポートしました。'to_varchar':
DATE、TIMESTAMP、およびBINARYを新たにサポートしました。'array_insert()' は負のインデックスに対して 1 から始まります:
array_insert関数は、正のインデックスと負のインデックスの両方で 1 から始まります。 インデックス -1 の入力配列の末尾に新しい要素が挿入されるようになりました。
ユーザー インターフェイスの更新
このセクションにリストされている機能は、上記のSQLウェアハウスコンピュートのバージョンとは無関係です。
視覚 エフェクト：
新しいグラフのツールヒントには、カーディナリティの高いグラフのホバーされた項目のみが表示されます。
新しいグラフでは、2 重軸グラフが自動的に 0 に揃えられます。
チャートの回転ラベルと軸テキストの角度方向が -90 度から 90 度に変更されました。
チャートは、ラベルの幅を使用して回転を決定するようになりました。
Lakeviewダッシュボード:
修理する： Lakeview ダッシュボードのテーブル行は、少数の行のみが返される場合に垂直パディングを追加しなくなりました。
新しい Lakeview ダッシュボード ウィジェットのクローン作成では、キャンバスに十分なスペースがある場合、最初に元のウィジェットの右側にクローンを配置しようとします。 使用可能なスペースが不足している場合、クローンは元のクローンの下に配置されます。
[共有]ダイアログからLakeviewダッシュボードの所有者を再割り当てできるようになりました。
SQL エディター: オートコンプリートの積極性が弱まり、文末で自動的に閉じるようになりました
2023年11月2日
改善：
以下は、Lakeviewダッシュボードのリネージの改善点です。
テーブル、ビュー、およびマテリアライズドビューに個別のアイコンを追加しました。
アップストリームデータソースが多数ある場合の垂直スクロールのサポートが追加されました。
ビューアにアップストリームオブジェクトに対する権限がない場合のエラーメッセージを改善しました。
サンプルデータテーブルと HMS データに関するメッセージが明確になりました。
アップストリーム データソースにキー値タグを追加しました。
修理する：
Boolean値を持つ系列の名前を変更した後にレンダリングが妨げられる新しいグラフの問題を修正しました。
2023年10月26日
Databricks SQL バージョン 2023.45 の変更点
ハイライト：
更新プログラムの予測 I/O の一般提供が開始されました。 予測 I/O とはを参照してください。
削除ベクトルの一般提供が開始されました。 削除ベクトルとはを参照してください。
クエリー optimizations:
外部結合がすべて個別の集計関数である場合、それらを削除しました。 スパーク-42583
述語のフィルタリングの順序を最適化しました。 スパーク-40045
SQL 関数の更新:
Aggregateでの暗黙的な横方向の列エイリアス解決のサポートが追加されました。スパーク-41631Window を使用したクエリーでの暗黙的な横方向列エイリアスのサポート。 スパーク-42217
Datasketches
HLLSketchのサポート。 「 集約関数hll_sketch_agg」を参照してください。try_aes_decrypt()機能を追加しました。try_aes_decrypt 関数 ( function) を参照。aes_encrypt()およびaes_decrypt()のCBCモードのサポート。aes_decrypt 関数 ( function) を参照。3 引数の関数エイリアス DATE_ADD と DATE_DIFF を追加します。
aes_encrypt IV と AAD のサポートが追加されました。 スパーク-43290
ビットマップ関数を実装します。 スパーク-44154
to_charのto_varcharエイリアスを追加しました。to_varchar 関数を参照してください。array_compactのサポートを追加しました。array_compact 関数を参照してください。udf
luhn_checkのサポート。 luhn_check 関数を参照してください。組み込み関数の名前付き引数のアナライザー サポートが追加されました。 スパーク-44059
TableValuedFunctionの引数パーサーTABLEルールのサポート。スパーク-44200array_insertインデックスが 0 で失敗するようになりました。 スパーク-43011ターゲット表よりも少ない列のユーザー指定リストを持つ
INSERTにNULL値を追加しました。スパーク-42521DECODE関数は、NULL が渡されると間違った結果を返します。 スパーク-41668
ユーザー インターフェイスの更新
改善：
Lakeview SQL エディターで、クエリーを実行するためのキーボード ショートカットがサポートされるようになりました。
Lakeview のフィルターには、過去 7 日間、14 日間、28 日間、30 日間、60 日間、90 日間の相対的な日付範囲の迅速な選択が一覧表示されるようになりました。
データ フィールド名のピリオドによって空白のグラフが表示されなくなりました。
従来のスキーマブラウザが Unity Catalogで動作するようになりました。
SQL エディターでアクティブなタブのみを読み込むようにパフォーマンスを改善し、初期読み込み時間を最大 20% 短縮しました。
カタログ エクスプローラーで AI が生成したテーブル コメントが正式リリースされました。
修正：
時系列棒グラフの棒が日付目盛りの中央に配置されるようになりました。
集計式を含むデータ ラベル テンプレートで、適切な数値フォーマッタが使用されるようになりました。
新しいチャートのズームは、時系列データを使用してカテゴリに設定されたスケールで機能するようになりました。
新しい記事:
すべての Lakeview ビジュアライゼーションを示す新しい記事を公開しました。これには、各スクリーンショット内の各ビジュアライゼーションを再作成する方法を示すスクリーンショットとメモが含まれています。 「 ダッシュボードの視覚化の種類」を参照してください。
2023年10月19日
改善：
スキーマブラウザでのドラッグアンドドロップが利用可能になりました。
Lakeview ダッシュボードの [テーブルの選択] モーダルを使用すると、カタログまたはスキーマ内のすべてのテーブルから簡単に選択でき、入力時にオートコンプリート検索予測が使用されるようになりました。
修正：
凡例選択ツールチップの指示では、Mac ユーザーが
cmdを使用し、Windows ユーザーがctrlを使用することを指定します。
レンダリングされたデータが制限を超えた場合の Lakeview ダッシュボードでの制限捨てられたメッセージの可視性が向上しました。
データが切り捨てられたグラフは、エディターに表示されるように一貫した色で表示されます。
2023年10月12日
改善：
特殊文字を含むテキスト フィルター値が、Lakeview ダッシュボードで正しくフィルター処理されるようになりました。
新しいグラフでは、散布図プロットの
@@nameデータ ラベルがサポートされます。カスタマイズされたパーセンテージ形式は、新しいグラフのグループ化されたグラフのツールヒントに適用されます。
ワークスペース バインド拡張機能 UI は GA です。
修正：
新しいグラフでのラベルのレンダリングが改善され、ラベルがグラフの境界外にこぼれるのを防ぎました。
新しいチャートの目盛りとグリッド線のコントラストを上げて、視認性を向上させました。
軸ラベルの間隔を広げて、新しいグラフでの読みやすさを向上させました。
2023年10月5日
改善：
Lakeview ダッシュボードの公開モードのアクションと日付リネージに正確なツールヒントが追加されました。
Lakeview テーブル ビジュアライゼーションの条件付き書式とリンク テンプレートで、非表示の列がサポートされるようになりました。
幅広のバーの時系列グラフのラベル位置を最適化して、新しいグラフの明瞭さを高めました。
Lakeview のカウンター ビジュアライゼーションは、他のフィールドが削除された後でも変換を保持し、一貫性を確保します。
グラフ内の系列にカーソルを合わせると、ツールヒント内の周囲の系列が淡色表示され、新しいグラフの読みやすさが向上するようになりました。
パーセント値を使用する新しいグラフでは、ツールヒントが絶対値で表示されるようになりました。
ボリュームを作成するためのオートコンプリートのサポートが追加されました。
非アクティブなタブを閉じても、タブが切り替わらなくなりました。
選択した実行は、テキストを強調表示するタイミングを明確に示します。
修正：
データが切り捨てられたときのピボットテーブルのエラーメッセージの文言が改善されました。
ピボットテーブルで、BigInt データ型の使用時に色が表示されないレンダリングエラーを修正しました。
多数の凡例項目を含む新しいチャートで PNG をダウンロードするときに、オーバーフロー凡例エントリの色記号が削除されました。
新しいグラフの線は、一番上のビュー境界でも一定の太さを維持します。
Lakeview では、データセットが存在しない場合、キャンバスのデータセット ピッカーは空です。
Delta Live Tables は SQL パーサーによって適切に検出され、スキーマ ブラウザーに無効なテーブルとして表示されません。
ツールチップがサイドバーに追加されました。
2023年9月28日
改善：
公開された Lakeview ダッシュボードに更新ボタンが追加されました。
Lakeview ダッシュボードにアクセスできないユーザーのエラー メッセージが改善されました。
Lakeview ダッシュボードのフィルター構成で、選択リストの上部に有効なフィールドが一覧表示されるようになりました。
Lakeview ダッシュボードからチャートを PNG としてダウンロードすると、タイトルと説明が保持されるようになりました。
カタログ エクスプローラーでのDeltaテーブル履歴の改善には、日付範囲、ユーザー、操作の種類のフィルターの追加、並べ替え可能な列、関連付けられたジョブとノートブックへのインライン リンクの追加が含まれます。
凡例、ツールチップ、テーブルの視覚化にダークモードのサポートが追加されました。
修理する：
Lakeview ダッシュボードを更新するときにフィルターの選択がクリアされなくなりました。
2023 年9月14日
改善：
新しいチャート ビジュアライゼーションで PNG をダウンロードするときにファイル名が保持されるようになりました。 Databricks の新しいグラフの視覚化 を参照してください。
2023 年9月7日
Databricks SQL バージョン2023.40が利用可能
ロールアウト スケジュール
2023.40 のプレビュー ロールアウト: 2023年9月5日から2023年9月11日まで
2023.40 の現在のロールアウト: 2023年9月18日から2023年9月25日まで
2023.40での変更点:
タグが Unity Catalogで使用できるようになりました。
Databricks Runtime は、クエリー計画と呼び出しの間にファイルが変更されると、エラーを返します。
Databricks ODBC / JDBC ドライバーのサポート。
時系列列のラベル付けを有効にします。
新しいビットマップ SQL 関数。
暗号化機能を改善しました。
Unity Catalog のサポート
REFRESH FOREIGN.INSERT BY NAMEがサポートされるようになりました。マテリアライズドビューを Delta Sharingと共有します。
ユーザー インターフェイスの更新
改善：
新しいチャートが利用可能になり、レンダリングパフォーマンスが向上し、美しい色とインタラクティブ性が向上しました。 Databricks の新しいグラフの視覚化 を参照してください。
クエリー Profile のグラフ ビューで、クエリー プランに結合を含む任意のノードの結合タイプを表示できるようになりました。
Data Explorer は、データ オブジェクトだけでなく、Unity Catalog 内のすべてのセキュリティ保護可能なオブジェクトを操作するために使用できるという事実を認識するために、カタログ エクスプローラーに名前が変更されました。 「カタログエクスプローラとは」を参照してください。
Databricks SQL ステートメント実行 API は、Databricks SQL バージョン 2023.35 以降で一般提供されるようになりました。 API を使用すると、Databricks SQLウェアハウスで実行するために SQL ステートメントを送信したり、状態を確認して結果をフェッチしたり、実行中の SQL ステートメントの実行をキャンセルしたりできます。 「ステートメント実行 API」を参照してください。
2023 年8月24日
改善：
オートコンプリートは、スペースバーを押した後、推奨事項の提案を停止します。
スキーマブラウザは、
liveDelta Live Tables 壊れたテーブルとして認識しなくなりました。
2023 年8月10日
改善：
オートコンプリートで、 Unity Catalog タグを設定するための新しい構文がサポートされるようになりました。 コマンドに関する情報については、「 SQL 言語リファレンス」を参照してください。
2023 年8月3日
改善：
基盤となる Monaco エディターでバージョン 37.1 が使用されるようになりました。
SHOW ARCHIVED FILES FORDelta コマンドのオートコンプリートのサポート。
2023 年7月27日
改善：
SQL エディターは Windows 改行文字と互換性があり、クエリーの書式設定がすべてのケースで期待どおりに機能するようになりました。
クエリー プロファイル ナビゲーションは、ノートブックの結果から開くことができます。 クエリーの場合は、SQLウェアハウスを使用してクエリーを実行します。
2023 年7月20日
Databricks SQL バージョン 2023.35 が利用可能
ロールアウト スケジュール
2023.35 のプレビュー ロールアウト: 2023/07/18から2023/07/24 まで
2023.35 の現在のロールアウト: 2023/07/31 から 2023/08/08 まで
2023.35の変更点:
Unity Catalogの浅いクローンを使用した
VACUUMの信頼性が向上しました。SQL での Python UDF のサポート。
Delta Lake UniForm for Iceberg はパブリック プレビュー段階です。
Delta Lake リキッドクラスタリングはパブリック プレビュー段階です。
Delta Lakeのアーカイブサポート。
識別子句のサポート。
Python および Pandas ユーザー定義関数 (UDF) のサポートUnity Catalog 。
改善：
カタログ エクスプローラーのテーブルの人気度は、すべての Unity Catalog ユーザーが使用できます。
2023年7月13 日
改善：
Unity Catalog ユーザーは、頻繁に結合されるテーブル、特定のテーブルの頻繁なユーザー、頻繁に使用されるノートブックとダッシュボードなど、カタログエクスプローラーで追加のテーブル知見を表示できるようになりました。
2023年6月22 日
パブリック プレビュー:
Databricks SQL では、モデル サービス エンドポイントでホストされる大規模な言語モデル (LLM) がサポートされるようになりました。
ai_query()電話してLLMにアクセスしてください。この関数は、Databricks SQL Pro およびサーバレスのパブリック プレビューでのみ使用できます。 パブリック プレビューに参加するには、 AI Functions パブリック プレビュー登録フォームを送信します。
2023 年6月15日
新機能:
ワークフローの SQL タスクが一般公開されました。 クエリ、ダッシュボード、アラートは、[ワークフロー] ページからオーケストレーションできます。 タスクタイプのオプションを参照してください。
新しいスキーマ ブラウザーがパブリック プレビュー段階になり、更新された UX、[ おすすめ ] タブ、および改善されたフィルターが特徴です。 スキーマ ブラウザーは、Databricks SQL、カタログ エクスプローラー、ノートブックで使用できます。 「データの参照」を参照してください。
2023年6月8 日
DBSQL バージョン 2023.30 が利用可能
2023.30の変更点
新しい SQL 組み込み関数 (
array_prepend(array, elem)、try_aes_decrypt(expr, key [, mode [, padding]])、sql_keywords()など)。浅い複製を使用して、既存の Unity Catalog マネージド テーブルから新しい Unity Catalog マネージド テーブルを作成できるようになりました。 「 Unity Catalog テーブルの浅い複製」を参照してください。
int、long、およびstring型の切り捨てられた列にパーティションが定義されている Iceberg テーブルでCLONEとCONVERT TO DELTAを使用できるようになりました。decimal型の切り捨て列はサポートされていません。START VERSIONはALTER SHAREで非推奨になりました。
2023年6月1 日
改善：
バイナリ データは、Arrow 形式を使用するときに 16 進文字列としてレンダリングされるようになりました。
SQL ステートメント API では、
EXTERNAL_LINKS処理で CSV 形式がサポートされるようになりました。 これにより、クライアントは署名付き URL を使用して最大 100 GiB のデータを CSV 形式で抽出できますが、JSON のINLINE制限は 16 MiB です。
2023 年5月29日
新機能:
データの追加 UI を使用して、 Unity Catalog 外部ロケーションとして定義されているクラウド オブジェクト ストレージ パスからデータを読み込むことができるようになりました。 詳細については、「 Unity Catalog 外部ロケーションを使用したデータのロード」を参照してください。
2023 年5月25日
改善：
オートコンプリートの結果パネルを切り替えられるようになりました。
Enter キーを無効にして、オートコンプリート候補を受け入れないようにします。[DBSQL ユーザー設定] で、[エディターの設定]、[新しいエディターの設定] の順にクリックします。 *Enterキーはオートコンプリートの提案を受け入れる*をオフにします。
修正：
並べ替えられたテーブルヘッダーに色が追加されました。
グラフの線が正しくレンダリングされるようになりました。
2023 年5月18日
改善：
SQL ステートメント API では、
EXTERNAL_LINKS処理でJSON_ARRAY形式がサポートされるようになりました。 署名付き URL を使用して、JSON 形式で最大 100 GiB のデータを抽出できます。 JSON のINLINE制限は 16 MiB です。
2023 年5月11日
新機能:
スキーマ ブラウザがカタログ エクスプローラで一般公開されました。
改善：
ホバー テーブルの詳細パネルの表示は、感度が低くなります。
エスケープ キーはオートコンプリートパネルを閉じるようになりました。
ビュー定義の [カタログ エクスプローラの詳細] タブで構文が強調表示されるようになりました。
修正：
ピボットテーブルが Windows デバイスで正しくレンダリングされるようになりました。
補完候補は、最初のキーワードの大文字と小文字に正しく従うようになりました。
2023年5月4 日
Databricks SQL バージョン 2023.26 が利用可能
ロールアウトスケジュール
2023.26 のプレビュー ロールアウト: 2023年4月19日から2023年4月25日まで
2023.26 の現在のロールアウト: 2023年5月3日から2023年5月10日まで
2023.26の変更点
Photonは、クエリーの計画と実行の間にファイルが変更された場合、エラーを返します。
予測 I/O 機能の新機能と拡張サポート。 「 Databricks Runtime 13.0 (サポート対象外)」を参照してください。
Databricks コネクタを使用して、別の Databricks ワークスペースに接続します。
CREATE TABLE LIKEDelta テーブルの機能。ファイルブロックの開始と長さを示す新しいメタデータ列フィールド。
新しい H3 地理空間関数。 H3 地理空間関数を参照してください。
新しい SQL 組み込み関数。 「 Databricks Runtime 13.0 (サポート対象外)」を参照してください。
ユーザー インターフェイスの更新
改善：
管理者は、ユーザー インターフェースまたはAPIを使用して、ウェアハウスの所有者を変更できます。 「SQL ウェアハウスの管理」を参照してください。
カタログエクスプローラーのユーザーリストに、 Unity Catalogのアセットのユーザーリストにアカウント サービスプリンシパルが表示されるようになりました。 たとえば、アカウント サービスプリンシパルは、カタログ エクスプローラで権限を編集したり、所有者を変更したりするときに表示されます。
カスタム グラフ ラベルは、データセット内の任意の列を参照する機能をサポートします。
ダッシュボード フィルターは、カタログまたはスキーマ情報を持たないクエリーを使用している場合でも、列名を読み込むようになりました。
2023 年4月27日
改善：
SQL エディターは、より信頼性の高い編集エクスペリエンスのために Monaco エディターに依存するようになりました。
SQL履歴リストページ(クエリー)にデュボアデザインシステムが含まれるようになりました。
2023 年4月20日
改善：
64k を超える結果を集計できる新しいピボットテーブルが導入されました。
Databricks SQL テーブルと視覚化で、BigInt、38 ビット 10 進数、および UTF-8 以外の文字がサポートされるようになりました。 数値の場合、デフォルト設定はユーザー定義の数字の精度になりました。
オートコンプリートでは、 Databricks Runtime 12.0 以降の Unity Catalog 系列データを利用して、 Unity Catalog テーブルの過去の結合が頻繁に提案されるようになりました。
クラウド フェッチは、バケットのバージョニングが有効になっている AWS ワークスペースではデフォルトで有効になっています。 バケットのバージョン管理を有効にしている場合、Databricks では、アップロードされたクエリ結果の古いバージョンを自動的に削除するようにライフサイクル ポリシーを設定することをお勧めします。 「クラウド Fetch in ODBC (ODBC)」および「 クラウド Fetch in JDBC ( JDBC )」を参照してください。
新機能:
選択した大規模言語モデル (LLM) によって生成されたテキストに 、AIのプロンプトで返します。この機能は、 Databricks SQL Pro およびサーバレスのパブリック プレビューとしてのみ使用できます。 パブリック プレビューに参加するには、 AI Functions パブリック プレビュー登録フォームに入力して送信します。
2023年4月13 日
新機能:
TIMESTAMP_NTZ型は、年、月、日、時、分、および秒のフィールドで構成される値を表します。すべての操作は、タイムゾーンに関係なく実行されます。 TIMESTAMP_NTZタイプを参照してください。
改善：
ユーザーは、カスタムアラートメッセージで
QUERY_RESULT_TABLEタグを使用して、アラート内でフォーマットされた結果を送信できるようになりました。ユーザーは、カタログ エクスプローラーで Unity Catalog テーブルのファイル データ サイズを表示できるようになりました。
2023年4月6 日
Databricks SQL バージョン2023.20が利用可能
ロールアウトスケジュール
2023.20 のプレビュー ロールアウト: 2023/03/15 から 2023/03/23 まで
2023.20 の現在のロールアウト: 2023/03/27 から 2023/04/03 まで
2023.20の変更点
Delta Lake スキーマ進化では、merge ステートメントでのソース列の指定がサポートされています。
array_compactを使用して配列からすべての NULL 要素を削除します。
配列に要素を追加するには、 array_append を使用します。
機密性の高い文字列値を匿名化するには、 mask 関数を使用します。
一般的なエラー条件 が SQLSTATE を返すようになりました。
クエリの通常の
FROM句でテーブル値ジェネレーター関数を呼び出します。from_protobuf関数とto_protobuf関数を使用して、バイナリ型と構造体型の間でデータを交換します。プロトコルバッファの読み取りと書き込みを参照してください。update、delete、およびmergeコマンドに関連する空のトランザクションの Delta コミット動作の一貫性が向上しました。動作の変更
横方向の列のエイリアス機能では、名前解決中の動作が変更されています。 動作の変更を参照してください。
2023 年4月3日
新機能:
[ ファイルのアップロードからテーブルを作成または変更する ] ページで、JSON ファイルのアップロードがサポートされるようになりました。 詳細については、「 ファイルのアップロードを使用したテーブルの作成または変更」を参照してください。
2023年3月30 日
改善：
ウェアハウス モニタリング ページで、選択した時間範囲のクエリ履歴をスケーリング チャートとともに表示できるようになりました。 また、現在実行中およびキューに入れられているクエリ、アクティブな SQL セッション、ウェアハウスのステータス、および現在のクラスター数を表示することもできます。 「SQL ウェアハウスの監視」を参照してください。
マップクラスターは、マーカーマップのデフォルトによってオフになりました。
ビジュアライゼーションの制限捨てとレンダリング制限のためのツールチップが追加されました。
修正：
グラフは、軸値の並べ替えが無効になっていて、グラフに列でグループ化されている場合に、元の順序に従うようになりました。
2023 年3月23日
改善：
ビジュアライゼーションで週ごとの時間ビン分割がサポートされるようになりました。
Total100 X 100 セルを超えるすべてのデータが最大 64 KB で計算され、ノートブックのピボット テーブルが表示されるようになりました。ユーザーは、新しいノートブックのピボットテーブルのセル値を書式設定できるようになりました。
ファイル、クエリー、および Feature Store 系列を使用できます。
2023年3月9 日
新機能:
Databricks SQL ステートメント実行 API がパブリック プレビューで利用できるようになりました。 ステートメントの実行は、Databricks SQLウェアハウスで SQL ステートメントを実行しているエンドポイントを提供します。 また、ステータスの確認、結果のフェッチ、実行中の SQL ステートメントのキャンセルを行うこともできます。
改善：
SQL 管理コンソールは、管理者ユーザーの統一されたエクスペリエンスを作成するために、一般的な 管理者設定 と組み合わされています。 すべての SQL 管理設定に管理コンソールからアクセスできるようになりました。
アラート通知先は、通知先と呼ばれるようになりました。
修正：
表に 2 つのスクロールバーが表示されなくなりました。
空白のウィジェットタイトルがダッシュボードで上書きされなくなりました。
2023年2 月23日
改善：
TINYINTがノートブックの結果テーブルでサポートされるようになりました。
修理する：
ダッシュボードの作成フィルターモーダルをスクロールするとエラーが発生するバグを修正しました。
2023 年2月16日
改善：
グラフのデータラベルには、説明が切り捨てられるのを避けるために、より多くの文字が表示されるようになりました。
オートコンプリートは、
range()および Python UDFcreate関数を認識するようになりました。オートコンプリートにより、小数やコードコメント内でスニペットを開始する必要がなくなりました。
修正：
ユーザーはマップを拡大できるようになりました。
ノートブックで、色がグラフに正しく割り当てられるようになりました。
2023年2月2 日
改善：
エディターでの
DESCRIBE DETAILSのサポート。スキーマブラウザの読み込み速度が向上しました。
SELECT *のサイドパネルで可能な列のリストを表示できるようになりました。
2023 年1月19日
改善：
これで、主要な機能強化を強調する [ 新機能 ] パネルが表示されます。 このパネルは、ギフトアイコンをクリックして開閉できます。
管理者は、SQLウェアハウスの所有権を変更できるようになりました。
[フィルター の追加] をクリックし、フィルターするクエリーと列を選択することで、ダッシュボード内の複数のビジュアリゼーション>フィルター処理できるようになりました。
2023年1 月12日
改善：
ダッシュボードのビジュアライゼーション ウィジェットのタイトルが、デフォルトで [ビジュアリゼーション名 - クエリー名 ] として書式設定されるようになりました。
インラインパネル参照にH3地理空間関数を追加しました。
CREATE TABLEやOVERなどの SQL 構文のインライン参照を追加しました。
修正：
並べ替えと逆方向の切り替えは、X 軸スケールが自動に設定されている場合に使用できるようになりました。
ヒートマップとピボットテーブルは、特定のエッジケースに対応できるようになりました。
カテゴリの Y 軸目盛りがデフォルトで並べ替えられるようになりました。
クエリーの下書きは、ブラウザの更新後に失われなくなりました。
2022年12月8 日
Databricks SQL アラートで、クエリの結果列 (
SUM、COUNT、AVGなどのクエリ結果列の集計に関するアラートがサポートされるようになりました。ダッシュボードで新しいウィジェットを作成するときのデフォルトのビジュアライゼーションタイトルが「ビジュアライゼーション名 - クエリ名」になりました。
2022 年11月17日
アラート：
Chatworks、Mattermost、Google Hangouts Chat は通知の宛先ではなくなりました。
改善：
Y 軸に、パーセント値を確認するときに数値がパーセンテージで表示されるようになりました。
データのアップロード UI を無効にするワークスペース管理者の設定が、新しいデータのアップロード UI に適用されるようになりました。この設定は、データサイエンス & エンジニアリング、Databricks Machine Learning、Databricks SQL ペルソナに適用されます。
修正：
Databricks SQL アラートで、null 値との比較が正しく評価されない問題を修正しました。
ピボットテーブルのスクロールバーが消える問題を修正しました。
スキーマブラウザがオーバーフローしたタブでサイズを変更できない問題を修正しました。
2022年11月10 日
改善：
複数のクエリーで同時に機能するダッシュボードフィルターを作成できるようになりました。 ダッシュボードの編集モードで、[追加 ]、[フィルター]、[新しいダッシュボードフィルター] の順に選択します。
オートコンプリートで
CREATE MATERIALIZED VIEWがサポートされるようになりました。
修理する：
ダッシュボードのページングされた一連の結果の最後までスクロールするとエラーが送信される問題を修正しました。
積み上げ横棒グラフから折れ線グラフに切り替えても積み上げプロパティが保持される問題を修正しました。
重複するフェッチ呼び出しを修正しました。
2022 年11月3日
改善：
Databricks SQL でアクセスを要求するときに、既定のアクセス許可が "実行可能" になりました。
修正：
クエリーとダッシュボード API を使用した
created_atによる並べ替えで、正しい並べ替え順序が返されない問題を修正しました。HTML 形式の URL を含む列の列幅が広すぎる問題を修正しました。
キーワード
WHERE強調表示されない問題を修正しました。
2022年10 月27日
改善：
クエリ結果を Excel にダウンロードできる行数の制限が、64,000 行から 100,000 行に引き上げられました。 CSV と TSV のダウンロード制限は変更されません (約 1 GB のデータ)。
オートコンプリートで、
LIST構文、URL、および資格情報がサポートされるようになりました。統合および最新の Fix-me 提案パネル。
新しいウェアハウスの種類である Databricks SQL Pro が Databricks SQL に導入されました。 このウェアハウスの種類により、Databricks SQLウェアハウスはワークフロー統合、フェデレーション、地理空間機能、および予測 IO を使用できます。
修正：
エディターの警告バナーがフルハイトのビジュアライゼーションと重なる問題を修正しました。
テーブルの列を移動したときにテーブルの列幅が保持されない問題を修正しました。
SQL エディターからビジュアライゼーションが追加された場合、ポップアップ通知のダッシュボードへのリンクが壊れる問題を修正しました。
2022年10 月20日
改善：
これで、フッターにクエリーの進行状況バーが表示され、ケバブメニューにビジュアライゼーションの編集アクションが表示されます。
オートコンプリートは Delta タイムトラベルをサポートし、外部キーを定義するときに列のオートコンプリートを提供するようになりました。
修理する：
ダッシュボードに複数のビジュアライゼーションをすばやく連続して追加すると、ビジュアライゼーションがダッシュボードに表示されない問題を修正しました。
2022年10月13 日
改善：
報告されたエラーメッセージを削除できるようになりました。
COMMENT ON命令がエディタでサポートされるようになりました。Cmd+ P または Ctr+P (PC の場合) を トップ検索のショートカットとして使用できるようになりました。パラメーターの追加 には 、Cmd+I または Ctr+I(PC の場合) を使用します。
2022年10月11 日
改善：
データの追加 UI では、一般的な DATA 構成とファイル アップロード UI にアクセスできます。 「 データの追加 UI を使用したデータのロード」を参照してください。
UI を使用して小さなファイルを Delta Lake にアップロードできます。 ファイルアップロードを使用したテーブルの作成または変更を参照してください。
2022年10月6 日
改善：
EXTERNALは予約済みテーブル プロパティになりました。 コマンドCREATE TABLE ... TBLPROPERTIESとALTER TABLE ... SET TBLPROPERTIESは、プロパティでEXTERNALが指定されている場合に失敗します。format_string(strfmt, obj, ...)とprintf(strfmt, obj, ...)のstrfmtでは、最初の引数として0$を使用することはサポートされなくなりました。引数インデックスを使用して引数リスト内の引数の位置を示す場合は、最初の引数を1$が参照する必要があります。円グラフのセグメントに、さまざまなセグメントを描画するための細い境界線が追加されました。
Cmd+I (Mac の場合) または Ctr+I (PC の場合) を [パラメーターの追加] のショートカットとして使用できるようになりました。グローバル検索 のショートカットとして Cmd+P または Ctr+P(PC の場合) を使用します。
フィードバックボタンは、クエリーエラーメッセージの良し悪しに使用できます。
修正 の提案が クイック修正として利用可能になりました。
修正：
lpadおよびrpad関数は、BINARY文字列入力で正しく動作するようになりました。BINARY文字列入力のlpadとrpadの出力は、BINARY文字列になりました。手動アラート更新が機能しない問題を修正しました。
自動カウンター サイジングの変更をロールバックして、書式設定の問題を修正しました。
2022 年9月29日
改善：
Databricks SQL クエリー、アラート、およびダッシュボードへのアクセスを、それらの資産の所有者に要求できるようになりました。
クエリ履歴ページで、クエリー期間とステートメントタイプでフィルタリングできるようになりました。
クエリー期間フィルターを使用するには、時間を入力し、時間単位を選択します。 履歴の結果は、指定された時間より長く実行されたクエリーを返します。
ステートメントタイプフィルタを使用するには、ドロップダウンからステートメントタイプを選択します。 履歴の結果は、そのステートメントを含むクエリーを返します。
修理する：
サポートされているすべての HTML タグがカスタムアラートテンプレートで機能しない問題を修正しました。 すべてのタグは、文書化されたとおりに使用できます。
ビジュアライゼーション 通知がトーストする問題を修正しました。たとえば、ダブルクリックしてビジュアライゼーションをズームアウトすることは、以前は表示されていませんでした。
グラフの軸を入れ替えてもグラフ名に反映されない問題を修正しました。
2022年9月22 日
改善：
同じサイズのカウンターウィジェットは、ダッシュボードに複数のカウンターウィジェットが表示される場合、同じフォントサイズになります。
組み合わせグラフを更新し、二重軸を使用する場合、同じグラフの種類 (折れ線、棒など) のみを同じ軸で使用できるようになりました。 系列エイリアスも軸に適用されます。
代理キーと
LIST操作のオートコンプリートのサポートが追加されました。
修理する：
テキスト パラメーターが有効な値として
Nullを受け入れない問題を修正しました。
2022年9月8 日
改善：
DSE/SQLホームページに新しい「オープンソース統合」カードを導入し、 Delta Live Tables やdbtコアなどのオープンソース統合オプションを表示します。
修理する：
パラメーターのドロップダウン メニューが [視覚化] タブによってブロックされる問題を修正しました。
2022 年9月1日
改善：
パラメーターとフィルターを追加するための新しい簡略化された UI を導入します。 <button></button> + を選択し、フィルターまたはパラメーターの追加を選択します。
'OVER()' などの SQL トークンの括弧がオートコンプリートされるようになりました。
修正：
ダッシュボードを全画面で表示するとカラーパレットが無視される問題を修正しました。
すばやく入力してから [実行 ] ショートカットを使用すると、新しく入力したクエリー テキストではなく、前のクエリー テキストが実行される問題を修正しました。
キーボード コマンドを使用して ctrl+Enter キークエリを実行すると、クエリーが重複して送信される問題を修正しました。
2022 年8月18日
Databricks SQL の場合、 Unity Catalog (パブリック プレビュー) はプレビュー チャンネルで使用できます。 詳細については、「 Unity Catalogとは」を参照してください。
ドキュメント: アラート API のドキュメントがリリースされました。
ビジュアライゼーション: ユーザーは日付フィルターのデフォルト値を設定できるようになりました。 クエリーまたはダッシュボードでフィルターが更新されるたびに、既定値が適用されます。
修正：
ダッシュボードがまだリロードされている場合に適用の変更が機能しない問題を修正しました。
クエリーが結果を返さないときに列が狭すぎる問題を修正しました。
2022 年8月11日
改善：
ユーザーは、更新が失敗したときに Email を受信できます。 このような通知を有効にするには、管理コンソールの [SQL 設定 ] タブに移動します。 [失敗メール] で、失敗通知を受信するオブジェクトのタイプ (クエリー、ダッシュボード、またはアラート) を選択します。失敗レポートは毎時送信されます。
視覚 エフェクト
ビジュアライゼーションとダッシュボード用の新しい最新のカラーパレットを導入しました。 ダッシュボードを新しいカラー パレットに変更するには、ダッシュボードに移動し、 <button></button> <button>編集</button> -> 色 -> <button></button> インポート をクリックし、 Databricks カラー パレット を選択します。SQL 管理者は、 <button>設定</button> -> <button>QL 管理コンソール</button> -> <button>ワークスペースの色 -></button> インポート<button></button> に移動して、新しいパレットを選択することで、新しいカラー パレットをワークスペースの既定のオプションとして設定することもできます。
修正：
以前に <button>変更の適用</button> を選択してフィルターを適用すると、クエリーが既に実行されている場合に機能しない問題を修正しました。
2022年8月4 日
改善：
ダッシュボードのクローン作成時に、クエリーもクローンするかどうかのオプションが追加されました。
タブの内容は、ブラウザーのタブ間で同期されます。 これで、クエリの状態がすべてのブラウザタブで同期されます。 つまり、ブラウザー タブ 1 で query1 を操作していて、ブラウザー タブ 2 に切り替えると、元のブラウザー タブでは query1 がそのままの状態で表示されます。
修理する：
円グラフの空の文字列のラベルは、値のインデックスではなく、文字列が空であることを反映するようになりました。
2022 年7月28日
アラート
カスタムアラートEメールテンプレートが更新され、セキュリティリスクをもたらす可能性のある特定のHTMLタグが許可されなくなりました。 許可されていない HTML タグと属性は自動的にサニタイズされます。 たとえば、<button> は許可されていない HTML タグであるため、ボタンをレンダリングする代わりに、"button" というテキストが表示されます。 許可される HTML タグと属性のリストについては、「 アラート 」を参照してください。
ユーザーは、管理者権限を必要とする通知先を作成しなくても、他のユーザーをアラートにサブスクライブできるようになりました。
ダウンロード: ユーザーは、以前の 64,000 行から最大 1 GB の結果データを CSV および TSV 形式で Databricks SQL からダウンロードできるようになりました。
視覚 エフェクト
ダッシュボードでビジュアライゼーションを直接編集できるようになりました。 編集モードで、ケバブ メニューをクリックし、[ ビジュアライゼーションの編集 ] を選択してビジュアライゼーションの編集を開始します。
集計を利用してビジュアリゼーションに関連付けられた結果をダウンロードすると、ダウンロードされた結果も集計されます。 ダウンロードするオプションは、下のケバブからタブに関連付けられているケバブに移動しています。 ダウンロードされた結果は、ビジュアライゼーションを作成したクエリーの最新の実行からのものです。
SQL エディター: ブラウザー内テーブルに表示されるデータが 64,000 行に制限されている場合に、結果テーブルにメッセージが表示されるようになりました。 TSVとCSVのダウンロードは、最大約1GBのデータです。
クエリー フィルター:
クエリー フィルター は、パフォーマンスを最適化するために、クライアント側またはサーバー側で動的に機能するように更新されました。 以前のクエリー フィルター (現在はレガシ) はクライアント側でのみ動作していました。 ユーザーは、必要に応じて、
::構文でレガシ フィルターを引き続き使用できます。更新されたフィルターはより単純です: ユーザーは [+ フィルターの追加 ] ボタンをクリックし、ドロップダウンから列を選択します。 以前は、ユーザーはクエリー テキストを直接変更する必要がありました。
関連する値が強調表示され、フィルター内のどの選択が他のフィルター選択で結果を返すかを簡単に確認できます。
クエリー履歴: クエリー履歴のクエリー詳細に、実行されたクエリーの元であるクエリーソースが表示されるようになりました。
2022 年7月21日
共有時の通知: ダッシュボード、クエリー、またはアラートがユーザーと共有されるたびに、Eメールでユーザーに通知されるようになりました。
新しい組み込みエディターツールキットによる強化されたSQLエディターエクスペリエンス
ライブ構文エラーの強調表示 (たとえば、間違ったキーワード、テーブルが存在しない、エラーを修正するための提案)
コンテキストヘルプ:ホバー時(たとえば、完全なテーブル名、詳細な関数パネル)およびインライン実行エラーメッセージ(たとえば、実行後のエラーで行を強調表示)
提案のインテリジェントなランク付け (パラメーターのオートコンプリート、ランク付け式、ノイズの少ないマッチングなど)
2022 年7月14日
CSV ファイルに加えて、
Create TableUI を使用して TSV ファイルをアップロードできるようになりました。Databricks SQL では、ダッシュボード、クエリー、またはアラートがユーザーと共有されるたびに Email によってユーザーに通知するオプションが提供されるようになりました。
ビジュアライゼーション テーブルには、オプションで結果の横に表示される行番号が含まれるようになりました。
クロロプレス ビジュアライゼーションの地理的地域を選択すると、受け入れられる値のインライン ヒントが表示されるようになりました。
2022 年6月23日
SQLエンドポイント名の変更: Databricks は、SQL コマンドを実行するための単なる API エントリ ポイントではないため、名前を SQLエンドポイント から SQLウェアハウスに変更しました。 SQLウェアハウスは、Databricksプラットフォームの不可欠な部分である、すべてのデータウェアハウジングのニーズに対応する計算リソースです。 コンピュートリソースは、クラウド上で処理機能を提供するインフラストラクチャリソースです。
コロプレス ビジュアリゼーションの場合、ビジュアリゼーション エディターの [キー列] と [ターゲット フィールド] の選択の名前が [地理的列] と [地理タイプ] に変更されました。 わかりやすくするためにこの名前を変更しても、新規または既存のコロプレスの動作の変更は導入されません。
limit 1000 クエリー オプションは、SQL クエリー エディターのチェック ボックスから実行ボタンのチェック ボックスに移動しました。
クエリー履歴テーブルにキャッシュされたクエリーに、Cacheタグを付けるようになりました。
ダッシュボードを手動で更新すると、個々のクエリのウェアハウスではなく、ダッシュボードのウェアハウス (使用可能な場合) が使用されます。
アラートを更新すると、[閲覧者/所有者として実行] 設定に関係なく、常にアラートのウェアハウスが使用されます。
2022年6月9 日
エンドポイントセレクターにカーソルを合わせると、完全なエンドポイント名がツールチップとして表示されます。
SQL エディターのスキーマ ブラウザーでフィルター処理すると、検索結果で検索語句が強調表示されるようになりました。
SQL エディターの [すべて閉じる] ダイアログ ボックスに、未保存のクエリーの一覧が表示されるようになりました。
SQL エディターで最後に閉じたタブを再度開くには、この新しいキーボード ショートカットを使用します。
<Cmd> + <Shift> + <Option> + T複合グラフにデータ ラベルを追加できるようになりました。
視覚化集計操作のリストに、分散と標準偏差が含まれるようになりました。
2022 年5月26日
オーサリングの改善:
ビジュアライゼーションを作成するときに集計をバイパスできるようになりました。 これは、クエリーに既に集計が含まれている場合に特に便利です。 たとえば、クエリが
SELECT AVG(price_per_sqft), isStudio, location GROUP BY location, isStudioの場合、以前はチャートエディタで別の集計レイヤーを明示的に指定する必要がありました。ダッシュボードを作成するときに、次のことができるようになります。
テキストボックスウィジェットの複製
編集テキストボックスパネルのサイズを拡大する
ビジュアライゼーションを作成するときのエラー列のデフォルトの集計は標準偏差です。
修正：
ビジュアリゼーションの編集アクションは、ダッシュボードが編集モードの場合にのみ使用できます。 編集アクションは、表示モード アクションとして使用できなくなりました。
新しいクエリーを作成すると、リストの末尾ではなく、フォーカスのあるタブのすぐ右側のタブで開きます。
open クエリー モーダルは、どのクエリーが既に開いているかを示し、そのクエリー タブにフォーカスを切り替えるオプションを提供します。
Sankey & Sunburst チャートでは、0 は null として扱われなくなりました。
2022年5月19 日
修正された問題: 特定の視覚化タブで SQL エディターのフォーカスを開いていて、リンクを別のユーザーと共有すると、ユーザーが共有リンクをクリックすると、SQL エディターで同じフォーカスが設定されます。
改善：
Microsoft Teams が通知先としてサポートされるようになりました。
[日付範囲]、[日付と時刻の範囲]、および [日付と時刻の範囲 (秒単位)] パラメーターで、日曜日をデフォルトとして週の開始曜日を指定するオプションがサポートされるようになりました。
2022年5月12 日
ビジュアライゼーションで、UI で直接時間ビン分割がサポートされるようになりました。 クエリー テキスト自体に
date_trunc()関数を追加および変更するのではなく、ドロップダウン値を変更することで、データの年単位、月単位、日単位、または時間単位のビンを簡単に切り替えることができるようになりました。ダッシュボードの色の一貫性がデフォルトで設定されるようになりました。 複数のグラフに同じ系列がある場合、系列は常にすべてのグラフで同じ色になり、手動で構成する必要はありません。
2022年5月3 日
ダッシュボードをユーザーまたはグループと共有するときに、ビジュアライゼーションとパラメーターで使用されるすべてのアップストリーム クエリーを共有する機能も提供されるようになりました。
1 つ以上のアップストリームクエリーを共有する権限がない場合は、すべてのクエリーを共有できないという警告メッセージが表示されます。
ダッシュボードの共有時に付与されるアクセス許可は、アップストリーム クエリの既存のアクセス許可をオーバーライドしたり、否定したり、拡張したりすることはありません。 たとえば、ユーザーまたはグループが共有ダッシュボードに対して所有者として 実行可能権限を持っているが、上流クエリに対しては閲覧者として実行権限しかない場合、その上流クエリに対する有効な権限は閲覧者として実行になります。
2022年3月17 日
チャート には、新しい組み合わせの視覚化オプションが含まれています。 これにより、棒と線の両方を含むグラフを作成できます。
2022年3月10 日
Unity Catalog (プレビュー) を使用すると、アカウントのレベルでガバナンスとデータへのアクセスを管理できます。 メタストアとデータ権限を一元的に管理でき、アカウント内の複数のワークスペースにメタストアを割り当てることができます。 Databricks SQL カタログ エクスプローラーまたは SQL エディターを使用して Unity Catalog データとオブジェクトを管理および操作したり、ダッシュボードと視覚化で Unity Catalog データを使用したりできます。 「 Unity Catalogとは」を参照してください。
注
Unity Catalog では、プレビュー チャンネルにあるバージョン 2022.11 を使用するために SQLエンドポイントが必要です。
Delta Sharing (プレビュー) を使用すると、読み取り専用データを組織外の受信者と共有できます。 Databricks SQL では、 Delta Sharing データのクエリと、視覚化およびダッシュボードでの使用がサポートされています。
Delta Sharing 、この機能を有効にするためにアカウント管理者が同意する必要がある適用条件の対象となります。
ダッシュボードが手動またはスケジュールに従って更新されるたびに、ダッシュボードとアップストリーム内のすべてのクエリー (パラメーターで使用されるものを含む) が更新されます。 個々のビジュアライゼーションが更新されると、パラメーターで使用されるものも含め、すべてのアップストリーム クエリーが更新されます。
2022年3月3 日
コホートの視覚化が更新され、コホートが 0 と 100 ではなく最小値と最大値から補間されるようになりました。 利用可能なデータの実際の範囲内でコホートを区別することがはるかに簡単になりました。 以前は、すべての数字が近接している場合、同じ色を使用していました。 現在、互いに近接している数値は、コホートが各系列を形成するために最大から最小の範囲に分割されるため、異なる色を使用する可能性が高くなります。
ダッシュボードのサブスクリプション スケジュールがアクティブか停止するかを簡単に確認できます。 [ サブスクライブ] をクリックすると、ダッシュボードのサブスクリプション スケジュールが [停止する] の場合は、[ このスケジュールは停止されました] というメッセージが表示されます。 ダッシュボードのサブスクリプション スケジュールが停止する場合、ダッシュボードをサブスクライブまたはサブスクライブ解除できますが、スケジュールされたスナップショットは送信されず、ダッシュボードの視覚化は更新されません。
クエリー履歴を表示するときに、期間でリストを並べ替えることができるようになりました。デフォルトでは、クエリーは開始時刻でソートされます。
2022 年2月24日
カタログ エクスプローラーで、ユーザーまたはグループがテーブル、ビュー、スキーマ、またはカタログに対して持つアクセス許可を表示できるようになりました。 オブジェクトをクリックし、[ アクセス許可 ] をクリックして、新しいフィルター ボックスを使用します。
2022年2月17 日
ビジュアライゼーションが 少しスマートになりました! クエリーの結果が 1 列または 2 列になると、推奨されるビジュアライゼーション タイプが自動的に選択されます。
ヒストグラム を作成して、データセット内で各値が発生する頻度を視覚化し、データセットに少数の範囲にクラスター化された値があるのか、それともより分散しているのかを把握できるようになりました。
クエリー履歴とクエリー プロファイル の両方で、クエリー文字列と失敗した クエリーのエラーメッセージを全幅に展開できるようになりました。これにより、クエリープランの分析や失敗したクエリーのトラブルシューティングが容易になります。
棒、線、面、円、およびヒートマップのビジュアライゼーションでは、クエリー自体を変更することなく、ビジュアライゼーション構成 UI で直接集計を実行できるようになりました。 これらの新機能を利用する場合、集計は最初の 64,000 行に制限されるのではなく、データ セット全体に対して実行されます。 このリリースより前に作成されたビジュアリゼーションを編集すると、「新しい機能を利用する場合は、ビジュアリゼーションを再作成する必要があります」というメッセージが表示されます
This visualization uses an old configuration. New visualizations support aggregating data directly within the editor.「 ビジュアリゼーションでの集計の有効化」を参照してください。
2022年2月10 日
ダッシュボードのカスタムカラーパレットを設定できるようになりました。そのダッシュボードに表示されるすべてのビジュアリゼーションは、指定されたパレットを使用します。 カスタム パレットを設定しても、他のダッシュボードや SQL エディターでのビジュアリゼーションの表示方法には影響しません。
パレットの 16 進値を指定するか、Databricks によって提供されるか、ワークスペース管理者によって作成されたかにかかわらず、別のパレットから色をインポートできます。
パレットがダッシュボードに適用されると、ビジュアリゼーションの作成時にカスタム色を構成した場合でも、そのダッシュボードに表示されるすべてのビジュアリゼーションはデフォルトで選択したカラー パレットを使用します。 この動作をオーバーライドするには、「 ビジュアリゼーションの色のカスタマイズ」を参照してください。
ワークスペース管理者は、管理コンソールを使用して カスタムカラーパレットを作成 できるようになりました。 作成したカスタム カラー パレットは、新規および既存のダッシュボードで使用できます。 ダッシュボードにカスタムカラーパレットを使用したり、カスタマイズしたりするには、ダッシュボードの設定を編集します。
パラメーターを使用するビジュアリゼーションを [SQL
] メニューからダッシュボードに追加すると、ビジュアリゼーションは Default によってダッシュボード レベルのパラメーターを使用するようになりました。 これは、ダッシュボードの [ビジュアリゼーションの追加] ボタンを使用してウィジェットを追加するときの動作と一致します。クエリー履歴を表示し、パラメータの組み合わせで一覧を絞り込むと、一致するクエリーの数が表示されるようになりました。
ビジュアライゼーションで、Y 軸の範囲を特定の値に調整できない問題が修正されました。
2022年2月3 日
タブ付き SQL エディターは、すべてのユーザーに対してデフォルトで有効になりました。 詳細について、またはタブ付きエディターを無効にするには、「 複数のクエリの編集」を参照してください。
2022 年1月27日
クエリのプロファイルを表示、共有、インポートする方法が改善されました。 「 クエリ プロファイル」を参照してください。
詳細ビジュアライゼーションでは、テーブル ビジュアリゼーションと同様に列の名前を変更できるようになりました。
SQL エディターでタブを中マウスボタンをクリックして閉じることができるようになりました。
次のキーボード ショートカットがタブ付き SQL エディターに追加されました。
すべてのタブを閉じる: Cmd + Option + Shift + A (macOS) / Ctrl + Option + Shift + A (Windows)
他のタブを閉じる: Cmd+Option+Shift+W (macOS) / Ctrl+Option+Shift+W (Windows)
これらのキーボードショートカットは、タブを右クリックして同じアクションにアクセスする代わりになります。 すべてのキーボードショートカットを表示するには、タブ付きSQLエディタのキーボードアイコンをクリックします
。
2022 年1月20日
テーブル内の整数データ型と浮動小数点データ型のデフォルトフォーマットが更新され、コンマが含まれなくなりました。 つまり、デフォルトにより、
10002343のような値にコンマが含まれなくなります。 これらのタイプをコンマで表示するように書式設定するには、[ ビジュアリゼーションの編集] をクリックし、列の領域を展開して、コンマを含むように形式を変更します。ブラウザーのレンダリング制限に合わせて、ビジュアリゼーションに最大 10,000 データポイントが表示されるようになりました。 たとえば、散布図には最大 10,000 個のドットが表示されます。 データポイント の数が制限されている場合は、警告が表示されます。
2022 年1月13日
SQL エディターの [保存 ] ボタンが無効になることがある問題を修正しました。 [ 保存 ] ボタンは常に有効になり、保存されていない変更が検出されるとアスタリスク (
*) が表示されます。
2021年12月15 日
Databricks SQL の一般提供が開始されました。 これは、データ、AI、BIのワークロードを1か所に統合する初のレイクハウスプラットフォームを提供する上で大きなマイルストーンとなります。 GA では、ミッションクリティカルなワークロードに対して、Databricks から最高レベルの安定性、サポート、エンタープライズ対応性を期待できます。 詳細については、 GA の発表に関するブログ をご覧ください。
アラートは、クエリーとは無関係にスケジュールされるようになりました。 新しいアラートを作成してクエリーを作成すると、アラートのスケジュールも作成するように求められます。 既存のアラートがある場合は、元のクエリーからスケジュールが複製されています。 この変更により、[ 所有者として実行 ] と [ 閲覧者として実行 ] クエリーの両方にアラートを設定することもできます。 Run as Owner クエリー 指定されたアラートスケジュールで、クエリー所有者の認証情報を使用して実行します。 Run as Viewer クエリー アラート作成者の資格情報を使用して、指定されたアラートスケジュールで実行します。 「 Databricks SQL アラートとは」を参照してください。 と Schedule a クエリー。
ヒートマップのビジュアライゼーションを作成するためのドキュメントが拡張されました。 ヒートマップのオプションを参照してください。
2021年12月9 日
テーブル ビジュアリゼーションを作成するときに、列のフォントの色を静的な値に設定したり、列のフィールドの値に基づいて値の範囲に設定したりできるようになりました。リテラル値がしきい値と比較されます。 たとえば、値が
500000を超える結果を色分けするには、 ではなく> 500,000ではなく> 500000のしきい値を作成します。列の色を条件付きで書式設定するを参照してください。タブ付き SQL エディターのスキーマ ブラウザーのアイコンで、テーブルとビューを区別できるようになりました。
2021年12月1 日
SQL 構成をワークスペース レベルで適用できるようになりました。 これらのパラメーターは、ワークスペース内のすべての既存および新規の SQLエンドポイントに自動的に適用されます。 「SQL の構成」を参照してください。
2021 年 11 月 18 日
サイドバーのショートカットを使用して SQL エディターを開くことができるようになりました。 SQL エディターを開くには、[ SQL エディター] をクリックします。
データサイエンス & エンジニアリング クラスターを作成する権限がある場合は、サイドバーの [ 作成 ] をクリックし、[SQLエンドポイント] をクリックして SQLエンドポイントを作成できるようになりました。
管理者は、UI を使用して、クエリー、ダッシュボード、またはアラートの所有権を別のユーザーに譲渡できるようになりました。 見る：
2021 年 11 月 4 日
マップ (コロプレス) ビジュアリゼーション ビジュアリゼーションで、凡例の色のグラデーション ステップの最大数が 11 から 20 に増加しました。デフォルトは、 最小色 と 最大色を含む5つのグラデーションステップです。
タブ付き SQL エディターで一括タブ管理がサポートされるようになりました。 タブを右クリックすると、[ その他を閉じる]、[ 左を閉じる]、[ 右を閉じる]、[ すべて閉じる] のオプションが表示されます。 最初または最後のタブを右クリックしても、[ 左を閉じる ] または [右を閉じる] のオプションは表示されません。
2021 年 10 月 28 日
カタログ エクスプローラでテーブルを表示する場合、テーブルの操作を簡略化するための 2 つのオプションがあります。
[ クエリー の作成] をクリックして>すべての列を選択し、最初の 1000 行を返すクエリーを作成します。
「 クイック・ダッシュボードの作成 」をクリックすると>構成ページが開き、目的の列を選択し、それらの列を使用して基本情報を提供し、ダッシュボード・レベルのパラメーターやその他の機能を紹介するダッシュボードとサポート・クエリーを作成できます。
2021 年 10 月 19 日
新しいキーボードショートカットがタブ付きエディターで使用できるようになりました。
新しいタブを開く:
Windows：
Cmd+Alt+Tマック:
Cmd+Option+T
現在のタブを閉じる
Windows：
Cmd+Alt+Wマック:
Cmd+Option+W
クエリーを開く ダイアログ
Windows：
Cmd+Alt+Oマック:
Cmd+Option+O
2021年9 月23日
ダッシュボードとすべての上流クエリに対する CAN RUN、CAN EDIT、CAN MANAGE 権限を持っている限り、既存のダッシュボードを複製して新しいダッシュボードを作成できるようになりました。 「 レガシーダッシュボードの複製」を参照してください。
複数の Y 軸列を持つビジュアリゼーションで
GROUP BYを使用できるようになりました。 散布図を参照してください。{{ @@yPercent}}を使用して、正規化されていない積み上げ棒グラフのデータラベルを書式設定できるようになりました。棒グラフ (bar chart) を参照。SAML 認証を使用していて、SAML 資格情報が数分以内に期限切れになる場合は、クエリーを実行したりダッシュボードを更新したりする前に、再度ログインするように事前に求められるようになりました。 これにより、クエリーの実行中に有効期限が切れる資格情報による中断を防ぐことができます。
2021年9 月20日
権限 REST API を使用して、ダッシュボード、クエリ、アラートの所有権を譲渡できるようになりました。 「 クエリ ACL」を参照してください。
2021年9月16 日
クエリー結果で、
BIGINT結果が 9007199254740991 より大きい場合に文字列としてシリアル化されるようになりました。 これにより、クエリー結果でBIGINT結果が切り捨てられる可能性がある問題が修正されます。 その他の整数の結果は、引き続き数値としてシリアル化されます。 軸ラベルとツールヒントの数値書式はBIGINT文字列としてシリアル化される結果には適用されません。 Databricks SQLのデータ型の詳細については、「 BIGINT 型」を参照してください。
2021年9月7 日
Databricks は、1 週間にわたって続く変更をロールアウトしています。 ワークスペースは、9 月 7 日以降までこれらの変更に対して有効になっていない可能性があります。
Databricks SQL はパブリック プレビュー段階になり、新しいワークスペースのすべてのユーザーに対して有効になりました。
注
パブリック プレビュー中 (つまり、2021 年 9 月 7 日から始まる週より前) にワークスペースで Databricks SQL が有効になっていた場合、ユーザーは変更しない限り、その日付より前に割り当てられた権利を保持します。 つまり、パブリック プレビュー中にユーザーが Databricks SQL にアクセスできなかった場合、管理者から許可されない限り、ユーザーは Databricks SQL にアクセスできません。
管理者は、 Databricks SQL アクセス 権限 (API では
databricks-sql-access) をユーザーまたはグループに割り当てることで、Databricks SQL にアクセスできるユーザーを管理できます。 デフォルトにより、新規ユーザーにはこの資格があります。管理者は、ユーザーまたはグループから ワークスペース アクセス 権限 (API では
workspace-access) を削除することで、ユーザーまたはグループが Databricks SQL のみにアクセスするように制限し、データサイエンス & エンジニアリングまたは Databricks Machine Learning にアクセスできないようにすることができます。 デフォルトにより、新規ユーザーにはこの資格があります。重要
ログインして Databricks にアクセスするには、ユーザーは Databricks SQL アクセスまたは ワークスペース アクセス 権限 (あるいはその両方) を持っている必要があります。
スターター エンドポイント と呼ばれる小さな クラシック SQL エンドポイント がすべてのワークスペースに事前構成されているため、ダッシュボード、視覚化、クエリの作成をすぐに開始できます。より複雑なワークロードを処理するには、そのサイズ (待ち時間を短縮するため) または基盤となるクラスターの数を (より多くのライナー ユーザーを処理するため) 簡単に増やすことができます。 コストを管理するために、スターター エンドポイントは 120 分間のアイドル状態の後に終了するように構成されています。
ワークスペースでサーバレス コンピュートが有効で、サーバレス SQLエンドポイントを有効にすると、サーバレス スターター エンドポイントと呼ばれるサーバレス SQLエンドポイントが自動的に作成され、ダッシュボード、視覚化、クエリに使用できます。 サーバーレス SQLエンドポイントは、従来の SQLエンドポイントよりも迅速に開始され、10 分間アイドル状態になると自動的に終了します。
すばやく起動して実行できるように、管理者とユーザーは新しいガイド付きオンボード エクスペリエンスを利用できます。 オンボーディングパネルはデフォルトで表示され、サイドバーに残っているオンボーディングタスクの数をいつでも確認できます。 左のタスク をクリックして、オンボーディングパネルを再度開きます。
Databricks SQL の使用をすばやく開始するには、すべてのワークスペースから使用できる
SAMPLESという読み取り専用カタログ内の 2 つの豊富なデータセットを使用します。 Databricks SQL について学習すると、これらのスキーマを使用して、クエリー、視覚化、およびダッシュボードを作成できます。 構成は不要で、すべてのユーザーがこれらのスキーマにアクセスできます。nyctaxiスキーマには、tripsテーブルにタクシー乗車データが含まれています。tpchスキーマには、次の表に小売収益とサプライ チェーンのデータが含まれています。customerlineitemnationorderspartpartsuppregionsupplier
オンボーディングパネルで [ 最初のクエリーを実行 ] をクリックして、
nyctaxiスキーマの新しいクエリーを生成します。構成を必要とせずに Databricks SQL でデータを視覚化する方法については、ダッシュボード サンプル ギャラリーからダッシュボードをインポートできます。 これらのダッシュボードは、
SAMPLESカタログ内のデータセットを利用しています。ダッシュボード サンプル ギャラリーを表示するには、オンボード パネルの [ サンプル ダッシュボードのインポート ] をクリックします。
「 CREATE FUNCTION 」コマンドおよび 「関数のドロップ 」コマンドを使用して、ネイティブ SQL 関数を作成およびドロップできるようになりました。
2021年9月2 日
ダッシュボードの CAN EDIT 権限を持つユーザーは、ダッシュボードの更新スケジュールとサブスクリプション リストを管理できるようになりました。 以前は、CAN MANAGE 権限が必要でした。 詳細については、 「ダッシュボードを自動的に更新する」を参照してください。
スケジュールを変更せずに、ダッシュボード サブスクライバーへのスケジュールされたエクスポートを一時的に停止できるようになりました。 以前は、すべてのサブスクライバーを削除し、スケジュールを無効にしてから再作成する必要がありました。 詳細については、 「スケジュールされたダッシュボードの更新を一時的に停止する」を参照してください。
デフォルトでは、ビジュアライゼーションは返された結果の数に基づいて動的にサイズ変更されなくなりましたが、結果の数に関係なく同じ高さを維持します。 前の動作に戻り、動的にサイズ変更するようにビジュアリゼーションを構成するには、ダッシュボードのビジュアリゼーションの設定で [パネルの高さを動的にサイズ変更 ] を有効にします。 詳細については、「 テーブル オプション」を参照してください。
同じアカウント内の複数のワークスペースにアクセスできる場合は、Databricks SQL 内からワークスペースを切り替えることができます。 Databricks ワークスペースの左下隅をクリックし
、ワークスペースを選択して切り替えます。
2021年8 月30日
サーバレス SQLエンドポイントは、SQL クエリーの即時コンピュート、最小限の管理、およびコスト最適化を提供します。
これまで、SQL トランザクションの計算はAWSのコンピュート プレーンで行われていました。 サーバレス コンピュート の最初のリリースでは、サーバレス SQL マシンが に 追加されDatabricks SQL 、それらの コンピュート リソースがDatabricks に移動されます。
サーバレス SQLウェアハウス with Databricks SQL クエリーは、自分の AWS アカウント (現在はクラシック SQLエンドポイントと呼ばれています) に存在する SQLエンドポイントを使用するのと同じように使用します。 ただし、サーバレス SQLウェアハウスは通常、従来のSQLエンドポイントと比較して待機時間が短く、管理が容易で、コストが最適化されています。
サーバレス SQL ウェアハウスを作成する前に、管理者はワークスペースのサーバレス SQLエンドポイント オプションを有効にする必要があります。 有効にすると、新しい SQLエンドポイントはデフォルトでサーバレスになりますが、必要に応じてサーバレスまたはクラシックとして SQLエンドポイントを作成し続けることができます。
サーバレス コンピュート アーキテクチャの詳細と従来のコンピュート プレーンとの比較については、「サーバレス コンピュート プレーン」を参照してください。 サーバーレス SQL ウェアハウスの構成の詳細 (Classic SQL アプライアンスをサーバーレスに変換する方法を含む) については、「サーバーレス SQL ウェアハウスの有効化」を参照してください。
サーバレス SQLウェアハウスでサポートされているリージョンの一覧については、「 Databricks クラウドとリージョン」を参照してください。
重要
サーバレス コンピュートには、この機能を有効にするためにアカウント所有者またはアカウント管理者が同意する必要がある適用条件が適用されます。
2021年8月12 日
スケジュールされたダッシュボードの更新を、Databricks アカウントに関連付けられていない Eメール アドレスに送信できるようになりました。 ダッシュボードを表示しているときに、[ スケジュール済み] をクリックして、サブスクライブしている Eメール アドレスのリストを表示または更新します。 Eメール アドレスが Databricks アカウントに関連付けられていない場合は、通知先として構成する必要があります。 詳細については、「 ダッシュボードの自動更新」を参照してください。
管理者は、実行中に別のユーザーのクエリを終了できるようになりました。 詳細については、 「実行中のクエリを終了する」を参照してください。
2021年8月05 日
ワークスペースが AWS Glue データカタログを外部メタストアとして使用する場合に SQL エンドポイントのレイテンシを短縮するために、クライアント側のキャッシュを設定できるようになりました。 詳細については、 「Databricks Hive metastoreよりも Glue カタログでの待機時間が長い」と「SQL ウェアハウスのデータ アクセス プロパティを構成する」を参照してください。
EXPLAIN結果の書式設定の改善結果の説明が読みやすくなりました
行の折り返しのない等幅として書式設定
2021 年7月29日
クエリエディタで複数のタブがサポートされるようになったことで、複数のクエリのジャグリングが簡単になりました。 タブ付きエディターを使用するには、「 複数のクエリの編集」を参照してください。
2021年7月08 日
ダッシュボードのビジュアリゼーション ウィジェットにタイトルと説明が追加され、複数のダッシュボードで使用されるビジュアリゼーションのタイトルと説明をダッシュボード自体に合わせて調整できるようになりました。
サイドバーが更新され、視認性とナビゲーションが向上しました。
ウェアハウス は SQLエンドポイント になり、履歴の名前は クエリー履歴に変更されました。
アカウント設定 (以前の 名前は [ユーザー] ) が
[アカウント ] に移動 されました。[アカウント] を選択すると、Databricks ワークスペース を変更してログアウトできます。ユーザー設定は以下に移動されました
設定と は、設定とSQL 管理コンソールに分割されました。 SQL 管理コンソールは管理者にのみ表示されます。ヘルプ アイコンが
[ヘルプ] に 変わりました。
2021年7月01 日
新しい「カタログエクスプローラ」(Catalog Explorer) では、データベースとテーブルに対するパーミッションを簡単に表示および管理できます。 ユーザーは、スキーマの詳細を表示したり、サンプル データをプレビューしたり、テーブルの詳細とプロパティを表示したりできます。 管理者はデータ・オブジェクトの所有者を表示および変更でき、データ・オブジェクトの所有者は権限の付与および取り消しを行うことができます。 詳細については、「 カタログエクスプローラとは」を参照してください。
水平グラフの Y 軸は、テーブルと同じ順序を反映するように更新されました。 以前に逆順を選択した場合は、[Y 軸] タブの [順序 の反転 ] トグルを使用して、新しい順序を逆にすることができます。
2021年6月17 日
Databricksの新しいベクトル化された実行エンジンであるPhotonは、新しく作成されたSQLエンドポイント(UIとREST APIの両方)に対してデフォルトでオンになりました。Photonは透過的に高速化
Parquet テーブルと Delta テーブルに書き込みます。
Many SQL クエリー. 「制限事項」を参照してください。
CREATE GROUP、DROP GROUP、ALTER GROUP、SHOW GROUPS、およびSHOW USERSコマンドを使用して、ユーザーとグループを簡単に管理できます。詳細については、「 セキュリティ関連のステートメント 」および「 表示関連のステートメント」を参照してください。クエリエディターのスキーマブラウザは、100を超えるテーブルを持つ スキーマ でより高速に高速になります。 このようなスキーマでは、スキーマブラウザはすべてのカラムを自動的にロードしません。テーブルのリストは通常どおり表示されますが、列はテーブルをクリックしたときにのみ読み込まれます。 この変更は、候補を表示するためにこの情報に依存するため、クエリ エディターでのクエリ オートコンプリートに影響します。 テーブルを展開してその列を読み込むまで、これらの候補は使用できません。
2021年6月03 日
新しく有効にされた Databricks ワークスペース の管理者は、デフォルトによって Databricks SQL エンタイトルメントを受け取るようになり、管理コンソールを使用して Databricks SQL アクセス権限を自分自身に与える必要がなくなりました。
Photon は現在パブリック プレビュー段階にあり、新しいSQLエンドポイントに対してデフォルトで有効になっています。
マルチクラスター負荷分散は、パブリック プレビュー段階になりました。
CAN EDIT 権限を使用して、組織の他のメンバーとのダッシュボードやクエリでのコラボレーションを有効にできるようになりました。 アクセス制御リストを参照してください。
2021年5 月26日
SQL アナリティクスは Databricks SQL に名前が変更されました。 この変更により、顧客向けの次の影響があります。
Web UI の参照が更新されました。
Databricks SQL へのアクセスを許可する資格の名前が変更されました。
UI: Databricks SQL アクセス (以前の SQL アナリティクス アクセス)
SCIM API:
databricks-sql-access(以前はsql-analytics-access)
以前の資格を持つユーザー、グループ、およびサービスプリンシパルは、新しい資格に移行されました。
Databricks SQL に関連する 監査ログ イベントの タグが変更されました。
Databricks SQL イベントのプレフィックスが
databrickssqlになりました。changeSqlAnalyticsAcl現在changeDatabricksSqlAclされています。
ダッシュボードの更新
ダッシュボードのエクスポートファイル名が、UUID ではなくダッシュボード + タイムスタンプの名前に更新されました。
エクスポート レコードの制限が 22k から 64k に引き上げられました。
ダッシュボード作成者は、ダッシュボードのスナップショットを定期的にエクスポートおよび Email できるようになりました。 ダッシュボードのスナップショットはデフォルトのダッシュボード状態から取得されるため、ビジュアリゼーションとの対話はスナップショットに存在しません。
ダッシュボードの所有者である場合は、更新スケジュールを作成し、他のユーザーをサブスクライブすると、ダッシュボードが更新されるたびにダッシュボードのEメールでスナップショットを取得できます。
ダッシュボードの表示権限がある場合は、既存の更新スケジュールをサブスクライブできます。
ダッシュボード スナップショットのサブスクリプションを参照してください。
述語プッシュダウン式 (
StartsWith、EndsWith、Contains、Not(EqualTo())、およびDataType) はサポートされていないため、AWS Glue カタログでは無効になっています。
2021年5 月20日
AWS KMS からの独自のキーを使用して、Databricks SQL クエリと Databricks に保存されているクエリ履歴を暗号化できるようになりました。 マネージド サービスのデータ (ノートブックとシークレット) を暗号化するためにワークスペースに独自のキーをすでに構成している場合は、それ以上のアクションは必要ありません。 マネージド サービス用の同じ顧客管理キーで、Databricks SQL クエリとクエリ履歴も暗号化されるようになりました。 マネージドサービスの顧客管理キーを参照してください。 この変更は、保存されている新しいデータにのみ影響します。 今日より前に保存された Databricks SQL クエリとクエリ履歴は、このキーで暗号化されることが保証されません。
Databricks SQL クエリ結果は、ワークスペースのセットアップ時に指定したルート S3 バケットに保存され、マネージドサービス キーによって暗号化されません。 ただし、独自のキーを使用して暗号化することはできます。 「ワークスペース ストレージの顧客管理キー」を参照してください。
この機能は、 エンタープライズ価格プランで利用できます。
[過去の実行] タブに相対時間が表示されるようになりました。
2021年5月13 日
Databricks SQL は列の型を推測しなくなりました。 以前は、
xxxx-yy-dd形式の列は、識別コードであっても自動的に日付として扱われていました。 これで、その列は自動的に日付として扱われなくなりました。 必要に応じて、クエリーで指定する必要があります。 この変更により、以前の動作に依存していた一部の視覚化が機能しなくなる可能性があります。 このリリースでは、[ 設定 ] > [ 下位互換性 ] オプション>を変更して 、以前の動作に戻すことができます。今後のリリースでは、この機能を削除する予定です。クエリー エディターにクエリー 進行状況インジケーターが追加されました。 状態の変化は、継続的に更新される進行状況バーに表示されるようになりました。
2021年5月06 日
ダッシュボードのコンテンツを PDF としてダウンロードできるようになりました。 PDFとしてダウンロードを参照してください。
管理者ユーザーは、すべてのクエリとダッシュボードに対する表示アクセス権を持つようになりました。 このビューでは、管理者は任意のクエリまたはダッシュボードを表示および削除できます。 ただし、クエリまたはダッシュボードが管理者と共有されていない場合、管理者は編集できません。 「 クエリ管理ビュー 」と 「従来のダッシュボード管理ビュー」を参照してください。
マルチクラスター負荷分散を使用してエンドポイントの同時実行性を高める機能が、すべてのアカウントで利用できるようになりました。 指定した最小クラスター数と最大クラスター数の間でオートスケールするエンドポイントを作成できます。 過負荷のエンドポイントはスケールアップされ、負荷の低いエンドポイントはスケールダウンされます。
2021 年4月29日
クエリー オプションと詳細が、クエリー エディターの左側にある一連のタブに整理されるようになりました。
データソース: 使用可能なデータソースとスキーマから選択します。 「 クエリの作成」を参照してください。
過去の実行: SQLエディタで実行された過去の実行を表示します。 スケジュールされた実行は表示されません。 「SQL エディターでのクエリの記述とデータの探索」を参照してください。
クエリ情報: クエリの説明を設定し、クエリに関する情報を表示し、更新スケジュールを設定します。 「SQL エディターでのクエリの記述とデータの探索」および「クエリのスケジュール」を参照してください。
2021年4月16 日
Databricks SQL は、Apache Spark SQL セマンティクスとの互換性を維持します。 このリリースでは、Apache Spark 3.1 のセマンティクスと一致するようにセマンティクスが更新されます。 以前は、Databricks SQL は Apache Spark 3.0 セマンティクスに合わせて調整されていました。
std、stddev、stddev_samp、variance、var_samp、skewness、kurtosis、covar_samp、corrなどの統計集計関数は、式の評価中にDivideByZeroが発生した場合 (たとえば、1 つの要素セットに適用された場合など) にDouble.NaNではなくstddev_sampNULLを返します。このリリースより前のリリースでは、Double.NaNが返されます。grouping_id()長い値を返します。 このリリースより前のリリースでは、この関数は int 値を返していました。クエリープランの説明結果がフォーマットされました。
from_unixtime、unix_timestamp、to_unix_timestamp、to_timestamp、およびto_dateは、指定された日時パターンが無効な場合に失敗します。 このリリースの前に、彼らはNULLに戻りました。Parquet、ORC、Avro、および JSON の DATA は、"ネストされた構造だけでなく、最上位の列でも重複する名前を検出した場合、読み取り中のデータ スキーマで重複する列が見つかりました" という例外
org.apache.spark.sql.AnalysisExceptionスローします。構造体とマップは、文字列にキャストする際に
{}角かっこで囲まれます。 たとえば、show()アクションとCAST式では、このような角かっこを使用します。このリリースより前は、d 括弧は同じ目的で使用されていました。構造体、配列、およびマップの NULL 要素は、文字列にキャストする際に "null" に変換されます。 このリリースより前のリリースでは、
NULL要素は空の文字列に変換されていました。10 進数の列のオーバーフローの合計は null を返します。 このリリースより前のリリースでは、decimal 型の合計型列が null または誤った結果を返したり、ランタイムで失敗したりすることがありました (実際のクエリ プランの実行によって異なります)。
IllegalArgumentExceptionは、無効なINTERVAL '1'、INTERVAL '1 DAY 2'などの不完全な間隔リテラルに対して戻されます。 このリリースより前のリリースでは、これらのリテラルの結果は NULL になります。Parquet ファイルとの間のタイムスタンプの読み込みと保存は、タイムスタンプが
1900-01-01 00:00:00Zより前であり、INT96の種類として読み込まれる (保存される) 場合、失敗します。 このリリースより前のリリースでは、アクションは失敗しませんが、ユリウス暦と先発グレゴリオ暦の間でリベースされるため、入力タイムスタンプがシフトする可能性があります。schema_of_json関数とschema_of_csv関数は、フィールド名を引用符で囲んだ SQL 形式でスキーマを返します。このリリースより前のリリースでは、この関数はフィールド引用符なしで小文字のカタログ文字列を返します。CHAR、CHARACTER、およびVARCHAR型は、テーブル スキーマでサポートされています。 テーブルのスキャンと挿入は、char/varchar セマンティクスを尊重します。 テーブルスキーマ以外の場所で char/varchar を使用すると、例外がスローされます (CAST は、以前のように char/varchar を文字列として扱うだけの例外です)。Hive 外部カタログのテーブルに対して次の例外がスローされます。
ALTER TABLE .. ADD PARTITION新しいパーティションが既に存在する場合はPartitionsAlreadyExistExceptionをスローします。ALTER TABLE .. DROP PARTITION存在しないパーティションに対してNoSuchPartitionsExceptionをスローします。
2021年4月13 日
SQLエンドポイントキューイングによるクエリスループットの向上。 エンドポイントが実行中のクエリですでに飽和している場合、SQL エンドポイントに送信されたクエリはキューに入れられるようになりました。 これにより、リクエストによるエンドポイントの過負荷が回避され、クエリのスループットが向上します。 パフォーマンスの向上は、エンドポイントのモニタリング画面で確認できます。
2021年4月01 日
「書き込みー履歴」では、クエリのコンパイル、実行、結果の取得に費やした時間をすばやく確認できます。 「 クエリ プロファイル」を参照してください。 以前は、この情報はクエリをクリックして [実行の詳細] タブを開くことによってのみ入手できました。
SQLエンドポイントは、指定された最大クラスター数を超えてスケーリングされなくなりました。 SQLエンドポイントに割り当てられたすべてのクラスターは 24 時間後にリサイクルされるため、追加のクラスターが 1 つ存在する短いウィンドウを作成できます。
2021年3月18 日
クエリ エディターのオートコンプリートで Databricks SQL 構文がサポートされるようになり、コンテキストとエイリアスが認識されるようになりました。 「 クエリの作成」を参照してください。
JDBC および ODBC 要求が、サーバー上でセッションがタイムアウトした後、無効なセッション・エラーで失敗することがなくなりました。 BI クライアントは、セッションタイムアウトが発生したときにシームレスに回復できるようになりました。
2021年3月11 日
Databricks SQL に対して新しく有効になったワークスペースの管理者とユーザーは、Databricks SQL に自動的にアクセスできなくなりました。 Databricks SQL へのアクセスを有効にするには、管理者は次のことを行う必要があります。
管理者設定ページに移動します。
[ ユーザー ] タブをクリックします。
アカウントの行で、[ Databricks SQL アクセス ] チェック ボックスをオンにします。
[確認]をクリックします。
ステップ 3 と 4 を繰り返して、ユーザーに Databricks SQL へのアクセスを許可するか、グループへのアクセスを許可します。
クエリー、ダッシュボード、アラートを簡単に
作成するには、 新しい> [クエリー |ダッシュボード |アラート] をサイドバーの上部に表示します。クエリ エディターで下書きが保存されるようになり、保存したクエリに戻すことができます。 「SQL エディターでのクエリの記述とデータの探索」を参照してください。
外部データソースを作成できなくなりました。
SQLエンドポイントモニタリングチャートの信頼性が向上しました。 チャートに偽のエラーメッセージが断続的に表示されなくなりました。
2021年3月04 日
クエリー、ダッシュボード、およびアラート API ドキュメントが利用可能になりました。 Databricks REST API リファレンスに関するページを参照してください。
スケジュールされたダッシュボードの更新が常に実行されるようになりました。 更新は Web アプリケーションで実行されるため、ダッシュボードをブラウザーで開いたままにしておく必要がなくなります。 「ダッシュボードを自動的に更新する」を参照してください。
SQLウェアハウス API を使用して作成された新しい SQLエンドポイントでは、デフォルトのタイムアウトが 2 時間で自動停止が有効になりました。
Tableau Online ユーザーは SQLエンドポイントに接続できるようになりました。 Tableau Online の新しいクイックスタートをご覧ください。
SQLエンドポイントは、単一のアベイラビリティーゾーンの AWS リソースが不十分なために起動に失敗することがなくなりました。
2021年2 月26日
2020 年 9 月にパブリック プレビューでリリースされた Azure Databricks 用の新しい Power BI コネクタが一般提供になりました。 それは提供します:
単純な接続構成: 新しい Power BI Databricks コネクタが Power BI に統合され、数回クリックするだけで簡単なダイアログを使用して構成します。
パフォーマンスが大幅に向上した新しい Databricks ODBC ドライバーにより、インポートと最適化されたメタデータ呼び出しが高速化されました。
Power BI を介した Databricks データへのアクセスは、 Databricksテーブルアクセスコントロール を尊重します。
詳細については、「 Power BI を Databricksに接続する」を参照してください。
2021 年 2 月 25 日
SQLエンドポイントでの権限の設定がより高速になりました。 これは新しい SQL エンドポイントを作成した直後のステップであり、既存のエンドポイントを編集するときに簡単にアクセスできます。 「SQLウェアハウスの作成」と「SQLウェアハウスの管理」を参照してください。
ビジュアライゼーション設定を再利用するために、ビジュアライゼーションを複製できるようになりました。 「ビジュアリゼーションの複製」を参照してください。
クエリ結果は、 Databricks アカウントではなく自分のアカウントに保存されるようになりました。
オブジェクトに定義されているすべてのアクセス許可を一覧表示して情報の漏洩を防ぐには、
SHOW GRANTS [<user>] <object>を実行するには、次のいずれかである必要があります。Databricks SQL 管理者または
<object>の所有者。[<user>]で指定されたユーザー。
2021年1月07 日
アイドル状態のエンドポイントへの支出を削減するために、新しいSQLエンドポイントでは、2 時間の既定のタイムアウトで自動停止が有効になりました。 タイムアウトに達すると、エンドポイントは停止します。 タイムアウト期間はいつでも編集したり、自動停止を無効にしたりできます。
TEXT型のクエリー パラメーターを除き、クエリー パラメーターに引用符は追加されなくなりました。Dropdown List、Query Based Dropdown List、または任意のDateタイプのパラメーターを使用したことがある場合は、クエリー を機能させるために引用符を追加する必要があります。たとえば、クエリーがSELECT {{ d }}の場合、このクエリーはSELECT '{{ d }}'である必要があります。
2020 年 11 月 18 日
Databricks は、アドホック クエリーを実行し、データレイクに格納されているデータにダッシュボードを作成するための直感的な環境である Databricks SQL のパブリック プレビューを導入できることを嬉しく思います。 Databricks SQL を使用すると、組織は、データウェアハウジングのパフォーマンスとデータレイクの経済性を提供するマルチクラウド レイクハウス アーキテクチャ を運用できます。 Databricks SQL:
Tableau や Microsoft Power BI など、現在使用している BI ツールと統合して、データレイク内の最も完全で最新のデータを取得します。
既存の BI ツールを SQL ネイティブ インターフェイスで補完し、データアナリストとデータサイエンティストが Databricks 内で直接データレイク データをクエリーできるようにします。
豊富な視覚化と、重要なデータ変更の自動アラートを備えたドラッグアンドドロップダッシュボードを通じて、クエリー知見を共有できます。
SQL ウェアハウスの作成を使用してデータレイクに信頼性、品質、スケール、セキュリティ、パフォーマンスをもたらし、最新の完全なデータを使用して従来のアナリティクス ワークロードを実行できます。
データ アクセス管理を簡略化するための
USAGE特権を導入します。 スキーマ内のオブジェクトを使用するには、アクションを実行するために必要な権限に加えて、そのスキーマに対する USAGE 権限が付与されている必要があります。USAGE特権は、スキーマまたはカタログに付与できます。すでにテーブルアクセスコントロールを使用しているワークスペースの場合、USAGE権限はルートCATALOGのusersグループに自動的に付与されます。 詳細については 、「Hive metastore 特権とセキュリティ保護可能なオブジェクト (レガシー)」 を参照してください。
詳細については、「 Databricks のデータウェアハウジングとは」 を参照してください。
解決された問題
SQL エディター。 SQL エディターは、クエリー タブを切り替えるときに、選択したテキストとスクロール位置を保持するようになりました。
SQL エディター。 SQLエディタでクエリーで「実行」をクリックし、クエリーの実行中に別のページに移動して戻ると、エディターに正しいクエリー状態が表示されます。 別のページにいる間にクエリーが完了すると、SQLエディターページに戻ったときにクエリーの結果が表示されます。
MySQL 8.0 を外部メタストアとして使用できるようになりました。
DESCRIBE DETAILDelta テーブルのコマンドがjava.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.タイムスタンプが
INT96の Parquet ファイルの読み取りが失敗することがなくなりました。ユーザーがクエリに対する 実行可能権限を持っていてそれを実行すると、クエリが別のユーザーによって作成された場合、クエリ履歴にはクエリの実行者がユーザーとして表示されます。
グラフのレンダリング時に null 値が無視されるようになり、グラフの使いやすさが向上しました。 たとえば、以前は、NULL 値が存在する場合、棒グラフの棒は非常に小さく見えました。 これで、軸は null 以外の値のみに基づいて設定されます。
既知の問題
マルチクラスター負荷分散 SQLエンドポイントの Delta Lake 以外の Data からの読み取りは、一貫性がなくなる可能性があります。
Databricks SQL でアクセスされるDelta テーブルは、そのスキーマとテーブルのプロパティを構成されたメタストアにアップロードします。外部メタストアを使用している場合は、メタストアで Delta Lake 情報を確認できます。 Delta Lake は、ベストエフォート方式でこの情報を可能な限り最新の状態に保つよう努めています。
DESCRIBE <table>コマンドを使用して、メタストア内の情報が更新されるようにすることもできます。Databricks SQL では、セッション タイム ゾーンとして "GMT+8" などのゾーン オフセットはサポートされていません。 回避策は、地域ベースのタイムゾーンを使用することです https://en.wikipedia.org/wiki/List_of_tz_database_time_zones) 代わりに 'etc / GMT + 8'のように。 タイムゾーンの設定の詳細については、「 タイムゾーンの設定 」を参照してください。
よくある質問（FAQ）
Databricks SQL ワークロードはどのように課金されますか?
Databricks SQL ワークロードは、 SQL コンピュート SKU に従って課金されます。
SQL トークンはどこで実行されますか?
Databricks クラスターと同様に、 クラシック SQLエンドポイント は AWS アカウントで作成および管理されます。 従来の SQLエンドポイント は、アカウント内の SQL 最適化クラスターを自動的に管理し、エンドユーザーの需要に合わせてスケーリングします。
一方、サーバレス SQL リソース(パブリック プレビュー) の場合は、 Databricksアカウントでコンピュート リソースを使用します。 サーバレス SQL ウェアハウスは、SQL サーバの構成と使用を簡素化し、起動時間を短縮します。 サーバレス オプションは、ワークスペースに対して有効になっている場合にのみ使用できます。 詳細については、 サーバレス コンピュート プレーンを参照してください。
データサイエンス & エンジニアリング ワークスペースSQLアラートのSQLアラートを使用できますか?
いいえ。 SQLエンドポイントは、Databricks SQL クエリ、 BI ツール、その他の JDBC クライアントや ODBC クライアントから使用できます。
クラウド プロバイダーの資格情報を使用してデータにアクセスする権限が付与されています。Databricks SQL でこのデータにアクセスできないのはなぜですか?
Databricks SQL では、データへのすべてのアクセスはデータ アクセス制御の対象であり、管理者またはデータ所有者は最初に適切な 特権を付与する必要があります。
