今後の予定

今後のDatabricksリリースについて説明します。

バリアント型データタイプを操作する際の動作変更

Databricks は、次の演算子と句の一部として実行される比較で variant データ型のフィールドを使用するためのサポートをブロックしています。

DISTINCT
INTERSECT
EXCEPT
UNION
DISTRIBUTE BY

次の DataFrame 関数についても同じことが言えます。

df.dropDuplicates()
df.repartition()

Databricks では、これらの演算子と関数は非決定論的な結果を生成するため、バリアントデータ型の比較ではサポートされていません。

これらの式は、Databricks Runtime 16.1 以降でバリアントを使用するとブロックされます。メンテナンスリリースは、Databricks Runtime 15.3 以降でのサポートをブロックします。

Databricks ワークロードまたはテーブルで VARIANT タイプを使用する場合は、次の推奨アクションを実行します。

リストされている演算子のいずれかで variant を使用するクエリを見つけます。
これらのクエリは、バリアント値をバリアント以外の型に明示的にキャストする推奨パターンを使用して更新します。

次の表に、既存の意図しない機能と推奨される回避策の例を示します。

意図しない使用	推奨される使用方法
`SELECT distinct(variant_expr) FROM ...`	`SELECT distinct(variant_expr?::string) FROM ...`
`SELECT variant_expr FROM ...` `EXCEPT` `SELECT variant_expr FROM ...`	`SELECT variant_expr?::string FROM ...` `EXCEPT` `SELECT variant_expr?::string FROM ...`

注：

比較または個別の操作に使用する予定のフィールドについては、Databricks では、これらのフィールドを variant 列から抽出し、非 variant 型を使用して格納することをお勧めします。

「バリアントデータのクエリ」を参照してください。追加のサポートやアドバイスが必要な場合は、Databricks アカウント担当者にお問い合わせください。

Databricks Marketplace と Partner Connect UI の更新

Partner Connect と Marketplace を 1 つの Marketplace リンクに統合することで、サイドバーを簡素化しています。新しい Marketplace リンクはサイドバーの上位に表示されます。

ipynbノートブックは、2024Databricks 年 12 月にのデフォルトのノートブック形式になります

現在、 Databricks はすべての新しいノートブックを「Databricks ソース形式」でデフォルトに作成します。 2024 年 12 月に、新しいデフォルトノートブック形式が ipynb (.ipynb) になります。この新しいデフォルトは、ユーザーが Databricksソース形式を好む場合は、ワークスペースユーザーの[設定] ウィンドウで変更できます。

ワークスペースDatabricks ファイルは、2025 年 2 月 1 日にすべてのワークスペースで有効になります

Databricks は、2025 年 2 月 1 日にすべてのDatabricksワークスペースに対してワークスペースファイルを有効にします。この変更により、ワークスペースユーザーが新しいワークスペースファイル機能を使用できなくなる。 2025 年 2 月 1 日以降、 Databricks PATCH ワークスペース-conf/setstatus REST APIで enableWorkspaceFilesystem プロパティを使用してワークスペースファイルを無効にすることはできません。ワークスペースファイルの詳細については、「ワークスペースファイルとは」を参照してください。

すべての新規Databricksアカウントで予測的最適化が有効化されます

11 月 11 日に、Databricks はすべての新しいDatabricks アカウントのデフォルトとして予測的最適化を有効にします。以前は、デフォルトで無効になっており、アカウント管理者が有効にすることができました。予測的最適化が有効な場合、 Databricks は Unity Catalog マネージドテーブルのメンテナンス操作を自動的に実行します。予測的最適化の詳細については、「予測的最適化 for Unity Catalog マネージドテーブル」を参照してください。

ワークフローのサーバレスコンピュートのコストパフォーマンスに対するコントロールを強化してコストを削減

現在サポートされている自動パフォーマンス最適化に加えて、サーバレスワークフロー最適化機能の強化により、ワークロードをパフォーマンスとコストのどちらに最適化するかをより詳細に制御できるようになります。詳細については、「 Cost savings on Serverレスコンピュート for ノートブック, Jobs, and パイプライン」を参照してください。

AI/BI Genieのデフォルト有効化の変更

2024 年 11 月 14 日、Genie パブリックプレビューにオプトインするトグルがデフォルトでオンになります。プレビューを管理するには、「 Databricks プレビューの管理」を参照してください。 AI/BI Genie は 2024 年 12 月 11 日に一般公開され、アカウント管理者やワークスペース管理者などの昇格した権限を持つユーザーは、パートナーが提供する支援機能へのアクセスを制御するトグルを使用して Genie へのアクセスを制御できます。「Databricks Assistant の使用」を参照してください。

従来のダッシュボードバージョンのサポートの変更

Databricks では、AI/BI ダッシュボード (旧称 Lakeview ダッシュボード) の使用を推奨しています。以前のバージョンのダッシュボード (以前は Databricks SQL ダッシュボードと呼ばれていました) は、 レガシダッシュボードと呼ばれるようになりました。 Databricks では、新しいレガシダッシュボードを作成することはお勧めしません。 AI/BI ダッシュボードは、AI 支援オーサリング、ドラフトモードと公開モード、クロスフィルタリングなど、従来のダッシュボードと比較して改善された機能を提供します。

最新バージョンへの移行を支援するために、アップグレードツールはユーザーインターフェイスと API の両方で使用できます。 UI で組み込み移行ツールを使用する方法については、「レガシダッシュボードをAI/BI dashboardに複製する」を参照してください。を使用してダッシュボードを管理するを使用したダッシュボードの作成と管理に関するチュートリアルについては、こちらをご覧ください。RESTAPIDatabricksAPIs

サーバレスコンピュートのワークロード属性の変更

現在、料金利用システムテーブルには、run_as、job_id、job_run_id、および notebook_id の値が null のサーバーレスSKU請求レコードが含まれている可能性があります。これらのレコードは、特定のワークロードに直接起因しない共有リソースに関連するコストを表します。

コスト報告を簡素化するために、Databricks はまもなくこれらの共有コストを、発生した特定のワークロードに関連付ける予定です。ワークロード識別子フィールドに null 値を持つ請求レコードは表示されなくなります。サーバーレスコンピュートの使用量を増やしてワークロードを追加すると、これらの共有コストがより多くのワークロード間で共有されるため、請求書における共有コストの割合が減少します。

サーバレスコンピュートのコストのモニタリングの詳細については、「サーバレスコンピュートのコストの監視」を参照してください。

Unity Catalog自己仮定型ではないIAMロールを使用するストレージ認証情報のサポートをまもなく終了します。

2024 年 9 月 20 日以降、 Databricks では、新しいストレージ資格情報の AWS IAMロールが自己仮定である必要があります。 2025 年 1 月 20 日に、Databricks は既存のすべてのストレージ資格情報にこの要件を適用します。この要件に違反するストレージ資格情報は機能しなくなり、依存するワークロードとジョブが失敗する可能性があります。この要件の詳細と、ストレージの資格情報を確認および更新する方法については、「自己引き受けロールの適用ポリシー」を参照してください。

監査ログの sourceIpAddress フィールドにポート番号が含まれなくなります

バグにより、特定の認証および認証監査ログには、 sourceIPAddress フィールドに IP に加えてポート番号が含まれます (例: "sourceIPAddress":"10.2.91.100:0")。 0として記録されるポート番号は実際の値を提供しず、Databricks 監査ログの残りの部分と一致しません。監査ログの一貫性を高めるために、Databricks はこれらの監査ログイベントの IP アドレスの形式を変更する予定です。この変更は、2024 年 8 月上旬から段階的に展開されます。

監査ログに0.0.0.0のsourceIpAddressが含まれている場合、Databricks はログ記録を停止する可能性があります。

従来の Git 統合は 1 月 31 日にサポート終了

2024 年 1 月 31 日以降、Databricks は従来のノートブック Git 統合を削除します。この機能は 2 年以上にわたってレガシーステータスになっており、2023 年 11 月から製品 UI に非推奨の通知が表示されています。

従来の Git 統合から Databricks Git フォルダー (旧称 Repos) への移行の詳細については、「従来の Git 統合から Databricks Repos への切り替え」を参照してください。この削除が影響し、拡張機能が必要な場合は、Databricks アカウントチームにお問い合わせください。

外部サポートチケットの送信はまもなく廃止されます

Databricks は、サポートチケットの送信エクスペリエンスをhelp.databricks.comから Databricks ワークスペースのヘルプメニューに移行しています。 help.databricks.com によるサポートチケットの送信は、まもなく廃止されます。チケットの表示とトリアージは、引き続き help.databricks.comで行うことができます。

組織が Databricks サポート契約を結んでいる場合に利用できる製品内エクスペリエンスは、Databricks Assistant と統合され、チケットを送信しなくても問題に迅速に対処できます。

製品内エクスペリエンスにアクセスするには、ワークスペースの上部バーにあるユーザーアイコンをクリックし、 [サポートに問い合わせ] をクリックするか、アシスタントに「ヘルプが必要です」と入力します。

[サポートに問い合わせる] モーダルが開きます。

製品内エクスペリエンスがダウンしている場合は、問題に関する詳細情報を含むサポートの要求を help@databricks に送信してください。comです。詳細については、「ヘルプ」を参照してください。

JDK8 および JDK11 はサポートされません

Databricks は、Spark 4.0 のリリース時に、次のメジャー Databricks Runtime バージョンで JDK 8 のサポートを削除する予定です。 Databricks は、Databricks Runtime 14.x の次の LTS バージョンで JDK 11 のサポートを削除する予定です。

新しいワークスペースの Unity Catalog の自動有効化

Databricks は、新しいワークスペースに対して Unity Catalog を自動的に有効にし始めました。これにより、ワークスペースの作成後にアカウント管理者が Unity Catalog を構成する必要がなくなります。ロールアウトはアカウント間で段階的に進行しています。

sqlite-jdbcのアップグレード

Databricks Runtimeは、すべてのDatabricks Runtimeメンテナンスリリースでsqlite-jdbcバージョンを3.8.11.2から3.42.0.0にアップグレードする予定です。バージョン3.42.0.0のAPIは、3.8.11.2との互換性が完全ではありません。バージョン3.42.0.0を使用しているメソッドと戻り値の型を確認してください。

コードでsqlite-jdbcを使用している場合は、sqlite-jdbcの互換性レポートを確認してください。