今後の予定

今後の Databricks リリースの機能と動作の変更点について説明します。

クエリプロファイル UI の改善

クエリプロファイルUIは、使いやすさを向上させ、主要な知見に迅速にアクセスできるように更新されています。

概要パネルには、主要なメトリクス、最小化されたクエリプロファイルプレビュー、クエリプロファイルページの主要なセクションへのクイックリンクが含まれます。
新しい 上位演算子 パネルには、最もリソースを大量に消費する演算子が一覧表示され、フィルタリングオプションとグラフビューの強調表示が表示されます。
更新されたレイアウトは、Summary メトリクスから詳細な知見への読みやすさとナビゲーションを向上させるように設計されています。
その他の改善点には、キーワードベースのノードの強調表示、強化された実行リスト、クエリパフォーマンス分析ワークフローの改良などがあります。

Auto Loader incremental directory listing オプションの動作の変更

注：

Auto Loader cloudFiles.useIncrementalListing オプションは非推奨です。このノートでは、オプションのデフォルト値の変更と、この変更後も引き続き使用する方法について説明しますが、Databricks では、このオプションの使用をファイル通知モードに置き換えることをお勧めします。

今後の Databricks Runtime リリースでは、非推奨の Auto Loader cloudFiles.useIncrementalListing オプションの値は、デフォルトによって false に設定されます。この値を false に設定すると、 Auto Loader は実行のたびに完全なディレクトリリストを実行します。現在、cloudFiles.useIncrementalListing オプションのデフォルト値は auto であり、ディレクトリで増分リストを使用できるかどうかを検出するために最善の努力をするように Auto Loader に指示します。

増分リスト機能を引き続き使用するには、 cloudFiles.useIncrementalListing オプションを trueに設定します。この値を true に設定すると、 Auto Loader は 7 つの増分リストごとに完全なリストを実行します。

ディレクトリ Auto Loader 一覧表示オプションの詳細については、「 Auto Loader オプション」を参照してください。

予測最適化による統計情報管理のデフォルト有効化

1月21日より、 Databricks は予測的最適化を有効にした全アカウントに対して統計管理の有効化を開始します。統計管理は、書き込み時に統計コレクションを追加し、 Unity Catalog マネージドテーブルのANALYZEコマンドを自動的に実行することにより既存の予測的最適化機能を拡張します。予測的最適化の詳細については、「予測的最適化 for Unity Catalog マネージドテーブル」を参照してください。

サーバレスコンピュートScalaSDK サービス資格情報のサポートを取得する

サーバレスコンピュートのアップデートでは、 Scala SDKでサービス資格情報を使用した外部クラウドサービスに対する Unity Catalog 管理認証がサポートされます。 16.2 Scala以降で既に利用可能なサービスプリンシパル認証のサポートは、を使用したサービスクレデンシャルによる認証のサポートに追加されます。Databricks RuntimePythonSDK「サービス資格情報を使用して外部クラウドサービスへのアクセスを管理する」を参照してください。

データセット定義が Delta Live Tables パイプラインから削除された場合の動作の変更

Delta Live Tables の今後のリリースでは、マテリアライズドビューまたはストリーミングテーブルがパイプラインから削除されたときの動作が変更されます。この変更により、削除されたマテリアライズドビューまたはストリーミングテーブルは、次回のパイプライン更新の実行時に自動的に削除されなくなります。代わりに、 DROP MATERIALIZED VIEW コマンドを使用して実体化ビュー (Materialized View) を削除したり、 DROP TABLE コマンドを使用してストリーミングテーブルを削除したりできます。オブジェクトをドロップした後、パイプライン更新を実行しても、オブジェクトは自動的に回復されません。同じ定義を持つマテリアライズドビューまたはストリーミングテーブルがパイプラインに再追加されると、新しいオブジェクトが作成されます。ただし、 UNDROP コマンドを使用してオブジェクトをリカバリーすることはできます。

ipynb ノートブックがDatabricksのデフォルトノートブック形式になります

現在、Databricks はデフォルトですべての新しいノートブックを "Databricks ソース形式" で作成し、コードのみをキャプチャします。 2025 年 1 月には、新しいデフォルトノートブック形式が ipynb (.ipynb) になり、ノートブック環境、視覚化定義、ノートブックウィジェットもキャプチャされます。この新しいデフォルトは、ワークスペースユーザーの [設定 ] ウィンドウで変更できます。ノートブック形式の詳細については、「ノートブック形式」を参照してください。

ワークスペースDatabricks ファイルは、2025 年 2 月 1 日にすべてのワークスペースで有効になります

Databricks は、2025 年 2 月 1 日にすべてのDatabricksワークスペースに対してワークスペースファイルを有効にします。この変更により、ワークスペースユーザーが新しいワークスペースファイル機能を使用できるようになります。 2025 年 2 月 1 日以降は、ワークスペース機能を有効または無効にするための Databricks REST API で enableWorkspaceFilesystem プロパティを使用してワークスペースファイルを無効にすることはできません。ワークスペースファイルの詳細については、ワークスペースファイルとはを参照してください。

ワークフローのサーバレスコンピュートのコストパフォーマンスに対するコントロールを強化してコストを削減

現在サポートされている自動パフォーマンス最適化に加えて、サーバレスワークフロー最適化機能の強化により、ワークロードをパフォーマンスとコストのどちらに最適化するかをより詳細に制御できるようになります。詳細については、ノートブック、ジョブ、パイプライン向けのサーバレスコンピュートでのコスト削減を参照してください。

従来のダッシュボードバージョンのサポートの変更

Databricks では、AI/BI ダッシュボード (旧称 Lakeview ダッシュボード) の使用を推奨しています。以前のバージョンのダッシュボード (以前は Databricks SQL ダッシュボードと呼ばれていました) は、 レガシダッシュボードと呼ばれるようになりました。 Databricks では、新しいレガシダッシュボードを作成することはお勧めしません。 AI/BI ダッシュボードは、AI 支援オーサリング、ドラフトおよび公開モード、クロスフィルタリングなど、従来のバージョンと比較して改善された機能を提供します。

レガシーダッシュボードのサポート終了タイムライン

2025 年 4 月 7 日: 従来のバージョンのダッシュボードの公式サポートが終了します。重大なセキュリティ問題とサービスの停止のみが対処されます。
2025 年 11 月 3 日: Databricks は、過去 6 か月間アクセスされていないレガシーダッシュボードのアーカイブを開始します。アーカイブされたダッシュボードにはアクセスできなくなり、アーカイブプロセスはローリングベースで行われます。アクティブに使用されているダッシュボードへのアクセスは変更されません。

Databricks は、2025 年 11 月 3 日以降にアクティブなレガシダッシュボードの移行計画を策定するために、お客様と連携します。

AI/BI ダッシュボードへの移行を支援するために、アップグレードツールはユーザーインターフェイスと API の両方で利用できます。 UI で組み込み移行ツールを使用する方法については、レガシダッシュボードをAI/BIダッシュボードに複製するを参照してください。REST APIを使用してダッシュボードを作成、管理するチュートリアルに関してはダッシュボードの管理でDatabricks APIを使うをご覧ください。

サーバレスコンピュートのワークロード属性の変更

現在、料金利用システムテーブルには、run_as、job_id、job_run_id、および notebook_id の値が null のサーバーレスSKU請求レコードが含まれている可能性があります。これらのレコードは、特定のワークロードに直接起因しない共有リソースに関連するコストを表します。

コスト報告を簡素化するために、Databricks はまもなくこれらの共有コストを、発生した特定のワークロードに関連付ける予定です。ワークロード識別子フィールドに null 値を持つ請求レコードは表示されなくなります。サーバーレスコンピュートの使用量を増やしてワークロードを追加すると、これらの共有コストがより多くのワークロード間で共有されるため、請求書における共有コストの割合が減少します。

サーバレスコンピュートのコストのモニタリングの詳細については、サーバレスコンピュートのコストの監視を参照してください。

Unity Catalog自己仮定型ではないIAMロールを使用するストレージ認証情報のサポートをまもなく終了します。

2024 年 9 月 20 日以降、 Databricks では、新しいストレージ資格情報の AWS IAMロールが自己仮定である必要があります。 2025 年 1 月 20 日に、Databricks は既存のすべてのストレージ資格情報にこの要件を適用します。この要件に違反するストレージ資格情報は機能しなくなり、依存するワークロードとジョブが失敗する可能性があります。この要件の詳細と、ストレージの資格情報を確認および更新する方法については、自己引き受けロールの適用ポリシーを参照してください。

監査ログの sourceIpAddress フィールドにポート番号が含まれなくなります

バグにより、特定の認証および認証監査ログには、 sourceIPAddress フィールドに IP に加えてポート番号が含まれます (例: "sourceIPAddress":"10.2.91.100:0")。 0として記録されるポート番号は実際の値を提供しず、Databricks 監査ログの残りの部分と一致しません。監査ログの一貫性を高めるために、Databricks はこれらの監査ログイベントの IP アドレスの形式を変更する予定です。この変更は、2024 年 8 月上旬から段階的に展開されます。

監査ログに0.0.0.0のsourceIpAddressが含まれている場合、Databricks はログ記録を停止する可能性があります。

外部サポートチケットの送信はまもなく廃止されます

Databricks は、サポートチケットの送信エクスペリエンスをhelp.databricks.comから Databricks ワークスペースのヘルプメニューに移行しています。 help.databricks.com によるサポートチケットの送信は、まもなく廃止されます。チケットの表示とトリアージは、引き続き help.databricks.comで行うことができます。

組織が Databricks サポート契約を結んでいる場合に利用できる製品内エクスペリエンスは、Databricks Assistant と統合され、チケットを送信しなくても問題に迅速に対処できます。

製品内エクスペリエンスにアクセスするには、ワークスペースの上部バーにあるユーザーアイコンをクリックし、 サポートに問い合わせ をクリックするか、アシスタントに「ヘルプが必要です」と入力します。

サポートに問い合わせ モーダルが開きます。

製品内エクスペリエンスがダウンしている場合は、問題に関する詳細情報を含むサポートの要求を help@databricks に送信してください。comです。詳細については、「ヘルプ」を参照してください。

JDK8 および JDK11 はサポートされません

Databricks は、Spark 4.0 のリリース時に、次のメジャー Databricks Runtime バージョンで JDK 8 のサポートを削除する予定です。 Databricks は、Databricks Runtime 14.x の次の LTS バージョンで JDK 11 のサポートを削除する予定です。

新しいワークスペースの Unity Catalog の自動有効化

Databricks は、新しいワークスペースに対して Unity Catalog を自動的に有効にし始めました。これにより、ワークスペースの作成後にアカウント管理者が Unity Catalog を構成する必要がなくなります。ロールアウトはアカウント間で段階的に進行しています。

sqlite-jdbcのアップグレード

Databricks Runtimeは、すべてのDatabricks Runtimeメンテナンスリリースでsqlite-jdbcバージョンを3.8.11.2から3.42.0.0にアップグレードする予定です。バージョン3.42.0.0のAPIは、3.8.11.2との互換性が完全ではありません。バージョン3.42.0.0を使用しているメソッドと戻り値の型を確認してください。

コードでsqlite-jdbcを使用している場合は、sqlite-jdbcの互換性レポートを確認してください。