Delta Live Tables の制限事項

パイプラインを開発する際に知っておく必要がある Delta Live Tables の制限事項を次に示します。

Databricks ワークスペースは、100 個の並列パイプライン更新に制限されています。1 つのパイプラインに含めることができるデータセットの数は、パイプラインの構成とワークロードの複雑さによって決まります。
Delta Live Tables データセットは 1 回だけ定義できます。このため、すべての Delta Live Tables パイプラインで 1 つの操作のターゲットにしかなれません。例外は、追加フロー処理を使用するストリーミングテーブルで、複数のストリーミングソースからストリーミングテーブルに書き込むことができます。追加フローを使用して、複数のソースストリームからストリーミングテーブルに書き込むを参照してください。
ID 列には次の制限があります。 Delta テーブルの ID 列の詳細については、Delta Lake で ID 列を使用するを参照してください。
- ID カラムは、 APPLY CHANGES 処理のターゲットであるテーブルではサポートされていません。
- ID カラムは、マテリアライズド・ビューの更新中に再計算される場合があります。このため、Databricks では、Delta Live Tables の ID 列をストリーミングテーブルでのみ使用することをお勧めします。
Delta Live Tables パイプラインから発行されたマテリアライズドビューとストリーミングテーブル (Databricks SQL によって作成されたものを含む) には、Databricks クライアントとアプリケーションのみがアクセスできます。ただし、マテリアライズドビューとストリーミングテーブルに外部からアクセスできるようにするには、Delta Live Tables sink API を使用して、外部の Delta インスタンスのテーブルに書き込むことができます。「Delta Live Tables シンクを使用して外部サービスにレコードをストリームする」を参照してください。
Delta Sharing を使用して、Delta Live Tables パイプラインによって作成されたマテリアライズドビューとストリーミングテーブルを共有することはできません。
パイプラインの実行とクエリに必要な Databricksコンピュートには制限があります。Unity CatalogUnity Catalog に発行するパイプラインの要件を参照してください。
パイプラインの所有者のみがパイプラインのイベントログにアクセスできます。「イベントログのクエリ」を参照してください。
Delta Lake タイムトラベルクエリはストリーミングテーブルでのみサポートされ、マテリアライズドビュー ではサポートされていません 。 Delta Lake テーブル履歴の操作を参照してください。
Delta Live Tables パイプラインによって作成されたマテリアライズドビューとストリーミングテーブルで Iceberg 読み取りを有効にすることはできません。