構造化ストリーミングで Unity Catalog を使用する

ビューに対するストリーミング読み取りを構成するためにサポートされているオプション

ビューに対するストリーミング読み取りを構成する場合は、次のオプションがサポートされています。

• maxFilesPerTrigger

• maxBytesPerTrigger

• ignoreDeletes

• skipChangeCommits

• withEventTimeOrder

• startingTimestamp

• startingVersion

ストリーミング リーダーは、基になる Delta テーブルを定義するファイルとメタデータにこれらのオプションを適用します。

ソースビューでサポートされている操作

すべてのビューがストリーミング読み取りをサポートしているわけではありません。 ソース ビューでサポートされていない操作には、集計と並べ替えがあります。

次の一覧は、サポートされている操作の説明とビュー定義の例を示しています。

• プロジェクト

  • 説明: 列レベルの権限を制御します。

  • 演算子： SELECT... FROM...

  • ステートメントの例:

    コピー

    SQL

    CREATE VIEW project_view AS
    SELECT id, value
    FROM source_table
    

• フィルタ

  • 説明: 行レベルの権限を制御します

  • 演算子： WHERE...

  • ステートメントの例:

    コピー

    SQL

    CREATE VIEW filter_view AS
    SELECT * FROM source_table
    WHERE value > 100
    

• ユニオンオール

  • 説明: Results from multiple tables

  • 演算子： UNION ALL

  • ステートメントの例:

    コピー

    SQL

    CREATE VIEW union_view AS
    SELECT id, value FROM source_table1
    UNION ALL
    SELECT * FROM source_table2
    

制限事項

次の制限が適用されます：

• ストリームできるのは、 Delta テーブルに支えられたビューからのみです。 他のデータソースに対して定義されたビューはサポートされていません。

• Unity Catalog にビューを登録する必要があります。

• サポートされていない演算子を持つビューからストリームする場合は、次の例外が表示されます。

  コピー

  UnsupportedOperationException: [UNEXPECTED_OPERATOR_IN_STREAMING_VIEW] Unexpected operator <operator> in the CREATE VIEW statement as a streaming source. A streaming view query must consist only of SELECT, WHERE, and UNION ALL operations.
  

• サポートされていないオプションを指定した場合は、次の例外が表示されます。

  コピー

  AnalysisException: [UNSUPPORTED_STREAMING_OPTIONS_FOR_VIEW.UNSUPPORTED_OPTION] Unsupported for streaming a view. Reason: option <option> is not supported.