LakeFlow Connect

プレビュー

LakeFlow Connect はゲート付きパブリック プレビュー段階です。 プレビューに参加するには、Databricks アカウント チームにお問い合わせください。

この記事では、Salesforce などの SaaS アプリケーションや SQL Server などのデータベースから Databricks レイクハウスにデータを取り込むためのフルマネージド コネクタを提供する Databricks LakeFlow Connect の概要について説明します。 結果として得られるインジェスト パイプラインは Unity Catalog によって制御され、サーバレス コンピュートと Delta Live Tablesによって駆動されます。 LakeFlow Connect は、効率的な増分読み取りと書き込みを活用して、データ取り込みをより速く、スケーラブルで、コスト効率を高めながら、データを最新のままダウンストリームで消費できるようにします。

SaaS コネクタ コンポーネント

SaaS コネクタは、次のコンポーネントによってモデル化されます。

  • 接続: データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。

  • インジェスト パイプライン: ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

SaaSコネクタコンポーネント図

データベースコネクタコンポーネント

データベースコネクタは、次のコンポーネントによってモデル化されます。

  • 接続: データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。

  • ゲートウェイ: ソース データベースからデータを抽出し、転送中にトランザクションの整合性を維持します。 クラウドベースのデータベースの場合、ゲートウェイは従来のコンピュートを使用した DLT パイプラインとして構成されます。

  • ステージング ストレージ: ゲートウェイからのデータが Delta テーブルに適用される前にステージングされる Unity Catalog ボリューム。 ステージング ストレージ アカウントは、ゲートウェイをデプロイするときに作成され、指定したカタログとスキーマ内に存在します。

  • インジェスト パイプライン: ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

データベース・コネクタ・コンポーネント図

LakeFlow Connect、レイクハウスフェデレーション、Delta Sharingの比較

レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。 Delta Sharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。 Databricks では、大量のデータ、低レイテンシのクエリ、サードパーティ API の制限に対応できるように拡張できるため、LakeFlow Connect を使用した取り込みを推奨しています。 ただし、データを移動せずにクエリを実行することもできます。

LakeFlow Connect、レイクハウスフェデレーション、 Delta Sharingのいずれかを選択できる場合、次のシナリオではDelta Sharingを選択してください。

  • データの重複を制限する。

  • 可能な限り最新のデータをクエリします。

次のシナリオにはレイクハウスフェデレーションを選択してください。

  • ETL パイプラインでのアドホック レポート作成または概念実証作業。

LakeFlow Connect と Auto Loader の比較

LakeFlow Connect には、エンタープライズ アプリケーションやデータベースからデータを段階的に取り込むことができる組み込みコネクタが用意されています。 Auto Loader は、S3、ADLS、GCS にファイルが到着すると段階的に取り込むことができるクラウド オブジェクト ストレージのコネクタです。 構造化ストリーミングおよびDelta Live Tablesと互換性がありますが、 LakeFlow Connect とは統合されません。

LakeFlow Connect はサードパーティのアプリやデータベースに書き戻すことができますか?

いいえ。この機能にご興味がある場合は、アカウント チームにお問い合わせください。

LakeFlow Connect の料金はいくらですか?

現時点では、顧客には、ソースDelta Live Tables (Salesforce などのエンタープライズ アプリケーションに接続する場合) またはステージング ボリューム (SQL Server などのデータベースに接続する場合) からデータをロードするために必要な、SQL Server 使用料のみが課金されます。LakeFlow Connect の最終的な価格モデルには追加料金が含まれる可能性があり、今後発表される予定です。

Delta Live Tables価格は、価格ページに表示されます。