initスクリプトで参照できるファイルは何ですか?

initScript で他のファイルを参照するためのサポートは、参照されるファイルが格納されている場所によって異なります。この記事では、この動作の概要と推奨事項について説明します。

Databricks では、すべての initスクリプトをクラスタースコープの initスクリプトとして管理することをお勧めします。

実行 initスクリプトにはどのような ID が使用されますか?

専用アクセス・モード (以前のシングル・ユーザー) では、割り当てられたプリンシパル (ユーザーまたはグループ) の ID が使用されます。

標準アクセスモード(以前の共有)または分離なし共有アクセスモードでは、initスクリプトはクラスタリング所有者のIDを使用します。

init スクリプトを保存するためのすべての場所が、すべての Databricks Runtime バージョンおよびアクセスモードでサポートされているわけではありません。「init スクリプトはどこにインストールできますか?」を参照してください。。

initスクリプトから Unity Catalog ボリューム内のファイルを参照できますか?

Unity Catalog ボリュームに格納されているライブラリと initスクリプトは、 Unity Catalog ボリュームに格納されている initスクリプトから参照できます。

重要

Unity Catalog ボリュームに格納されている他のファイルにアクセスするために必要な資格情報は、 Unity Catalog ボリュームに格納されている initScript 内でのみ使用できます。他の場所から構成された initScript から Unity Catalog ボリューム内のファイルを参照することはできません。

標準アクセスモードでクラスタリングを行う場合は、設定されたinitスクリプトのみを許可リストに追加する必要があります。 initスクリプトで参照される他のファイルへのアクセスは、 Unity Catalogによって制御されます。

initスクリプトからワークスペースファイルを参照できますか?

Databricks Runtime 11.3 LTS 以降では、ワークスペースファイルと共に格納されている initscript から、ライブラリ、構成ファイル、シェルスクリプトなどの他のワークスペースファイルを参照できます。

initスクリプトからクラウドオブジェクトストレージ内のファイルを参照できますか?

クラウドオブジェクトストレージに格納されているライブラリとinitスクリプトをinitスクリプトから参照できます。

標準アクセスモードでクラスタリングを行う場合は、設定されたinitスクリプトのみを許可リストに追加する必要があります。 initスクリプトで参照される他のファイルへのアクセスは、クラウドオブジェクトストレージに設定されたアクセスによって決まります。

Databricks では、インスタンスプロファイルを使用して、S3 に保存されているライブラリと initScript へのアクセスを管理することをお勧めします。相互参照リンクの次のドキュメントを使用して、この設定を完了します。

目的のバケットに対する読み取りおよび一覧表示アクセス許可を持つ IAMロールを作成します。「チュートリアル: インスタンスプロファイルを使用して S3 アクセスを設定する」を参照してください。
インスタンスプロファイルを使用してクラスターを起動します。「インスタンスプロファイル」を参照してください。