ジョブの JAR タスク

JAR タスクを使用して、JAR (Java ARchive) にコンパイルされた Scala または Java コードをデプロイします。

重要

Scala には、Unity Catalog の標準アクセスモードでのサポート制限があります。 「 Unity Catalog 標準アクセスモードの言語サポート 」および 「Unity Catalog 標準アクセスモードの Spark API の制限事項と要件」を参照してください。

標準アクセスモードでは、管理者が JAR ライブラリの Maven 座標とパスを allowlistに追加する必要があります。 Allowlist ライブラリと initスクリプト on 標準アクセスモード (旧称 Shared Access Mode) のコンピュートを参照してください。

JARファイルは、コンピュート構成でサポートされている場所に保存する必要があります。 Java と Scala のライブラリのサポートを参照してください。

要件

  • Scalaワークロードをサポートするコンピュート構成を選択する必要があります。

  • JAR ファイルは、コンピュート構成と互換性のある場所またはMavenリポジトリにアップロードする必要があります。

  • JAR ファイル内のコードでは、Spark コンテキストを取得するために SparkContext.getOrCreate を使用する必要があります。

JAR タスクの構成

ジョブ UI のタスク タブからJARタスクを追加するには、次の手順を実行します。

  1. 「タイプ」ドロップダウンメニューで、「JAR」を選択します。

  2. Main クラスを指定します。

    • これは、実行される main メソッドを含むクラスのフルネームです。 このクラスは、 従属ライブラリとして構成されたJARに含める必要があります。

  3. コンピュートを使用して、JARのロジックをサポートするクラスターを選択または構成します。

  4. [依存ライブラリ] の下の [+ 追加] をクリックします。「依存ライブラリの追加」ダイアログが表示されます。

    • 既存の JAR ファイルを選択するか、新しい JAR ファイルをアップロードできます。

    • すべての場所で JAR ファイルがサポートされているわけではありません。

    • すべてのコンピュート構成が、サポートされているすべての場所で JAR ファイルをサポートしているわけではありません。

    • 各ライブラリソースには、JAR ファイルを選択またはアップロードするための異なるフローがあります。「ライブラリ」を参照してください。

  5. (オプション) パラメーター を、メイン クラスに引数として渡される文字列のリストとして構成します。 Configure タスク パラメーターを参照してください。

  6. [タスクの保存] をクリックします。