建立 Azure Databricks 的連結服務

已完成

若要在 Azure Databricks 工作區中執行筆記本,Azure Data Factory 管線必須能夠連線到工作區;這需要驗證。 若要啟用此驗證的連線,您必須執行兩個設定工作:

  1. 為您的 Azure Databricks 工作區產生 存取令牌
  2. 在 Azure Data Factory 資源中建立 連結服務,以使用存取令牌連線到 Azure Databricks。

產生存取令牌

存取令牌提供 Azure Databricks 的驗證方法,以替代使用者名稱和密碼形式的認證。 您可以為應用程式產生存取令牌,並指定到期期間,之後必須在用戶端應用程式中重新產生和更新令牌。

若要建立存取令牌,請使用 Azure Databricks 入口網站中 [用戶設定] 頁面的 [開發人員] 索引卷標上的 [產生新的令牌] 選項。

Azure Databricks 入口網站 [使用者設定] 頁面中 [存取令牌] 索引標籤的螢幕快照。

建立連結的服務

若要從 Azure Data Factory 連線到 Azure Databricks,您必須為 Azure Databricks 計算 建立連結服務。 您可以在 Azure Data Factory Studio 的 [管理 ] 區段中的 [ 管理 ] 頁面中,建立連結 服務。

Azure Data Factory Studio 中 [新增鏈接服務精靈] 的螢幕快照。

當您建立 Azure Databricks 連結服務時,您必須指定下列組態設定:

設定 說明
名稱 連結服務的唯一名稱
說明 有意義的描述
整合執行階段 用來在此連結服務中執行活動的整合運行時間。 如需詳細資訊,請參閱 Azure Data Factory 中的 整合運行時間。
Azure 訂用帳戶 Azure Databricks 布建所在的 Azure 訂用帳戶
Databricks 工作區 Azure Databricks 工作區
集群 將執行活動程序代碼的 Spark 叢集。 您可以讓 Azure Databricks 動態布建 作業叢集 隨選,或在工作區中指定現有的叢集。
驗證類型 Azure Databricks 如何驗證連結連線。 例如,使用存取令牌(在此情況下,您必須指定您為工作區產生的存取令牌)。
叢集組態 Databricks 運行時間版本、Python 版本、背景工作節點類型,以及叢集的背景工作節點數目。