建立 Azure Databricks 的連結服務
若要在 Azure Databricks 工作區中執行筆記本,Azure Data Factory 管線必須能夠連線到工作區;這需要驗證。 若要啟用此驗證的連線,您必須執行兩個設定工作:
- 為您的 Azure Databricks 工作區產生 存取令牌。
- 在 Azure Data Factory 資源中建立 連結服務,以使用存取令牌連線到 Azure Databricks。
產生存取令牌
存取令牌提供 Azure Databricks 的驗證方法,以替代使用者名稱和密碼形式的認證。 您可以為應用程式產生存取令牌,並指定到期期間,之後必須在用戶端應用程式中重新產生和更新令牌。
若要建立存取令牌,請使用 Azure Databricks 入口網站中 [用戶設定] 頁面的 [開發人員] 索引卷標上的 [產生新的令牌] 選項。
建立連結的服務
若要從 Azure Data Factory 連線到 Azure Databricks,您必須為 Azure Databricks 計算 建立連結服務。 您可以在 Azure Data Factory Studio 的 [管理 ] 區段中的 [ 管理 ] 頁面中,建立連結 服務。
當您建立 Azure Databricks 連結服務時,您必須指定下列組態設定:
| 設定 | 說明 |
|---|---|
| 名稱 | 連結服務的唯一名稱 |
| 說明 | 有意義的描述 |
| 整合執行階段 | 用來在此連結服務中執行活動的整合運行時間。 如需詳細資訊,請參閱 Azure Data Factory 中的 整合運行時間。 |
| Azure 訂用帳戶 | Azure Databricks 布建所在的 Azure 訂用帳戶 |
| Databricks 工作區 | Azure Databricks 工作區 |
| 集群 | 將執行活動程序代碼的 Spark 叢集。 您可以讓 Azure Databricks 動態布建 作業叢集 隨選,或在工作區中指定現有的叢集。 |
| 驗證類型 | Azure Databricks 如何驗證連結連線。 例如,使用存取令牌(在此情況下,您必須指定您為工作區產生的存取令牌)。 |
| 叢集組態 | Databricks 運行時間版本、Python 版本、背景工作節點類型,以及叢集的背景工作節點數目。 |