掃描 Snowflake 資料來源時,Microsoft Purview 支援擷取技術中繼資料,包括:
- 伺服器、資料庫、結構描述和表格,包括資料行;檢視,包括資料行、外部索引鍵和唯一條件約束。
- 預存程序,包括參數資料集和結果集。
- 函數,包括參數資料集。
- 管、階段和流,包括欄。
- 任務和順序。
在資料地圖中註冊 Snowflake 來源
若要在 Microsoft Purview 整合式目錄中註冊新的 Snowflake 來源,請遵循下列步驟:
- 登入 Microsoft Purview 入口網站。
- 選取 資料對應 解決方案卡。 如果未顯示資料對應解決方案卡片,請選取檢視所有解決方案,然後從核心區段中選取資料對應。
- 選取 [登錄]。
- 在 [註冊來源] 上,選取 [Snowflake]。
設定資料對映掃描
- 選取已註冊的 Snowflake 來源。
- 選取 [+ 新增掃描]。
- 提供下列詳細資料:
- 名稱:掃描的名稱。
- 透過整合執行階段連線:根據您的案例選取 Azure 自動解析整合執行階段、受控虛擬網路 IR 或 SHIR。
- 連線主機:選擇在掃描期間用於建立與 Snowflake 連線的端點。 您可以從伺服器 URL 或您在資料來源中設定的其他主機中進行選擇。
- 認證:選取要連線到資料來源的認證。 確保:
- 在建立認證時選取 [基本驗證]。
- 在使用者名稱輸入欄位中提供用於連線到 Snowflake 的使用者名稱。
- 將用於連線到 Snowflake 的使用者密碼儲存在金鑰中。
- 倉庫:指定用於在大寫情況下啟用掃描的倉庫實例的名稱。 指派給認證中指定的使用者的預設角色必須具有此倉儲的 USAGE 權限。
- 資料庫:指定一或多個要匯入的大寫資料庫執行個體名稱。 用分號分隔列表中的名稱 (;) 。 例如,DB1;DB2 的。 指派給認證中指定使用者的預設角色必須對資料庫物件具有足夠的權限。
- 結構描述:要匯入的結構描述子集清單,以分號分隔的清單表示。
- 選取 [測試連線] 以驗證使用 Azure Integration Runtime) 時 (可用的設定。
- 選取 [繼續]。
- 選取要分類的掃描規則集。 您可以在系統預設值、現有自訂規則集之間進行選擇,或內嵌建立新的規則集。
- 檢閱您的掃描,然後選取儲存並執行。
掃描後,Snowflake 中的資料資產可在整合式目錄搜尋中使用。 如需如何在 Microsoft Purview 中連線和管理 Snowflake 的詳細資訊,請參閱 在 Microsoft Purview 中連線和管理 Snowflake。
重要事項
當您從數據源刪除物件時,後續掃描不會自動移除 Microsoft Purview 中的對應資產。
將專用端點設定為 Snowflake 專用連結
若要使用受控虛擬網路將私人端點設定為 Snowflake 私人連結,請遵循此 逐步指引。
Azure Private Link 會確保透過私人 IP 位址存取 Snowflake,以提供 Snowflake 的私人連線。 網路流量會使用 Microsoft 骨幹流向 Snowflake 虛擬網路,並避開公用網際網路。 這透過保持存取規則的私密性,同時提供安全和私密的通訊,顯著簡化了網路配置。
執行以
SYSTEM$WHITE_LIST and SYSTEM$WHITE_LIST_PRIVATELINK取得SNOWFLAKE_DEPLOYMENT, SNOWFLAKE_DEPLOYMENT_REGIONLESS and OCSP_CACHE公用和white_list主機的值。 本文檔提供了示例指令碼。執行為
SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO()ACCOUNTADMIN以取得 snowflake-vnet-subnet-ids 值。 Snowflake Azure 租用戶的 Private Link 訂閱識別碼是從中取得的。 本文檔提供了示例指令碼。 訂用帳戶識別碼是具有資源群組 azure-prod 的識別碼,或者如果不存在,則會是 deployment-infra-rg 或類似專案。 資源群組和訂用帳戶識別碼未來可能會變更。 請聯絡 Snowflake 支援以取得實際的訂閱 ID 詳細資料。在 Data Factory Studio 的 [管理] 功能表的 [受控私人端點] 區段下,建立私人連結的私人端點。 尋找 Data Factory 受控私人端點的詳細資訊。
選取 Private link service (私人連結服務) 以設定 Snowflake 私人連結的受管理端點。
目標 Snowflake 專用連結的資源 ID 格式如下:
/subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region)。- 若要取得區域識別碼和完整名稱,請執行
SYSTEM_WHITE_LIST和 以取得SNOWFLAKE_DEPLOYMENT公用主機和允許清單主機的 、SNOWFLAKE_DEPLOYMENT_REGIONLESS和OCSP_CACHE值。SYSTEM_WHITE_LIST_PRIVATELINK - 若要取得訂閱 ID,請執行
SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO()asACCOUNTADMIN以取得 snowflake-vnet-subnet-ids 值。 Snowflake Azure 租用戶的 Private Link 訂閱識別碼是從中取得的。
- 若要取得區域識別碼和完整名稱,請執行
針對完整名稱,請從
SNOWFLAKE_DEPLOYMENT, SNOWFLAKE_DEPLOYMENT_REGIONLESS步驟 1 新增公用和專用連結主機的 和OCSP_CACHE。「佈建」狀態應該為「成功」,而「核准」狀態應該為擱置中。 如果 Provisioning 狀態失敗,請檢查提供的值,並使用正確的值重複此程序。
由於私人連結位於 Snowflake 的 Azure 訂用帳戶中,因此您必須向 Snowflake 提出支援票證,以核准私人端點連線。 在 Microsoft Azure 入口網站 中提供受控私人端點資源識別碼和受控核准連結。
一旦 Snowflake 支援確認連線已核准,受管理端點核准狀態就應該已核准並準備好使用。
執行
SYSTEM$GET_PRIVATELINK_AUTHORIZED_ENDPOINTS()以檢查 Snowflake 中的連線。 您也可以使用倉儲執行下列查詢,以取得可讀取的格式。 本文檔提供了示例指令碼。連結服務會設定 Snowflake 連線,並利用私人端點透過私人連結連線到 Snowflake。
設定與 Snowflake 資料來源的連線以進行資料品質掃描
此時,掃描的資產已準備好進行編目和治理。 將掃描的資產與「控管網域」中的資料產品相關聯。 在 [資料品質] 索引標籤中,新增新的 Azure SQL 資料庫連線:取得手動輸入的資料庫名稱。
在 Microsoft Purview 入口網站中,開啟整合式目錄。
在 健康情況管理下,選取 [資料品質]。
從清單中選取控管網域,然後從 管理 下拉式清單中選取 連線。
在 「連線」 頁面上設定連線:
- 新增連線名稱和描述。
- 選取來源類型 Snowflake。
- 新增伺服器名稱、倉儲名稱、資料庫名稱、結構描述名稱和資料表名稱。
- 選取驗證方法 - 基本驗證。
- 新增使用者名稱。
- 新增認證:
- 新增 Azure 訂用帳戶
- 金鑰保存庫連線
- 秘密名稱
- 秘密版
- 如果您的 Snowflake 在 Azure 虛擬網路 上執行,請選取 [啟用受管理 V-Net] 核取方塊。
- 選取 Azure 區域。
- 新增 Private Link 資源識別碼。
- 新增完整網域名稱。
測試連線以確保其正常運作。 如果您使用虛擬網路,則不支援測試連線功能。
目標 Snowflake 專用連結的資源 ID 格式如下: /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region)。
- 若要取得區域識別碼和完整名稱,請執行
SYSTEM_WHITE_LIST和 以取得SNOWFLAKE_DEPLOYMENT公用主機和允許清單主機的 、SNOWFLAKE_DEPLOYMENT_REGIONLESS和OCSP_CACHE值。SYSTEM_WHITE_LIST_PRIVATELINK - 若要取得訂閱 ID,請執行
SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO()asACCOUNTADMIN以取得 snowflake-vnet-subnet-ids 值。 Snowflake Azure 租用戶的 Private Link 訂閱識別碼是從中取得的。
重要事項
- 建立專用端點連線的請求後,需要向 Snowflake 支援提出支援票證,以核准專用端點連線。 在此支援票證中提供受管理私人端點資源 ID 的詳細資料,供 Snowflake 團隊核准。
- 資料品質管理員需要對 Snowflake 的 唯讀 存取權,才能設定資料品質連線。
- Snowflake 連接器不接受 https://。 當您新增伺服器名稱以設定資料來源連線時,請移除 https:// 。
- 如果已停用公用存取,您必須選取 [允許受信任的 Microsoft 服務] 進行金鑰保存庫。 這僅適用於金鑰保存庫,而不是您的 Snowflake 工作區。
注意事項
將新增對 Open Authorization (OAuth) 和 Snowflake 資料庫連線金鑰組的支援。 透過 Snowflake 支援的 OAuth 和金鑰組型驗證機制,您可以建立多個支援不同驗證機制的連線。 在這種情況下,選擇最後建立的連線的邏輯成立。 例如,如果您先建立金鑰組型連線,然後建立 OAuth 連線,則會挑選 OAuth 連線。 如果您想要挑選金鑰組連線,則必須刪除 OAuth 機制。 如果您想要預覽 Microsoft Purview 資料品質掃描的新 Snowflake 驗證模型,請連絡您的 Microsoft 帳戶代表。
Snowflake 中資料的分析和資料品質掃描
設定連線後,您可以分析資料、建立和套用規則,以及在 Snowflake 中對資料執行資料品質掃描。 請遵循下列文件中所述的逐步指導方針: