各組織在各種領域中積極參與或試驗生成式人工智慧(GenAI)時,正以前所未有的速度採用它。 安全性小組可以主動了解組織內的 AI 使用量,並實作對應的控件,以更有效率地降低和管理風險。 本文說明如何探索組織內的 AI 應用程式使用方式,包括評估敏感數據的風險。
這是系列中的第二篇文章。 使用本文之前,請確定您已完成 準備 AI 安全性 中的工作,以使用本文中規定的功能來準備環境。
Microsoft提供工具,協助您瞭解您所建置和使用 AI 的數據、存取、使用者和應用程式風險。 這些功能可協助您在為 AI 建置強大的安全性狀態時主動解決弱點。
下表說明此圖例,並逐步解說實作這些功能的步驟。
| 步驟 | 任務 | 影響範圍 |
|---|---|---|
| 1 | 使用 Microsoft Entra 代理程式識別符,查看跨 Microsoft Copilot Studio 和 Azure AI Foundry 建立的所有代理程式身分識別。 | Microsoft Copilot Studio 和 Azure AI Foundry 中建立的代理程式 |
| 2 | 使用 Microsoft Purview 的 Data Security Posture Management (DSPM) 取得 AI 使用的可見度。 套用原則來保護敏感數據。 | 使用第三方大型語言模組(LLM)的輔助駕駛、代理和其他 AI 應用程式,包括 支援的 AI 網站。 |
| 3 | 使用適用於 Cloud Apps 的 Microsoft Defender 探索、批准及封鎖 AI 應用程式 | SaaS AI 應用程式 |
| 4 | 探索您環境中已部署的 AI 工作負載,並透過 Microsoft Defender 雲端安全性狀態管理 (CSPM) 獲得安全性見解。 | 客製化建置的 Azure AI 驅動的 AI 應用程式 |
步驟 1 - 使用 Entra 代理程式識別碼取得代理程式的可見度 (預覽)
當組織建置並採用 AI 智能體時,追蹤這些非人類代理是一項挑戰。 讓這些代理程序強大的東西—他們能夠自主處理複雜的工作,並像虛擬隊友一樣行事—也引起了人們的擔憂。 這就是為什麼追蹤代理程式身分識別、管理其生命週期和許可權,並仔細保護其組織資源的存取權非常重要。
Microsoft Entra 代理程式身份識別 (預覽) 提供 Microsoft Copilot Studio 和 Azure AI Foundry 中建立的所有代理程式身分識別的統一目錄。 這是提供組織中快速成長之代理程序數量之更高可見度、保護和控管的第一步。
| 任務 | 建議的資源 |
|---|---|
| 檢視組織中的所有代理人 | 登入 Microsoft Entra 系統管理中心,並瀏覽至 企業應用程式。 在清單檢視頂端的篩選列中,將應用程式類型下拉式清單設定為代理 ID(預覽)。 您的企業應用程式清單會立即縮小範圍,以顯示在租用戶中註冊的 AI 代理程式(透過 Copilot Studio 或 Azure AI Foundry 建立)。 |
| 檢閱此部落格以深入瞭解 | 宣佈Microsoft Entra 代理程式標識碼:保護及管理您的 AI 代理程式 |
步驟 2 — 使用適用於 AI 的數據安全性狀態管理 (DSPM) 來瞭解 AI 使用方式
Microsoft Purview 資料安全狀態管理 (DSPM) 為 AI 設計,著重於 AI 在您的組織中的使用情形,特別是您的資料如何與 AI 工具互動。 其可與生成式 AI 平臺搭配使用。 適用於 AI 的 DSPM 為 Microsoft Copilots 和第三方 SaaS 應用程式提供更深入的見解,例如 ChatGPT Enterprise 和 Google Gemini。
下圖顯示 AI 使用對您數據影響的其中一個匯總檢視—每個生成式 AI 應用程式的敏感互動。
適用於 AI 的 DSPM 提供一組功能,可協助您安全地採用 AI,而不需要在生產力與保護之間選擇:
- 組織中 AI 活動的洞察力和分析
- 可在 AI 提示中保護數據並防止數據遺失的現成使用原則
- 用來識別、補救及監視數據過度共享的數據風險評估
- 以租用戶中的數據為基礎的建議動作
- 套用最佳數據處理和儲存原則的合規性控制件
若要監視與第三方 AI 網站的互動,裝置必須上線至 purview Microsoft。 如果您遵循 準備 AI 安全性中的指引,您已使用 Microsoft Intune 註冊裝置以管理這些裝置,然後將這些裝置上線至適用於端點的 Defender。 裝置加入會在 Microsoft 365(包括 Microsoft Purview)和 Microsoft Defender for Endpoint 之間共用。
使用下列資源透過適用於 AI 的 DSPM 探索 AI 應用程式和數據。
| 任務 | 建議的資源 |
|---|---|
| 確保裝置已加入 Microsoft Purview。 | 如果裝置尚未加入 Defender for Endpoint,有數種方法可讓裝置完成加入。 請參閱將 Windows 裝置上線至 Microsoft 365。 |
| 瞭解必要條件和適用於 AI 的 DSPM 運作方式 | 部署 Microsoft Purview 資料安全性狀態管理以適用於 AI 的考慮 |
| 開始使用適用於 AI 的 DSPM | 如何使用適用於 AI 的數據安全性狀態管理 |
| 檢閱支援的 AI 網站 | 由 Microsoft Purview 支援的 AI 網站,提供數據安全性和合規性保障 |
步驟 3 — 使用適用於雲端應用程式的 Microsoft Defender 探索、批准及封鎖 AI 應用程式
Microsoft Defender for Cloud Apps 協助安全性小組探索 SaaS GenAI 應用程式及其使用。
適用於 Cloud Apps 的 Defender 應用程式類別目錄包含大型語言模型 (LLM) 應用程式的「產生 AI」類別,例如 Microsoft Bing 聊天、Google Bard、ChatGPT 等等。 適用於 Cloud Apps 的 Defender 已將一千多個產生的 AI 相關應用程式新增至類別目錄,讓您了解組織中如何使用產生 AI 應用程式,並協助您安全地管理這些應用程式。
使用適用於 Cloud Apps 的 Defender,您可以:
- 生成式 AI 應用程式篩選器
- 探索組織中所使用的 AI 應用程式
- 檢視每個應用程式的現用風險評估,包括安全性與法規合規性的 90+ 個風險因素
- 制裁或取消批准 (封鎖) 特定應用程式的使用方式
- 建立政策,根據您設定的標準,持續發現 AI 應用程式,包括風險分數、每日活躍用戶數及其他。 您甚至可以自動取消批准符合準則的應用程式。
使用下列資源進行後續步驟。
| 任務 | 建議的資源 |
|---|---|
| 試驗及部署適用於 Cloud Apps 的 Defender | 如何試驗和部署適用於 Cloud Apps 的 Microsoft Defender? |
| 檢閱此影片教學課程 | 透過適用於雲端應用程式的 Defender,找出您環境中使用的生成式 AI 應用程式 |
| 檢視探索到的應用程式 | 使用 Cloud Discovery 儀錶板檢視探索到的應用程式 |
| 尋找您的雲端應用程式並計算風險分數 | 雲端應用程式目錄和風險分數 - Microsoft Defender for Cloud Apps |
| 管理已發現的應用程式 | 掌管探索應用程式 - Microsoft Defender for Cloud Apps |
步驟 4 — 探索環境中已部署的 AI 工作負載,並使用適用於雲端的 Microsoft Defender 取得安全性見解
適用於雲端的 Defender Microsoft Defender 中的 Defender 雲端安全性狀態管理 (CSPM) 計劃提供 AI 安全性狀態管理功能,從探索您環境中內建的 AI Apps 開始:
- 探索生成式 AI 用料表 (AI BOM),其中包含從程式碼到雲端的應用程式元件、資料和 AI 成品。
- 採用內建建議,並探索並補救安全性風險,藉此加強生成式 AI 應用程式安全性態勢。
- 使用攻擊路徑分析來識別和補救風險。
使用雲端安全性探索工具來識別在您的環境中執行的生成式 AI 工作負載和模型。 雲端安全分析工具包含預配置的查詢:
- 使用中的 AI 工作負載和模型
- 布建 Azure OpenAI 的 Generative AI 易受攻擊程式代碼存放庫
- 執行容器映像且具有已知 Generative AI 弱點的容器。
您也可以設定自己的查詢。
使用下列資源進行後續步驟。
| 任務 | 建議的資源 |
|---|---|
| 瞭解 AI 安全態勢管理 | 使用適用於雲端的Defender進行 AI 安全性狀態管理 |
| 探索 AI 工作負載 | 使用中的 AI 工作負載和模型 |
| 探索預先部署產生 AI 成品的風險 | 生成式 AI 預先部署生成物的風險 |
保護 AI 的下一個步驟
探索您組織中的 AI 使用量之後,下一個步驟是套用保護:
- 保護與 AI 應用程式搭配使用的敏感數據
- 特別針對 AI 使用實作威脅防護
請參閱本系列中的下一篇文章: 如何在使用 AI 應用程式時保護我的組織?