本文說明如何使用保護 AI 應用程式的特定功能，以及這些應用程式與其互動的數據。
- 在使用者提示和 AI 產生的數據中保護您的敏感數據
- 防範新興的威脅，例如提示插入攻擊
這是系列中的第三篇文章。 如果您尚未完成準備 AI 安全性和探索 AI 應用程式和資料中的工作，請從這些文章開始，以使用本文中規定的功能來準備您的環境。
將此文章與此資源搭配使用：
- 適用於 AI 的雲採用架構（CAF）- 確保 AI 的安全性過程
Microsoft提供一組廣泛的功能來保護 AI 應用程式和數據。 本文討論這兩個類別：數據保護和威脅防護。
下列兩個表格描述此圖例，並逐步解說實作這些功能的步驟。
表 1 — 資料保護功能
| 步驟 | 任務 | Scope |
|---|---|---|
| 1 | 套用 SharePoint 的過度分享控制，以快速排除 AI 應用程式範疇中的敏感網站和資料。 | Microsoft 365 環境中的網站和檔案。 |
| 2 | 使用適用於 AI 的數據安全性狀態管理 （DSPM） 來瞭解過度共用的位置，並找出敏感度標籤和 DLP 原則的原則涵蓋範圍差距。 | 使用第三方大型語言模組（LLM）的輔助駕駛、代理和其他 AI 應用程式，包括 支援的 AI 網站。 可於其他雲端供應商的 AI 應用程式中使用 Purview SDK。 |
| 3 | 繼續在敏感度標籤和數據外洩防護 （DLP） 原則上取得進展。 | Microsoft 365 環境中的網站、檔案及裝置。 SaaS 應用程式整合至適用於 Cloud Apps 的 Defender 時。 Azure 和其他雲端提供者中的 AI 應用程式會透過 Purview SDK。 |
| 4 | 在測試人員風險管理 （IRM） 中，套用 Risky AI 範本，以識別 AI 應用程式中的風險行為。 | Generative AI 網站。 Microsoft 365 Copilot、Microsoft Copilot、Copilot Studio、Azure AI 服務。 可於其他雲端供應商的 AI 應用程式中使用 Purview SDK。 |
| 5 | 設定內部風險管理的自適應保護，以根據用戶風險水平提高數據保護。 | Microsoft 365 環境中的網站、檔案及裝置。 |
表 2 — 威脅防護功能
| 步驟 | 任務 | Scope |
|---|---|---|
| 1 | 使用適用於 Cloud Apps 的 Defender 來提醒您使用新的 AI 應用程式、計算 AI 應用程式的風險分數，以及允許或封鎖您環境中的這些應用程式。 適用於 Cloud Apps 的 Defender 為 Microsoft 365 Copilot 提供額外的保護。 | SaaS AI 應用程式 |
| 2 | 適用於雲端的 Defender 探索環境中已部署的 AI 工作負載，並使用 Microsoft 適用於雲端的 Defender 取得安全性見解 |
客製化建置的 Azure AI 驅動的 AI 應用程式 |
保護 AI 數據
這些功能可協助您有效率地瞭解並降低與數據過度共用、敏感數據使用和使用者有風險行為相關聯的最高風險。 這些功能的範圍是環境中 AI 應用程式和數據的保護。
步驟 1 — 套用 SharePoint 過度共享控件
SharePoint 過度共用控件包括內建於 SharePoint 的控件，例如範圍許可權，以及 SharePoint 進階管理中的附加元件功能，以支援Microsoft Copilot 部署旅程的內容控管。 SharePoint 過度分享功能可協助您：
- 暫時將 Copilot 搜尋限制為您指定的網站清單（限制 SharePoint 搜尋）。
- 快速識別可能包含過度共享數據或敏感數據的網站（數據存取治理報告）。
- 標記網站，以防止用戶透過 Copilot 或全組織搜尋找到它們（限制內容探索功能，位於 SharePoint 進階管理中）。
- 建立非使用中的網站原則，以自動管理及減少非使用中的網站 （SharePoint 進階管理）。
- 將 SharePoint 和 OneDrive 網站的存取限制為特定群組中的使用者（SharePoint 進階管理中的限制存取控制原則）。
若要開始使用共用控制，請使用下列資源。
| 任務 | 建議的資源 |
|---|---|
| 查看您可以搭配 Microsoft 365 Copilot 使用的分享控制項插圖和描述。 | Microsoft 365 Copilot 數據保護和稽核架構 |
| 可下載的藍圖以防止過度共用 | 用於過度共用的 Microsoft 365 Copilot 藍圖 |
| 瞭解 SharePoint 進階管理 | Microsoft SharePoint Premium - SharePoint 進階管理 概觀 |
步驟 2--透過適用於 AI 的 DSPM 保護數據
使用適用於 AI 的 DSPM 來了解過度共用發生的位置，並找出您的敏感度標籤和 DLP 政策覆蓋範圍的不足之處。
開始的一個很好的方法是查看「這周評估報告」。
您可以鑽研個別報表，以深入瞭解在過度共用控件、標籤和 DLP 原則中存在差距的位置，以便快速補救這些問題。
針對每個報告，適用於 AI 的 DSPM 會提供改善數據安全性的建議。 使用瀏覽窗格中的 [ 檢視所有建議 ] 連結或 [ 建議 ]，以查看租使用者的所有可用建議及其狀態。
使用下列資源透過適用於 AI 的 DSPM 來保護 AI 應用程式和數據。
| 任務 | 建議的資源 |
|---|---|
| 瞭解 AI 的 DSPM | 如何使用適用於 AI 的 DSPM |
| 瞭解必要條件，以及單鍵原則和默認原則的運作方式 | 適用於 AI 的 DSPM 考慮 |
| 針對其他雲端提供者中的 AI 應用程式，使用 Purview SDK 瞭解如何測試與 AI 專屬的 DSPM 整合。 | 如何測試與 Purview SDK 整合的 AI 應用程式 |
步驟 3 — 持續識別敏感度標籤和 DLP 政策中的差距
在 準備 AI 安全性中，您已使用 Microsoft Purview 資料安全性狀態管理工具、適用於 AI 的 DSPM 和 DSPM，來優先保護敏感數據。 繼續重新瀏覽這些工具，找出原則涵蓋範圍中的差距，並探索您需要繼續投資套用敏感度標籤和 DLP 原則的位置。 此外，使用適用於 Cloud Apps 的 Defender，將敏感度標籤和 DLP 原則延伸至 SaaS 應用程式。
使用下列資源來在 Microsoft Purview 上取得進展。
| 任務 | 建議的資源 |
|---|---|
| 瞭解資訊保護的建議部署策略 | 使用 Microsoft Purview 部署資訊保護解決方案 |
| 使用適用於 Cloud Apps 的 Defender 將敏感度標籤和 DLP 原則延伸至 SaaS 應用程式 | 為 SaaS 應用程式部署信息保護 |
| 定義您的敏感度標籤和原則，以保護您的組織數據 |
開始使用敏感度標籤 建立和配置敏感度標籤及其策略 使用敏感度標籤來套用加密以限制存取內容 |
| 為Microsoft 365 個應用程式和服務標記和保護數據 |
在 Office 應用程式中管理敏感度標籤 對 SharePoint 和 OneDrive 中的檔案啟用敏感度標籤 |
| 調整 DLP 政策 | 建立和部署數據外洩防護原則 |
| 對於在 Azure 或其他雲端服務商開發的 AI 應用程式，請學習如何使用 Purview SDK 套用敏感標籤與 DLP 政策 |
什麼是 Purview SDK 使用 Microsoft Graph Purview API 如何測試與 Purview SDK 整合的 AI 應用程式 |
步驟 4 — 在內部風險管理中套用風險 AI 範本（IRM）
Microsoft Purview 測試人員風險管理 （IRM） 包含預先定義的原則範本，您可以套用至您的環境，包括具風險的 AI 使用量。 IRM 範本是預先定義的原則條件，可定義原則所使用的風險指標和風險評分模型類型。
具風險的 AI 使用原則可協助偵測和啟用組織中 AI 工具提示和回應的風險評分。 IRM 可協助您調查並針對與 AI 相關的風險活動採取動作。
使用下列資源來開始使用測試人員風險管理，並套用具風險的 AI 使用原則範本。
| 任務 | 建議的資源 |
|---|---|
| 開始使用內部風險管理，並瞭解使組織受益的主要情境 | 了解內部人員風險管理 |
| 套用具風險的 AI 範本 | 了解內部風險管理原則範本 |Microsoft Learn |
| 瞭解 AI 的重要案例，並檢視範例報告 | 內部風險管理賦予針對具風險的 AI 使用的可見度及安全調查能力 |
| 針對使用 Purview SDK 開發的 AI 應用程式，測試內部風險管理整合 | 如何測試與 Purview SDK 整合的 AI 應用程式 |
步驟 5 — 設定內部風險管理的自適性保護
Microsoft Purview 測試人員風險管理中的調適型保護會動態指派風險層級給使用者，然後套用您建立的原則給有中度或更高風險的使用者。 原則可以實作增加的數據外泄防護動作、保留已刪除的內容，或強制執行更高的條件式存取需求。
使用下列資源開始使用調適型保護。
| 任務 | 建議的資源 |
|---|---|
| 開始使用內部風險管理，並瞭解使組織受益的主要情境 | 了解內部人員風險管理 |
| 瞭解 AI 的重要案例，並檢視範例報告 | 內部風險管理賦予針對具風險的 AI 使用的可見度及安全調查能力 |
| 套用具風險的 AI 範本 | 了解內部風險管理政策範本 |
| 調查與應對內部風險活動 |
調查內部風險管理活動 對內部風險管理案例採取動作 |
充分利用 AI 的威脅防護
適用於 Cloud Apps 的 Defender 和適用於雲端的 Defender 包含功能，讓您隨時掌握新的 AI 應用程式使用方式，並套用適當的控件。
步驟 1 - 使用適用於 Cloud Apps 的 Defender 來分級和保護 AI 應用程式的使用
本系列中的上一篇文章探索 AI Apps 和數據，著重於使用適用於 Cloud Apps 的 Defender 來探索您環境中的 AI 應用程式。 本文鼓勵組織使用Defender for Cloud Apps，以評估新AI應用程式對環境構成的風險，制裁或封鎖這些應用程式，並對應用程式套用會話控制措施，以掌握新AI應用程式的使用情況。
首先，建立原則，以在組織中使用新的 Generative AI 應用程式時自動觸發警示。
![顯示 Microsoft Defender 中 [建立應用程式探索原則] 頁面的螢幕快照。](media/create-app-discovery-policy.png#lightbox)
接下來，評估新探索到應用程式的風險分數。 您也可以自定義風險分數。 例如，高度管制的組織可能會想要變更風險分數特定屬性的權數。 您也可以更改風險分數。
決定是否要批准或封鎖每個應用程式。 組織可能會因各種原因選擇封鎖應用程式使用量。 有些擔心敏感數據會不知情地與應用程式共用，並在稍後向組織外部的對象公開。 這可能會導致組織封鎖所有非受控 AI 應用程式的使用方式。 雖然其他組織需要確保使用中的所有應用程式都符合不同的標準，例如SOC2或HIPAA。
最後，針對您批准的應用程式，決定是否要套用會話原則，以取得更大的控制和可見度。 會話原則可讓您將參數套用至組織使用雲端應用程式的方式。 例如，您可以設定會話原則，只允許受管理的裝置存取 AI 應用程式。 較簡單的範例是設定原則來監視來自非受控裝置的流量，讓您可以先分析此流量的風險，再套用更嚴格的原則。
在此圖例中：
- 從組織中的使用者和裝置存取被批准的雲端應用程式時，會透過 Defender for Cloud Apps 路由傳送，在此可將會話原則套用至特定應用程式。
- 您尚未獲批准或明確未經批准的雲端應用程式不會受到影響。
適用於 Cloud Apps 的 Defender 還提供適用於 Microsoft 365 Copilot 的專用偵測。 安全性小組可以偵測使用者與 Copilot 的可疑互動，並回應並降低威脅。 例如，當使用者透過 Copilot 從具風險的 IP 位址存取敏感數據時，Defender for Cloud Apps 會觸發警示，將此可疑活動標記，並提供重要的詳細資訊，包括 MITRE 攻擊技術、IP 位址，以及安全性小組可用來進一步調查此警示的其他欄位。
使用下列資源作為後續步驟。
| 任務 | 建議的資源 |
|---|---|
| 檢閱此適用於 Cloud Apps 的 Defender 部署流程中的步驟 5-8 | 探索和管理雲端應用程式 |
| 檢視這部影片教學以管理應用程式 | 透過適用於 Cloud Apps 的 Defender，探索在您的環境中使用的生成式 AI 應用程式 - YouTube |
| 建立應用程式探索原則 | 建立雲端探索原則 |
| 評估新探索到應用程式的風險分數 | 雲端應用程式類別目錄和風險分數 |
| 制裁或封鎖新的應用程式 | 治理探索到的應用程式 |
| 將會話政策套用至 AI 應用程式，以取得更大的控制和可見度 | 建立會話原則 |
| 瞭解如何使用 Microsoft 365 Copilot 的威脅防護 | 針對 Microsoft 365 中 Microsoft Copilot 的新威脅偵測 |
步驟 2 — 在適用於雲端的 Defender 中套用 AI 保護
本系列的上一篇文章探索 AI 應用程式和數據，著重於發掘在您的環境中執行的生成式 AI 工作負載和模型。 本文著重於在應用程式生命週期的各個階段保護 GenAI 應用程式，並且在您持續建置和使用自訂 AI 應用程式時提供保障。
組織選擇開發新的 GenAI 應用程式，並將 AI 內嵌至現有的應用程式，以提高商務效率與生產力。 攻擊者越來越希望利用應用程式來改變 AI 模型的設計目的，包括提示插入、錢包攻擊、模型竊取和數據中毒等新攻擊，同時增加已知風險的易感，例如數據外洩和阻斷服務。 安全性小組必須做好準備，並確保其 AI 應用程式和偵測具有適當的安全性控制措施，以因應新的威脅環境。
Microsoft適用於雲端的 Defender 可協助組織從程式代碼到雲端保護其混合式和多重雲端環境。 適用於雲端的 Defender 包含安全性狀態和威脅防護功能，可讓組織在整個應用程式生命週期內保護其企業建置的 GenAI 應用程式：
- 持續探索從程式代碼到雲端的 GenAI 應用程式元件和 AI 成品。
- 使用內建建議探索並補救 GenAI 應用程式的風險，以加強安全性狀態。
- 使用攻擊路徑分析識別並補救 GenAI 應用程式中的有毒組合。
- 偵測由 Azure AI 內容安全提示防護罩、 Microsoft 威脅情報訊號和上下文活動監視所支援的 GenAI 應用程式。
- 對 GenAI 應用程式中的攻擊進行搜索與調查，並利用內建的 Microsoft Defender 整合功能。
從 Defender 雲端安全性狀態管理 （CSPM） 中的 AI 安全性狀態管理功能開始。 Defender CSPM 會自動且持續探索已部署的 AI 工作負載，並透過無代理程式方式和細微可見度，瞭解 AI 模型、SDK，以及跨 AI 服務使用的技術，例如 Azure OpenAI 服務、Azure Machine Learning 和 Amazon Bedrock。
CSPM 會持續呈現具有情境的安全性問題，並建議以風險為基礎的安全性建議，以優先處理 AI 工作負載中的重大安全漏洞。 相關的安全性建議也會出現在 Azure 入口網站中的 Azure OpenAI 資源本身，為開發人員或工作負載擁有者提供建議的直接存取權，並協助更快補救。
攻擊路徑分析功能可以識別對 AI 工作負載的高級風險，這些風險包括數據安全性情境，例如當基礎或微調數據因橫向移動暴露於互聯網而容易受到數據中毒攻擊。
接下來，確保 AI 工作負載在執行期間受到威脅防護，以維持安全。 適用於雲端的Defender包含 AI 工作負載的威脅防護。 AI 的威脅防護會使用原生整合 Azure OpenAI 服務、Azure AI 內容安全性提示防護，以及Microsoft威脅情報來提供內容相關且可採取動作的安全性警示。 AI 工作負載的威脅防護可讓安全性小組在運行時間監視其 Azure OpenAI 支援的應用程式，以取得與直接和間接提示插入攻擊、敏感資料外泄和資料中毒相關的惡意活動，以及錢包濫用或阻斷服務攻擊。
使用下列資源進行後續步驟。
| 任務 | 建議的資源 |
|---|---|
| 檢閱此部落格所述的熱門案例 | 使用適用於雲端的 Microsoft Defender 保護 Generative AI 應用程式 |
| 使用 CSPM 取得環境中 AI 風險的可見度 |
使用 Defender CSPM 保護您的資源 檢視資料與 AI 安全性儀錶板（預覽） |
| 為 AI 工作負載啟用威脅防護 (預覽) | 開啟 AI 工作負載的威脅防護 （預覽） AI 工作負載的警示 （預覽） |
保護 AI 的下一個步驟
保護組織中的 AI 應用程式和數據之後，下一個步驟是治理 AI 應用程式以符合法規合規性需求：
- 針對法規評估並強化合規態勢。
- 實作控件以控管 AI 應用程式和數據的使用方式。
請參閱本系列中的下一篇文章： 如何控管 AI 以符合規範？