您的 AI 安全性狀態是整體安全性策略的重要組成部分。 AI 優先處理網路安全策略的特定元素，例如數據保護。 本文可協助您開發保護 AI 的策略和優先順序。 此集合中的後續文章可協助您識別網路安全的特定元素，以在您採用 AI 隨附、工具和新應用程式時優先處理。
您的 安全性狀態 定義為組織的整體網路安全防禦功能，以及準備和作狀態層級，以處理持續的網路安全性威脅。 此狀態應可量化且可測量，類似於與貴組織作業狀態或福祉相關的任何其他主要計量。
為 AI 建置強大的安全姿態需要與您的組織內部人員合作，特別是跨組織的領導者，共同開發策略以及一套優先事項和目標。 然後，您可以識別達成目標所需的技術工作，並帶領各種小組完成這些工作。 此資料庫中的文章提供了一種方法，並附有 AI 專屬的指導方針。
- 使用基礎安全性保護來準備您的環境。 您可能已經建立了許多您自己的防護措施。
- 探索 組織中所使用的 AI 應用程式，包括應用程式所使用的數據類型。
- 保護 組織中 AI 工具的使用方式。 這牽涉到 AI 特定的數據保護功能，並確保貴組織已實作強大的威脅防護。
- 管理 AI 以確保合規。
請將此程式庫與在 Microsoft Learn 上的框架搭配使用。
在圖片中：
- 使用此連結庫 （適用於 AI 的安全性連結庫） 瞭解如何實作功能來保護環境中的 AI 應用程式和數據。 這些保護可協助您建置零信任基礎。
- 使用 零信任採用架構 繼續朝著端對端安全性邁進。 每個零信任商務案例也會增加 AI 應用程式和資料的安全性。
- 使用 適用於 AI 的雲端採用架構 來開發採用 AI 的端對端藍圖，包括產生式和非產生式 AI。 此連結庫包含選擇 AI 技術的策略、保護及控管 AI 的程式，以及 AI 設計和實作的資源。
瞭解企業領導者的動機
強大的 AI 安全性狀態可讓創新 — 可讓組織有信心和靈活度建置及部署 AI。 目標是讓組織能夠自信地建置、部署和調整 AI 系統，同時防範可能會破壞信任、合規性或作業穩定性的風險。 藉由將安全性內嵌至 AI 計劃的基礎，組織可以負責任地釋放 AI 的完整潛力，確保它仍然是策略性資產，而不是意外傷害的來源。
藉由與業務領導者保持一致，開始開發您的策略和優先順序。 何者會激勵您的領導者，以及他們為何關心 AI 的安全性狀態？ 下表提供範例觀點，但請務必與每一位領導者和小組會面，並共同瞭解彼此的動機。
| 角色 | 為什麼為 AI 建置強大的安全性狀態很重要 |
|---|---|
| 首席執行官 | AI 系統越來越多地塑造策略決策和客戶互動。 入侵或操縱 AI 可能會導致糟糕的決策、法規審查、信譽受損，以及失去信任。 強大的 AI 安全性對於組織而言非常重要，以保護公司的聲譽、確保法律合規性，並確保成功的 AI 轉型。 |
| 首席行銷官（CMO） | AI 工具推動客戶深入解析、定位及個人化。 如果遭入侵，這些工具可能會導致數據外洩、偏差輸出或品牌損毀，因為內容或目標不當。 保護 AI 可確保信任客戶參與、保留品牌完整性、防止 PR 災害，以及示範公司保護客戶隱私權的承諾。 |
| 資訊長（CIO） | 安全 AI 環境對於確保系統可靠性、防止未經授權的存取及維護作業復原至關重要。 這可讓 CIO 自信地整合 AI 技術，以增強業務，而不會讓企業面臨不當的風險。 |
| 資訊安全長（CISO） | AI 引進新的攻擊面和新風險，同時放大現有的風險。 新的受攻擊面包括提示、回應、模型、RAG 數據、模型內容通訊協定 （MCP）、定型數據和數據中毒、越獄攻擊、數據安全性等等。 CISO 必須領導威脅模型化和保護 AI 管線的工作，以維護企業安全性狀態。 健全的 AI 安全性是整體網路防禦策略的延伸，可保護組織的資產、遵守安全性架構，以及維護智慧型手機系統時代的客戶和項目關係人信任。 |
| 首席技術官（CTO） | 強大的 AI 安全性狀態對於 CTO 而言非常重要，以保護組織的技術資產，並確保 AI 系統如預期般可靠地執行。 藉由將安全性內嵌至 AI 開發生命週期，CTO 可協助防止敏感性演算法缺口，並維護 AI 驅動產品的高品質和信任。 這可讓創新在沒有不當風險的情況下繼續進行。 |
| 首席運營官（COO） | AI 會將供應鏈、物流和作業中的重要程序自動化。 AI 系統的攻擊可能會中斷服務、增加作業風險，並造成成本高昂的延遲。 強大的 AI 安全性狀態可確保商務持續性和效率。 |
| 首席財務官（CFO） | CLO 會將健全的 AI 安全性狀態視為保護組織的必要條件。 它有助於避免意外的財務損失，並確保遵守法律和報告義務。 |
解決 AI 不斷演進的威脅環境
GenAI 引進了新的受攻擊面，有效地改變了風險格局。 除了管理傳統威脅媒介之外，安全性和風險領導者也需要解決數據外泄和數據過度共用等放大的風險，以及提示插入、不正確的資訊、模型弱點和不正確的資訊等新風險。 解決不斷演進的威脅環境對於啟用值得信任的 AI 至關重要。
在圖例中：
- GenAI 攻擊面引進了新的和放大的風險。
- 保持不變的威脅向量包括您的應用程式、身分識別、端點、網路、數據和雲端資源。
- GenAI 引進新的受攻擊面，包括提示、回應、AI 協調流程、定型數據、RAG 數據（Retrieval-Augmented 產生數據，表示數據或其他外部數據與語言模型互動所產生的數據）、AI 模型和 AI 外掛程式。
- GenAI 引進新的放大風險，包括數據外泄、越獄（危害其他安全裝置）、間接提示插入和模型弱點。
目前，AI 中最常見的安全性事件包括：
- 數據外洩和過度共用 — 使用者可能會將敏感數據洩漏到影子 AI 應用程式（IT 小組未核准的應用程式）。 使用者也可以使用 AI 應用程式來存取敏感數據。
- 弱點和新興威脅 — 不良執行者可能會利用 AI 應用程式中的弱點來存取寶貴的資源。
- 不符合規範— 法規，包括新興 AI 法規，可能會增加不確定性。 不符合規範的 AI 採用可能會增加責任。
下列兩個範例案例強調需要為 AI 建置強式安全性狀態。
數據過度共用和外洩如何發生？
在此範例中，Contoso 員工 Adele 會尋找並使用敏感數據與數個 AI 應用程式。
| 步驟 | 說明 | 未緩解的風險 |
|---|---|---|
| 1 | 阿黛尔偶然聽到一個小組成員提到黑曜石專案。 她使用Microsoft 365 Copilot 來尋找其詳細資訊。 Copilot 為她提供文件摘要和連結。 | Copilot 可以處理敏感數據，而不受限制。 敏感數據會過度公開給員工，包括不應該存取的人員。 |
| 2 | 阿黛爾繼續使用科皮洛特尋找並收集項目奧布西迪安專案的詳細資訊。 | AI 應用程式中沒有可偵測異常的控制項。 |
| 3 | 由於好奇，Adele 想要查看 ChatGPT 會摘要的內容，因此她會將檔案的內容貼到 ChatGTP 中。 | 沒有數據外洩防護（DLP）可避免數據外洩給取用者 AI 應用程式。 |
| 4 | 項目詳細數據過早顯示，導致數據外洩。 因此，Contoso 會禁止工作場所中的所有 AI 應用程式。 | 完全禁止消費者 AI 可能會導致非法使用增加。 |
Contoso 可以藉由執行準備、探索和保護 AI 應用程式使用量的工作來減輕這些風險。
| 階段 | 說明 |
|---|---|
| 準備 | 使用 Entra 和 SharePoint 進階管理 來適當調整員工對資源的存取權。 使用 Purview 資訊保護 來分類和標記敏感數據。 |
| 探索 | 使用 Purview DSPM for AI 來探索數據風險。 使用 過度共享評估報告 來評估過度共享風險。 |
| 保護 | 針對 Microsoft 365 Copilot 強制執行 Purview DLP ，以防止 Copilot 摘要敏感數據。 使用 Purview 測試人員風險管理 來偵測和調查異常活動。 使用 自適性保護 來動態限制高風險使用者的存取。 使用 適用於雲端應用程式的Defender 來封鎖高風險應用程式。 使用 Entra 條件式存取 要求 Adele 在授與 ChatGPT 存取權之前接受使用規定。 使用 Purview 端點 DLP 來封鎖將敏感數據貼上至消費者 AI 應用程式。 |
AI 如何帶來合規性風險？
在下一個範例中，Jane 被指定為 Contoso 的 AI 治理負責人。
| 步驟 | 說明 | 未緩解的風險 |
|---|---|---|
| 1 | Jane 難以將法規需求解譯為可採取動作的控件，IT 小組才能實作。 | 缺乏精通法規要求和技術的專家。 |
| 2 | Jane 開始準備風險評估，但不知道在 Contoso 中建置和使用 AI 系統。 她也無法瞭解使用方式和潛在的合規性風險。 | 無法查看環境中部署的 AI 系統。 沒有 AI 使用方式的控管。 |
| 3 | 在經過數次內部訪談之後，Jane 意識到開發人員會同時建置大約 14 個 AI 應用程式，這些應用程式會實作各種安全性、安全性和隱私權控制標準。 | 開發人員無法查看 AI 系統內建的控制件。 |
| 4 | 某些 AI 應用程式會使用沒有標準護欄的個人資料來評估風險。 | 沒有風險評估到位。 |
| 5 | 客戶抱怨 Contoso AI 會建立有害且沒有根據的內容。 | 缺少 AI 輸出的控制件。 |
AI 法規給負責 AI 治理的領導者帶來不確定性和壓倒性責任風險。 若沒有任何變更，Contoso 可能會違反 AI 法規需求，並可能面臨懲罰和信譽損害。
Contoso 可以藉由執行準備、探索和保護 AI 應用程式使用量的工作來減輕這些風險。
| 階段 | 說明 |
|---|---|
| 準備 | 使用 Purview 合規性管理員 來取得實作可協助符合合規性需求的控件的指引。 |
| 探索 | 使用 適用於雲端的Defender 來探索在雲端環境中部署的 AI 資源。 使用 適用於雲端應用程式的Defender 來探索正在使用中的SAI應用程式。 |
| 治理 | 使用 Microsoft Purview 稽核、數據生命週期管理、通訊合規性 和 電子檔探索來管理 AI 使用方式。 使用 Azure AI Foundry 中的 AI 報告 ，讓開發人員記錄 AI 專案詳細數據。 使用 Priva 隱私權評定 來主動評估每個 AI 專案的隱私權風險。 使用 Azure AI 內容安全性 來降低有害或非前景內容的風險。 |
透過主動使用治理功能，組織可以在採用 AI 時評估及解決風險。
實作 AI 有效安全性的五個步驟
隨著對 GenAI 快速實作相關風險的認識增加，許多組織都會主動回應大量資源，以加強其安全措施。 安全性和風險領導者可以採取數個可採取動作的步驟，以建立安全且安全的 AI 創新路徑。
這些建議的做法著重於促進共同作業環境，並實作有效的安全措施，以支援 GenAI 的進步，同時保護組織利益。
步驟 1 - 建置適用於 AI 的安全性小組
大部分公司都認識到需要組建專用的跨功能小組，以管理 AI 所構成的獨特安全性挑戰。 專用的安全性小組可確保 AI 系統經過嚴格測試、迅速識別弱點並降低風險，且安全性通訊協議會持續更新，以跟上不斷演變的威脅步伐。
80%的調查受訪者目前已有（45人%）專門的小組，或計劃建立（35人%）一個專門小組，以處理 AI 的安全性問題。 超過 10 分之 6 的人表示，他們的小組會向安全性決策者報告，確保不僅能保持警惕的監督，而且確保解決 AI 相關風險的戰略願景和領導能力。
值得注意的是，這些專用安全性小組的小組大小中位數或預定團隊大小為24名員工，這強調公司致力於保護其 AI 計劃的大量資源。 當公司的大小納入考慮時，團隊大小會有所不同。
以下是組織可用來成功建置適用於 AI 的有效跨功能安全性小組的一些最佳做法。
組建 AI 委員會，以跨部門促進共同作業
AI 安全性是超越 IT 部門的集體努力。 鼓勵安全性、IT、法律、合規性和風險管理等小組共同作業，以建立完整的安全性策略。 擁有不同的觀點和專業知識，將提升安全性通訊協定的有效性。
僱用多樣化的能力
組建成功的 AI 安全性小組需要技能的平衡。 尋找具備數據科學、網路安全性、軟體工程和機器學習專業知識的小組成員。 這種多樣性可確保涵蓋安全性的各個層面，從技術開發到威脅預防。
建立明確的角色和責任
為了獲得有效的生產力，請清楚定義每個小組成員的角色。 確保每個人都瞭解其特定責任，這可促進責任，並避免在工作上重疊。
投資持續訓練和發展
AI 技術的快速演進要求安全性小組持續進行教育。 提供訓練計劃和研討會的存取權，這些研討會著重於 AI 安全性的相關實務、新興威脅和道德考慮。 這項投資不僅可讓小組成員更進一步，還能確保組織在潛在弱點之前保持領先。
步驟 2 — 將資源優化以保護 GenAI
組織內 AI 應用程式的引進不僅會徹底改變作業，而且需要資源與預算配置的重大變更，特別是在 IT 安全性中。
絕大多數的安全性和風險領導者（78%）認為其IT安全性預算將會增加，以因應 AI 帶來的獨特挑戰和機遇。 這種調整對於幾個原因至關重要。 AI 系統需要強大的安全性基礎結構，才能安全地運作。 這可能涉及升級現有的安全性系統、實作更嚴格的訪問控制，以及增強數據安全性和治理。 可能需要其他資源才能符合新興的 AI 法規需求。
本文稍早，Microsoft建議您執行工作，以瞭解整個組織的業務領導者和不同業務單位的動機。 找出最關心的問題和共同的商業目標，是談判資源以達成目標的重要步驟。
配置合規性評定、法律諮詢和稽核的資金，對於讓組織的 AI 策略與產業架構保持一致，並啟用更安全、安全且符合規範的 AI 使用和系統至關重要。 優先分配資金用於持續進行員工訓練和技能開發，其中包括 AI 安全工具的專業訓練、風險管理策略和 AI 使用中的道德考慮，在預算和資源分配時也應予以重視。
步驟 3 — 採用零信任方法
在準備採用 AI 時， 零信任 策略可為安全性和風險領導者提供一組原則，以協助解決其中一些最關心的問題，包括數據過度分享或過度公開和影子 IT。 零信任方法會從以網路為中心的焦點轉向資產和以數據為中心的焦點，並將每個存取要求視為潛在威脅，而不論其來源為何。
零信任會持續驗證每個使用者和裝置的身分識別，確保只有具有清楚許可權的人員可以觸達敏感性資訊。 藉由根據即時評估動態調整安全性措施，零信任可將數據外泄的風險降到最低，並保護組織免於內部和外部威脅。 持續驗證、最低許可權存取和動態風險管理是此方法的基石，提供健全且可調整的安全性架構，以支援組織端對端安全性的成功。
藉由採用零信任，組織可以保護其 AI 部署，並知道其安全性會持續驗證及保護。 零信任可讓組織自信地接受 AI，確保 AI 的強大功能能安全地有效地運用。
Microsoft提供之 AI 的所有安全性指導方針都錨定在零信任原則。 依照針對 GenAI 建議的安全性指導方針，您正在建置強大的零信任基礎。
步驟 4——投資於您信任的合作夥伴之間的共享責任
通常用來協助通知策略和優先順序的資源是共同的責任模型。 您在組織中保護 AI 使用的責任是以所使用的應用程式類型為基礎。 您投資的合作夥伴與您共同承擔責任。
共同責任模型可協助安全性小組引導其組織選擇：
- 減少組織負擔的 GenAI 應用程式。
- 贏得信任的合作夥伴。
此圖表摘要說明您和Microsoft的責任平衡。 許多組織會使用共用責任模型，優先使用 SaaS 應用程式與信任的提供者合作，並減少自定義建置的應用程式數目。
如需詳細資訊，請參閱 AI 共同責任模型 - Microsoft Azure。
除了投資已贏得信任的合作夥伴之外，許多安全性專業人員建議合併安全性工具和廠商。 Microsoft為 AI 提供全方位的安全性解決方案，可搭配一起運作的工具，大幅減少安全性小組的整合工作量。
步驟 5 - 採用適用於 AI 的完整安全性解決方案
AI 引進傳統安全性措施可能無法完全解決的特定風險。 AI 的安全性是設計來減輕這些風險。
大部分的公司都計劃採購專門的工具和平臺，以保護 AI 應用程式的使用和開發。 當被問及他們如何規劃保護組織中 AI 應用程式的使用與開發時，大多數調查受訪者（72%）表示，他們計劃購買新的專用安全性解決方案來保護 AI 的使用和開發，而 64% 表示他們計劃使用現有的安全性解決方案來保護 AI。
IT 和安全性領導者認為，AI 保護與治理新解決方案的主要預算參與者將是 IT 部門 （63%） 和資訊安全 /網路安全部門 （57%）。 這些發現顯示，除了繼續使用現有的安全性解決方案之外，組織還會看到需要尋找新的解決方案，以協助解決 AI 的放大和新興風險。
除了Microsoft端對端安全性平臺之外，Microsoft提供完整的安全性工具來保護 AI，從探索 AI 工具和數據到專為減輕 AI 威脅而設計的保護。 這些工具包括複雜的儀錶板和合規性資源，可協助您掌握風險和法規義務。
以下圖片是 Microsoft 提供用於保護 AI 的採用的所有功能的摘要檢視。 下表也會列出這些功能。
| 客戶最關心的問題 | 能力 |
|---|---|
| 防止數據外泄和過度共用 | - 存取和端點控件 - Microsoft Entra 和 Intune - 適用於 AI 的數據安全性狀態管理 - Microsoft Purview - 數據分類、標籤和保護 - Microsoft Purview - 數據外泄防護 - Microsoft Purview - 異常和有風險的活動偵測和回應 - Microsoft Purview - SaaS 應用程式安全性 - Microsoft Defender |
| 保護 AI 防範弱點和新興威脅 | - 數據安全性和控管 - Microsoft Purview - 質量、安全性和安全性控制評估 - Azure AI Foundry - AI 資產的安全性狀態管理 （應用程式、模型、協調器、SDK） — Microsoft Defender - 模型治理原則 - Azure 入口網站 - 內容安全提示防護 - Azure AI - AI 工作負載的威脅防護 - Microsoft Defender |
| 控管 AI 以符合法規需求 | - 根據 AI 法規和標準進行合規性評定 - Microsoft Purview - AI 探索和目錄 - Microsoft Defender - 提示與回應稽核、生命週期管理、電子文件探索、通訊合規性 — Microsoft Purview - 開發人員記錄專案詳細數據和控件的 AI 報告 - Azure AI Foundry - 隱私權影響評估 — Microsoft Priva - 降低有害內容、不正確的資訊和受保護的數據 — Azure AI 內容安全性 |
保護 AI 的後續步驟
此程式庫會引導您通過分階段的方法來實施 AI 的安全性。
請遵循這一系列文章中的指引，深入了解保護 AI，並識別並實作功能，以達成貴組織的目標。
若要深入瞭解優化整體安全性狀態和零信任，請參閱 快速將安全性狀態現代化。
若要開始使用建議的 AI 同伴安全保護措施，請參閱 使用零信任安全性來準備 AI 同伴，包括 Microsoft Copilots。