조직의 AI 앱 및 데이터 사용 보호

이 문서에서는 AI 앱 및 이러한 앱과 상호 작용하는 데이터를 보호하는 데 관련된 기능을 사용하는 방법을 설명합니다.

• 사용자 프롬프트 및 AI 생성 데이터에서 중요한 데이터 보호
• 프롬프트 주입과 같은 새로운 위협으로부터 방어

이 문서는 시리즈의 세 번째 문서입니다. AI 보안 준비 및 AI앱 및 데이터 검색에서 아직 작업을 수행하지 않은 경우 다음 문서로 시작하여 이 문서에 규정된 기능을 사용하여 환경을 준비합니다.

이 문서를 이 리소스와 함께 사용합니다.

• AI를 위한 CAF(클라우드 채택 프레임워크) - AI를 보호하는 프로세스

Microsoft는 AI 앱 및 데이터를 보호하기 위한 광범위한 기능을 제공합니다. 이 문서에서는 데이터 보호 및 위협 방지의 두 가지 범주에 대해 설명합니다.

다음 두 표에서는 그림을 설명하고 이러한 기능을 구현하는 단계를 안내합니다.

표 1 - 데이터 보호 기능

표 2 - 위협 방지 기능

AI 데이터 보호

이러한 기능을 사용하면 데이터 과잉 공유, 중요한 데이터 사용 및 사용자의 위험한 동작과 관련된 주요 위험에 대해 효율적으로 알아보고 완화할 수 있습니다. 이러한 기능은 사용자 환경의 AI 앱 및 데이터에 대한 보호로 범위가 지정됩니다.

1단계 - SharePoint 초과 공유 컨트롤 적용

SharePoint 과잉 공유 컨트롤에는 범위가 지정된 권한과 같이 SharePoint에 기본 제공되는 컨트롤과 Microsoft Copilot 배포 경험에 대한 콘텐츠 거버넌스를 강화하기 위한 SharePoint 고급 관리의 추가 기능 등이 포함됩니다. SharePoint 오버쉐어링 컨트롤을 사용하면 다음을 수행할 수 있습니다.

• 코필로트 검색을 지정한 사이트 목록(제한된 SharePoint 검색)으로 일시적으로 제한합니다.
• 과도하게 공유된 데이터 또는 중요한 콘텐츠(데이터 액세스 거버넌스 보고서)를 포함할 수 있는 사이트를 신속하게 식별합니다.
• 사용자가 Copilot 또는 조직 전체 검색(SharePoint 고급 관리의 제한된 콘텐츠 검색)을 통해 사이트를 찾을 수 없도록 사이트에 플래그를 지정합니다.
• 비활성 사이트 정책을 만들어 비활성 사이트를 자동으로 관리하고 줄입니다(SharePoint 고급 관리).
• 특정 그룹의 사용자로 SharePoint 및 OneDrive 사이트에 대한 액세스를 제한합니다(SharePoint 고급 관리의 제한된 액세스 제어 정책).

오버쉐어링 컨트롤을 시작하려면 다음 리소스를 사용합니다.

2단계-- AI용 DSPM을 통해 데이터 보호

AI용 DSPM을 사용하여 과잉 공유가 발생하는 위치를 알아보고 민감도 레이블 및 DLP 정책에 대한 정책 적용 범위에서 격차를 찾을 수 있습니다.

시작하기에 좋은 곳은 주간 평가 보고서입니다.

개별 보고서를 드릴다운하여 이러한 문제를 신속하게 해결할 수 있도록 컨트롤, 레이블 및 DLP 정책의 과잉 공유에 차이가 있는 위치에 대해 자세히 알아볼 수 있습니다.

각 보고서에 대해 AI용 DSPM은 데이터 보안을 개선하기 위한 권장 사항을 제공합니다. 모든 권장 사항 보기 링크 또는 탐색 창의 권장 사항을 사용하여 테넌트에 사용 가능한 모든 권장 사항과 해당 상태를 확인합니다.

다음 리소스를 사용하여 AI용 DSPM을 사용하여 AI 앱 및 데이터를 보호합니다.

3단계 - 민감도 레이블 및 DLP 정책의 간격을 계속 식별합니다.

AI 보안 준비에서 Microsoft Purview 데이터 보안 상태 관리 도구인 DSPM 및 AI용 DSPM을 사용하여 중요한 데이터에 대한 보호의 우선 순위를 지정했습니다. 이러한 도구를 계속 다시 검토하여 정책 적용 범위의 격차를 식별하고 민감도 레이블 및 DLP 정책 적용에 계속 투자해야 하는 위치를 파악합니다. 또한 Defender for Cloud Apps를 사용하여 민감도 레이블 및 DLP 정책을 SaaS 앱으로 확장합니다.

다음 리소스를 사용하여 Microsoft Purview를 진행합니다.

4단계 - IRM(Insider Risk Management)에서 위험한 AI 템플릿 적용

Microsoft Purview IRM(Insider Risk Management)에는 위험한 AI 사용을 포함하여 환경에 적용할 수 있는 미리 정의된 정책 템플릿이 포함되어 있습니다. IRM 템플릿은 정책에서 사용하는 위험 지표 및 위험 점수 매기기 모델의 유형을 정의하는 미리 정의된 정책 조건입니다.

위험한 AI 사용 정책은 조직의 AI 도구에서 프롬프트 및 응답에 대한 위험 점수를 검색하고 사용하도록 설정하는 데 도움이 될 수 있습니다. IRM을 사용하면 AI와 관련된 위험 활동을 조사하고 조치를 취할 수 있습니다.

다음 리소스를 사용하여 참가자 위험 관리를 시작하고 위험한 AI 사용 정책 템플릿을 적용합니다.

5단계 - 내부 위험 관리를 위한 적응형 보호 구성

Microsoft Purview Insider Risk Management의 적응형 보호는 사용자에게 위험 수준을 동적으로 할당한 다음 사용자가 만든 정책을 보통 또는 높은 위험의 사용자에게 적용합니다. 정책은 증가된 데이터 손실 방지 작업을 구현하거나, 삭제된 콘텐츠를 유지하거나, 더 높은 조건부 액세스 요구 사항을 적용할 수 있습니다.

적응형 보호를 시작하려면 다음 리소스를 사용합니다.

AI에 대한 위협 방지를 최대한 활용

Defender for Cloud Apps 및 Defender for Cloud에는 새로운 AI 앱 사용에 대한 정보를 유지하고 적절한 컨트롤을 적용하는 기능이 포함되어 있습니다.

1단계 - Defender for Cloud Apps를 사용하여 AI 앱 사용 심사 및 보호

이 시리즈의 이전 문서인 AI Apps 및 데이터 검색에서는 Defender for Cloud Apps를 사용하여 사용자 환경에서 AI 앱을 검색하는 데 중점을 두었으며, 이 문서에서는 조직에서 Defender for Cloud Apps를 사용하여 사용자 환경에 발생하는 위험을 평가하고, 이러한 앱을 승인 또는 차단하고, 앱에 세션 제어를 적용하여 새로운 AI 앱 사용을 유지하도록 장려합니다.

먼저 조직에서 새 생성 AI 앱을 사용할 때 경고를 자동으로 트리거하는 정책을 만듭니다.

다음으로 새로 검색된 앱의 위험 점수를 평가합니다. 위험 점수를 사용자 지정할 수도 있습니다. 예를 들어 규제 수준이 높은 조직은 위험 점수의 특정 특성의 가중치를 변경할 수 있습니다. 위험 점수를 재정의할 수도 있습니다.

각 앱을 제재할지 아니면 차단할지 결정합니다. 조직은 다양한 이유로 앱 사용을 차단하도록 선택할 수 있습니다. 일부는 중요한 데이터가 무의식적으로 애플리케이션과 공유되고 나중에 조직 외부의 대상 그룹에 노출될 것을 우려합니다. 이로 인해 조직은 관리되지 않는 모든 AI 앱의 사용을 차단할 수 있습니다. 다른 조직에서는 사용 중인 모든 앱이 SOC2 또는 HIPAA와 같은 다양한 표준에 따라 준수되도록 해야 합니다.

마지막으로, 권한을 부여하는 앱의 경우 더 큰 제어 및 가시성을 위해 세션 정책을 적용할지 여부를 결정합니다. 세션 정책을 사용하면 organization 클라우드 앱을 사용하는 방법에 매개 변수를 적용할 수 있습니다. 예를 들어 관리되는 디바이스만 AI 앱에 액세스할 수 있도록 허용하는 세션 정책을 구성할 수 있습니다. 더 간단한 예제는 더 엄격한 정책을 적용하기 전에 이 트래픽의 위험을 분석할 수 있도록 관리되지 않는 디바이스의 트래픽을 모니터링하는 정책을 구성하는 것입니다.

이 그림의 내용:

• organization 사용자 및 디바이스에서 승인된 클라우드 앱에 대한 액세스는 세션 정책을 특정 앱에 적용할 수 있는 Defender for Cloud Apps 통해 라우팅됩니다.
• 승인되지 않았거나 명시적으로 허가되지 않은 클라우드 앱은 영향을 받지 않습니다.

Defender for Cloud Apps는 또한 Microsoft 365 Copilot에 대한 전용 탐지를 제공합니다. 보안 팀은 코필로트와 사용자의 의심스러운 상호 작용을 감지하고 위협에 대응하고 완화할 수 있습니다. 예를 들어 사용자가 위험한 IP 주소에서 Copilot를 통해 중요한 데이터에 액세스하는 경우 Cloud Apps용 Defender는 MITRE 공격 기술, IP 주소 및 보안 팀이 이 경고를 추가로 조사하는 데 사용할 수 있는 기타 필드를 비롯한 중요한 세부 정보로 이 의심스러운 활동에 플래그를 지정하는 경고를 트리거합니다.

다음 단계로 다음 리소스를 사용합니다.

2단계 - 클라우드용 Defender에서 AI 보호 적용

이 시리즈의 이전 문서인 AI Apps 및 데이터 검색은 사용자 환경에서 실행되는 생성 AI 워크로드 및 모델을 검색하는 데 중점을 두었으며, 이 문서에서는 사용자 지정 AI 앱을 빌드하고 사용할 때 애플리케이션 수명 주기 내내 GenAI 애플리케이션을 보호하는 데 중점을 둡니다.

조직은 비즈니스 효율성과 생산성을 높이기 위해 새로운 GenAI 애플리케이션을 개발하고 기존 애플리케이션에 AI를 포함하기로 결정했습니다. 공격자는 애플리케이션을 악용하여 프롬프트 주입, 지갑 공격, 모델 도난 및 데이터 중독과 같은 새로운 공격으로 AI 모델의 디자인된 목적을 변경하는 동시에 데이터 위반 및 서비스 거부와 같은 알려진 위험에 대한 취약성을 높이고자 합니다. 보안 팀은 새로운 위협 환경을 해결하는 AI 애플리케이션 및 검색에 대한 적절한 보안 제어를 준비하고 확인해야 합니다.

클라우드용 Microsoft Defender를 사용하면 조직에서 코드-클라우드에서 하이브리드 및 다중 클라우드 환경을 보호할 수 있습니다. 클라우드용 Defender에는 조직이 전체 애플리케이션 수명 주기 동안 엔터프라이즈에서 빌드한 GenAI 애플리케이션을 보호할 수 있도록 하는 보안 태세 및 위협 방지 기능이 포함되어 있습니다.

• GenAI 애플리케이션 구성 요소 및 AI 아티팩트를 코드에서 클라우드로 지속적으로 검색합니다.
• 보안 태세를 강화하기 위한 기본 제공 권장 사항을 사용하여 GenAI 애플리케이션에 대한 위험을 탐색하고 수정합니다.
• 공격 경로 분석을 사용하여 GenAI 애플리케이션에서 독성 조합을 식별하고 수정합니다.
• Azure AI 콘텐츠 안전 프롬프트 보호, Microsoft 위협 인텔리전스 신호 및 상황별 활동 모니터링으로 구동되는 GenAI 애플리케이션을 탐지합니다.
• Microsoft Defender와 기본 제공 통합을 사용하여 GenAI 앱에서 공격을 찾아 조사합니다.

Defender CSPM(Cloud Security Posture Management)의 AI 보안 상태 관리 기능부터 시작합니다. Defender CSPM은 Azure OpenAI Service, Azure Machine Learning 및 Amazon Bedrock과 같은 AI 서비스에서 사용되는 AI 모델, SDK 및 기술의 현재 상태 및 구성에 대한 에이전트 없는 세분화된 가시성으로 배포된 AI 워크로드를 자동으로 지속적으로 검색합니다.

CSPM은 상황별 보안 문제를 지속적으로 표시하고 AI 워크로드 전체에서 중요한 간격의 우선 순위를 지정하도록 조정된 위험 기반 보안 권장 사항을 제안합니다. 관련 보안 권장 사항은 Azure Portal의 Azure OpenAI 리소스 자체 내에 표시되므로 개발자 또는 워크로드 소유자가 권장 사항에 직접 액세스하고 더 빠르게 수정할 수 있습니다.

공격 경로 분석 기능은 데이터 접지 또는 미세 조정 데이터가 횡적 이동을 통해 인터넷에 노출되고 데이터 중독에 취약한 데이터 보안 시나리오를 포함하여 AI 워크로드에 대한 정교한 위험을 식별할 수 있습니다.

다음으로, AI 워크로드에 대한 위협 방지를 사용하여 런타임에서 보안을 유지합니다. 클라우드용 Defender에는 AI 워크로드에 대한 위협 방지가 포함됩니다. AI용 위협 방지는 네이티브 통합 Azure OpenAI Service, Azure AI Content Safety 프롬프트 보호 및 Microsoft 위협 인텔리전스를 사용하여 상황에 맞는 실행 가능한 보안 경고를 제공합니다. AI 워크로드에 대한 위협 방지를 통해 보안 팀은 직접 및 직접 프롬프트 주입 공격, 중요한 데이터 유출 및 데이터 중독, 지갑 남용 또는 서비스 거부 공격과 관련된 악의적인 활동에 대해 런타임에 Azure OpenAI 기반 애플리케이션을 모니터링할 수 있습니다.

다음 단계를 위해 다음 리소스를 사용합니다.

AI 보안을 위한 다음 단계

조직에서 AI 앱 및 데이터를 보호한 후 다음 단계는 규정 준수 요구 사항을 충족하도록 AI 앱을 관리하는 것입니다.

• 규정 준수 상태를 평가하고 강화합니다.
• AI 앱 및 데이터의 사용을 제어하는 컨트롤을 구현합니다.

이 시리즈의 다음 문서를 참조하세요. 규정 준수를 위해 AI를 관리하려면 어떻게 해야 하나요?