Microsoft의 AI Red Teaming 101 교육 시리즈는 전문가가 새로운 위협에서 생성 AI 시스템을 보호하는 데 도움이 됩니다. 이 시리즈는 취약성, 공격 기술 및 방어 전략을 자세히 분석하여 실행 가능한 인사이트와 실습 경험을 제공합니다. 보안 전문가, 기계 학습 엔지니어 또는 비즈니스 리더는 실제 사례 연구, 모듈식 에피소드 및 자동화된 테스트 도구를 통해 실용적인 지식을 얻을 수 있습니다. 프롬프트 삽입 공격, 다중 턴 적대적 기술 및 확장 가능한 방어 방법과 같은 항목을 탐색하여 AI 보안 전문 지식을 향상시킵니다.
이 학습 시리즈를 시청하는 이유
실행 가능한 조언을 통해 생성 AI 시스템의 중요한 취약성을 식별, 악용 및 방어할 수 있습니다. Microsoft AI Red Team의 실제 교훈을 기반으로 하는 모범 사례, 기술 및 지침을 알아봅니다.
이 학습 시리즈를 시청해야 하는 사람
교육 시리즈는 보안 팀, ML 엔지니어, AI 실무자 및 AI를 사용하는 비즈니스 리더에게 유용합니다. 주로 다음 사항에 중점을 둡니다.
- 보안 전문가: AI 관련 공격 벡터 및 방어 전략에 대해 알아봅니다.
- ML 실무자 및 AI 엔지니어: AI 개발 워크플로에 보안 테스트를 추가합니다.
- 엔터프라이즈 및 보안 설계자: 보안 AI 시스템을 만들고 새로운 위협을 탐색합니다.
팁 (조언)
AI Red Teaming 101 비디오는 모듈식이므로 관심 있는 섹션으로 이동하거나 처음부터 시작하여 모두 시청할 수 있습니다. 슬라이드를 다운로드하고 자신의 속도로 따라가세요.
학습 시리즈의 내용
학습 시리즈는 생성 AI 취약성을 이해하고, 공격 기술을 실행하고, 방어 조치를 구현하는 방법에 대한 지침을 제공합니다. 워크샵에는 Microsoft의 프로덕션 AI 보안 사례를 기반으로 하는 실습 데모, 실제 사례 연구 및 자동화된 테스트 도구가 포함됩니다.
팁 (조언)
모든 에피소드에는 실 습 데모와 Microsoft의 레드 팀 랩에 대한 액세스 가 포함되어 실질적인 경험을 얻을 수 있습니다.
소개 및 기본 사항
에피소드 1: AI 레드 팀이란? - AI 레드 팀 기본 사항 소개, 생성 AI의 주요 위험 및 Microsoft AI 레드 팀의 임무
에피소드 2: 생성 AI 모델의 작동 방식 - 모델 아키텍처, 학습 단계 이해 및 이러한 모델이 고유한 보안 위험을 초래하는 이유
A부 - 핵심 공격 기술
에피소드 3: 직접 프롬프트 주입 설명 - 공격자가 $1 SUV 챗봇 공격과 같은 실제 사례 연구를 포함하여 악의적인 지침을 주입하여 모델 동작을 조작하는 방법
에피소드 4: 간접 프롬프트 주입 설명 - 이메일, 웹 사이트 또는 데이터베이스와 같은 외부 데이터 원본에 악의적인 명령이 숨겨져 있는 은밀한 공격
에피소드 5: Single-Turn 공격 - 가상 사용자 해킹, 정서적 조작 및 인코딩 트릭으로 필터링 회피를 포함한 고급 프롬프트 엔지니어링 기술
에피소드 6: 멀티 턴 공격 - 스켈레톤 키와 크레센도와 같은 기술로, 안전 보호를 우회하는 쪽으로 모델을 점진적으로 조종합니다.
B부 - 방어 및 완화
에피소드 7: 공격 방어 - Microsoft의 스포트라이트 방어 방법(구분, 데이터 표시 및 인코딩)을 포함한 완화 전략 및 가드레일 기술
C부 - 자동화 및 크기 조정
에피소드 8: PyRIT를 사용하여 AI 레드 팀 자동화 - 생성 AI 시스템의 적대적 테스트를 자동화하고 크기 조정하기 위한 Microsoft의 오픈 소스 도구인 PyRIT(Python 위험 식별 도구) 소개
에피소드 9: Single-Turn 공격 자동화 - PyRIT를 사용하여 한 번에 많은 프롬프트를 보내도록 데이터 세트, 대상 및 채점 논리를 구성하는 실습 데모
에피소드 10: 다중 턴 공격 자동화 - 악의적인 모델 대화 및 텍스트 및 이미지 생성 시스템 테스트 등 다중 턴 대화를 위한 고급 자동화 기술
학습 내용
이 학습 시리즈를 완료하면 다음을 이해할 수 있습니다.
- AI 레드 팀 및 기존 레드 팀 접근 방식의 기본 사항
- 프롬프트 주입 및 모델 정렬 오류와 같은 생성 AI 시스템의 핵심 취약성
- 간단한 프롬프트 조작에서 정교한 멀티 턴 적대적 전략에 이르기까지 공격 기술
- Microsoft의 Spotlighting 방법과 같은 검증된 완화 기술을 포함한 방어 전략
- PyRIT 및 기타 오픈 소스 도구를 사용하여 빨간색 팀 작업을 크기 조정하기 위한 자동화 도구
- Microsoft의 프로덕션 AI 보안 작업에서 실습 랩 및 사례 연구를 사용하는 실제 애플리케이션