Azure Machine Learning의 벡터 저장소(미리 보기)

이 문서에서는 RAG(검색 보강 세대)를 수행하는 데 사용할 수 있는 Azure Machine Learning의 벡터 저장소에 대해 설명합니다. 벡터 저장소에는 숫자 시퀀스로 변환된 개념(데이터)의 숫자 표현인 포함이 포함됩니다. 포함을 사용하면 LLM(큰 언어 모델)이 개념 간의 관계를 이해할 수 있습니다. GPT-4와 같은 LLM에 데이터를 연결하고 데이터를 효율적으로 검색하는 벡터 저장소를 만들 수 있습니다.

Azure Machine Learning은 RAG 워크플로에 사용되는 추가 데이터를 포함하는 두 가지 벡터 저장소를 지원합니다.

다음 섹션에서는 이러한 벡터 저장소 작업에 대한 고려 사항을 살펴봅니다.

Faiss 라이브러리

Faiss는 로컬 파일 기반 저장소를 제공하는 오픈 소스 라이브러리입니다. 벡터 인덱스는 Azure Machine Learning 작업 영역의 Azure Storage 계정에 저장됩니다. Faiss로 작업하려면 라이브러리를 다운로드하여 솔루션의 구성 요소로 사용합니다. 인덱스는 로컬로 저장되므로 비용이 최소화됩니다.

Faiss 라이브러리를 벡터 저장소로 사용하여 다음 작업을 수행할 수 있습니다.

• 인덱스 만들기 비용 없이 로컬로 벡터 데이터 저장(스토리지 비용만 적용)

• 메모리의 인덱스 빌드 및 쿼리

• 개별 사용을 위한 복사본 공유 및 애플리케이션에 대한 인덱스 호스팅 구성

• 인덱스 로드 시 기본 컴퓨팅으로 크기 조정

Azure AI 검색

Azure AI Search는 Azure 구독에서 만드는 전용 Azure PaaS 리소스입니다. 리소스는 검색 인덱스에 저장된 벡터와 텍스트 데이터에 대한 정보 검색을 지원합니다. 프롬프트 흐름은 Azure AI 검색에 저장된 벡터 데이터를 만들고, 채우고, 쿼리할 수 있습니다. 단일 검색 서비스는 많은 인덱스를 호스팅할 수 있으며, 이 인덱스는 RAG 패턴에서 쿼리하고 사용할 수 있습니다.

다음은 벡터 저장소에 Azure AI Search를 사용하는 방법에 대한 핵심 사항입니다.

• 규모, 보안 및 가용성에 대한 엔터프라이즈 수준의 비즈니스 요구 사항을 지원합니다.

• 하이브리드 정보 검색을 제공합니다. 벡터 데이터는 벡터가 아닌 데이터와 공존할 수 있습니다. 즉, 인덱싱 및 쿼리에 하이브리드 쿼리 및 의미적 순위 재지정을 비롯한 모든 Azure AI 검색 기능을 사용할 수 있습니다.

• 벡터 지원은 미리 보기로 제공됩니다. 현재 벡터는 외부에서 생성된 다음 인덱싱 및 쿼리 인코딩을 위해 Azure AI 검색에 전달되어야 합니다. 프롬프트 흐름은 이러한 전환을 처리합니다.

Azure MACHINE Learning용 벡터 저장소로 Azure AI Search를 사용하려면 검색 서비스가 있어야 합니다. 서비스가 존재하고 개발자에게 액세스 권한을 부여한 후에는 프롬프트 흐름에서 Azure AI Search 를 벡터 인덱스로 선택할 수 있습니다. 프롬프트 흐름은 Azure AI Search에서 인덱스를 만들고, 원본 데이터에서 벡터를 생성하고, 인덱스에 벡터를 보내고, Azure AI Search에서 유사성 검색을 호출하고, 응답을 반환합니다.

관련 콘텐츠

• Azure Machine Learning 프롬프트 흐름에서 벡터 인덱스 만들기(미리 보기)
• Azure AI 검색의 벡터