레거시 의미 체계 커널 메모리 저장소

메모리 저장소에서 벡터 저장소로 마이그레이션

메모리 저장소 추상화 사용에서 벡터 저장소 추상화로 마이그레이션하려는 경우 다양한 방법으로 이 작업을 수행할 수 있습니다.

벡터 저장소 추상화와 함께 기존 컬렉션 사용

대부분의 경우 가장 간단한 방법은 벡터 저장소 추상화만 사용하여 메모리 저장소 추상화로 만든 컬렉션에 액세스하는 것입니다. 대부분의 경우 벡터 저장소 추상화에서 사용하려는 스키마를 선택할 수 있기 때문에 가능합니다. 주요 요구 사항은 레거시 메모리 저장소 구현에서 사용한 스키마와 일치하는 데이터 모델을 만드는 것입니다.

예를 들어 Azure AI Search 메모리 저장소에서 만든 컬렉션에 액세스하려면 다음 벡터 저장소 데이터 모델을 사용할 수 있습니다.

using Microsoft.Extensions.VectorData;

class VectorStoreRecord
{
    [VectorStoreKey]
    public string Id { get; set; }

    [VectorStoreData]
    public string Description { get; set; }

    [VectorStoreData]
    public string Text { get; set; }

    [VectorStoreData]
    public bool IsReference { get; set; }

    [VectorStoreData]
    public string ExternalSourceName { get; set; }

    [VectorStoreData]
    public string AdditionalMetadata { get; set; }

    [VectorStoreVector(VectorSize)]
    public ReadOnlyMemory<float> Embedding { get; set; }
}

새 컬렉션 만들기

경우에 따라 새 컬렉션으로 마이그레이션하는 것이 기존 컬렉션을 직접 사용하는 것보다 바람직할 수 있습니다. 메모리 저장소에서 선택한 스키마는 특히 필터링과 관련하여 요구 사항과 일치하지 않을 수 있습니다.

예를 들어 Redis Memory 저장소는 세 개의 필드가 있는 스키마를 사용합니다.

• 문자열 메타데이터
• 긴 타임스탬프
• float[] 임베딩

포함 또는 타임스탬프 이외의 모든 데이터는 메타데이터 필드에 직렬화된 json 문자열로 저장됩니다. 즉, 개별 값을 인덱싱하고 필터링할 수 없습니다. 예를 들어 ExternalSourceName을 사용하여 필터링할 수 있지만 json 문자열 내에 있는 동안에는 이 작업을 수행할 수 없습니다.

이 경우 플랫 스키마를 사용하여 데이터를 새 컬렉션으로 마이그레이션하는 것이 더 좋을 수 있습니다. 여기에는 두 가지 옵션이 있습니다. 원본 데이터에서 새 컬렉션을 만들거나 이전 데이터에서 새 컬렉션으로 데이터를 매핑하고 복사하기만 하면 됩니다. 첫 번째 옵션은 원본 데이터에서 포함을 다시 생성해야 하므로 비용이 더 많이 들 수 있습니다.