Definindo seu esquema de armazenamento usando uma definição de registro (versão prévia)

Aqui está um exemplo de como criar uma definição de registro.

using Microsoft.Extensions.VectorData;

var hotelDefinition = new VectorStoreCollectionDefinition
{
    Properties = new List<VectorStoreProperty>
    {
        new VectorStoreKeyProperty("HotelId", typeof(ulong)),
        new VectorStoreDataProperty("HotelName", typeof(string)) { IsIndexed = true },
        new VectorStoreDataProperty("Description", typeof(string)) { IsFullTextIndexed = true },
        new VectorStoreVectorProperty("DescriptionEmbedding", typeof(float), dimensions: 4) { DistanceFunction = DistanceFunction.CosineSimilarity, IndexKind = IndexKind.Hnsw },
    }
};

Ao criar uma definição, você sempre precisa fornecer um nome e um tipo para cada propriedade em seu esquema, pois isso é necessário para a criação de índice e o mapeamento de dados.

Para usar a definição, passe-a para o método GetCollection.

var collection = vectorStore.GetCollection<ulong, Hotel>("skhotels", hotelDefinition);

Classes de configuração de propriedade de registro

VectorStoreKeyProperty

Use essa classe para indicar que sua propriedade é a chave do registro.

new VectorStoreKeyProperty("HotelId", typeof(ulong)),

Configurações de VectorStoreKeyProperty

VectorStoreDataProperty

Use essa classe para indicar que sua propriedade contém dados gerais que não são uma chave ou um vetor.

new VectorStoreDataProperty("HotelName", typeof(string)) { IsIndexed = true },

Configurações de VectorStoreDataProperty

VectorStoreVectorProperty

Use essa classe para indicar que sua propriedade contém um vetor.

new VectorStoreVectorProperty("DescriptionEmbedding", typeof(float), dimensions: 4) { DistanceFunction = DistanceFunction.CosineSimilarity, IndexKind = IndexKind.Hnsw },

Configurações de VectorStoreVectorProperty

Aqui está um exemplo de como criar uma definição de registro, para uso com um DataFrame pandas.

Há algumas coisas importantes a serem observadas, além das próprias definições de campos. O primeiro é o container_mode parâmetro. Quando definido como True, isso indica que o modelo de dados é um tipo de contêiner, como um DataFrame, e que o modelo de dados é, portanto, um contêiner de registros, em vez de um único, um registro de contêiner pode ser usado exatamente da mesma maneira, a principal diferença é que get e get_batch retornará o mesmo tipo de dados, com um único registro para um get e um ou mais para um get_batch. Quando você deseja fazer um upsert upsert e upsert_batch pode ser usado de forma intercambiável, em outras palavras, passar um contêiner para upsert resultará em vários upserts, em vez de um único.

A segunda é a adição dos métodos andto_dict, que são usados para converter entre o modelo de from_dict dados e o esquema de armazenamento. Nesse caso, o to_dict método é usado para converter o DataFrame em uma lista de registros e o from_dict método é usado para converter uma lista de registros em um DataFrame. Também pode haver um serialize método e deserialize (não mostrado no exemplo abaixo), para obter detalhes sobre a diferença entre eles, consulte a documentação de serialização.

from semantic_kernel.data import (
    VectorStoreRecordDataField,
    VectorStoreRecordDefinition,
    VectorStoreRecordKeyField,
    VectorStoreRecordVectorField,
)

hotel_definition = VectorStoreRecordDefinition(
    fields={
        "hotel_id": VectorStoreRecordKeyField(property_type="str"),
        "hotel_name": VectorStoreRecordDataField(property_type="str", is_filterable=True),
        "description": VectorStoreRecordDataField(
            property_type="str", has_embedding=True, embedding_property_name="description_embedding"
        ),
        "description_embedding": VectorStoreRecordVectorField(property_type="list[float]"),
    },
    container_mode=True,
    to_dict=lambda record, **_: record.to_dict(orient="records"),
    from_dict=lambda records, **_: DataFrame(records),
)

Ao criar uma definição, você sempre precisa fornecer um nome (como a chave no fields dicionário) e digitar para cada propriedade em seu esquema, pois isso é necessário para a criação de índice e mapeamento de dados.

Para usar a definição, passe-a para o método GetCollection ou um construtor de coleção, juntamente com o tipo de modelo de dados.

collection = vector_store.get_collection(
    collection_name="skhotels", 
    record_type=pd.DataFrame, 
    definition=hotel_definition,
)

Aqui está um exemplo de como criar uma definição de registro.

var hotelDefinition = VectorStoreRecordDefinition.fromFields(
    Arrays.asList(
        VectorStoreRecordKeyField.builder().withName("hotelId").withFieldType(String.class).build(),
        VectorStoreRecordDataField.builder()
            .withName("name")
            .withFieldType(String.class)
            .isFilterable(true).build(),
        VectorStoreRecordDataField.builder()
            .withName("description")
            .withFieldType(String.class)
            .isFullTextSearchable(true).build(),
        VectorStoreRecordVectorField.builder().withName("descriptionEmbedding")
            .withDimensions(4)
            .withIndexKind(IndexKind.HNSW)
            .withDistanceFunction(DistanceFunction.COSINE_DISTANCE)
            .withFieldType(List.class).build()
    )
);

Ao criar uma definição, você sempre precisa fornecer um nome e um tipo para cada campo em seu esquema, pois isso é necessário para a criação de índice e o mapeamento de dados.

Para usar a definição, passe-a para o método GetCollection.

var collection = vectorStore.getCollection("skhotels",
        JDBCVectorStoreRecordCollectionOptions.builder()
            .withRecordDefinition(hotelDefinition)
            .build()
    );

Classes de configuração do campo de registro

VectorStoreRecordKeyField

Use essa classe para indicar que seu campo é a chave do registro.

VectorStoreRecordKeyField.builder().withName("hotelId").withFieldType(String.class).build(),

Definições de configuração do VectorStoreRecordKeyField

VectorStoreRecordDataField

Use essa classe para indicar que sua propriedade contém dados gerais que não são uma chave ou um vetor.

VectorStoreRecordDataField.builder()
    .withName("name")
    .withFieldType(String.class)
    .isFilterable(true).build(),

Definições de configuração do VectorStoreRecordDataField

VectorStoreRecordVectorField

Use essa classe para indicar que seu campo contém um vetor.

VectorStoreRecordVectorField.builder().withName("descriptionEmbedding")
    .withDimensions(4)
    .withIndexKind(IndexKind.HNSW)
    .withDistanceFunction(DistanceFunction.COSINE_DISTANCE)
    .withFieldType(List.class).build(),

Definições de configuração do VectorStoreRecordVectorField