Aptitud cognitiva División de texto

La aptitud División de texto divide el texto en fragmentos de texto. Puede especificar si desea dividir el texto en oraciones o en páginas de una longitud determinada. Los metadatos posicionales como desplazamiento y posición ordinal también están disponibles como salidas. Esta aptitud es útil si hay requisitos máximos de longitud de texto en otras aptitudes de nivel inferior, como insertar aptitudes que pasan fragmentos de datos para insertar modelos en Azure OpenAI y otros proveedores de modelos. Para obtener más información sobre este escenario, vea Documentos de fragmentos para la búsqueda de vectores.

Varios parámetros son específicos de la versión. En la tabla de parámetros skills se indica la versión de la API en la que se introdujo un parámetro para saber si se requiere una actualización de versión . Para usar características específicas de la versión, como la fragmentación de tokens en 2024-09-01-preview, puede usar Azure Portal o tener como destino una versión de la API REST o comprobar un registro de cambios del SDK de Azure para ver si admite la característica.

Azure Portal admite la mayoría de las características en versión preliminar y se pueden usar para crear o actualizar un conjunto de aptitudes. Para las actualizaciones de la aptitud División de texto, edite la definición JSON del conjunto de aptitudes para agregar nuevos parámetros de vista previa.

@odata.type

Microsoft.Skills.Text.SplitSkill

Parámetros de la aptitud

Los parámetros distinguen mayúsculas de minúsculas.

Entradas de la aptitud

Salidas de la aptitud

Definición de ejemplo

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Entrada de ejemplo

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Salida de ejemplo

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "pages": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    }
                ],
                "lengths": [
                    {
                        "utf8": 146,
                        "utf16": 146,
                        "codePoint": 146
                    },
                    {
                        "utf8": 211,
                        "utf16": 211,
                        "codePoint": 211
                    }
                ],
                "ordinalPositions" : [
                    1,
                    2
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "pages": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ],
                "offsets": [
                    {
                        "utf8": 0,
                        "utf16": 0,
                        "codePoint": 0
                    },
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    }
                ],
                "lengths": [
                    {
                        "utf8": 115,
                        "utf16": 115,
                        "codePoint": 115
                    },
                    {
                        "utf8": 209,
                        "utf16": 209,
                        "codePoint": 209
                    }
                ],
                 "ordinalPositions" : [
                    1,
                    2
                ]
            }
        }
    ]
}

Ejemplo de fragmentación y vectorización

Este ejemplo es para la vectorización integrada.

• pageOverlapLength: el texto superpuesto es útil en escenarios de fragmentación de datos, ya que conserva la continuidad entre los fragmentos generados a partir del mismo documento.

• maximumPagesToTake: los límites en la ingesta de páginas son útiles en escenarios de vectorización, ya que ayudan a mantenerse bajo los límites de entrada máximos de los modelos de inserción que proporcionan la vectorización.

Definición de ejemplo

Esta definición agrega pageOverlapLength de 100 caracteres y maximumPagesToTake de uno.

Suponiendo que maximumPageLength tiene 5000 caracteres (valor predeterminado), procesa "maximumPagesToTake": 1 los primeros 5000 caracteres de cada documento de origen.

En este ejemplo se establece textItems en myPages a través de targetName. Como targetName se establece, myPages es el valor que debe usar para seleccionar la salida de la aptitud División de texto. Use /document/myPages/* en aptitudes de bajada, asignaciones de campos de salida del indexador, proyecciones del almacén de conocimiento y proyecciones de índice.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "myPages"
        }
    ]
}

Entrada de ejemplo (igual que el ejemplo anterior)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Salida de ejemplo (observe la superposición)

Dentro de cada matriz "textItems", el texto final del primer elemento se copia al principio del segundo elemento.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "myPages": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "myPages": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Casos de error

Si un idioma no está admitido, se genera una advertencia.

Consulte también

• Aptitudes integradas
• Definición de un conjunto de aptitudes