Partilhar via

Propriedades de ingestão de dados

Aplica-se a: ✅Microsoft Fabric✅Azure Data Explorer

A ingestão de dados adiciona dados a uma tabela e os torna disponíveis para consulta. Adicione propriedades ao comando de ingestão após a with palavra-chave.

Propriedades de ingestão

Importante

Na ingestão em fila, dados são agrupados em lote usando as propriedades de ingestão. Quanto mais distintas forem as propriedades de mapeamento de ingestão usadas, como diferentes valores de ConstValue, mais fragmentada a ingestão se torna, o que pode levar à degradação do desempenho.

A tabela a seguir lista e descreve as propriedades suportadas e fornece exemplos:

Propriedade Description Example
ingestionMapping Um valor de cadeia que indica como mapear dados do ficheiro de origem para as colunas reais na tabela. Defina o format valor com o tipo de mapeamento relevante. Veja mapeamentos de dados. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(obsoleto: avroMapping, csvMapping, jsonMapping)
ingestionMappingReference Um valor de cadeia que indica como mapear dados do ficheiro fonte para as colunas reais na tabela usando um objeto de política de mapeamento nomeado. Defina o format valor com o tipo de mapeamento relevante. Veja mapeamentos de dados. with (format="csv", ingestionMappingReference = "Mapping1")
(obsoleto: avroMappingReference, csvMappingReference, jsonMappingReference)
creationTime O valor de data-hora (formatado como uma cadeia de caracteres no formato ISO8601) a usar no momento da criação dos conjuntos de dados ingeridos. Se não for especificado, o valor atual (now()) é usado. Substituir o padrão é útil ao ingerir dados mais antigos, para que a política de retenção seja aplicada corretamente. Quando especificado, certifique-se de que a Lookback propriedade na política de fusão efetiva de Extents da tabela alvo está alinhada com o valor especificado. with (creationTime="2017-02-13")
extend_schema Um valor booleano que, se especificado, instrui o comando a estender o esquema da tabela (por defeito false). Esta opção aplica-se apenas aos comandos .append e .set-or-append. As únicas extensões de esquema permitidas têm mais colunas adicionadas à tabela no final. Se o esquema original da tabela for (a:string, b:int), uma extensão de esquema válida seria (a:string, b:int, c:datetime, d:string), mas (a:string, c:datetime) não seria válida
folder Para comandos ingest-from-query, o diretório a atribuir à tabela. Se a tabela já existir, essa propriedade substituirá a pasta da tabela. with (folder="Tables/Temporary")
format O formato de dados (ver formatos de dados suportados). with (format="csv")
ingestIfNotExists Um valor de cadeia que, se especificado, impede que a ingestão tenha sucesso se a tabela já tiver dados etiquetados com uma ingest-by: etiqueta com o mesmo valor. Isto garante a ingestão de dados idempotentes. Para mais informações, veja tags ingest-by. As propriedades with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') indicam que, se os dados com a etiqueta ingest-by:Part0001 já existirem, então não completem a ingestão atual. Se ainda não existir, esta nova ingestão deve ter esta etiqueta definida (caso uma ingestão futura tente ingerir novamente os mesmos dados).
ignoreFirstRecord Um valor booleano que, se definido para true, indica que a ingestão deve ignorar o primeiro registo de cada ficheiro. Esta propriedade é útil para ficheiros em formatos como CSV e semelhantes, se o primeiro registo no ficheiro forem os nomes das colunas. Por padrão, false é assumido. with (ignoreFirstRecord=false)
policy_ingestiontime Um valor booleano que, se especificado, descreve se deve ativar a Política de Tempo de Ingestão numa tabela criada por este comando. A predefinição é true. with (policy_ingestiontime=false)
recreate_schema Um valor booleano que, se especificado, descreve se o comando pode recriar o esquema da tabela. Esta propriedade aplica-se apenas ao .set-or-replace comando. Esta propriedade tem precedência sobre a extend_schema propriedade se ambas forem definidas. with (recreate_schema=true)
tags Uma lista de etiquetas a associar aos dados ingeridos, formatada como uma string JSON with (tags="['Tag1', 'Tag2']")
TreatGzAsUncompressed Um valor booleano que, se definido como true, indica que os arquivos com a extensão .gz não são compactados. Às vezes, esse sinalizador é necessário ao ser ingerido a partir do Amazon AWS S3. with (treatGzAsUncompressed=true)
validationPolicy Uma cadeia de caracteres JSON que indica quais validações devem ser executadas durante a ingestão de dados representados usando o formato CSV. Consulte Ingestão de dados para uma explicação das diferentes opções. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (esta é a política padrão)
zipPattern Use esta propriedade ao ingerir dados de armazenamento que tenha um arquivo ZIP. Este é um valor de cadeia que indica a expressão regular a usar ao selecionar quais ficheiros no arquivo ZIP ingerir. Todos os outros arquivos no arquivo são ignorados. with (zipPattern="*.csv")

Conteúdo relacionado

  • Last updated on