Compartilhar via

Propriedades de ingestão de dados do Azure Synapse Data Explorer (versão prévia)

Importante

O Azure Synapse Analytics Data Explorer (versão prévia) será desativado em 7 de outubro de 2025. Após essa data, as cargas de trabalho em execução no Synapse Data Explorer serão excluídas e os dados do aplicativo associado serão perdidos. É altamente recomendável migrar para o Eventhouse no Microsoft Fabric.

O programa CMF (Microsoft Cloud Migration Factory) foi projetado para ajudar os clientes na migração para o Fabric. O programa oferece recursos práticos de teclado sem custo para o cliente. Esses recursos são atribuídos por um período de 6 a 8 semanas, com um escopo predefinido e acordado. As nomeações de clientes são aceitas da equipe de conta da Microsoft ou diretamente enviando uma solicitação de ajuda à equipe do CMF.

A ingestão de dados é o processo pelo qual os dados são adicionados a uma tabela e disponibilizados para consulta no Data Explorer. Adicione propriedades ao comando de ingestão, posicionando-as após a with palavra-chave.

Propriedades de ingestão

A tabela a seguir lista as propriedades compatíveis com o Data Explorer, descreve-as e fornece exemplos:

Propriedade Description Example
ingestionMapping Um valor de cadeia de caracteres que indica como mapear dados do arquivo de origem para as colunas reais na tabela. Defina o format valor com o tipo de mapeamento relevante. Confira os mapeamentos de dados. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(deprecado: avroMapping, csvMapping, jsonMapping)
ingestionMappingReference Um valor de cadeia de caracteres que indica como mapear dados do arquivo de origem para as colunas reais na tabela usando um objeto de política de mapeamento nomeado. Defina o format valor com o tipo de mapeamento relevante. Confira os mapeamentos de dados. with (format="csv", ingestionMappingReference = "Mapping1")
(obsoleto: avroMappingReference, csvMappingReference, jsonMappingReference)
creationTime O valor datetime (formatado como uma cadeia de caracteres ISO8601) a ser usado no momento da criação das extensões de dados ingeridas. Se não for especificado, o valor atual (now()) será usado. Substituir a configuração padrão é útil ao processar dados mais antigos, de modo que a política de retenção seja aplicada corretamente. Quando especificado, verifique se a Lookback propriedade na Política de Mesclagem Extents efetiva da tabela de destino está alinhada com o valor especificado. with (creationTime="2017-02-13")
extend_schema Um valor booleano que, se especificado, instrui o comando a estender o esquema da tabela (padrão é false). Essa opção se aplica somente aos comandos .append e .set-or-append. As únicas extensões de esquema permitidas têm colunas adicionais adicionadas à tabela no final. Se o esquema de tabela original for (a:string, b:int), uma extensão de esquema válida seria (a:string, b:int, c:datetime, d:string), mas (a:string, c:datetime) não seria válida
folder Para comandos de ingestão a partir de consulta, a pasta a ser atribuída à tabela. Se a tabela já existir, essa propriedade substituirá o diretório da tabela. with (folder="Tables/Temporary")
format O formato de dados (consulte os formatos de dados com suporte). with (format="csv")
ingestIfNotExists Um valor de cadeia de caracteres que, se especificado, impedirá que a ingestão não tenha sucesso se a tabela já contiver dados marcados com uma tag ingest-by: com o mesmo valor. Isso garante a ingestão de dados idempotente. Para obter mais informações, consulte ingestão através de: tags. As propriedades with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') indicam que, se os dados com a marca ingest-by:Part0001 já existirem, a ingestão atual não deve ser concluída. Se ainda não existir, essa nova ingestão deverá ter essa tag configurada (caso uma ingestão futura tente ingerir os mesmos dados novamente).
ignoreFirstRecord Um valor booliano que, se configurado como true, indica que a ingestão deve ignorar o primeiro registro de cada arquivo. Essa propriedade é útil para arquivos em CSV formato semelhante, se o primeiro registro no arquivo contiver os nomes das colunas. Por padrão, false é assumido. with (ignoreFirstRecord=false)
persistDetails Um valor booliano que, se especificado, indica que o comando deve persistir os resultados detalhados (mesmo se bem-sucedido) para que o comando .show de detalhes da operação possa recuperá-los. Usa false como padrão. with (persistDetails=true)
policy_ingestiontime Um valor booliano que, se especificado, descreve se a Política de Tempo de Ingestão deve ser habilitada em uma tabela criada por esse comando. O padrão é true. with (policy_ingestiontime=false)
recreate_schema Um valor booliano que, se especificado, descreve se o comando pode recriar o esquema da tabela. Essa propriedade se aplica somente ao .set-or-replace comando. Essa propriedade terá precedência sobre a extend_schema propriedade se ambas estiverem definidas. with (recreate_schema=true)
tags Uma lista de etiquetas a serem associadas aos dados ingeridos, formatada como uma string JSON with (tags="['Tag1', 'Tag2']")
validationPolicy Uma cadeia de caracteres JSON que indica quais validações executar durante a ingestão. Consulte a ingestão de dados para obter uma explicação das diferentes opções. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (na verdade, essa é a política padrão)
zipPattern Use essa propriedade ao ingerir dados do armazenamento que têm um arquivo ZIP. Esse é um valor de cadeia de caracteres que indica a expressão regular a ser usada ao selecionar quais arquivos no arquivo ZIP serão ingeridos. Todos os outros arquivos no arquivo serão ignorados. with (zipPattern="*.csv")

Próximas etapas

  • Last updated on