Partilhar via

Configurar configurações de perfil de recurso no Microsoft Fabric

O Microsoft Fabric agora oferece suporte a perfis de recursos do Spark predefinidos— uma maneira simples e poderosa para os engenheiros de dados otimizarem as configurações do Spark com base nas necessidades de carga de trabalho. Esses perfis permitem que os usuários apliquem rapidamente as práticas recomendadas de ajuste para padrões comuns, como cargas de trabalho intensivas em leitura, intensivas em gravação ou híbridas, usando uma abordagem baseada em conjuntos de propriedades.

Não importa se você está ingerindo terabytes de dados de streaming ou executando consultas de análise de alto desempenho, os perfis de recursos fornecem um caminho rápido para o desempenho sem exigir ajuste manual do Spark.

Benefícios dos perfis de recursos

  • ✅ Desempenho por padrão – Aplique configurações comprovadas e otimizadas para carga de trabalho do Spark prontas para uso.
  • ✅ Flexibilidade – Escolha ou personalize perfis com base na sua ingestão e padrões de consulta.
  • ✅ Configurações ajustadas do Spark – Evite o ajuste de tentativa e erro e reduza a sobrecarga operacional.

Observação

  • Todos os novos espaços de trabalho do Fabric agora têm como padrão o perfil writeHeavy para desempenho ideal de ingestão. Isso inclui configurações padrão adaptadas para fluxos de trabalho de ETL e streaming de dados em grande escala.
  • Se o perfil writeHeavy for usado, o VOrder será desabilitado por padrão e deverá ser habilitado manualmente.

Perfis de recursos disponíveis

Os seguintes perfis são atualmente suportados no Microsoft Fabric:

Perfil Caso de uso Propriedade de Configuração
readHeavyForSpark Otimizado para cargas de trabalho do Spark com leituras frequentes spark.fabric.resourceProfile = readHeavyForSpark
readHeavyForPBI Otimizado para consultas do Power BI em tabelas Delta spark.fabric.resourceProfile = readHeavyForPBI
writeHeavy Otimizado para gravações de alta frequência & spark.fabric.resourceProfile = writeHeavy
custom Configuração totalmente definida pelo usuário spark.fabric.resourceProfile = custom

Valores de configuração padrão para cada perfil

Perfil de Recursos Configurações
writeHeavy {"spark.sql.parquet.vorder.default": "false", "spark.databricks.delta.optimizeWrite.enabled": "null", "spark.databricks.delta.optimizeWrite.binSize": "128", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true"}
readHeavyForPBI {"spark.sql.parquet.vorder.default": "true", "spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "1g"}
readHeavyForSpark {"spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "128"}
custom (por exemplo, fastIngestProfile) Configurações totalmente definidas pelo usuário. Exemplo: {"spark.sql.shuffle.partitions": "800", "spark.sql.adaptive.enabled": "true", "spark.serializer": "org.apache.spark.serializer.KryoSerializer"}

Sugestão

Você pode nomear seu perfil personalizado com um nome significativo que reflita seu padrão de carga de trabalho, como fastIngestProfile ou lowLatencyAnalytics.

Como configurar perfis de recursos

Você pode configurar perfis de recursos no Microsoft Fabric usando dois métodos diferentes:

1. Configurando perfis de recursos usando ambientes

Você pode definir o perfil de recurso padrão do Spark no nível de ambiente . Quando aplicado, o perfil selecionado será usado automaticamente para todos os trabalhos do Spark no ambiente, a menos que seja substituído.

Passos:

  1. Navegue até o seu espaço de trabalho do Fabric.
  2. Edite ou crie um novo ambiente.
  3. Em Spark Configurations, defina a seguinte propriedade
  4. spark.fabric.resourceProfile = writeHeavy ou readHeavyForPBI ou readHeavyForSpark ou você pode escolher seu próprio nome de perfil e personalizá-lo com configurações baseadas em suas necessidades.
  5. Você pode escolher um perfil existente e também modificar os valores padrão como, por exemplo, escolher readHeavyForSpark e aumentar o binsize de 128 para 256.

2. Configurando perfis de recursos em tempo de execução com spark.conf.set

Você também pode substituir o perfil de recurso padrão durante a execução do bloco de anotações ou a execução do trabalho do Spark usando:

spark.conf.set("spark.fabric.resourceProfile", "readHeavyForSpark")

Essa abordagem oferece flexibilidade de tempo de execução para alterar o comportamento com base na lógica do trabalho, na programação ou no tipo de carga de trabalho, permitindo perfis diferentes para diferentes partes de um bloco de anotações.

Observação

Se as configurações de ambiente e tempo de execução forem definidas, as configurações de tempo de execução terão precedência.

O que acontece por padrão?

Todos os espaços de trabalho recém-criados no Microsoft Fabric são definidos para o perfil writeHeavy por padrão. Isto garante:

  • Tratamento eficiente dos pipelines de ingestão de dados.
  • Desempenho otimizado para tarefas de processamento em lote e streaming
  • Melhor desempenho imediato para cargas de trabalho comuns de ETL

Se sua carga de trabalho for diferente (por exemplo, consultas interativas, serviço de painel), você poderá atualizar as configurações padrão no nível do ambiente ou substituí-las dinamicamente durante a execução.

⚠️ Importante:
Em todos os novos espaços de trabalho do Fabric, VOrder é desabilitado por padrão (spark.sql.parquet.vorder.default=false).
Essa configuração padrão é otimizada para cargas de trabalho de engenharia de dados com foco em escrita, permitindo um maior desempenho durante a ingestão e a transformação em escala.

Para cenários otimizados para leitura (por exemplo, painéis do Power BI ou consultas interativas do Spark), considere alternar para os readHeavyforSpark perfis de recursos ou readHeavyForPBI modificar as propriedades habilitando VOrder e melhorando o desempenho da consulta das cargas de trabalho do PowerBI e do Datawarehouse

Conteúdo relacionado

  • Last updated on