Partilhar via

Tutorial: Criar e atualizar hubs FinOps

Neste tutorial, você aprenderá a criar uma nova instância de hub FinOps ou atualizar uma existente no Azure ou no Microsoft Fabric. O tutorial orienta as opções de implementação e as decisões necessárias para configurar e ajustar centros FinOps. Este artigo ajuda-o a:

  • Aplique os pré-requisitos dos hubs FinOps.
  • Crie uma nova instância de hub FinOps ou atualize uma existente.
  • Ingerir e preencher dados em hubs FinOps.
  • Conecte seu hub ao Microsoft Fabric.
  • Crie relatórios e painéis.

Pré-requisitos

  • Acesso a uma assinatura ativa do Azure com permissões para implantar o modelo de hubs FinOps:
  • Acesso a um ou mais âmbitos suportados do Enterprise Agreement (EA), Microsoft Customer Agreement (MCA) ou Microsoft Partner Agreement (MPA) na Gestão de Custos para configurar exportações:
    • Subscrições e grupos de recursos: Cost Management Contributor.
    • Escopos de faturamento da EA: Enterprise Reader, Department Reader ou Account Owner (também conhecido como conta de inscrição).
    • Escopos de faturamento MCA: Colaborador na conta de faturamento, perfil de faturamento ou seção de fatura.
    • Âmbitos de faturação MPA: Colaborador na conta de faturação, perfil de faturação ou cliente.
  • Opcional: Acesso ao Power BI ou a um espaço de trabalho do Microsoft Fabric com permissões de Colaborador ou Membro para criar recursos e publicar relatórios.
  • Opcional: PowerShell 7 ou Azure Cloud Shell com o módulo PowerShell do kit de ferramentas FinOps instalado e importado.

Mais permissões são abordadas como parte do tutorial.


Habilitar provedores de recursos necessários

Os hubs FinOps usam o Gerenciamento de Custos para exportar dados e a Grade de Eventos para saber quando os dados são adicionados à sua conta de armazenamento. Antes de implantar o modelo, você precisa registrar os provedores de recursos Microsoft.CostManagementExports e Microsoft.EventGrid .

  1. No portal do Azure, abra a lista de assinaturas.
  2. Selecione a assinatura a ser usada para sua implantação do hub FinOps.
  3. No menu à esquerda, selecione Configurações>Provedores de recursos.
  4. Na lista de provedores de recursos, localize a linha para Microsoft.EventGrid.
  5. Se a coluna Status mostrar Não registrado, selecione o menu de contexto à direita do nome do provedor (⋅⋅⋅) e, em seguida, selecione Registrar.
  6. Repita as etapas 4 a 5 para Microsoft.CostManagementExports.

Planeje sua arquitetura de rede

Você prefere roteamento de rede pública ou privada?

O roteamento público é mais comum e mais fácil de usar. Os recursos podem ser acedidos a partir da Internet aberta. O acesso é controlado por meio do controle de acesso baseado em função (RBAC). O roteamento público não requer configuração.

Você prefere roteamento de rede pública ou privada?

  • O encaminhamento público é mais comum, mais fácil de utilizar e torna os recursos acessíveis a partir da Internet aberta.
  • O roteamento privado é mais seguro, tem um custo adicional e torna os recursos acessíveis apenas a partir de redes emparelhadas.

O roteamento público não requer configuração. Se você optar pelo roteamento privado, trabalhe com o administrador da rede para configurar o emparelhamento e o roteamento para que a rede isolada dos hubs FinOps possa ser acessada a partir da sua rede. Antes de decidir, saiba mais sobre as etapas de configuração adicionais necessárias em Configurar rede privada.


Opcional: configurar o Microsoft Fabric

Muitas organizações adotam o Microsoft Fabric como uma plataforma de dados unificada para simplificar a análise, o armazenamento e o processamento de dados. Os hubs FinOps podem usar o Microsoft Fabric Real-Time Intelligence (RTI) como um armazenamento de dados primário ou secundário. Esta seção só se aplica ao configurar o Microsoft Fabric como um armazenamento de dados primário em vez do Azure Data Explorer.

A configuração do Microsoft Fabric é um processo manual e requer etapas explícitas antes e depois da implantação do modelo. Esta seção aborda os requisitos iniciais de configuração.

  1. Crie um espaço de trabalho e uma casa de eventos:
    1. No Microsoft Fabric, abra o espaço de trabalho desejado ou crie um novo espaço de trabalho. Mais informações.
    2. No seu espaço de trabalho Fabric, selecione o comando + Novo item na parte superior da página.
    3. Selecione Armazenar dados>Eventhouse.
    4. Especifique um nome (por exemplo, FinOpsHub) e selecione Criar.
  2. Crie e configure a base de dados Ingestion.
    1. Selecione Eventhouse>+ Database na parte superior da página, defina o nome como Ingestione selecione Criar.
    2. Selecione o Ingestion_queryset no menu à esquerda.
    3. Exclua todo o texto do arquivo.
    4. Baixe e abra o arquivo finops-hub-fabric-setup-Ingestion.kql em um editor de texto.
    5. Copie todo o texto deste ficheiro para o editor de consultas do Fabric.
    6. Pressione Ctrl+H para acionar a caixa de diálogo localizar e substituir, defina o texto de localização como $$rawRetentionInDays$$, e substitua-o por 0 ou o número desejado de dias para manter os dados em _raw tabelas e, em seguida, pressione Ctrl+Alt+Enter para substituir todas as instâncias.
    7. Pressione Ctrl+Home para levar o cursor ao início do arquivo e pressione Shift+Enter ou selecione o comando Executar na parte superior da página.
    8. Aguarde a conclusão do script e, em seguida, revise a coluna Resultado para confirmar todos os comandos concluídos com êxito.
      • Se vir um erro para uma linha com $$rawRetentionInDays$$, repita os passos 2.6 e 2.7.
      • Se ocorrer um erro diferente, crie um problema no GitHub.
  3. Repita a etapa 2 para o banco de dados Hub usando o script do arquivo finops-hub-fabric-setup-Hub.kql.
  4. No painel esquerdo, selecione Visão geral do sistema e, em seguida, selecione o link Copiar URI para a propriedade URI de consulta no painel de detalhes à direita.
    • Anote o URI da consulta. Irá utilizá-lo no próximo passo.

Implantar o modelo de hub FinOps

O mecanismo principal para hubs FinOps é implantado por meio de um modelo de implantação do Azure Resource Manager. O modelo está disponível em bicep. O modelo inclui uma conta de armazenamento, Azure Data Factory, Azure Data Explorer e outros recursos de suporte. Para saber mais sobre o modelo e os requisitos de acesso menos privilegiados, consulte os detalhes do modelo do hub FinOps.

  1. Abra o modelo desejado no portal do Azure:
  2. Selecione a assinatura desejada e o grupo de recursos.
  3. Selecione uma região do Azure para a qual você gostaria de implantar recursos.
    • Se estiver a ligar-se ao Microsoft Fabric, selecione a mesma região que a sua capacidade do Fabric. Você pode encontrar a região em suas configurações > de espaço de trabalho Informações sobre a licença>Capacidade da licença.
  4. Especifique um nome de hub usado para recursos principais e fins de relatório.
    • Todos os recursos têm uma tag cm-resource-parent comum para agrupá-los sob o hub no Gerenciamento de Custos.
  5. Especifique um nome de cluster exclusivo do Azure Data Explorer ou o URI de Consulta do eventhouse do Microsoft Fabric.
    • Esse nome é usado para consultar dados e conectar-se a relatórios, painéis e outras ferramentas.
    • Se estiver implantando no Microsoft Fabric, use o URI de consulta da casa de eventos do Fabric e deixe o nome do cluster do Data Explorer vazio.
    • O Data Explorer e o Fabric são opcionais, mas recomendados se o monitoramento for superior a US$ 100.000 em gastos totais.
    • Aviso: O Power BI pode enfrentar tempos de espera excedidos e problemas de atualização de dados se depender do armazenamento para mais de US$ 1 milhão em despesas. Se você tiver problemas, reimplante com o Data Explorer ou o Microsoft Fabric.
  6. Selecione o botão Avançar na parte inferior do formulário.
  7. Se desejar, você pode alterar a redundância de armazenamento ou a SKU do Data Explorer.
    • Não recomendamos alterar nenhuma das configurações para sua implantação inicial.
    • Se estiver usando o Data Explorer, a conta de armazenamento será um armazenamento de dados temporário e não precisará de redundância geográfica.
    • A maioria das implantações não requer uma SKU maior do Data Explorer. Recomendamos começar com o cluster de desenvolvimento/teste e monitorar o desempenho antes de aumentar ou diminuir a escala.
    • Para obter detalhes sobre como dimensionar o Data Explorer, consulte Selecionar uma SKU para seu cluster.
  8. Selecione o botão Avançar na parte inferior do formulário.
  9. Defina os períodos de retenção de dados desejados.
    • A retenção de dados brutos refere-se aos dados adicionados ao Data Explorer, mas não normalizados nas tabelas finais. Use 0, a menos que precise solucionar problemas de ingestão. Este número indica retenção em dias.
    • A retenção de dados normalizada refere-se ao período de tempo em meses em que os dados estão disponíveis nas tabelas finais. 0 mantém apenas o mês atual, 1 é apenas o mês passado e o mês atual, e assim por diante.
  10. Selecione o botão Avançar na parte inferior do formulário.
  11. Indique se você precisa de criptografia de infraestrutura.
    • Não recomendado, a menos que você tenha políticas específicas que exijam criptografia de infraestrutura.
  12. Indique se deseja roteamento de rede pública ou privada. Mais informações.
  13. Se você selecionou privado, especifique o prefixo de endereço de rede privada desejado.
  14. Selecione o botão Avançar na parte inferior do formulário.
  15. Se desejar, especifique mais tags para adicionar aos recursos.
  16. Selecione o botão Avançar na parte inferior do formulário.
  17. Revise o resumo da configuração e selecione o botão Criar na parte inferior do formulário.

Opcional: configurar o acesso à malha

Se você configurar o Microsoft Fabric como um armazenamento de dados primário, configure o acesso para o Data Factory e a casa de eventos do Fabric.

  1. Obtenha a identidade do Data Factory:
    1. No portal do Azure, abra o grupo de recursos do hub FinOps.
    2. Na lista de recursos, selecione a instância do Data Factory.
    3. No menu à esquerda, selecione Configurações>Identidades gerenciadas e copie a ID do objeto (principal).
  2. Dê ao Data Factory acesso aos bancos de dados Hub e Ingertion:

    1. No Microsoft Fabric, abra o espaço de trabalho desejado e selecione a casa de eventos de destino.

    2. Selecione a base de dados Ingestão no painel esquerdo.

    3. Selecione Ingestion_queryset no painel esquerdo.

    4. Execute os seguintes comandos separadamente, substituindo <adf-identity-id> pelo ID do objeto de identidade gerenciado do Data Factory da etapa 1:

      .add database Ingestion admins ('aadapp=<adf-identity-id>')

.add database Hub admins ('aadapp=<adf-identity-id>')

Configurar escopos para monitorar

Os hubs FinOps podem monitorar qualquer conjunto de dados de custo e uso que esteja alinhado à Especificação de Uso e Custo Aberto (FOCUS) do FinOps.

Você pode ingerir dados do Microsoft Cost Management criando exportações manualmente ou concedendo acesso a hubs FinOps para criar e gerenciar exportações para você. As etapas a seguir devem ser repetidas para cada escopo que você precisa monitorar. Recomendamos o uso de contas de faturamento EA e perfis de faturamento MCA para obter a melhor cobertura e os conjuntos de dados mais amplos disponíveis. Para saber mais sobre a diferença entre exportações manuais e gerenciadas, consulte Configurar escopos.

  1. No portal do Azure, abra o Gerenciamento de Custos.
  2. Selecione o escopo desejado no seletor de escopo na parte superior da página.
  3. No menu à esquerda, selecione Relatórios + análise>Exportações.
  4. Selecione o comando Criar.
  5. Selecione o modelo Todos os custos (FOCUS) + preços .
  6. Especifique um prefixo (por exemplo, finops-hub) e selecione Avançar na parte inferior.
  7. Selecione a conta de assinatura e armazenamento criada pela implantação do hub FinOps.
  8. Defina o contêiner como msexports.
  9. Defina o diretório como uma cadeia de caracteres exclusiva que identifique o escopo (por exemplo, billingAccounts/###).
  10. Selecione o formato Parquet e a compressão Snappy para obter o melhor desempenho.
    • Qualquer combinação de CSV e parquet, comprimido ou descomprimido, é suportada, mas recomenda-se o parquet com Snappy.
  11. Selecione Avançar na parte inferior.
  12. Revise e corrija as configurações conforme necessário e, em seguida, selecione Criar na parte inferior.
  13. Repita as etapas 4 a 12 para mais conjuntos de dados.
    • As recomendações de reserva são necessárias para que a página Recomendações de reserva do relatório de otimização de tarifas seja carregada.

Exportações controladas

As exportações gerenciadas permitem que os hubs FinOps configurem e mantenham exportações de Gerenciamento de Custos para você. Para habilitar exportações gerenciadas, você deve conceder ao Azure Data Factory acesso para ler dados em cada escopo que deseja monitorar. Para obter instruções detalhadas, consulte Configurar exportações gerenciadas.

Importar de outras fontes de dados

Para ingerir dados de outros provedores de dados compatíveis com o FOCUS, como Amazon Web Services (AWS), Google Cloud Platform (GCP), Oracle Cloud Infrastructure (OCI) e Tencent:

  1. Configure um conjunto de dados FOCUS do seu provedor.
  2. Crie um fluxo de trabalho para copiar dados para o contêiner de ingestão na conta de armazenamento do hub FinOps.
    • Os ficheiros são separados por mês do calendário UTC e devem ter menos de 2 GB cada, guardados em formato parquet. A compressão rápida é opcional.
    • Os arquivos devem ser colocados no seguinte caminho de pasta: Costs/yyyy/mm/{scope}.
      • yyyy representa o ano de quatro dígitos do conjunto de dados.
      • mm representa o mês de dois dígitos do conjunto de dados.
      • {scope} representa um identificador lógico e consistente para o conjunto de dados. Esse valor pode ser qualquer caminho válido usando uma ou mais pastas aninhadas.
    • Se o provedor gerar deltas não sobrepostos em cada conjunto de dados, adicione uma pasta extra para o dia e/ou hora (dd ou dd/hh) entre as pastas de mês e de escopo.
      • O objetivo é garantir que os conjuntos de dados de substituição sejam consistentemente colocados no mesmo caminho de pasta para que sejam substituídos sempre. Os conjuntos de dados não sobrepostos devem ser transferidos para um novo diretório.
  3. Crie um arquivo vazio manifest.json na mesma pasta.
    • A ingestão do Data Explorer é acionada quando manifest.json arquivos são adicionados ou atualizados.
  4. Se houver colunas não cobertas no processo de ingestão atual, atualize as tabelas Costs_raw, Costs_final_v1_0, Costs_transform_v1_0, Costs_v1_0 e as funções Costs de acordo.
    • Envie uma solicitação de recurso para adicionar novas colunas ao código de ingestão padrão para garantir que as personalizações não bloqueiem atualizações futuras.

Opcional: preencher dados históricos

Os hubs FinOps não preenchem automaticamente os dados. Para preencher dados históricos, execute exportações de dados históricos do provedor de dados original, incluindo quaisquer pipelines de dados personalizados usados para publicar dados no contentor de armazenamento de ingestão.

Para Microsoft Cost Management:

  1. No portal do Azure, abra o Gerenciamento de Custos.
  2. Selecione o escopo desejado no seletor de escopo na parte superior da página.
  3. No menu à esquerda, selecione Relatórios + análise>Exportações.
  4. Selecione a exportação desejada na lista de exportações.
    • Sempre exporte preços antes dos custos para garantir que eles estejam disponíveis para preencher os preços ausentes no conjunto de dados de custo e uso.
    • Se os custos forem exportados primeiro, execute novamente o pipeline ingestion_ExecuteETL para os dados de custo do mês, a fim de preencher os preços ausentes.
  5. Selecione Exportar datas selecionadas e especifique o mês desejado. Exporte sempre o mês inteiro.
  6. Repita o passo 5 para todos os meses desejados.
    • A Gestão de Custos suporta apenas a exportação até aos últimos 12 meses a partir do portal do Azure.
    • Considere usar o PowerShell para exportar além dos últimos 12 meses.
  7. Repita as etapas 4 a 6 para cada exportação.
  8. Repita as etapas 2 a 7 para cada escopo.

Opcional: Conectar-se ao Microsoft Fabric como seguidor

Se você optou por configurar hubs FinOps com o Data Explorer, mas ainda estiver interessado em disponibilizar dados no Microsoft Fabric, crie um banco de dados de atalho (seguidor) usando as casas de eventos do Fabric. As bases de dados de atalho não são necessárias se ingerir diretamente em um armazém de eventos do Fabric.

  1. No seu espaço de trabalho Fabric, selecione o comando + Novo item na parte superior da página.
  2. Selecione Armazenar dados>Eventhouse.
  3. Especifique um nome e selecione Criar.
  4. Selecione + Banco de dados na parte superior da página.
  5. Defina o nome como Ingestion e o tipo como Novo banco de dados de atalho (seguidor), depois selecione Avançar.
  6. Defina o URI do cluster como o URI do cluster do hub FinOps e o banco de dados como Ingestion, em seguida, selecione Criar.
  7. Repita as etapas 4 a 6 para o Hub banco de dados.

Configurar relatórios e painéis

Os hubs FinOps vêm com um painel do Data Explorer e relatórios do Power BI que podem se conectar a dados no Data Explorer (via KQL) ou no Armazenamento do Azure Data Lake.

Recomendamos configurar o painel do Data Explorer mesmo se você usar o Power BI devido à configuração rápida e fácil e às informações sobre os dados ingeridos.

  1. Baixe o modelo de painel.
  2. Conceda a qualquer usuário Viewer (ou superior) acesso aos bancos de dados Hub e Ingestion . Mais informações.
  3. Aceda aos painéis do Azure Data Explorer.
  4. Importe um novo painel do arquivo na etapa 1.
  5. Edite o painel e altere a fonte de dados para seu cluster de hub FinOps.

Para obter mais informações, consulte Configurar painéis do Data Explorer.


Solução de problemas

Se ocorrer um erro específico, verifique a lista de erros comuns para as etapas de mitigação. Se você não estiver enfrentando um código de erro específico ou tiver outros problemas, consulte o Guia de solução de problemas.

Se o seu problema não for resolvido com o guia de solução de problemas, consulte Obter suporte para problemas do kit de ferramentas FinOps para obter ajuda adicional.


Enviar comentários

Informe-nos sobre o nosso desempenho com uma avaliação rápida. Usamos essas análises para melhorar e expandir as ferramentas e os recursos do FinOps.

Enviar comentários

Se você está procurando algo específico, vote em uma ideia existente ou crie uma nova. Partilhe ideias com outras pessoas para obter mais votos. Focamo-nos nas ideias mais votadas.

Votar ou sugerir ideias


Conteúdo relacionado

Recursos de FinOps relacionados:

Produtos relacionados:

Soluções relacionadas:


  • Last updated on