Compartilhar via

Tutorial: Criar e atualizar hubs FinOps

Neste tutorial, você aprenderá a criar uma instância do hub FinOps nova ou atualizada no Azure ou no Microsoft Fabric. O tutorial explica as opções de implantação e as decisões que precisam ser tomadas à medida que você configura e configura os hubs do FinOps. Este artigo ajuda você a:

  • Aplique os pré-requisitos dos hubs FinOps.
  • Crie uma nova instância do hub FinOps ou atualize uma instância existente do Hub FinOps.
  • Ingerir e fazer backup de dados em hubs FinOps.
  • Conecte seu hub ao Microsoft Fabric.
  • Crie relatórios e painéis.

Pré-requisitos

  • Acesso a uma assinatura ativa do Azure com permissões para implantar o modelo de hubs FinOps:
  • Acesso a um ou mais EA (Contrato Enterprise) com suporte, MCA (Contrato de Cliente da Microsoft) ou escopo do MPA (Contrato de Parceiro da Microsoft) no Gerenciamento de Custos para configurar as exportações:
    • Assinaturas e grupos de recursos: Colaborador de Gestão de Custos.
    • Escopos de cobrança do EA: Leitor Corporativo, Leitor de Departamento ou Proprietário da Conta (também conhecido como conta de registro).
    • Escopos de cobrança do MCA: Colaborador na conta de cobrança, perfil de cobrança ou seção da fatura.
    • Escopos de cobrança MPA: Colaborador na conta de cobrança, perfil de cobrança ou cliente.
  • Opcional: acesso ao Power BI ou a um workspace do Microsoft Fabric com permissões de Colaborador ou Membro para criar recursos e publicar relatórios.
  • Opcional: PowerShell 7 ou Azure Cloud Shell com o módulo do PowerShell do kit de ferramentas FinOps instalado e importado.

Mais permissões são abordadas como parte do tutorial.


Habilitar provedores de recursos necessários

Os hubs FinOps usam o Gerenciamento de Custos para exportar dados e a Grade de Eventos para saber quando os dados são adicionados à sua conta de armazenamento. Antes de implantar o modelo, você precisa registrar os provedores de recursos Microsoft.CostManagementExports e Microsoft.EventGrid .

  1. No portal do Azure, abra a lista de assinaturas.
  2. Selecione a assinatura a ser usada para a implantação do hub FinOps.
  3. No menu à esquerda, selecione Configurações>Provedores de Recursos.
  4. Na lista de provedores de recursos, localize a linha para Microsoft.EventGrid.
  5. Se a coluna Status mostrar Não Registrado, selecione o menu de contexto à direita do nome do provedor (⋅⋅⋅) e selecione Registrar.
  6. Repita as etapas 4 a 5 para Microsoft.CostManagementExports.

Planejar sua arquitetura de rede

Você prefere o roteamento de rede pública ou privada?

O roteamento público é mais comum e fácil de usar. Os recursos podem ser acessados pela Internet aberta. O acesso é controlado por meio do RBAC (controle de acesso baseado em função). O roteamento público não requer configuração.

Você prefere o roteamento de rede pública ou privada?

  • O roteamento público é mais comum, mais fácil de usar e torna os recursos acessíveis da Internet aberta.
  • O roteamento privado é mais seguro, vem com custo adicional e torna os recursos acessíveis somente de redes emparelhadas.

O roteamento público não requer configuração. Se você optar pelo roteamento privado, trabalhe com o administrador de rede para configurar o emparelhamento e o roteamento para que a rede isolada dos hubs FinOps seja acessível da rede. Antes de decidir, saiba mais sobre as etapas de configuração extras necessárias para configurar a rede privada.


Opcional: configurar o Microsoft Fabric

Muitas organizações adotam o Microsoft Fabric como uma plataforma de dados unificada para simplificar a análise, o armazenamento e o processamento de dados. Os hubs FinOps podem usar o Microsoft Fabric Real-Time Intelligence (RTI) como um armazenamento de dados primário ou secundário. Esta seção só se aplica ao configurar o Microsoft Fabric como um repositório de dados primário em vez do Azure Data Explorer.

A configuração do Microsoft Fabric é um processo manual e requer etapas explícitas antes e depois da implantação do modelo. Esta seção aborda os requisitos iniciais de instalação.

  1. Criar um workspace e uma casa de eventos:
    1. No Microsoft Fabric, abra o workspace desejado ou crie um novo workspace. Saiba mais.
    2. No workspace do Fabric, selecione o comando + Novo item na parte superior da página.
    3. Selecione o Repositório de dados>Eventhouse.
    4. Especifique um nome (por exemplo FinOpsHub) e selecione Criar.
  2. Crie e configure o banco de dados Ingestion.
    1. Selecione Eventhouse>+ Database na parte superior da página, defina o nome como Ingestione selecione Criar.
    2. Selecione o Ingestion_queryset no menu à esquerda.
    3. Exclua todo o texto no arquivo.
    4. Baixe e abra o arquivo finops-hub-fabric-setup-Ingestion.kql em um editor de texto.
    5. Copie todo o texto deste arquivo para o editor de consulta do Fabric.
    6. Pressione Ctrl+H para ativar a caixa de diálogo de localizar e substituir, defina o texto de localização para $$rawRetentionInDays$$ e substitua-o pelo 0 número de dias desejado para manter os dados nas tabelas _raw, e então pressione Ctrl+Alt+Enter para substituir todas as instâncias.
    7. Pressione Ctrl+Home para levar o cursor para o início do arquivo e pressione Shift+Enter ou selecione o comando Executar na parte superior da página.
    8. Aguarde a conclusão do script e, em seguida, examine a coluna Resultado para confirmar todos os comandos concluídos com êxito.
      • Se você vir um erro para uma linha que tenha $$rawRetentionInDays$$, repita as etapas 2.6 e 2.7.
      • Se você tiver um erro diferente, crie um problema no GitHub.
  3. Repita a etapa 2 para o banco de dados Hub usando o arquivo de script finops-hub-fabric-setup-Hub.kql.
  4. No painel esquerdo, selecione Visão geral do sistema e selecione o link Copiar URI para a propriedade URI de consulta no painel de detalhes à direita.
    • Anote o URI da consulta. Você o usará na próxima etapa.

Implantar o modelo de hub FinOps

O mecanismo principal para hubs FinOps é implantado por meio de um modelo de implantação do Azure Resource Manager. O modelo está disponível no bicep. O modelo inclui uma conta de armazenamento, o Azure Data Factory, o Azure Data Explorer e outros recursos de suporte. Para saber mais sobre o modelo e os requisitos de acesso menos privilegiados, consulte os detalhes do modelo do hub FinOps.

  1. Abra o modelo desejado no portal do Azure:
  2. Selecione a assinatura e o grupo de recursos desejados.
  3. Selecione uma região do Azure na qual você gostaria de implantar recursos.
    • Se estiver se conectando ao Microsoft Fabric, selecione a mesma região que a capacidade do Microsoft Fabric. Você pode encontrar a região nas configurações do seu workspace >Informações de licença>Capacidade de licença.
  4. Especifique um nome para o hub usado para fins de recursos centrais e de relatório.
    • Todos os recursos têm uma marca cm-resource-parent comum para agrupá-los no hub no Gerenciamento de Custos.
  5. Especifique um nome de cluster exclusivo do Azure Data Explorer ou o URI de Consulta do Eventhouse do Microsoft Fabric.
    • Esse nome é usado para consultar dados e conectar-se a relatórios, dashboards e outras ferramentas.
    • Se estiver implantando no Microsoft Fabric, use o URI de consulta da casa de eventos do Fabric e deixe o nome do cluster do Data Explorer vazio.
    • O Data Explorer e o Fabric são opcionais, mas recomendados se estiverem monitorando mais de US$ 100.000 em gastos totais.
    • Aviso: o Power BI poderá enfrentar problemas de tempo limite e atualização de dados se os gastos com armazenamento ultrapassarem US$ 1 milhão. Se você tiver problemas, reimplante com o Data Explorer ou o Microsoft Fabric.
  6. Selecione o botão Avançar na parte inferior do formulário.
  7. Se desejar, você pode alterar a redundância de armazenamento ou o SKU do Data Explorer.
    • Não recomendamos alterar nenhuma das configurações para sua implantação inicial.
    • Se estiver usando o Data Explorer, a conta de armazenamento será um armazenamento de dados temporário e não precisará de redundância geográfica.
    • A maioria das implantações não requer um SKU maior do Data Explorer. É recomendável começar com o cluster de desenvolvimento/teste e monitorar o desempenho antes de aumentar verticalmente ou horizontalmente.
    • Para obter detalhes sobre como dimensionar o Data Explorer, consulte Selecionar um SKU para seu cluster.
  8. Selecione o botão Avançar na parte inferior do formulário.
  9. Defina os períodos de retenção de dados desejados.
    • A retenção de dados brutos refere-se aos dados adicionados ao Data Explorer, mas não normalizados nas tabelas finais. Use 0, a menos que seja necessário solucionar problemas de ingestão. Esse número indica retenção em dias.
    • A retenção de dados normalizada refere-se ao período em meses em que os dados estão disponíveis nas tabelas finais. 0 mantém apenas o mês atual, 1 é apenas o mês passado e o mês atual, e assim por diante.
  10. Selecione o botão Avançar na parte inferior do formulário.
  11. Indique se você precisa de criptografia de infraestrutura.
    • Não recomendado, a menos que você tenha políticas específicas que exijam criptografia de infraestrutura.
  12. Indica se você deseja roteamento de rede público ou privado. Saiba mais.
  13. Se você selecionou privado, especifique o prefixo de endereço de rede privado desejado.
  14. Selecione o botão Avançar na parte inferior do formulário.
  15. Se desejado, especifique mais etiquetas para adicionar aos recursos.
  16. Selecione o botão Avançar na parte inferior do formulário.
  17. Examine o resumo da configuração e selecione o botão Criar na parte inferior do formulário.

Opcional: configurar o acesso ao Fabric

Se você configurar o Microsoft Fabric como um repositório de dados primário, configure o acesso para o Data Factory e a casa de eventos do Fabric.

  1. Obtenha a identidade do Data Factory:
    1. No portal do Azure, abra o grupo de recursos do hub FinOps.
    2. Na lista de recursos, selecione a instância do Data Factory.
    3. No menu à esquerda, selecione Configurações>Identidades gerenciadas e copie o ID do Objeto (principal).
  2. Conceda ao Data Factory acesso aos bancos de dados Hub e Ingestão:

    1. No Microsoft Fabric, abra o workspace desejado e selecione a casa de eventos de destino.

    2. Selecione o banco de dados Ingestão no painel esquerdo.

    3. Selecione Ingestion_queryset no painel esquerdo.

    4. Execute os seguintes comandos separadamente, substituindo <adf-identity-id> pela ID do objeto de identidade gerenciada do Data Factory da etapa 1:

      .add database Ingestion admins ('aadapp=<adf-identity-id>')

.add database Hub admins ('aadapp=<adf-identity-id>')

Configurar escopos para monitorar

Os hubs FinOps podem monitorar qualquer conjunto de dados de custo e uso que se alinhe à Especificação de Uso e Custo Aberto (FOCUS) do FinOps.

Você pode ingerir dados do Gerenciamento de Custos da Microsoft criando exportações manualmente ou concedendo acesso aos hubs FinOps para criar e gerenciar exportações para você. As etapas a seguir devem ser repetidas para cada escopo que você precisa monitorar. É recomendável usar contas de cobrança EA e perfis de cobrança do MCA para obter a melhor cobertura e conjuntos de dados mais amplos disponíveis. Para saber mais sobre a diferença entre as exportações manuais e gerenciadas, consulte Configurar escopos.

  1. No portal do Azure, abra o Gerenciamento de Custos.
  2. Selecione o escopo desejado no seletor de escopo em direção à parte superior da página.
  3. No menu à esquerda, selecione Reporting + Analytics>Exports.
  4. Selecione o comando Criar .
  5. Selecione o modelo Todos os custos (FOCUS) + preços .
  6. Especifique um prefixo (por exemplo, finops-hub) e selecione Avançar na parte inferior.
  7. Selecione a assinatura e a conta de armazenamento criada pela implantação do hub FinOps.
  8. Defina o contêiner como msexports.
  9. Defina o diretório como uma cadeia de caracteres exclusiva que identifica o escopo (por exemplo, billingAccounts/###).
  10. Selecione o formato Parquet e a compactação snappy para obter o melhor desempenho.
    • Qualquer combinação de CSV e parquet, compactado ou descompactado é compatível, mas é recomendável fazer o snappy parquet.
  11. Selecione Avançar na parte inferior.
  12. Examine e corrija as configurações conforme necessário e selecione Criar na parte inferior.
  13. Repita as etapas 4 a 12 para mais conjuntos de dados.
    • Recomendações de reserva são necessárias para que a página de Recomendações de Reserva do relatório de otimização de tarifa seja carregada.

Exportações gerenciadas

As exportações gerenciadas permitem que os hubs FinOps configurem e mantenham as exportações de Gerenciamento de Custos para você. Para habilitar as exportações gerenciadas, você deve conceder acesso ao Azure Data Factory para ler dados em cada escopo que deseja monitorar. Para obter instruções detalhadas, consulte Configurar exportações gerenciadas.

Importação de dados de outras fontes

Para ingerir dados de outros provedores de dados que dão suporte ao FOCUS, como Amazon Web Services (AWS), Google Cloud Platform (GCP), Oracle Cloud Infrastructure (OCI) e Tencent:

  1. Configure um conjunto de dados FOCUS do seu provedor.
  2. Crie um fluxo de trabalho para copiar dados para o contêiner de ingestão na conta de armazenamento do hub FinOps.
    • Os arquivos são organizados por mês do calendário UTC e devem ter menos de 2 GB cada, salvos no formato parquet. A compactação Snappy é opcional.
    • Os arquivos devem ser colocados no seguinte caminho de pasta: Costs/yyyy/mm/{scope}.
      • yyyy representa o ano de quatro dígitos do conjunto de dados.
      • mm representa o mês de dois dígitos do conjunto de dados.
      • {scope} representa um identificador lógico e consistente para o conjunto de dados. Esse valor pode ser qualquer caminho válido usando uma ou mais pastas aninhadas.
    • Se o provedor gerar deltas não sobrepostos em cada conjunto de dados, adicione um diretório extra para o dia e/ou hora (dd ou dd/hh) entre os diretórios de mês e escopo.
      • O objetivo é garantir que os conjuntos de dados substituídos sejam consistentemente colocados no mesmo caminho de pasta para que sejam substituídos sempre. Conjuntos de dados não sobrepostos devem ser transferidos para um novo diretório.
  3. Crie um arquivo vazio manifest.json na mesma pasta.
    • A ingestão do Data Explorer é disparada quando os arquivos manifest.json são adicionados ou atualizados.
  4. Se houver colunas não cobertas no processo de ingestão atual, atualize as tabelas Costs_raw e Costs_final_v1_0 e as funções Costs_transform_v1_0, Costs_v1_0 e Custos adequadamente.
    • Envie uma solicitação de recurso para adicionar novas colunas ao código de ingestão padrão para garantir que as personalizações não bloqueiem atualizações futuras.

Opcional: preencher dados históricos

Os hubs FinOps não fazem o backfill de dados automaticamente. Para preencher os dados históricos, execute exportações de dados históricos a partir do provedor de dados original, incluindo quaisquer pipelines de dados personalizados usados para publicar dados no recipiente de armazenamento de ingestão.

Para o Gerenciamento de Custos da Microsoft:

  1. No portal do Azure, abra o Gerenciamento de Custos.
  2. Selecione o escopo desejado no seletor de escopo em direção à parte superior da página.
  3. No menu à esquerda, selecione Reporting + Analytics>Exports.
  4. Selecione a exportação desejada na lista de exportações.
    • Sempre exporte os preços antes dos custos para garantir que eles estejam disponíveis para preencher os preços ausentes no conjunto de dados de custo e uso.
    • Se os custos forem exportados primeiro, execute novamente o pipeline de ingestion_ExecuteETL para que os dados de custo do mês preencham os preços ausentes.
  5. Selecione Exportar datas selecionadas e especifique o mês desejado. Sempre exporte o mês inteiro.
  6. Repita a etapa 5 para todos os meses desejados.
    • O Gerenciamento de Custos só permite exportar dados dos últimos 12 meses do portal do Azure.
    • Considere usar o PowerShell para exportar além dos últimos 12 meses.
  7. Repita as etapas 4 a 6 para cada exportação.
  8. Repita as etapas 2 a 7 para cada escopo.

Opcional: conectar-se ao Microsoft Fabric como um seguidor

Se você optar por configurar hubs FinOps com o Data Explorer, mas ainda estiver interessado em disponibilizar dados no Microsoft Fabric, crie um banco de dados de atalho (seguidor) usando eventhouses do Fabric. Bancos de dados de atalho não são necessários se você integrar diretamente em um sistema de eventos do Fabric.

  1. No workspace do Fabric, selecione o comando + Novo item na parte superior da página.
  2. Selecione o Repositório de dados>Eventhouse.
  3. Especifique um nome e selecione Criar.
  4. Selecione + Banco de Dados na parte superior da página.
  5. Defina o nome como Ingestion e o tipo como Novo banco de dados de atalho (seguidor), e selecione Avançar.
  6. Defina o URI do cluster como o URI do cluster do hub FinOps e o banco de dados como Ingestion, em seguida, selecione Criar.
  7. Repita as etapas 4 a 6 para o Hub banco de dados.

Configurar relatórios e painéis de controle

Os hubs FinOps vêm com um painel do Data Explorer e relatórios do Power BI que podem se conectar a dados no Data Explorer (via KQL) ou no Azure Data Lake Storage.

Recomendamos configurar o painel do Data Explorer mesmo se você usar o Power BI devido à configuração rápida e fácil e insights sobre dados ingeridos.

  1. Baixe o modelo de painel.
  2. Conceda a quaisquer usuários acesso como Visualizador (ou maior) aos bancos de dados do Hub e da Ingestão. Saiba mais.
  3. Acesse os painéis do Azure Data Explorer.
  4. Importe um novo painel do arquivo na etapa 1.
  5. Edite o painel e altere a fonte de dados para o cluster do hub FinOps.

Para obter mais informações, consulte Configurar painéis do Data Explorer.


Resolução de problemas

Se você tiver um erro específico, verifique a lista de erros comuns para as etapas de mitigação. Se você não estiver enfrentando um código de erro específico ou encontrar outros problemas, consulte o guia de solução de problemas.

Se o problema não for resolvido com o guia de solução de problemas, consulte Obter suporte para problemas do kit de ferramentas FinOps para obter ajuda adicional.


Fornecer comentários

Deixe-nos saber como estamos indo com uma avaliação rápida. Usamos essas revisões para melhorar e expandir ferramentas e recursos do FinOps.

Envie comentários

Se você estiver procurando algo específico, vote em um existente ou crie uma ideia. Compartilhe ideias com outras pessoas para obter mais votos. Nós nos concentramos nas ideias com mais votos.

Votar ou sugerir ideias


Conteúdo relacionado

Funcionalidades de FinOps relacionadas:

Produtos relacionados:

Soluções relacionadas:


  • Last updated on