Modelo de hub FinOps

Este documento fornece um resumo detalhado do que está incluído no modelo de implantação de hubs FinOps. Você pode usar isso como um guia para ajustar sua implantação ou para informar personalizações que você pode fazer no modelo para atender às suas necessidades organizacionais. Este documento explica os pré-requisitos necessários para implantar o modelo, os parâmetros de entrada que você pode personalizar, os recursos que serão implantados e as saídas do modelo. As saídas de modelo podem ser usadas para se conectar às instâncias do hub no Power BI, no Data Explorer ou em outras ferramentas.

Os hubs FinOps incluem muitos recursos para oferecer uma plataforma FinOps segura e escalável. Os principais recursos com os quais irá interagir incluem:

• Data Explorer (Kusto) como um armazenamento de dados escalável para análise avançada (opcional).
• Conta de armazenamento (Data Lake Storage Gen2) como uma área de preparo para ingestão de dados.
• Instância do Data Factory para gerenciar a ingestão e a limpeza de dados.

Pré-requisitos

Certifique-se de que os seguintes pré-requisitos sejam atendidos antes de implantar o modelo:

• Você deve ter as seguintes permissões para criar os recursos implantados.

  Recurso	RBAC mínimo do Azure
  Implantar e configurar o Data Factory¹	Colaborador do Data Factory
  Implantar o Cofre da Chave (somente hub remoto)¹	Contribuidor do Key Vault
  Configurar os segredos do Azure Key Vault (apenas no hub remoto)¹	Administrador do Cofre de Chaves
  Criar identidade gerenciada¹	Contribuidor de identidade gerenciada
  Implantar e configurar o armazenamento¹	Contribuidor da Conta de Armazenamento
  Atribuir identidade gerenciada a recursos¹	Operador de identidade gerenciada
  Criar scripts de implantação¹	Função personalizada contendo apenas as permissões Microsoft.Resources/deploymentScripts/write e Microsoft.ContainerInstance/containerGroups/write como ações permitidas ou, alternativamente, Colaborador, que inclui estas permissões e todas as funções mencionadas acima.
  Atribuir permissões a identidades gerenciadas¹	Administrador de Controle de Acesso Baseado em Função ou, alternativamente, Proprietário, que inclui essa função e todas as funções acima
  Criar uma exportação de custos para uma assinatura ou grupo de recursos	Colaborador de Gestão de Custos
  Criar uma exportação de custos de faturação EA²	Leitor Empresarial, Leitor de Departamento ou Proprietário da Conta de Inscrição (Saiba mais)
  Criar uma exportação de custos de faturação MCA²	Colaborador
  Ler dados de blob no armazenamento³	Contribuidor de Dados de Blobs de Armazenamento

  ¹ Basta atribuir permissões de implantação de recursos de hubs ao nível do grupo de recursos.
  ² As permissões de Gerenciamento de Custos devem ser atribuídas no escopo de onde você deseja exportar seus custos.
  ³ As permissões de dados de Blob são necessárias para acessar dados de custo exportados do Power BI ou de outras ferramentas de cliente.
  

• Você deve ter permissões para atribuir as seguintes funções a identidades gerenciadas como parte da implantação:

  Função RBAC do Azure	Observações
  Colaborador do Data Factory	Atribuído à identidade do gerenciador de gatilhos de implantação para iniciar automaticamente os gatilhos do Data Factory.
  Leitor	Atribuído ao Data Factory para gerenciar dados em armazenamento.
  Contribuidor da Conta de Armazenamento	Atribuído ao Data Factory para gerenciar dados em armazenamento.
  Contribuidor de Dados de Blobs de Armazenamento	Atribuído ao Data Factory e ao Data Explorer para gerenciar dados em armazenamento.
  Contribuidor Privilegiado de Dados de Ficheiros de Armazenamento	Atribuído à identidade de carregamento do arquivo de implantação que carrega arquivos no contêiner de configuração.
  Administrador de Acesso de Usuário	Atribuído ao Data Factory para gerenciar dados em armazenamento.

• O provedor de recursos Microsoft.EventGrid deve estar registrado em sua assinatura. Para obter mais informações, consulte Registrar um provedor de recursos.

  Importante

  Se te esqueceres desta etapa, a implantação será bem-sucedida, mas o gatilho da linha de montagem não se iniciará e os dados não ficarão prontos. Para obter mais informações, consulte Solução de problemas de relatórios do Power BI.

Parâmetros

Aqui estão os parâmetros que você pode usar para personalizar a implantação:

Recursos

Os recursos a seguir são criados no grupo de recursos de destino durante a implantação.

Os recursos usam a seguinte convenção de nomenclatura: <hubName>-<purpose>-<unique-suffix>. Os nomes são ajustados para levar em conta as restrições de comprimento e caracteres. O <unique-suffix> é usado para garantir que os nomes de recursos sejam globalmente exclusivos, quando necessário.

• <hubName>store<unique-suffix> conta de armazenamento (Data Lake Storage Gen2)
  • Contêineres de blob
    • msexports – Armazena temporariamente as exportações de Gestão de Custos.
    • ingestion – Armazena dados ingeridos.
    • config – Armazena metadados de hub e definições de configuração. Ficheiros:
      • settings.json – Configurações do Hub.
      • schemas/focuscost_1.0.json – Definição do esquema FOCUS 1.0 para conversão de parquet.
      • schemas/focuscost_1.0-preview(v1).json – Definição do esquema FOCUS 1.0-preview para conversão de parquet.
      • schemas/pricesheet_2023-05-01_ea.json – Tabela de preços Versão da definição do esquema EA 2023-05-01 para conversão para parquet.
      • schemas/pricesheet_2023-05-01_mca.json – Definição do esquema de folha de preços MCA versão 2023-05-01 para conversão em parquet.
      • schemas/reservationdetails_2023-03-01.json – Definição do esquema de detalhes da reserva versão 2023-03-01 para conversão de parquet.
      • schemas/reservationrecommendations_2023-05-01_ea.json – Recomendações de reserva Definição do esquema EA versão 2023-05-01 para conversão em parquet.
      • schemas/reservationrecommendations_2023-05-01_mca.json – Recomendações de reserva para a definição do esquema MCA, versão 2023-05-01, para conversão em parquet.
      • schemas/reservationtransactions_2023-05-01_ea.json – Definição do esquema EA de transações de reserva versão 2023-05-01 para conversão para parquet.
      • schemas/reservationtransactions_2023-05-01_mca.json – Transações de reserva, definição de esquema MCA versão 2023-05-01 para conversão parquet.
• <hubName>script<unique-suffix> conta de armazenamento (Data Lake Storage Gen2) para scripts de implementação.
• <hubName>-engine-<unique-suffix> Instância do Data Factory
  • Gasodutos:
    • config_InitializeHub – Inicializa (ou atualiza) a instância do hub FinOps após a implantação.
    • config_ConfigureExports – Cria exportações de Gestão de Custos para todos os âmbitos.
    • config_StartBackfillProcess – Executa o processo de backfill para cada mês com base nas configurações de retenção.
    • config_RunBackfillJob – Cria e aciona exportações para todos os escopos definidos para o intervalo de datas especificado.
    • config_StartExportProcess – Obtém uma lista de todas as exportações do Cost Management configuradas para este hub com base nos escopos definidos em settings.json e, em seguida, executa cada exportação usando o pipeline de config_RunExportJobs.
    • config_RunExportJobs – Executa as exportações de Gestão de Custos especificadas.
    • msexports_ExecuteETL – Enfileira o pipeline para levar em conta os limites de gatilho msexports_ETL_ingestion do pipeline do Data Factory.
    • msexports_ETL_ingestion – Converte as exportações de Gestão de Custos em parquet e elimina os dados históricos duplicados presentes em cada exportação diária.
    • ingestion_ExecuteETL – Enfileira o pipeline para levar em conta os limites de gatilho ingestion_ETL_dataExplorer do pipeline do Data Factory.
    • ingestion_ETL_dataExplorer – Ingere dados de Parquet em um cluster do Azure Data Explorer.
  • Gatilhos:
    • config_SettingsUpdated – Aciona o config_ConfigureExports pipeline quando settings.json é atualizado.
    • config_DailySchedule – Aciona o config_RunExportJobs pipeline diariamente para os dados de custo deste mês.
    • config_MonthlySchedule – Aciona mensalmente o config_RunExportJobs pipeline para processar os dados de custo do mês anterior.
    • msexports_ManifestAdded – Aciona o pipeline quando as msexports_ExecuteETL exportações do Gerenciamento de Custos são concluídas.
    • ingestion_ManifestAdded – Aciona o pipeline ingestion_ExecuteETL quando ficheiros manifest.json são adicionados (manipulados pelo pipeline msexports_ETL_ingestion).
  • Pontos finais privados geridos
    • <hubName>store<unique-suffix> - Ponto de extremidade privado gerido para conta de armazenamento.
    • <hubName>-vault-<unique-suffix> - Ponto de extremidade privado gestido para o Azure Key Vault.
• <hubName>-vault-<unique-suffix> Instância do Cofre de Chaves (incluída apenas quando implementada como um hub remoto)
  • Segredos:
    • Identidade gerenciada do sistema Data Factory
• <dataExplorerName> cluster de Data Explorer
  • Hub base de dados – Funções voltadas para o utilizador para abstrair os componentes internos.
    • Inclui 2 conjuntos de funções:
      • Funções específicas do conjunto de dados para a versão FOCUS suportada mais recente (por exemplo, Costs, Prices).
      • Funções específicas do conjunto de dados para cada versão FOCUS suportada (por exemplo, Costs_v1_0 para FOCUS 1.0). Essas funções são fornecidas para compatibilidade com versões anteriores. Todas as funções retornam todos os dados alinhados à versão FOCUS de destino.
    • Os conjuntos de dados incluem: Costs, Prices.
    • As versões FOCUS suportadas incluem: v1_0.
  • Ingestion banco de dados – Armazena dados ingeridos.
    • Configurações:
      • HubSettingsLog tabela – Armazena um histórico de alterações de configuração de alto nível (por exemplo, versões, escopos).
      • Função HubSettings – Obtém a versão mais recente das configurações da instância do hub.
      • Função HubScopes – Obtém os escopos atualmente configurados para esta instância de hub.
    • Dados abertos:
      • PricingUnits tabela – ficheiro de mapeamento PricingUnits do kit de ferramentas FinOps. Usado para normalização e limpeza de dados.
      • Regions tabela – arquivo de mapeamento de regiões do kit de ferramentas FinOps. Usado para normalização e limpeza de dados.
      • ResourceTypes tabela – arquivo de mapeamento ResourceTypes do kit de ferramentas FinOps. Usado para normalização e limpeza de dados.
      • Services tabela – arquivo de mapeamento de Serviços do conjunto de ferramentas FinOps. Usado para normalização e limpeza de dados.
      • Função resource_type – Função simples para mapear IDs de tipo de recurso interno para exibir nomes com base no arquivo de mapeamento ResourceTypes.
        • Use esta função para mapear um único valor e unir com a tabela ResourceTypes para atualizar muitas linhas ou mapear outros valores.
    • Conjuntos de dados:
      • Tabela <dataset>_raw – Dados brutos diretamente da fonte de aquisição. Usa um esquema de união para dados de várias fontes.
      • Função <dataset>_transform_vX_Y – Normaliza e limpa dados brutos para alinhar à versão FOCUS de destino usando tabelas de dados abertos, conforme necessário.
      • <dataset>_final_vX_Y table – Versão limpa da tabela bruta correspondente alinhada à versão FOCUS de destino. Preenchido por meio de uma política de atualização que utiliza a função de transformação correspondente quando os dados são inseridos em tabelas brutas.

Além das informações anteriores, os recursos a seguir são criados para automatizar o processo de implantação. Os scripts de implantação devem ser excluídos automaticamente. No entanto, não exclua as identidades gerenciadas, pois isso pode causar erros ao atualizar para a próxima versão.

• Identidades gerenciadas:
  • <storage>_blobManager (Storage Blob Data Contributor) – Carrega o arquivo settings.json.
  • <datafactory>_triggerManager (Colaborador do Data Factory) – Interrompe os gatilhos antes da implantação e os inicia após a implantação.
• Scripts de implantação (excluídos automaticamente após uma implantação bem-sucedida):
  • <datafactory>_deleteOldResources – Exclui recursos não utilizados de implantações anteriores de hubs FinOps.
  • <datafactory>_stopTriggers – Interrompe todos os gatilhos no hub usando a identidade triggerManager.
  • <datafactory>_startTriggers – Inicia todos os gatilhos no hub usando a identidade triggerManager.
  • <storage>_uploadSettings – Carrega o arquivo settings.json usando a identidade blobManager.

Saídas

Aqui estão as saídas geradas pela implantação:

Enviar comentários

Dê-nos a sua opinião com uma breve avaliação. Usamos essas análises para melhorar e expandir as ferramentas e os recursos do FinOps.

Se você está procurando algo específico, vote em uma ideia existente ou crie uma nova. Partilhe ideias com outras pessoas para obter mais votos. Focamo-nos nas ideias mais votadas.

Conteúdos relacionados

Mais informações