Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Essa arquitetura de referência é para organizações que implementaram uma versão básica da análise em escala de nuvem e agora estão prontas para hospedar novas unidades de negócios para ajudar a modernizar suas operações de análise. Esse cenário mais complexo usa várias zonas de destino, aplicativos de dados e produtos de dados.
O Apache Hive e o logotipo do Hive são marcas registradas ou marcas comerciais do Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso do Apache Software Foundation está implícito com o uso dessas marcas.
Instrução do problema
A Relecloud, a empresa fictícia neste exemplo, é um provedor de nuvem privado que oferece recursos de computação e armazenamento compartilhados para organizações globais. Embora o Relecloud forneça recursos de computação, eles não querem restringir sua plataforma com suas próprias operações internas. Portanto, eles dependem do Microsoft Azure para suas necessidades de computação internas.
Os analistas de dados do grupo de operações usam dados de telemetria dos serviços de nuvem para entender como seus clientes usam a plataforma. Uma equipe separada de analistas do grupo de cobrança estuda os dados de faturamento para obter insights sobre quais serviços geram mais receita.
No último trimestre, a equipe de operações modernizou sua plataforma de análise migrando-a para o Azure. Uma meta na implementação da análise em escala de nuvem era maximizar o potencial para dimensionar a plataforma e adicionar novas cargas de trabalho organizacionais.
Hoje, o grupo de cobrança cresceu além da capacidade da sua solução de análise de dados atual. O volume de faturas a serem analisadas é muito grande para o servidor local. A equipe decide seguir o líder do grupo de operações e modernizar sua plataforma de análise de dados no Azure.
Analistas do grupo de cobrança têm habilidades diferentes dos analistas do grupo de operações. Os analistas de cobrança não querem ser restringidos a usar as mesmas ferramentas que as operações. O grupo de cobrança está em uma parte diferente da organização e quer a flexibilidade para implementar as políticas e procedimentos que atendem às suas necessidades.
Solução de arquitetura
O Relecloud dimensiona sua plataforma de análise adicionando uma nova zona de destino para o grupo de cobrança. Essa zona de destino fornece um espaço de trabalho virtual para o grupo de cobrança implementar as soluções analíticas que atendam às suas necessidades empresariais. Ao ter uma zona de destino separada dos outros recursos da organização, o grupo de cobrança pode implementar suas próprias políticas de acesso e considerar os custos de seus serviços.
O diagrama a seguir não representa todos os serviços do Azure. O diagrama é simplificado para realçar os principais conceitos de organização de recursos dentro da arquitetura.
Zona de destino do gerenciamento de dados
Um requisito fundamental para uma implementação de análise em escala de nuvem é uma zona de destino de gerenciamento de dados. Esta assinatura contém recursos compartilhados em todas as zonas de destino, incluindo componentes de rede compartilhados, como um firewall ou zonas DNS privadas. Ele também inclui recursos para governança de dados e nuvem. O Microsoft Purview e Databricks Unity Catalog foram implantados como serviços no nível do locatário.
O Relecloud criou uma zona de destino de gerenciamento de dados quando implantou a solução de análise de dados para o grupo de operações. Quando o grupo de cobrança ingressa na plataforma, eles usam a mesma zona de destino de gerenciamento de dados para compartilhar recursos comuns com o grupo de operações.
Zona de destino de dados de operações
O grupo de operações tem as seguintes soluções em sua zona de destino de dados.
Aplicativos de dados de operações
A equipe criou um aplicativo de dados alinhado à origem que usa trabalhos do Apache Spark no Azure Databricks para ingerir dados de telemetria do serviço e armazená-los em uma conta do Azure Data Lake Storage.
Esse processo copia os dados as-is do sistema de origem, mas não os transforma. Os analistas podem trabalhar com os dados copiados na plataforma de análise sem sobrecarregar o sistema de origem. Em vez de criar uma implantação dedicada para esse aplicativo de dados, a equipe de operações usa o espaço de trabalho do Databricks no grupo de recursos compartilhado
Os clientes do Relecloud podem criar contas de nuvem para gerenciar recursos e cobrança em suas nuvens privadas. Cada cliente pode ter várias contas. A equipe de análise criou um aplicativo de dados para importar os dados da conta de nuvem. Como o volume e a frequência dos dados são muito menores do que para dados de telemetria, a equipe não precisa usar trabalhos do Spark. Em vez disso, eles criaram pipelines do Azure Data Factory para copiar os dados.
O Banco de Dados do Azure para MySQL atua como o metastore do Hive e o Banco de Dados SQL do Azure é o metastore do Azure Data Factory.
Produtos de dados de operações
Os analistas do Relecloud obtêm valor dos dados nos aplicativos de dados alinhados à origem criando novos aplicativos de dados alinhados ao consumidor. Um desses aplicativos de dados alinhados ao consumidor é um modelo de recomendação de serviço de nuvem . Os cientistas de dados do Relecloud usaram o Azure Machine Learning para criar um modelo que examina os serviços que uma conta de nuvem consome e sugere serviços relacionados que podem ser úteis. A equipe implanta esse modelo em um cluster do AKS (Serviço de Kubernetes do Azure) em execução na zona de destino e gerenciado pelo Azure Machine Learning. Aplicativos que operam fora de análises em escala de nuvem podem chamar o endpoint do AKS para obter recomendações.
Depois que a equipe de cobrança cria sua zona de destino, a equipe de operações cria um novo produto de dados que sua equipe de gerenciamento solicita. A equipe de gerenciamento deseja saber quanta receita o aplicativo de dados de recomendação do serviço de nuvem gera. O novo produto de dados de receita do Recomendador usa o Azure Synapse Analytics para combinar dados do recomendador de serviço de nuvem e receita por serviço em um novo produto de dados. Os analistas de negócios podem se conectar ao Azure Synapse com o Microsoft Power BI para localizar e relatar insights desse novo produto de dados.
Zona de destino de dados de cobrança
O grupo de cobrança estava usando um sistema local para alimentar suas análises, mas à medida que o volume de dados aumentava e a empresa dependia mais de seu trabalho, o sistema não conseguia acompanhar o ritmo. O grupo moderniza sua plataforma movendo-se para a nuvem.
O grupo de cobrança não compartilha uma zona de destino com o grupo de operações, mas obtém sua própria zona de destino onde eles têm a liberdade de construir a plataforma que melhor atende às suas necessidades. A nova zona de destino está conectada à zona de destino de gerenciamento de dados e a todas as outras zonas de destino de dados com emparelhamento de rede virtual. Esse mecanismo permite que os dados sejam compartilhados com segurança por meio da rede interna do Azure.
Aplicativos de dados de cobrança
Para obter dados de sistemas existentes na plataforma de análise, o grupo de cobrança cria dois aplicativos de dados. O primeiro aplicativo ingere os dados do cliente, incluindo a lista completa de clientes e todos os dados relacionados, como endereços de cliente, locais e atribuições de vendedor. O segundo aplicativo importa o histórico de faturas da empresa, que inclui todos os encargos de cobrança aos clientes e os dados de pagamento relacionados.
Ambos os aplicativos são alimentados por pipelines no workspace compartilhado do Azure Synapse. Cada aplicativo tem um pool de computação dedicado para facilitar a contabilidade de custos e os limites de segurança. Como os aplicativos podem ser totalmente implementados com recursos compartilhados, o grupo de cobrança não precisa criar uma implantação para esses aplicativos de dados.
Produto de dados de cobrança
Os analistas de cobrança criam um novo produto de dados chamado Receita por serviço que analisa a receita que cada serviço de nuvem gera para o Relecloud. Este produto depende dos dados no processamento de Faturas. O produto também se conecta à zona de destino das operações e lê os dados de uso do serviço. Assim como os aplicativos de dados, o produto de dados também depende do workspace compartilhado do Azure Synapse.
Próximas etapas
Continue para o cenário da Lamna Healthcare para análise segura em escala de nuvem no Azure.
Para obter mais informações, consulte os seguintes artigos: