Introdução à análise em escala de nuvem

A análise em escala de nuvem baseia-se nas zonas de aterrissagem do Azure para simplificar a implantação e a governança. O principal objetivo de uma zona de aterrissagem do Azure é garantir que, quando você implanta um aplicativo ou carga de trabalho no Azure, a infraestrutura necessária já esteja instalada. Antes de implantar sua zona de aterrissagem de análise em escala de nuvem, você precisa trabalhar com o Cloud Adoption Framework for Azure para implantar uma arquitetura de zona de aterrissagem do Azure que tenha zonas de aterrissagem de plataforma.

Para cargas de trabalho soberanas, a Microsoft fornece a Sovereign Landing Zone (SLZ), que é uma variante da Azure landing zone. O SLZ destina-se a organizações que necessitam de controlos soberanos avançados. A análise em escala de nuvem pode ser implantada nessa variante de zona de aterrissagem do Azure.

A análise em escala de nuvem envolve a implantação em zonas de aterrissagem de aplicativos. Essas zonas normalmente residem sob o grupo de gerenciamento da zona de desembarque. As políticas filtram até os modelos de exemplo fornecidos pela Microsoft.

Você pode usar esses modelos de exemplo para suas implantações de data lakehouse e malha de dados .

Avaliação analítica em escala de nuvem

Muitas vezes, uma empresa busca clareza ou orientação prescritiva antes de começar a definir os detalhes técnicos para um caso de uso ou projeto específico, ou para análises de ponta a ponta em escala de nuvem. À medida que uma empresa formula sua estratégia geral de dados, pode ser um desafio garantir que todos os princípios necessários e estratégicos no escopo do uso atual sejam levados em consideração.

Para acelerar a entrega dessa implementação de insights de ponta a ponta, levando esses desafios em consideração, a Microsoft desenvolveu um cenário prescritivo para análises em escala de nuvem. Ele se alinha com os principais temas discutidos em Desenvolver um plano para análises em escala de nuvem.

A análise em escala de nuvem baseia-se no Cloud Adoption Framework e aplica os princípios do Azure Well-Architected Framework. O Cloud Adoption Framework fornece orientação prescritiva e práticas recomendadas para modelos operacionais de nuvem, arquiteturas de referência e modelos de plataforma. Esta orientação é baseada em experiências do mundo real de alguns dos nossos ambientes mais desafiadores, sofisticados e complexos.

A análise em escala de nuvem ajuda você a se preparar para criar e operacionalizar zonas de destino para hospedar e executar cargas de trabalho de análise. Você constrói as zonas de aterrissagem com base em segurança, governança e conformidade aprimoradas. As zonas de aterragem são escaláveis e modulares, mas suportam autonomia e inovação.

História da arquitetura de dados

No final da década de 1980, a geração 1 do data warehouse foi introduzida. Esse modelo combina fontes de dados díspares de toda a empresa. No final dos anos 2000, surgiu a geração 2, com a introdução de ecossistemas de big data como Hadoop e data lakes. A metade da década de 2010 trouxe a plataforma de dados em nuvem: a ingestão de dados de streaming, como as arquiteturas Kappa ou Lambda, foram introduzidas. No início da década de 2020, foram introduzidas data lakehouses, malhas de dados, tecidos de dados e padrões operacionais centrados em dados.

Apesar desses avanços, muitas organizações ainda utilizam a plataforma monolítica centralizada: a geração 1. Este sistema funciona bem, até certo ponto. No entanto, gargalos podem ocorrer devido a processos interdependentes, componentes fortemente acoplados e equipes hiperespecializadas. Os trabalhos de extração, transformação e carregamento (ETL) podem se tornar proeminentes e retardar os prazos de entrega.

Os armazéns de dados e os data lakes ainda são valiosos e desempenham um papel importante na sua arquitetura geral. A documentação a seguir destaca alguns dos desafios que podem ocorrer quando você usa essas práticas tradicionais para dimensionamento. Esses desafios são especialmente relevantes em uma organização complexa, onde as fontes de dados, requisitos, equipes e resultados mudam.

Migrando para análises em escala de nuvem

Sua arquitetura de dados analíticos e modelo operacional atuais podem incluir estruturas de data warehouse, data lake e data lakehouse, tecido de dados ou malha de dados.

Cada modelo de dados tem seus próprios méritos e desafios. A análise em escala de nuvem ajuda você a mudar sua abordagem atual ao gerenciamento de dados para que ele possa evoluir com sua infraestrutura.

Você pode oferecer suporte a qualquer plataforma de dados e cenário para criar uma estrutura de análise completa em escala de nuvem que sirva como sua base e permita o dimensionamento.

Plataforma de dados moderna e resultados desejados

Um dos primeiros passos é ativar sua estratégia de dados para enfrentar seus desafios, construindo iterativamente uma plataforma de dados moderna escalável e ágil.

Em vez de ficar sobrecarregado com tíquetes de serviço e tentar atender às necessidades de negócios concorrentes, quando você implementa uma plataforma de dados moderna, pode desempenhar um papel mais consultivo porque pode liberar seu tempo para se concentrar em trabalhos mais valiosos. Você fornece linhas de negócios com a plataforma e os sistemas para autosatender as necessidades de dados e análises.

Seguem-se as áreas de foco inicial recomendadas:

• Melhore a qualidade dos dados, facilite a confiança e obtenha insights para tomar decisões de negócios orientadas por dados.
• Implemente dados, gerenciamento e análises holísticos em escala, em toda a sua organização.
• Estabeleça uma governança de dados robusta que permita autosserviço e flexibilidade para linhas de negócios.
• Mantenha a segurança e a conformidade legal em um ambiente totalmente integrado.
• Crie rapidamente a base para capacidades avançadas de análise usando uma solução pronta a usar composta por padrões modulares bem arquitetados e repetíveis.

Administre seu patrimônio de análise

Uma segunda consideração é determinar como sua organização implementará a governança de dados.

A governança de dados é o processo de garantir que os dados que você usa em suas operações de negócios, relatórios e análises sejam detetáveis, precisos, confiáveis e que possam ser protegidos.

Para muitas empresas, a expectativa é que os dados e a IA gerem uma vantagem competitiva. Como resultado, os executivos estão ansiosos para patrocinar iniciativas de IA em sua determinação de se tornarem orientados por dados. No entanto, para que a IA seja eficaz, ela deve usar dados confiáveis. Caso contrário, a precisão da decisão pode ser comprometida, as decisões podem ser atrasadas ou ações podem ser perdidas, o que pode afetar o resultado. As empresas não querem que a qualidade dos seus dados seja fraca. Até rever o efeito que a transformação digital teve nos dados, pode parecer simples corrigir a qualidade dos dados.

As organizações que têm dados espalhados por um cenário híbrido, multicloud e de dados distribuídos lutam para encontrar onde seus dados estão e para governá-los. Os dados não governados podem ter um efeito considerável nos negócios. A má qualidade dos dados afeta as operações de negócios porque os erros de dados causam erros e atrasos no processo. A má qualidade dos dados também afeta a tomada de decisões de negócios e a capacidade de permanecer em conformidade. Garantir a qualidade dos dados na fonte é muitas vezes preferível porque a correção de problemas de qualidade no sistema analítico pode ser mais complexa e dispendiosa do que a aplicação de regras de qualidade de dados no início da fase de ingestão. Para ajudá-lo a rastrear e controlar a atividade de dados, a governança de dados deve incluir:

• Descoberta de dados.
• Qualidade dos dados.
• Criação de políticas.
• Partilha de dados.
• Metadados.

Proteja seu patrimônio de análise

Outro fator importante para a governança de dados é a proteção de dados. A proteção de dados pode ajudá-lo a garantir a conformidade com a legislação regulamentar e pode evitar violações de dados. A privacidade dos dados e o número crescente de violações de dados fizeram da proteção de dados uma prioridade absoluta. As violações de dados destacam o risco para dados sensíveis, como dados de clientes pessoalmente identificáveis. As consequências de uma violação da privacidade de dados ou de uma violação de segurança de dados podem incluir:

• Danos graves à imagem da marca.
• Perda de confiança dos clientes e de quota de mercado.
• Uma redução no preço das ações, que afeta o retorno do investimento das partes interessadas e os salários dos executivos.
• Sanções financeiras significativas devido a falhas de auditoria ou de conformidade.
• Ação judicial.
• Efeitos secundários da violação, por exemplo, os clientes podem ser vítimas de roubo de identidade.

Na maioria dos casos, as empresas cotadas em bolsa têm de declarar infrações. Se ocorrerem violações, é provável que os clientes culpem a empresa e não o hacker. Os clientes podem boicotar a empresa por vários meses ou podem nunca mais voltar.

O não cumprimento da legislação regulamentar em matéria de privacidade de dados pode resultar em sanções financeiras significativas. Controlar os seus dados ajuda-o a evitar estes riscos.

Modelo operacional e benefícios

Adotar uma plataforma de estratégia de dados moderna não muda apenas a tecnologia que sua organização usa. Também muda a forma como a organização opera.

A análise em escala de nuvem fornece orientação para ajudá-lo a organizar e treinar seus funcionários, incluindo:

• Definições de persona, função e responsabilidade.
• Estruturas sugeridas para equipes ágeis, verticais e entre domínios.
• Recursos de formação, incluindo dados do Azure e certificações de IA através do Microsoft Learn.

Também é importante envolver seus usuários finais durante todo o processo de modernização e à medida que você continua a evoluir sua plataforma e integrar novos casos de uso.

Arquiteturas

As zonas de aterrissagem do Azure representam o caminho de design estratégico e o estado técnico de destino para seu ambiente. Eles facilitam a implantação e a governança para que você possa melhorar a agilidade e a conformidade. Eles também garantem que, quando um novo aplicativo ou carga de trabalho é adicionado ao seu ambiente, a infraestrutura adequada já está instalada. O gerenciamento de dados do Azure e as zonas de aterrissagem de dados, integrados às soluções de governança e análise de software como serviço (SaaS) da Microsoft, são projetados com esses princípios fundamentais em mente e, quando combinados com outros elementos da análise em escala de nuvem, podem ajudar a permitir:

• Autosserviço.
• Scalability.
• Um início rápido.
• Segurança.
• Privacy.
• Operações otimizadas.

Zona de aterrissagem de gerenciamento de dados

A zona de aterrissagem de gerenciamento de dados fornece a base para a governança e o gerenciamento centralizados de dados da sua plataforma em toda a organização. Também facilita a comunicação para ingerir dados de todo o seu patrimônio digital, incluindo infraestruturas multicloud e híbridas.

A zona de aterrissagem de gerenciamento de dados suporta vários outros recursos de gerenciamento e governança de dados, como:

• Catálogos de dados.
• Gestão da qualidade dos dados.
• Classificação dos dados.
• Linhagem de dados.
• Repositórios de modelagem de dados.
• Catálogos de API.
• Partilha de dados e contratos.

Zonas de aterragem de dados

As zonas de aterrissagem de dados aproximam os dados dos usuários e permitem o autosserviço, mantendo o gerenciamento e a governança comuns por meio da conexão com a zona de aterrissagem de gerenciamento de dados.

Eles hospedam serviços padrão, como rede, monitoramento e ingestão e processamento de dados, além de personalizações, como produtos de dados e visualizações.

As zonas de aterrissagem de dados são fundamentais para permitir a escalabilidade da sua plataforma. Dependendo do tamanho e das necessidades da sua organização, você pode começar com uma ou várias zonas de pouso.

Ao decidir entre zonas de aterrissagem únicas e múltiplas, considere as dependências regionais e os requisitos de residência de dados. Por exemplo, existem leis ou regulamentos locais que exigem que os dados permaneçam em um local específico?

Independentemente da sua decisão inicial, você pode adicionar ou remover zonas de aterrissagem de dados conforme necessário. Se você começar com uma única zona de pouso, recomendamos que planeje estender para várias zonas de desembarque para evitar necessidades futuras de migração.

Para obter mais informações sobre zonas de aterrissagem, consulte Zonas de aterrissagem do Azure para análise em escala de nuvem.

Conclusão

Depois de ler este conjunto de documentação, em particular as seções de governança, segurança, operação e práticas recomendadas, recomendamos que você configure um ambiente de prova de conceito usando os modelos de implantação. Esses modelos, juntamente com a orientação de arquitetura, oferecem experiência prática com algumas das tecnologias SaaS do Azure e da Microsoft. Para obter mais informações, consulte a Lista de verificação de introdução.

Próximo passo