Introdução à análise em escala de nuvem

A análise em escala de nuvem baseia-se nas zonas de destino do Azure para simplificar a implantação e a governança. A principal finalidade de uma zona de destino do Azure é garantir que, quando você implanta um aplicativo ou carga de trabalho no Azure, a infraestrutura necessária já esteja em vigor. Antes de implantar sua zona de destino de análise em escala de nuvem, você precisa trabalhar por meio do Cloud Adoption Framework para a Azure para implantar uma arquitetura de zona de destino do Azure que tenha zonas de destino de plataforma.

Para cargas de trabalho soberanas, a Microsoft fornece a SLZ (Zona de Destino Soberana), que é uma variante da zona de destino do Azure. O SLZ destina-se a organizações que precisam de controles soberanos avançados. A análise em escala de nuvem pode ser implantada nessa variante da zona de destino do Azure.

A análise em escala de nuvem envolve a implantação em zonas de destino do aplicativo. Essas zonas normalmente residem no grupo de gerenciamento da zona de destino. As políticas filtram até os modelos de exemplo que a Microsoft fornece.

Você pode usar esses modelos de exemplo para suas implantações de data lakehouse e malha de dados.

Avaliação da análise de escala de nuvem

Geralmente, uma empresa busca clareza ou diretrizes prescritivas antes de começar a definir os detalhes técnicos de um caso ou projeto de uso específico ou para análise de escala de nuvem de ponta a ponta. Como uma empresa formula sua estratégia de dados geral, pode ser desafiador garantir que todos os princípios necessários e estratégicos no escopo do uso atual sejam levados em conta.

Para acelerar a entrega dessa implementação de insights de ponta a ponta, levando esses desafios em conta, a Microsoft desenvolveu um cenário prescritivo para análise em escala de nuvem. Ele se alinha aos principais temas discutidos no Desenvolvimento de um plano para análise em escala de nuvem.

A análise em escala de nuvem baseia-se no Cloud Adoption Framework e aplica os princípios do Azure Well-Architected Framework. O Cloud Adoption Framework fornece diretrizes prescritivas e práticas recomendadas para modelos operacionais de nuvem, arquiteturas de referência e modelos de plataforma. Essa orientação é baseada em experiências do mundo real de alguns de nossos ambientes mais desafiadores, sofisticados e complexos.

A análise em escala de nuvem ajuda você a se preparar para criar e operacionalizar zonas de destino para hospedar e executar cargas de trabalho de análise. Você constrói as zonas de aterrissagem nos fundamentos de segurança, governança e conformidade aprimoradas. As zonas de aterrissagem são escalonáveis e modulares, mas dão suporte à autonomia e à inovação.

Histórico de arquitetura de dados

No final da década de 1980, a geração 1 do data warehouse foi introduzida. Esse modelo combina fontes de dados diferentes de uma empresa. No final dos anos 2000, a geração 2 surgiu, com a introdução de ecossistemas de Big Data, como Hadoop e data lakes. Meados da década de 2010 trouxeram a plataforma de dados em nuvem: a ingestão de dados de streaming, como arquiteturas Kappa ou Lambda, foi introduzida. No início da década de 2020, data lakehouses, malhas de dados, tecidos de dados e padrões operacionais centrados em dados foram introduzidos.

Apesar desses avanços, muitas organizações ainda usam a plataforma monolítica centralizada: geração 1. Esse sistema funciona bem, até certo ponto. No entanto, gargalos podem ocorrer devido a processos interdependentes, componentes firmemente acoplados e equipes hiperespecializadas. Os trabalhos de ETL (extração, transformação e carregamento) podem se tornar linhas do tempo de entrega proeminentes e lentas.

Armazéns de dados e data lakes ainda são valiosos e desempenham um papel importante na sua arquitetura geral. A documentação a seguir destaca alguns dos desafios que podem ocorrer quando você usa essas práticas tradicionais para dimensionamento. Esses desafios são especialmente relevantes em uma organização complexa, em que as fontes de dados, os requisitos, as equipes e as saídas mudam.

Mudar para a análise de escala de nuvem

A arquitetura de dados analítica e o modelo operacional atuais podem incluir estruturas de data warehouse, data lake e data lakehouse, data fabric ou malha de dados.

Cada modelo de dados tem seus próprios méritos e desafios. A análise em escala de nuvem ajuda você a mudar sua abordagem atual para o gerenciamento de dados para que ele possa evoluir com sua infraestrutura.

Você pode dar suporte a qualquer plataforma de dados e cenário para criar uma estrutura de análise de escala de nuvem de ponta a ponta que atua como base e permite a escala.

Plataforma de dados moderna e resultados desejados

Uma das primeiras etapas é ativar sua estratégia de dados para atender aos seus desafios criando iterativamente uma plataforma de dados moderna escalonável e ágil.

Em vez de ser sobrecarregado com tíquetes de serviço e tentar atender às necessidades comerciais concorrentes, ao implementar uma plataforma de dados moderna, você pode desempenhar um papel mais consultivo porque pode liberar seu tempo para se concentrar em um trabalho mais valioso. Você fornece linhas de negócios com a plataforma e os sistemas para autoatendimento de dados e necessidades de análise.

A seguir estão as áreas recomendadas de foco inicial:

• Melhorar a qualidade dos dados, facilitar a confiança e obter insights para tomar decisões de negócios controladas por dados.
• Implemente dados holísticos, gerenciamento e análise em escala em toda a sua organização.
• Estabelecer uma governança de dados robusta, que viabilize o autoatendimento e a flexibilidade para linhas de negócios.
• Manter a segurança e a conformidade legal em um ambiente totalmente integrado.
• Crie rapidamente a base para capacidades de análise avançada usando uma solução completa de padrões modulares bem arquitetados e repetíveis.

Administrar o patrimônio de análise

Uma segunda consideração é determinar como sua organização implementará a governança de dados.

A governança de dados é o processo de garantir que os dados usados em suas operações comerciais, relatórios e análises sejam detectáveis, precisos, confiáveis e que possam ser protegidos.

Para muitas empresas, a expectativa é que os dados e a IA gerem uma vantagem competitiva. Como resultado, os executivos estão ansiosos para patrocinar iniciativas de IA em sua determinação de se tornarem orientados a dados. No entanto, para que a IA seja eficaz, ela deve usar dados confiáveis. Caso contrário, a precisão da decisão pode ser comprometida, as decisões podem ser atrasadas ou ações podem ser perdidas, o que pode afetar o resultado. As empresas não querem que a qualidade de seus dados seja ruim. Até que você examine o efeito que a transformação digital teve nos dados, pode parecer simples corrigir a qualidade dos dados.

As organizações que têm dados espalhados por um cenário híbrido multinuvem e de dados distribuídos lutam para encontrar onde estão seus dados e governá-los. Dados desgovernados podem ter um efeito considerável nos negócios. A baixa qualidade dos dados afeta as operações de negócios porque os erros de dados causam erros e atrasos no processo. A baixa qualidade dos dados também afeta a tomada de decisões dos negócios e a capacidade de permanecer em conformidade. Garantir a qualidade dos dados na origem geralmente é preferível porque corrigir problemas de qualidade no sistema analítico pode ser mais complexo e caro do que aplicar regras de qualidade de dados no início da fase de ingestão. Para ajudá-lo a monitorar e controlar a atividade de dados, a governança de dados deve incluir:

• Descoberta de dados.
• Qualidade dos dados.
• Criação de política.
• Compartilhamento de Dados.
• Metadados.

Proteger o patrimônio de análise

Outro impulsionador principal para governança de dados é a proteção de dados. A proteção de dados pode ajudá-lo a garantir a conformidade com a legislação regulatória e pode evitar violações de dados. A privacidade de dados e o crescente número de violações de dados tornaram a proteção de dados uma prioridade máxima. Violações de dados destacam o risco para dados confidenciais, como dados de clientes de identificação pessoal. As consequências da violação de privacidade de dados ou uma violação de segurança de dados podem incluir:

• Danos graves à imagem da marca.
• Perda de confiança do cliente e participação de mercado.
• Uma redução no preço das ações, que afeta o retorno dos stakeholders sobre o investimento e os salários dos executivos.
• Penalidades financeiras significativas devido a falhas de auditoria ou conformidade.
• Ação legal.
• Efeitos secundários da violação, por exemplo, os clientes podem ser vítimas de roubo de identidade.

Na maioria dos casos, as empresas citadas publicamente devem declarar violações. Se ocorrerem violações, os clientes provavelmente culparão a empresa em vez do hacker. Os clientes podem boicotar a empresa por vários meses ou nunca mais retornar.

A falha na conformidade com a legislação regulatória sobre privacidade de dados pode resultar em penalidades financeiras consideráveis. Controlar seus dados ajuda você a evitar esses riscos.

Modelo operacional e benefícios

A adoção de uma plataforma de estratégia de dados moderna não altera apenas a tecnologia que sua organização usa. Ele também altera a forma como a organização opera.

A análise em escala de nuvem fornece diretrizes para ajudá-lo a organizar e treinar seus funcionários, incluindo:

• Definições de persona, função e responsabilidade.
• Estruturas sugeridas para equipes ágeis, verticais e entre domínios.
• Recursos de treinamento, incluindo dados do Azure e certificações de IA por meio do Microsoft Learn.

Também é importante envolver seus usuários finais durante todo o processo de modernização e à medida que você continua evoluindo sua plataforma e integrando novos casos de uso.

Arquiteturas

As zonas de destino do Azure representam o caminho de design estratégico e o estado técnico de destino para seu ambiente. Elas facilitam a implantação e a governança para que você possa melhorar a agilidade e a conformidade. Eles também garantem que, quando um novo aplicativo ou carga de trabalho é adicionado ao seu ambiente, a infraestrutura adequada já está em vigor. As zonas de gerenciamento de dados e de aterrissagem de dados do Azure, integradas às soluções de governança e análise de software como serviço (SaaS) da Microsoft, são projetadas com esses princípios fundamentais em mente e, quando combinadas com os outros elementos da análise em escala de nuvem, podem ajudar a habilitar:

• Autoatendimento.
• Escalabilidade.
• Um início rápido.
• Segurança.
• Privacy.
• Operações otimizadas.

Zona de destino do gerenciamento de dados

A zona de destino de gerenciamento de dados fornece a base para a governança e o gerenciamento de dados centralizados da sua plataforma em toda a sua organização. Ele também facilita a comunicação para a ingestão de dados de todo o seu ambiente digital, incluindo infraestruturas híbridas e ambientes de múltiplas nuvens.

A zona de destino de gerenciamento de dados dá suporte a vários outros recursos de gerenciamento e governança de dados, como:

• Catálogos de dados.
• Gerenciamento de qualidade de dados.
• Classificação de dados.
• Linhagem de dados.
• Repositórios de modelagem de dados.
• Catálogos de API.
• Compartilhamento de dados e contratos.

Zonas de destino de dados

As zonas de destino de dados aproximam os dados dos usuários e permitem o autoatendimento, mantendo o gerenciamento e a governança comuns por meio da conexão com a zona de destino do gerenciamento de dados.

Eles hospedam serviços padrão, como rede, monitoramento e ingestão e processamento de dados, além de personalizações como produtos de dados e visualizações.

As zonas de destino de dados são fundamentais para viabilizar a escalabilidade da plataforma. Dependendo do tamanho e das necessidades da sua organização, você pode começar com uma ou várias zonas de destino.

Ao decidir entre zonas de destino simples e múltiplas, considere as dependências regionais e os requisitos de residência de dados. Por exemplo, existem leis ou regulamentos locais que exijam que os dados permaneçam em um local específico?

Independentemente de sua decisão inicial, você pode adicionar ou remover zonas de destino de dados conforme necessário. Se você começar com uma única zona de destino, recomendamos que você planeje estender para várias zonas de destino para evitar necessidades futuras de migração.

Para obter mais informações sobre zonas de destino, confira Zonas de destino do Azure para análise de escala de nuvem.

Conclusão

Depois de ler este conjunto de documentação, em particular as seções de governança, segurança, operação e práticas recomendadas, recomendamos que você configure um ambiente de prova de conceito usando os modelos de implantação. Esses modelos, juntamente com as diretrizes de arquitetura, oferecem experiência prática com algumas das tecnologias do Azure e do Microsoft SaaS. Para obter mais informações, confira a Lista de verificação de introdução.

Próxima etapa