Organizar membros da equipe de operações de dados

A arquitetura de análise em escala de nuvem foi projetada com um conjunto de princípios fundamentais.

Princípios fundamentais

• Habilitação de autoatendimento: Permitir que as equipes de projeto trabalhem por conta própria para permitir métodos de desenvolvimento ágeis.

• Governança: Imponha guardrails em toda a plataforma do Azure para garantir que as equipes de projeto vejam, alterem e executem as funções dentro de suas permissões.

• Implantações simplificadas: Verifique se as políticas comuns estão disponíveis na organização para ajudar as equipes a escalar rapidamente e dar suporte às equipes com menos experiência em alguns designs e artefatos principais.

Funções e equipes

Em análises de grande escala em nuvem, recomendamos evitar equipes que trabalham de maneira isolada horizontalmente e optar por equipes verticais ágeis e interdisciplinares. As equipes de operações de dados se concentram na condução da governança no plano de controle, enquanto as equipes de aplicativos de dados se concentram na criação de dados como um produto. Essa diferenciação requer alterações organizacionais em um padrão mais alinhado com o desenvolvimento de aplicativos. Por exemplo, cada aplicativo tem um proprietário de produto que define os requisitos e trabalha com uma equipe de domínio cruzado para entregar um produto. Nesse caso, os dados são o produto para consumo.

Para obter mais informações, consulte Noções básicas sobre as funções e as equipes de análise em escala de nuvem no Azure

Implantação e operações

O modelo de dataOps (processo de implantação e operações de dados) é uma parte essencial que dá suporte a alguns desses princípios principais. As diretrizes a seguir são recomendadas para que as organizações se alinhem aos princípios:

• Use a infraestrutura como código.
• Implante modelos que abrangem os principais casos de uso dentro da empresa.
• Siga um processo de implantação que inclui uma estratégia para forks e branches do GitHub.
• Mantenha um repositório central e implante zonas de destino de gerenciamento de dados.

Os colaboradores com habilidades identificáveis e individuais devem estabelecer um grupo de plataformas para controlar centralmente a infraestrutura da plataforma de dados e criar e implantar peças comuns de infraestrutura de dados para a zona de destino de gerenciamento de dados, além de várias zonas de destino de dados. O grupo de plataformas também pode criar, possuir e fornecer tecnologia independente que ajuda as equipes de aplicativos de dados a capturar, processar, armazenar e manter seus aplicativos de dados.

O grupo de plataformas deve apresentar seus serviços de maneira autônoma, que pode incluir ferramentas para armazenar Big Data, controle de versão de dados do produto, organizar/implementar o pipeline de dados, desidentificar dados e muito mais. Esses tipos de ferramentas são fundamentais para minimizar gargalos no fluxo de trabalho e reduzir o tempo de entrega para criar novos produtos de dados.

O grupo de plataformas deve seguir as práticas recomendadas descritas nesta seção para alcançar seus objetivos. Outras equipes de produtos de dados devem usar as práticas recomendadas nos próximos artigos para testar e automatizar seus dados.

Para obter mais informações, consulte a automação de DevOps para análise em escala de nuvem no Azure

Próximas etapas

Entender as equipes de análise em escala de nuvem no Azure