Funções em dados

Fazer uma narrativa com os dados é um percurso que geralmente não começa com você. Os dados precisam vir de algum lugar. Fazer com que esses dados cheguem a um lugar onde possam ser usados por você exige um esforço que provavelmente está fora do seu alcance, especialmente no contexto de uma empresa.

Os aplicativos e projetos atuais podem ser grandes e complexos, geralmente envolvendo o uso de habilidades e conhecimentos de diversos indivíduos. Cada pessoa contribui com um talento e um conhecimento exclusivos, contribuindo com o esforço coletivo de trabalhar em equipe e coordenar tarefas e responsabilidades para levar um projeto do conceito à produção.

Até pouco tempo atrás, funções como analistas de negócios e desenvolvedores de business intelligence eram o padrão para o processamento e a compreensão de dados. No entanto, a expansão excessiva do tamanho e de diferentes tipos de dados fez essas funções evoluírem para conjuntos de habilidades mais especializados que modernizam e simplificam o processo de engenharia e análise de dados.

As seguintes seções realçam as diferentes funções em dados e a responsabilidade específica no espectro geral de descoberta e compreensão de dados:

• Analista de negócios

• Analista de dados

• Engenheiro de dados

• Engenheiro de análise

• Cientista de dados

Analista de negócios

Embora existam algumas semelhanças entre um analista de dados e um analista de negócios, a principal diferença entre as duas funções é o que eles fazem com os dados. Um analista de negócios está mais perto da empresa e é especialista em interpretar os dados provenientes da visualização. Muitas vezes, as funções de analista de dados e analista de negócios podem ser responsabilidade de uma única pessoa.

Analista de dados

Um analista de dados permite que as empresas maximizem o valor de seus ativos de dados por meio de ferramentas de visualização e geração de relatórios, como o Microsoft Power BI. Os analistas de dados são responsáveis pela criação de perfil, limpeza e transformação de dados. As responsabilidades deles também incluem o design e a criação de modelos de semânticos escalonáveis e eficientes, bem como a habilitação e a implementação de funcionalidades analíticas avançadas em relatórios para análise. Um analista de dados trabalha com os stakeholders pertinentes para identificar os requisitos apropriados e necessários de dados e de relatórios, depois tem a tarefa de transformar dados brutos em insights relevantes e significativos.

Um analista de dados também é responsável pelo gerenciamento de ativos do Power BI, incluindo relatórios, painéis, espaços de trabalho e os modelos semânticos subjacentes usados nos relatórios. Eles são encarregados de implementar e configurar procedimentos de segurança adequados, em conjunto com os requisitos dos stakeholders, para garantir a segurança de todos os ativos do Power BI e seus dados.

Engenheiro de dados

Os engenheiros de dados provisionam e configuram tecnologias de plataforma de dados locais e na nuvem. Eles gerenciam e protegem o fluxo de dados estruturados e não estruturados de várias fontes. As plataformas de dados usadas podem incluir bancos de dados relacionais, bancos de dados não relacionais, fluxos de dados e repositórios de arquivos. Os engenheiros de dados também garantem que os serviços de dados se integrem de maneira segura e transparente entre plataformas de dados.

As principais responsabilidades dos engenheiros de dados incluem o uso de ferramentas e serviços de dados locais e na nuvem para extrair, transformar e carregar dados de várias fontes. Engenheiros de dados colaboram com stakeholders empresariais para identificar e atender aos requisitos de dados. Eles criam e implementam soluções.

Embora talvez haja algum alinhamento nas tarefas e nas responsabilidades de um engenheiro de dados e de um administrador de banco de dados, o escopo de trabalho de um engenheiro de dados vai muito além de cuidar de um banco de dados e do servidor em que ele está hospedado e, provavelmente, não inclui o gerenciamento geral de dados operacionais.

Os engenheiro de dados agregam um valor imenso a projetos de business intelligence e de ciência de dados. Quando os engenheiros de dados reúnem os dados, processo frequentemente descrito como estruturação de dados, os projetos avançam mais rapidamente, pois os cientistas de dados podem se concentrar em suas próprias áreas de atuação.

Como analista de dados, você trabalha em proximidade com um engenheiro de dados para garantir seu acesso às diversas fontes de dados estruturadas e não estruturadas, pois elas o ajudam na otimização de modelos semânticos que, normalmente, são servidos de um data lake ou data warehouse moderno.

Engenheiro de análise

Os engenheiros de análise fazem a ponte entre engenharia de dados e análise ao organizar ativos de dados em data lakes ou lakehouses, garantindo a qualidade dos dados e possibilitando análises de autoatendimento. Eles criam modelos semânticos no Power BI para preparar e disponibilizar dados eficazmente. Eles também podem preparar outros armazenamentos de dados, como data warehouses ou lakehouses.

Há alguma sobreposição com a função de engenheiro de dados, pois ambos podem usar SQL como uma linguagem de consulta em data warehouses e ambos se concentram na qualidade dos dados. Os engenheiros de dados geralmente constroem os pipelines e a infraestrutura fundamentais. Os engenheiros de análise estão mais próximos do negócio, concentrando-se na modelagem e na transformação dos dados em informações utilizáveis para relatórios/tomada de decisões.

Cientista de dados

Os cientistas de dados realizam a análise avançada para extrair valor dos dados. Seu trabalho pode variar de análise descritiva a análise preditiva. A análise descritiva avalia os dados por meio de um processo conhecido como EDA (análise exploratória de dados). A análise preditiva é usada no aprendizado de máquina para aplicar técnicas de modelagem que possam detectar anomalias ou padrões. Essas análises são partes importantes dos modelos de previsão.

As análises descritiva e preditiva são apenas aspectos parciais do trabalho dos cientistas de dados. Alguns cientistas de dados podem trabalhar na área de aprendizado profundo, realizando experimentos iterativos para resolver um problema de dados complexo com o uso de algoritmos personalizados.

Evidências não científicas sugerem que a maior parte do trabalho em um projeto de ciência de dados é dedicada à estruturação de dados e à engenharia de recursos. Os cientistas de dados podem acelerar o processo de experimentação quando os engenheiros de dados usam as habilidades deles para estruturar os dados com êxito.

À primeira vista, pode parecer que um cientista de dados e um analista de dados fazem trabalhos completamente diferentes, mas não é verdade. Um cientista de dados examina os dados para determinar as perguntas que precisam de respostas e, geralmente, desenvolve uma hipótese ou um experimento. Em seguida, recorrem ao analista de dados para auxiliar na geração de relatórios e na visualização dos dados.