数据中的角色
使用数据来讲述故事是一个旅程,通常不从您开始。 数据必须来自某处。 将这些数据放置在一个您可以使用的地方所需投入的努力很可能会超出您的能力范围,尤其是将企业也纳入考虑时。
当今的应用程序和项目可能庞大且复杂,通常需要许多人运用各种不同的技能和知识。 每个人都贡献了独特的才能和专业知识,通力合作并协调任务和职责,我们才得以看到项目从概念进入生产。
最近,业务分析师和商业智能开发人员等角色成为数据处理和理解的标准角色。 但是,数据规模的过度增长和数据类型的多样性导致这些角色演化出更加专业化的技能集,可现代化和简化数据工程和分析的流程。
以下部分重点介绍数据中的这些不同角色,以及他们在总体范围内的数据发现和理解中的具体职责:
业务分析师
数据分析师
数据工程师
分析工程师
数据科学家
业务分析师
尽管数据分析师与业务分析师之间存在一些相似之处,但这两个角色之间的主要区别在于他们使用数据实现什么目的。 业务分析师离业务更近,是解释来自可视化的数据的专家。 通常,数据分析师和业务分析师的角色由单人承担。
数据分析师
数据分析师通过可视化和报告工具(例如 Microsoft Power BI)使企业能够最大限度地提高其数据资产的价值。 数据分析师负责分析、清理和转换数据。 此外,还负责设计和生成可缩放且有效的数据模型,在报表中启用和实现高级分析功能以进行分析。 数据分析师会与相关利益干系人合作来确定合适且必要的数据和报表要求,然后需要将原始数据转换为相关且有意义的见解。
数据分析师还负责管理 Power BI 资产,包括报表、仪表板、工作区和报表中使用的基础语义模型。 他们的任务是实施和配置适当的安全程序,同时遵循利益干系人的要求,以确保所有 Power BI 资产及其数据得到保护。
数据工程师
数据工程师预配和设置本地和云中的数据平台技术。 他们管理并保护来自多个源的结构化和非结构化数据流。 他们使用的数据平台可以包括关系数据库、非关系数据库、数据流和文件存储。 数据工程师还要确保数据服务安全、无缝地跨数据平台集成。
数据工程师的主要职责包括使用本地和云数据服务以及工具从多个来源提取、转换和加载数据。 数据工程师与业务利益干系人协作以识别和满足数据要求。 他们设计和实现解决方案。
尽管数据工程师和数据库管理员的任务和职责在一定程度上一致,但数据工程师的工作范围远远超出管理数据库和托管它的服务器,并且可能不包括总体操作数据管理。
数据工程师为商业智能和数据科学项目增添了巨大价值。 当数据工程师将数据结合在一起(通常称为数据整理)时,项目的进展更快,因为数据科学家可以专注于自己的工作领域。
作为数据分析师,您可以与数据工程师密切合作,确保能够访问各种结构化和非结构化数据源,因为他们为优化通常源自于现代数据仓库或数据湖的语义模型提供支持。
分析工程师
分析工程师通过在数据湖或湖屋中管理数据资产、确保数据质量以及启用自助服务分析来弥合数据工程和分析之间的差距。 他们在 Power BI 中创建语义模型以有效地准备和提供数据。 他们还可以准备其他数据存储,例如数据仓库或湖屋。
这与数据工程师的角色有一些重叠,因为两者都可能使用 SQL 作为数据仓库中的查询语言,并且都专注于数据质量。 数据工程师通常生成基础管道和基础结构。 分析工程师更接近业务,专注于对数据建模并使数据可用于报告/决策。
数据科学家
数据科学家执行高级分析,以从数据中提取价值。 他们的工作各不相同,比如描述性分析和预测性分析。 描述性分析通过称为探索性数据分析 (EDA) 的流程来评估数据。 预测性分析用于机器学习,以应用可以检测异常或模式的建模技术。 这些分析都是预测模型的重要组成部分。
描述性分析和预测性分析只是数据科学家的部分工作内容。 一些数据科学家的工作可能涉及深度学习领域,执行迭代试验以使用自定义算法来解决复杂的数据问题。
有传闻表示,数据科学项目的大部分工作是数据整理和特征工程。 当数据工程师利用其技能成功地整理数据时,数据科学家可以加快试验流程的速度。
从表面上看,数据科学家和数据分析师的工作方式似乎大为不同,但这一猜测并不正确。 数据科学家查看数据来确定需要回答的问题,并经常设计假说或试验,然后求助于数据分析师来帮助进行数据可视化和报告。