看看Dataops工程师角色和职责

Dataops工程师与数据工程师

一些人认为数据工程师和DataOps工程师的角色是可以互换的，尽管后者的头衔相对较新。两者之间的共同主线是使数据可供数据科学家、数据分析师和其他人使用。

将Dataops角色视为明显不同的人通常将其描述为一种架构师角色。Robert Eichelman是Manpower Group Global的云和大数据的高级技术架构师，所述Dataops工程师通过定义和支持其他人用于来源，转换和清单数据来支持数据采购和利用周期。

艾克曼说:“在大多数情况下，这个职位知道整个公司是如何利用这些数据的，但他们通常不会直接处理这些数据。”

Brian Ray，全球数据科学领先数字转型公司Maven Wave，虽然数据工程不是新的，它达到了复杂性的地方组织需要一个专注的人在底层基础设施上使其更加可扩展，特别是在云中。Dataops工程师还监督数据管道和基础设施的监控以及整个数据工程操作的治理。

AtScale联合创始人兼首席技术官戴夫•马里亚尼表示:“DataOps工程师是企业信息堆栈的架构师。”AtScale为企业分析提供在线分析处理解决方案。“在我们生活的数字时代，数据是企业成败的关键。”

Devops是Dataops的模型

Devops运动开始大约20年前，从意识到，业务速度超出软件交付。要解决这种差距，许多软件团队采用敏捷方法，但开发团队和运营团队之间仍然存在脱节，需要DevOps。

Dataops工程师提供了数据工程师，其中包含有关工作流程和信息流水线和流量，代码评论，所有新进程和使用数据的新进程和工作流程。

快进二十年，Devops团队现在采用持续的整合/连续交付，涉及建立自动化管道。数据团队遵循了类似的趋势随着自动化管道的出现。

Devops和Dataops共享其他几个关键相似之处：

• 支持更大敏捷性的迭代方法;
• 持续改进，而不是建立刚性的整体;
• 交叉功能合作而不是瀑布切换;
• 烘焙安全，合规性和治理;和
• 一个持续的反馈循环。

“DataOps工程师提供了数据工程师，并提供了关于工作流程和信息管道和流量的指导和设计支持，代码审查，所有新进程和利用数据的工作流程，”Eichelman表示。“[他们]还有助于选择整个团队使用的工具。”

在任意选择的工具和技术上的错误选择可能削弱一个组织的灵活性能力,他说。

图形数据库提供商Neo4j的图形数据科学主管Alicia Frame表示，缺少数据操作工程师是一个不成熟的团队的标志。

“你有一些非常好的数据科学家，具有博士学位。试图写入ETL代码，但如果他们在沿途的某个地方犯了一个错误，他们已经搞砸了数据流水线，因为它不是他们的地区专业知识，“框架说。

如何雇佣数据运工程师

雇用“正确”Dataops工程师的最佳方法是了解您的组织想要完成的内容，存在哪些限制以及Dataops工程师的角色补充其他成员数据团队。

“我想经常想到公司试图雇用Dataops工程师，他们真的不知道角色是什么，因为它是一个更新的角色，所以他们不知道要寻找什么，”框架说。

咨询数据团队的其他成员也必须询问Dataops工程师应该需要什么具体技能与您的管道合作。

“(这个角色)通常在没有IT部门参与的情况下被聘用，IT部门可能会说，‘这就是架构。这些都是你应该考虑的事情。”

据Eichelman称，公司在招聘DataOps工程师时往往会犯以下三个错误:

• 没有雇用强有力的人沟通和人们技能;
• 将数据工程师转移到DataOps岗位，却没有令人信服的证据证明此人是唯一有资格在其岗位上处理企业数据管理的人;和
• 向缺乏多种语言，工具和架构缺乏必要的代码级开发技能的人提供工作。

“[dataops工程师]在遇到数据工程角色错误和缺陷的问题中演变的作用，”Eichelman说。

他补充说，许多作为DataOps工程师的组织仍然会犯重大错误，因为很少有蓝图化的流程解决方案。而且组织很难影响企业各个层次的其他人。

底线

Dataops工程师是一个相对较新的角色，随着组织的尝试，重要性越来越重要运营更多数据。虽然数据科学家和数据分析师可以帮助公司从数据中推动更多业务价值，但他们需要从不同的数据源中拉入数据集并以控制方式以比例使用。简而言之，Dataops工程师倾向于落在数据团队中其他成员的技能组之外。