学习啦>实用范文>办公文秘>岗位职责>

大数据开发工程师的工作职责模板

舒欣分享

  大数据开发工程师负责数据仓库的体系建设及落地实现。下面是学习啦小编整理的大数据开发工程师的工作职责模板。

  大数据开发工程师的工作职责模板1

  职责:

  1、独立负责工作小组,并对下级成员进行监督;

  2、具备资源整合以及对软件项目全局把控的能力;

  3、负责软件项目的系统设计和需求分析;

  4、制定软件项目开发计划,并按时完成功能模块的设计、开发以及编程任务;

  5、积极配合并完成主管下达的任务,并能够对软件部门的发展规划提出意见;

  任职条件

  1、大数据相关开发经验3年以上,至少具备2年以上java开发经验;

  2、有基于hadoop的数据抽取、转换、加载的开发相关经验;

  3、熟练掌握hadoop生态的相关知识,如hive,hbase,flume.kafka,storm,spark,mapreduce等;

  4、熟悉Linux操作系统。熟悉linux各项基本操作,至少掌握一门脚本语言;

  5、熟练数据仓库,对多维数据建模有深入理解;

  6、有BI数据平台、数据仓库、日志采集、多维数据仓库设计、开发、架构经验者优先;

  7、思维敏捷,有较强的钻研学习能力,较好的沟通能力、团队合作;

  大数据开发工程师的工作职责模板2

  1、负责数据仓库和大数据处理模块的架构设计和开发;

  2、负责实现基于Spark框架的分布式计算框架的设计和开发工作;

  3、负责Spark技术研究和通用数据平台的性能调优;

  4、负责大数据项目中,基于kafka、flume、spark streaming、Spark SQL等相关技术的海量数据的处理、分析、统计、挖掘工作。

  5、熟悉Scala/Java语言,对Scala/Java原理、底层技术有深入研究者优先;

  6、有过海量数据系统开发经验者优先;

  7、熟悉Hadoop/Spark生态系统组件的使用,至少有2年以上的Spark开发经验;

  8、写过推荐系统的优先考虑

  大数据开发工程师的工作职责模板3

  职责

  1、负责公司大数据平台建设工作,完成Hdaoop/Spark搭建部署,根据业务需要进行开发;

  2、开发实现网络爬虫并爬取所需数据,有效存储到大数据平台;

  3、对平台数据做预处理,满足数据展现及后续机器学习等系统使用;

  4、根据业务需要,应用大数据实时分析技术、可视化技术等,并对平台发展规划进行设计。

  任职资格

  1、本科及以上学历,计算机相关专业;

  2、熟悉数据仓库和数据建模相关技术细节,有编程经验,熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具;

  3、具备海量数据处理经验,或有互联网行业数据挖掘工作经验;

  4、1年以上岗位经验优先,本科应届有意向的,可优先培养。

  大数据开发工程师的工作职责模板4

  职责:

  1.负责金融银行大数据系统相关模块的数据架构及研发实施工作

  2.依据业务场景、分析需求提供技术解决方案并加以实现;

  3.与客户业务部门对接,解决数据建模、报表和报告在系统开发遇到的问题;

  任职资格:

  1.具备3年以上DW系统建设经验,了解BI系统,有数据管理经验,有维度建模相关经验,了解数据仓库建设过程中的挑战与问题

  2.精通多系统数据融合、清洗、转换、整合,具备海量数据加工处理相关经验

  3.熟悉业界数据仓库建模方法、元数据管理、数据质量体系管理

  4.掌握大型数据库开发技术(ORACLE/DB2等),有丰富的数据库模型设计和优化经验

  5.熟练掌握Unix/Linux常规命令、工具及Shell编程

  6.掌握一门或多门编程语言优先,如Java、Python、scala等

  7.熟悉Hadoop、spark、kafka等大数据生态相关技术,有相关实践经验着优先8.良好的语言沟通与表达能力和自我驱动动力9.具备银行项目设计、开发、优化等经验者加分

  大数据开发工程师的工作职责模板5

  职责:

  1、 参与ODS系统或Hadoop 系统数据库相关开发,包括数据仓库的数据模型设计(ODS层设计、基础数据层设计、汇总层设计等);

  2、 参与ETL Mapping设计及开发工作;

  3、 参与客户/用户画像、经营管理、产品画像、营销活动等主题域建设工作。

  资质要求:

  1.计算机相关专业本科及以上学历,优秀者放宽至大专;

  2.有大型数据库(ORALCE/MSSQL SERVER等)开发经验,有Sybase IQ\HIVE\Spark SQL开发经验者优先;

  3、有较强的SQL编程能力,熟练编写存储过程,能设计各种复杂的业务处理、统计分析语句,精通sql性能优化;

  4、具有数据仓库、ods、BI商务智能项目经验者优先,具有金融行业项目背景者优先;

  5、较好的沟通理解能力,态度踏实,积极上进。

相关文章:

1.大数据开发工程师的岗位职责

2.大数据架构师工作的职责

3.大数据架构师的工作职责描述

4.大数据架构师的基本职责

5.软件架构师岗位的职责表述

    83135