学习啦>实用范文>办公文秘>岗位职责>

数据仓库工程师岗位的基本职责

舒欣分享

  数据仓库工程师负责数据平台相关的管理工作,如数据研发规范、数据质量及稳定性保证等建设。下面是学习啦小编为您精心整理的数据仓库工程师岗位的基本职责。

  数据仓库工程师岗位的基本职责1

  职责:

  1、负责金融行业数据仓库开发工作

  2、负责与多个应用对接的接口和框架设计

  3、充分理解产品需求,能够结合需求进行任务设计,完成详细设计文档的编写。

  岗位要求:

  1. 从事数据仓库及商业智能(BI)领域工作至少3年以上,熟悉数据仓库模型设计方法论,并有实际的模型设计经验,有大型数仓建设经验优先;

  2. 精通数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、主数据管理、性能调优等;

  3.有主流商业/开源ETL工具(Informatica、Datastage、Kettle等)使用经验者优先;

  4. 熟悉Hadoop生态相关技术并有相关实践经验,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具备海量数据加工处理(ETL)相关经验;

  5. 熟练使用java语言,对微服务架构有一定了解;

  6. 具有较强的团队意识与良好的沟通能力及高度的工作责任感,热爱技术,有很强的钻研能力,乐于接受有挑战性的任务;

  7、有团队管理经验优先。

  数据仓库工程师岗位的基本职责2

  职责:

  1、负责大数据开发工作;

  2、负责公司数据服务接口平台的建设;

  3、参与打造数据中台内容的规划、设计、开发工作,实现高质量数据的互通与共享; 4、参与数据模型体系构建及数据主题设计和开发,搭建离线、近线、实时数据公共层;

  5、参与构建非结构化数据体系,进行网络数据爬取,数据清洗,特征挖掘,统计分析,并结合应用场景实现落地。

  岗位要求:

  1、本科以上学历,计算机、数学、统计学等相关专业;

  2、熟悉数据集成、数据仓库、数据分析等全流程数据处理,具备开源或阿里大数据平台实战经验,如hive/spark/Maxcompute;

  3、熟悉数据治理体系,包括数据模型、数据标准、数据质量等;

  4、熟悉常见的离线、实时、流式数据应用场景及架构;

  5、至少掌握一门开发语言,Java/Python;

  6、具备良好的沟通能力和设计文档编写能力;

  7、懂数据挖掘、知识图谱的构建者优先。

  数据仓库工程师岗位的基本职责3

  职责:

  负责大数据数据仓库的建设,根据数据仓库及BI项目的需求,制定相关的设计方案和开发计划;

  参与数据的分析处理和数据统计内容的架构设计与研发;

  组织项目组成员完成数据仓库的开发和运维等;

  负责公司数据规范、数据标准、数据指标梳理与定义;

  协助技术人员完成数据管控平台的搭建,完成数据规范管理体系到信息平台的落地实施;

  组织开展对数据平台各模块的内容进行培训;

  制定和审计业务系统数据数据库模型设计规范;

  任职资格:

  有一定的互联网数据仓库经验;

  深入了解 Hadoop 生态系统,熟悉HBase、Hive、Storm、spark等大数据开发工具中一种或几种;

  具备大型数据仓库架构设计、模型设计、ETL 设计的相关经验;

  关系型数据库原理基础扎实,熟悉 MySQL/PostgreSQL等的使用和调优;

  有独立设计数据仓库经验、熟悉数据仓库相关理论知识者优先;

  数据仓库工程师岗位的基本职责4

  职责:

  1、深入理解业务,了解需求和痛点,为风控和业务部门提供数据支持;

  2、针对业务需求,参与数据仓库需求分析,制定ETL相关设计方案和开发计划;

  3、负责数据同步,数据整合清洗,以及数据质量的治理;

  4、数据仓库模型设计,分层体系构建,元数据管理监控以及权限控制。

  任职资格:

  1、重点院校统招本科及以上学历,计算机基础扎实;

  2、具有2年以上金融贷款类业务经验;

  3、熟悉数据仓库理论和数据库建模,有redshift和AWS经验优先;

  4、精通pgsql/mysql等数据库,精通sql语言,具有数据库优化/sql优化相关经验;

  5、熟练掌握python/shell语言。

  数据仓库工程师岗位的基本职责5

  职责:

  1.参与打造数据中心内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

  2.参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据仓库;

  3.参与数据产品与应用的数据研发;

  4.负责日常应用系统监控,发现异常问题及时分发,并跟进后续处理;

  5.编写Python程序,或ETL技术完成日常数据抽取和整理任务,可独立进行数据分析;

  岗位要求:

  1.熟悉ETL开发、数据仓库设计流程,熟悉Oracle, MS SQL Server 等主流数据库,表结构设计,存储过程编写;

  2.熟练掌握常用Linux命令,具备shell编程能力,熟练掌握Python编程语言

  3.具有较强的语言表达和沟通能力,良好的团队合作精神

  4.逻辑思维能力强,对数据敏感,有较强学习能力和创新思维;

  5.具有高度的责任感和敬业精神,能够承受较大的工作压力

    88916