大数据架构师工作的岗位职责
大数据架构师负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能。下面是学习啦小编整理的大数据架构师工作的岗位职责。
大数据架构师工作的岗位职责1
职责:
1、负责大数据平台技术框架的技术选型和搭建;
2、负责核心技术问题公关,建设高可靠性,扩展性及高性能大数据/数据应用平台;
3、负责规划数据挖掘的整体流程,负责大数据开发团队业务需求开发;
4、与其他团队密切配合,寻求数据层面的业务价值,利用数据分析结论推动产品优化;
5、研究和分享大数据架构领域新技术。
任职要求:
1、计算机相关专业全日制统招本科及以上;
2、5年以上工作经验,至少3年以上大数据项目相关工作经验,能够设计大型大数据系统的架构和技术方案;
3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;
4、熟悉数据挖掘,了解典型大数据算法和策略;
5、熟悉主流Java技术框架,精通关系型数据库及SQL语言,熟悉NoSQL/JSON/XML;
6、有较强的学习能力和问题解决能力,逻辑严密、思路清晰;
7、有数据仓库经验者优先,有金融行业项目经验者优先。
大数据架构师工作的岗位职责2
职责:
1、负责DMP技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;
2、负责设计构建DMP数据采集、存储及分析框架,设计数据处理的技术流程和规范;
3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;
4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。
岗位要求:
1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;
2、精通大数据处理技术,熟悉Hadoop/Storm技术体系,有Hadoop、Hive、Hbase项目经验;
3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;
4、对数据敏感,洞察力强,了解国内外广告发展趋势;
5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;
6、熟悉DMP/RTB技术原理,了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。
大数据架构师工作的岗位职责3
职责:
1、负责spark, hadoop, flink等开发和优化。
2、参与前期需求沟通和分析,以产品化开发的思维,完成需求分解和数据架构设计。
3、与研发和数据科学家合作保证产品定义清晰,按时完成产品上线。
4、能够洞察市场状况,与各部门合作转化为基于大数据挖掘的新策略或方案.
5、主动创造和发掘新的基于大数据挖掘产品商业模式.
任职要求:
1、全日制本科及以上学历,计算机软件相关专业,5年以上开发经验,3年以上架构经验
2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理,流式计算开发,有开源二次开发经验者优先。
3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。
4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;
5、良好的跨部门沟通合作能力,解决不同观点能力并取得结果。具备敏锐的互联网产品理解力,学习能力和逻辑思维能力强;
6、较强的自我驱动力、推动和协调能力,强烈的责任心和团队合作精神;
大数据架构师工作的岗位职责4
职责
1、负责大数据架构设计,包括定义数据的存储、集成(ETL)、应用,支撑业务运营和数据分析类需求实现;
2、制定数据治理领域的数据体系化管理措施,包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作,确保数据可信与安全;
3、基于行业数据积累,满足业务的数据挖掘需求,实现从数据到资产的转变,根据目标行业建立具有前瞻性的数据模型;
4、对各产品的数据安全负责,主导制定和实施数据库系统安全策略,保证整体方案数据安全;
岗位要求
业务技能要求:
1、深入理解云化、数据仓库,在参与过的系统设计中,必须涉及这两项关键技术;
n2、精通或者熟悉Hadoop体系架构,以及HDFS/HBase/Hive/MapReduce/Spark等技术,了解体系架构各组件的优缺点,有直接的产品设计与开发、部署、调优的经验;
3、精通或熟悉常见RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及开发,了解各数据库优缺点, 熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有相关项目经验尤佳;
4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,具有数据分析或数据挖掘相关经验者优先;
n5、熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等。
专业知识要求:
1、具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论;
2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别,将业务需求转化为数据的需求,完成数据用例的设计和开发;
3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。
大数据架构师工作的岗位职责5
职责:
1. 负责大数据平台的基础技术规划,编制相关规范文档。
2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。
3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。
4. 负责大数据相关技术发展方向的预研。
5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。
6. 制定大数据平台中数据质量,业务质量监控及管理办法。
岗位要求:
1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。
2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。
3. 精通大型数据库Oracle、SqlServer等的开发。
4. 精通java,Python中的一种或多种语言。
5. 熟悉容器、虚拟化、微服务框架等相关技术。
6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。
7. 熟悉R,Python,SAS、SPSS等数据挖掘经验者优先。
8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。
9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。