大数据架构师工作的职责
大数据架构师负责大数据系统设计、功能模块设计,数据平台的搭建、维护和优化。下面是学习啦小编整理的大数据架构师工作的职责。
大数据架构师工作的职责1
职责:
1、负责大数据项目平台架构的评估、规划和设计
2、开发大数据平台的核心模块代码,负责大数据平台的搭建,完成系统调试、集成与实施,保证大数据产品的上线运行
3、根据业务需求整合优化数据架构,保证产品的可靠性、稳定性
4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现
5、深入研究大数据相关技术和产品,跟进业界先进技术;
6、根据项目要求编写相关技术文档;
7、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
8、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;
9. 负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
10. 负责对使用关键技术的预研和选型,完成 PoC ;
11. 指导工程师完成开发工作,并能分享技术经验。
任职资格:
1、精通Linux操作系统,熟练使用Java;
2、3年以上大数据项目实战经验,两个项目的架构设计经验,熟悉Hadoop、Hbase、Storm、Spark、Pig等开源框架,并熟悉其工作原理;
3、有Hadoop、Spark、Hbase平台性能调优经验;
4、熟悉其它分布式存储相关技术,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java开发常用框架.如Spring、MyBatis等;
6、熟悉关系型数据库如oracle及数据库编程。
7、能够根据项目情况安排人力、分配任务,具有较强的团队管理能力。
8、硕士以上学历,10年以上的工作经验。
大数据架构师工作的职责2
职责:
1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。
2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。
3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。
4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。
任职要求:
1. 硕士及以上学历,计算机相关专业。
2. JAVA基础扎实,不少于8年的一线开发经验,精通Spring boot/MyBatis/Restful API的开发与管理. 熟悉ReactJS/Angular/Vue之一前端开发技术,熟悉Maven或Ant.,熟悉Python语言开发加分。
3. 不少于4年大数据的直接研发经验,精通Hadoop/Spark系统,有hands-on的架构设计、性能调优、开发经验。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系统的开发经验。
4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。
5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。
6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的Linux系统, 网络, 内存和存储等方面知识。
7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。
大数据架构师工作的职责3
职责:
把控大数据系统及全公司的产品做技术选型和架构设计;
负责公司产品需求技术解决方案的编制设计工作,并能够将解决方案清晰地传达给项目组成员;
主导项目关键技术问题的攻关,协助项目管理对技术问题进行跟进;
协助解决具体研发过程中的问题;
定期进行新技术研究和汇报;
对产品线进行技术方案支持,及客户、市场技术调研
任职要求:
1. 全日制综合类大学本科及以上学历,计算机科学与技术、信息工程、大数据、通讯相关专业(如有特殊经历者酌情考虑);
2. 拥有多年系统设计与开发工作经验,深刻理解计算机、互联网有关技术与理论、设计模式,深刻理解多线程、内存数据库、分布式系统、大数据相关的设计、架构规划、开发经验者优先;
3. 深入理解各类技术与产品的原理与思想,有较强需求分析和技术设计与实现能力;
大数据架构师工作的职责4
职责:
1、正确理解业务需求,对需求进行工作量评估;
2、参与项目相关的需求、设计、投产手册等文档的编写;
3、根据进度计划,完成所承担功能模块的设计、开发、单元测试、联调测试;
4、配合测试组修复代码缺陷,确保功能实现与代码质量;
5、负责所承担功能模块投产、部署,及上线后的日常维护;
6、完成项目经理或者架构师安排的其他工作;
任职资格:
1、本科以上学历,计算机相关专业,两年以上大数据开发经验;
2、熟悉Linux 环境,掌握shell或python;
3、熟练使用hadoop,hive,HBase,YARN,kafka,spark等大数据开发组件;
4、精通 ETL,数据仓库的设计和开发;
5、有大数据处理实战经验,熟悉整个大数据的完整处理流程,包括数据的采集、清洗、存储;
6、较强的动手能力和学习能力,良好的沟通能力、团队协调能力;
7、具有银行、金融行业从业背景者优先。
大数据架构师工作的职责5
职责:
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范,指导设计研发和部署;
4. 协助策略和算法团队工作,保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品,跟进业界先进技术。
任职要求:
1. 全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;
2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;
3. 具备Java/C++/Scala等开发经验,熟悉数据挖掘和分析的策略与算法;
4. 具备良好的系统分析能力、故障诊断能力;
5. 有大数据策略、算法、可视化经验优先;
6、211/985 重点学校毕业优先。