学习啦>实用范文>办公文秘>岗位职责>

大数据架构师的具体职责

舒欣分享

  大数据架构师负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划。下面是学习啦小编为您精心整理的大数据架构师的具体职责。

  大数据架构师的具体职责1

  职责:

  1、负责企业大数据平台的基础建设、管理及制定拓展规划;

  2、负责大数据平台相关自动化服务工具的设计、开发;

  3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

  4、对平台特殊场景化的数据应用制定相关实践方案;

  5、大数据团队的搭建。

  任职资格:

  1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

  2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

  3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

  4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

  5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

  6、熟悉爬虫常用框架以及反爬技术;

  7、具有良好的沟通能力、分析问题与攻关问题的能力;

  8、有责任心,工作积极,对新领域新技术有热情。

  大数据架构师的具体职责2

  职责:

  负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;

  负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;

  负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

  负责协助策略和算法工作,保障数据挖掘建模和工程化;

  负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

  负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

  负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

  任职要求:

  本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

  精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;

  熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

  熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

  熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。

  具备源码级问题解决和集群优化改造能力者优先;

  能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;

  逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。

  具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

  具备良好的文档撰写能力和技术团队管理能力

  大数据架构师的具体职责3

  职责:

  1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

  2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

  3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

  4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

  任职资格:

  1、计算机或相关专业本科及以上学历;

  2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

  3、良好的编程开发能力,精通PHP及其他开发语言;

  4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

  5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;

  6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

  7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

  大数据架构师的具体职责4

  职责:

  1、数据分析软件平台架构搭建

  2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

  3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

  4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

  任职要求:

  1、硕士以上,计算机或先关专业;

  2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

  3、 具备良好的组件级建模能力,熟悉HTTP、TCP等协议

  4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.

  5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署

  6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

  大数据架构师的具体职责5

  职责:

  1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

  2. 负责实时计算平台基础架构设计、部署、监控、优化升级;

  3. 制定项目/数据仓库设计及实现规范,指导设计研发和部署;

  4. 协助策略和算法团队工作,保障数据挖掘建模和工程化;

  5. 深入研究大数据相关技术和产品,跟进业界先进技术;

  任职要求:

  1. 全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;

  2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;

  3. 具备良好的系统分析能力、故障诊断能力;

  4 有大数据策略、算法、可视化经验优先。

    67210