学文网

大数据架构师岗位职责说明

时间:2023-08-16 20:47:14 文/黄飞老师 范文学文网www.xuewenya.com

大数据架构师岗位职责1

职责:

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决,以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。

任职要求:

1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;

3.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;

4.精通Java服务器编程,熟悉JVM原理,对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构,熟悉原理、源码、集群部署,包括参数优化、Bug修复,贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力,可进行方案设计、架构设计。

大数据架构师岗位职责2

职责:

1.负责过多个大数据项目的架构;

2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;

3.精通大数据实时流式处理的设计和应用;

3.熟悉大数据平台调优,具备大数据生产平台调优经验;

4.金融行业,运营商行业大数据架构经验更优;

5.研究大数据技术的最新发展,并引入到公司技术架构;

6.指导大数据工程师的日常工作,并培养技术骨干。

任职资格:

1.计算机相关专业本科或以上学历;

2.具有5年以上大数据相关开发经验;

3.具有2年以上带团队经验

4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;

5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;

6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;

7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;

8.沟通顺畅,重点突出,高效。

大数据架构师岗位职责3

职责:

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;

完成上级领导交办的其它各项工作。

任职资格:

985/211本科及以上学历,3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好,积极主动意识较强,责任心较强。

具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;

良好的团队合作精神,较强的沟通能力和学习能力 ;

大数据架构师岗位职责4

职责:

1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

2.梳理公司各业务线常用的指标和维度,统一指标定义口径

3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

岗位要求:

1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具

3.精通一种主流关系数据库(如mysql等),熟悉Hive开发

4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构师岗位职责5

职责:

1、大数据平台的规划、设计、实施,并优化数据库;

2、对数据库进行管理,负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优,排错,保证数据正确率;

4、配合其他部门进行的数据处理、查询,统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求:

1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;

3、熟悉linux基本命令,精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;

4、熟悉C++、Java、C#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力,较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

推荐文章

四川213分文科能上什么大学,2024年能上哪些大学2024-05-24 07:31:33

河南高考排名84770左右排位理科可以上哪些大学,具体能上什么大学2024-05-24 07:28:07

广东高考排名43160左右排位物理可以上哪些大学,具体能上什么大学2024-05-24 07:24:04

陕西高考排名75330左右排位理科可以上哪些大学,具体能上什么大学2024-05-24 07:19:58

安徽高考排名115360左右排位理科可以上哪些大学,具体能上什么大学2024-05-24 07:16:29

湖北高考排名149180左右排位物理可以上哪些大学,具体能上什么大学2024-05-24 07:11:55

公司主创设计师工作职责描述2023-08-19 06:49:07

项目安全员工作职责说明2023-08-17 02:12:47

六年级班主任的工作总结10篇2023-08-18 15:11:36

关于困难英语演讲稿五篇2023-08-15 22:21:45

公司主创设计师工作职责描述2023-08-19 06:49:07

项目安全员工作职责说明2023-08-17 02:12:47

渠道运营专员岗位职责说明2023-08-10 21:59:02

常用励志感悟句子合集65条2023-08-26 21:39:49

实用的励志感悟句子锦集98句2023-08-27 03:27:05

励志感悟句子79条2023-08-26 20:18:31

最新文章

精华文章