- 相关推荐
在不断进步的社会中，岗位职责的使用频率逐渐增多，岗位职责是组织考核的依据。那么你真正懂得怎么制定岗位职责吗？下面是小编精心整理的hadoop岗位职责，仅供参考，希望能够帮助到大家。
hadoop岗位职责1
1、负责高并发，大存储和实时流的Hadoop/spark大数据平台规划，运维，监控和优化工作;
2、保证Hadoop/spark平台各核心服务运行的稳定、高效;
3、对Hadoop/spark平台运维不断优化，提升数据产品的质量和响应速度;
4、开发各种Hadoop大数据自动化运维与监控工具;
5、平台大数据环境的`部署维护和技术支持;
6、应用故障的处理跟踪及统计汇总分析;
7、应用安全，数据的日常备份和应急恢复。
hadoop岗位职责2
岗位职责：
1.参与人工智能开源开放平台核心系统的构建；
2.人工智能开源开放平台相关前沿技术、运用调研及落地；
3.负责人工智能开源开放平台性能的优化。
任职要求：
1.国内学历：统招全日制985/211硕士及以上学历，取得学位证和毕业证；
2.国外学历：海外全日制硕士及以上学历；qs世界大学排名前300高等院校；海外留学时长不少于1.5年；
3.有大型互联网公司大数据平台及数据开发经验者优先；
4.扎实的.java、python基础，掌握常用数据结构（链表、哈希、树）等；
5.精通linux/unix环境，熟悉linux性能调优，熟练掌握shell，有良好的计算机网络基础；
6.有较强的产品理解，能从技术角度推动产品优化；
7.有如下技能者优先，spark/spark streaming/hadoop/hdfs/kafka/elastic search；
8.英语6级，能读懂相关外文技术文献。
hadoop岗位职责3
岗位职责：
1、负责hadoop平台上的数据存储，数据维护和优化；
2、编写一些pig，hive等分析脚本；
3、负责把一些分析结果导入到数据库中，为bi提供基础数据分析；
4、hadoop集群问题排查，并提出解决方案；
5、job报错问题排查；
6、根据集群的'问题，开发一些监控程序，解决隐患；
7、平台工具开发或者提供第三方开源工具。
任职要求：
1、深入了解hadoop运行机制，包括hdfs/mapreduce/zookeeper/yarn等工作原理。
2、了解分布式系统的原理。
3、负责hadoop平台上的数据存储，数据维护和优化；
4、hadoop集群问题排查，并提出解决方案；
5、开发监控程序，解决存在的隐患；
6、有hadoop平台运维经验优先。
7、有大数据平台工具开发经验。
hadoop岗位职责4
职位描述：
incorporated in 20xx，kpmg technology r&d centre combines four functions: r&d，in-house services，outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.
as kpmg’s first r&d centre in china，our business activities currently include:
1.development，design，production of computer software and computer system integration;
2.ai，r&d and delivery of technologies
3.big data-related services and technical support，including data development，data processing，data mining etc.
driven by increasing market demand，we will expand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.
responsibilities
work as part of a team supporting the following business platforms:
- enterprise data warehouse
- provide guidance on designing big data platform architecture
- conduct research on latest big data platform products
- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase
skills and experience
- familiar with linux java development environment and java ee specifications
- familiar with basic data structures and common algorithm
- familiar with shell and/or java and / or scala
- familiar with basic linux operations
- ability to multi-task，strong sense of responsibility，and very strong communication skills
- deep knowledge of hadoop，spark，hive，nosql，hbase，map reduce is a plus
hadoop岗位职责5
工作职责：
1、参与打造业界领先的存储、计算、消息队列等分布式系统
2、为海量数据及其上的'大规模数据挖掘、数据分析、机器学习业务系统提供可靠、高效的支持
3、深入了解业务需求，利用存储技术支持关键业务场景
任职要求：
1、掌握分布式系统原理，对存储、计算、消息队列的一项或多项有深入的理解和认识
2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案
3、有较好的沟通能力；有良好的团队合作精神
hadoop岗位职责6
职位描述：
岗位为公司自研大数据平台产品线，非定制外包。
岗位职责：
1.负责公司大数据平台的hadoop技术栈研究，形成技术解决方案和整体的大数据架构。
2.负责hadoop平台（分布式存储、分布式资源管理和调度、分布式计算等）的架构研究、测试、优化搭建工作；
3.负责探索，研究新的hadoop生态中技术引擎，不断扩充平台能力。
4.制定hadoop整体集群使用规范，规范的hadoop日常维护、异常处理等工作，保障集群稳定、运行规范解决方案
5.负责公司定制项目的大数据架构的整体解决方案
6.负责各种行业大数据在不同应用场景的最佳开发实践，提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案
任职资格：
1.三年以上hadoop集群架构开发或架构经验。
2.精通hadoop架构的设计以及生态，hadoop的集群的搭建、部署、开发和运维
3.精通hadoop各个模块的'能力定位和配置，对hdfs、hbase、mr、spark等基本组件熟知
4.熟悉linux系统及调错经验，熟悉jvm运行机制，有shell、python开发经验。
5.有钻研新技术的热情和能力，善于交流和表达，富有团队精神
6.有企业级大数据系统设计经验者优先。
7.有一定的代码经验，python/java/c++/ruby均可。
hadoop岗位职责7
职责
搭建和维护hadoop数据分析平台
协助研究r与hadoop结合实施大数据挖掘
依据分析挖掘方案，建立模型、生成分析结果、统计表、图和列表等的程序代码。
协助项目团队负责人履行项目职责。
能力和技能
熟悉linux操作系统、java、hadoop的运营及算法。
具备基本的统计编程知识，例如r、base sas、sas/stat、sas宏语言、sql。
具备一定的沟通能力。
具备有效处理多任务的`能力。
具备一定的计算能力及发现细节的能力。
具备团队合作能力。
学历和经验要求:
计算机、数学专业学士学历及以上，或同等教育背景并具有统计编程经验;有hadoop运营经验、hadoop算法经验者优先。
hadoop岗位职责8
岗位职责：
1.负责公司大数据平台的hadoop技术栈研究，形成技术解决方案和整体的大数据架构。
2.负责hadoop平台（分布式存储、分布式资源管理和调度、分布式计算等）的架构研究、测试、优化搭建工作；
3.负责探索，?研究新的?hadoop?生态中技术引擎，不断扩充平台能力。
4.制定hadoop整体集群使用规范，规范的hadoop日常维护、异常处理等工作，保障集群稳定、运行规范解决方案
5.负责公司定制项目的`大数据架构的整体解决方案
6.负责各种行业大数据在不同应用场景的最佳开发实践，提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案
任职资格：
1.三年以上hadoop集群架构开发或架构经验。
2.精通hadoop架构的设计以及生态，hadoop的集群的搭建、部署、开发和运维
3.精通hadoop各个模块的能力定位和配置，对hdfs、hbase、mr、spark等基本组件熟知
4.熟悉linux系统及调错经验，熟悉?jvm?运行机制，有?shell、python开发经验。
5.有钻研新技术的热情和能力，善于交流和表达，富有团队精神
6.有企业级大数据系统设计经验者优先。
7.有一定的代码经验，python/java/c++/ruby均可。
hadoop岗位职责9
职位描述：
1.计算机及计算机相关专业本科或本科以上学历；
2.十年以上开发工作经验；
3.精通java编程，熟练掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的开发框架，有良好的.编程习惯。
4.精通大数据hadoop、spark、hbase、hive、kafka等产品技术及应用开发。
5.精通多线程编程、分布式事务、存储系统（如oracle、mongodb、redis等）的性能调优和应用开发；
6.具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于解决问题和分析问题；
7.有强烈的上进心和求知欲，善于学习新事物，良好的团队合作精神，较强的沟通能力和学习能力。
hadoop岗位职责10
职位描述：
1、hadoop产品功能设计、开发与测试、性能优化，根据项目具体要求，承担开发任务，按计划完成任务目标
2、负责编制与项目相关的技术文档。
任职要求：
1、计算机相关专业，本科及以上学历，2年以上hadoop开发工作经验；
2、熟练使用linux系统，熟悉内核和shell脚本编写，能够在linux环境下进行开发工作；
3、熟练使用java语言进行开发；
4、熟悉分布式文件系的设计和使用，调试优化过hdfs文件系统者优先；
5、良好的'代码开发风格及开发习惯，学习能力、沟通能力，英文资料阅读和理解能力；
6、参与过hadoop社区贡献者优先；
以下要求至少满足其中1项：
7、熟悉hadoop的架构和原理，以及参数调优和性能优化，了解partition，shuffle，sort等机制。
8、有设计，调试或者优化类似hdfs文件系统经验；
工作地点：南京
hadoop岗位职责11
工作职责：
1、打造业界领先的大数据基础设施，包括数据接入，同步，存储、计算，查询等环节的分布式系统，为海量数据和大规模业务系统提供可靠的基础设施；
2、与开源社区保持交流，发现对业务场景有帮助的特性并引入生产环境，或将经内部验证的特性贡献到社区；
3、承担千台规模集群的管理工作，与业务一起解决性能优化、容量规划、预算审计等问题，保障集群高效稳定经济运行；
任职资格：
1、计算机基础扎实，熟悉常用数据结构和算法，具备较强的逻辑思维能力和编码能力；
2、掌握分布式系统原理，对存储、计算、消息队列、资源管理，数据同步等中的一项或多项有深入的理解和认识；
3、乐于挑战没有明显答案的.问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；
4，熟悉hadoop，hbase，zookeeper，flume，k8s等基础服务中的一项或多项；
5、有kafka或者同类型技术设计开发及集群管理经验者优先。
hadoop岗位职责12
工作职责:
1.负责搭建数据平台、数据仓库平台、物联网数据平台、ai数据平台，负责数据平台架构的整合、优化、开发、部署实施、运维相关工作，确保数据平台稳定运行
2.主导搭建数据平台(dw / ai / hadoop平台等)，提供数据接口对接、存储、提取、处理、清洗、逻辑解析、规范化、iot设备互联互通能力
3.具备java，sql开发经验，性能调测，开源代码商业化，底层基础架构搭建
4.参与公司数据处理方向的技术拓展，保障公司业务的数据需求
5.负责数据平台实时计算/分布式并行计算的'架构设计代码编写，及开源技术组件的二次开发
6.运用hadoop/sparksql与spark streaming或者其它数据分析技术，进行包括需求分析，平台选择，技术构架涉及等技术支持工作，确保能够保障公司业务的数据需求
任职要求:
1.熟悉传统数据仓库，至少三年以上数据仓库开发、构建、运维经验
2.熟悉hadoop技术体系，有hadoop/spark架构经验，有hadoop计算集群在实际项目上的开发和维护经验
3.两年以上基于hadoop/spark/hbase/hive等分布式数据计算应用开发经验
4.熟悉数据平台数据同步技术，如:ogg，cdc，sqoop等，并有实际经验
5.熟悉大数据大数据性能优化，并有实际项目经验
6.熟悉apache mahout/spark mlib的各种算法
7.精通java，熟练掌握mapreduce原理以及数据分析相关的二次开发
8.熟悉linux/unix，熟悉perl/python/shell等脚本开发语言
9.了解敏捷开发流程，有敏捷开发经验者优先
10.良好的数据结构和算法基础，有较强的算法设计和实现能力
11.本科以上学历，计算机及相关专业
hadoop岗位职责13
职责描述：
1.负责设计和搭建软件系统架构（平台、数据库、接口和应用架构等），解决开发中各种系统架构问题。
2.优化现有系统的性能，解决软件系统平台关键技术问题攻关、核心功能模块设计。
3.在项目需求不断细化的工程中校正整体的`架构设计，以及详细模块拆分设计。
4.营造技术学习氛围，带领团队不断完善开发方法及流程，提升开发效率与质量，加强技术标准及规范。
5.带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关。
6.参与讨论公司产品发展方向，完整的规划和把握产品研发架构。
任职要求：
五年以上java开发经验，有独立完成项目经验和能力；
1.精通springmvc+mybatis或ssh等框架的搭建和开发；
2.精通tomcat，apache，nginx等web服务器的管理和调优；
3.精通mysql/mariadb或postgres数据库的开发，管理和调优；
4.熟练使用redis，rabbitmq，mongodb等相关或类似技术；
5.懂得node.js，jquery，h5，websocket，长链接，nio等技术；
6.熟练使用linux（centos/ubuntu)操作和管理；
7.擅长系统性能调优和疑难问题调试；
8.熟悉oracle、hbase、hive等数据库的开发优化；
9.熟悉hadoop、spark等大数据平台；
10.懂得构建高性能高并发分布式服务架构体系优先；
11.懂的数据安全、应用安全和系统安全可以加分；
12.具有团队合作精神、能带队和懂项目管理可以加分。
hadoop岗位职责14
职位描述:
1.根据业务需求和落地环境确定大数据平台的方案和具体搭建
2.负责大数据平台及相关业务系统的'(hadoop/spark/elasticsearch/zeppelin/jupyter等)的运维工作
3.对大数据基础平台系统稳定性负责，负责故障应急响应及指挥，做好故障发现和预防，为其持续优化提供建设性意见
4.与数据组合作，帮助处理优化项目中数据处理工作(数据采集、清洗、汇总、集成等)，保证数据的准确性和稳定性
岗位要求:
1.精通scala或python至少一门编程语言，两种都熟悉优先
2.精通shell脚本编程
3.熟悉hadoop/hive/hbase/spark等分布式计算环境进行海量数据分析与计算;
4.做过数据仓库，对数据治理、数据标准及元数据有很好理念及实施经验的优先;
5.熟悉devops等自动化运维工具;
6.有过10台以上集群运维的经验
7.良好的沟通能力和团队精神，具备创新意识;
8.以结果为导向，具有强烈的责任心、钻研精神和良好的团队沟通能力。
关键词:hadoop spark
hadoop岗位职责15
岗位职责：
1.负责公司大数据平台的hadoop技术栈研究，形成技术解决方案和整体的大数据架构。
2.负责hadoop平台（分布式存储、分布式资源管理和调度、分布式计算等）的架构研究、测试、优化搭建工作；
3.负责探索，?研究新的?hadoop?生态中技术引擎，不断扩充平台能力。
4.制定hadoop整体集群使用规范，规范的hadoop日常维护、异常处理等工作，保障集群稳定、运行规范解决方案
5.负责公司定制项目的大数据架构的整体解决方案
6.负责各种行业大数据在不同应用场景的.最佳开发实践，提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案
任职资格：
1.三年以上hadoop集群架构开发或架构经验。
2.精通hadoop架构的设计以及生态，hadoop的集群的搭建、部署、开发和运维
3.精通hadoop各个模块的能力定位和配置，对hdfs、hbase、mr、spark等基本组件熟知
4.熟悉linux系统及调错经验，熟悉?jvm?运行机制，有?shell、python开发经验。
5.有钻研新技术的热情和能力，善于交流和表达，富有团队精神
6.有企业级大数据系统设计经验者优先。
7.有一定的代码经验，python/java/c++/ruby均可。
【hadoop岗位职责】相关文章：
hadoop岗位职责02-10
hadoop岗位职责(15篇)02-11
Hadoop运维工程师岗位职责02-10
Hadoop运维工程师岗位职责8篇02-10
岗位职责岗位职责02-13
岗位职责岗位职责15篇02-19
岗位职责04-19
at岗位职责02-17
it岗位职责12-01