您的位置:群走网>实用资料>岗位职责>数据开发工程师岗位职责
数据开发工程师岗位职责
更新时间:2024-04-25 21:50:40
  • 相关推荐
数据开发工程师岗位职责(精选20篇)

  在现在的社会生活中,越来越多人会接触到岗位职责,岗位职责具有提高内部竞争活力,更好地发现和使用人才的作用。我敢肯定,大部分人都对制定岗位职责很是头疼的,以下是小编为大家收集的数据开发工程师岗位职责,仅供参考,欢迎大家阅读。

  数据开发工程师岗位职责 1

  职责:

  1.负责公司大数据业务集群的运维工作确保高可用;

  2.负责基础运维、故障定位、容量规划、扩容及性能优化;

  3.设计实现大规模分布式集群的运维、报警监控和管理平台;

  4.参与业务架构设计,在设计阶段给出可运维性改进建议;

  5.深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技术及发展方向。

  任职资格:

  1.大专以上学历,2年及以上大数据运维工作经验,熟悉hadoop/hbase/hive/Yarn/Spark等分布式相关技术,熟悉源码尤佳,至少掌握python/shell中的`一种语言,接受优秀应届毕业生;

  2.了解大数据平台应用架构,具备常见问题的基本分析和解决能力;

  3.熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题;

  4.熟悉nginx/emq/tomca、mysql/mongodb/redis等web应用/中间件及主流开源数据库的使用和配置。

  数据开发工程师岗位职责 2

  职责:

  1、负责所分管团队的团队建设和日常管理工作;

  2、负责核心技术问题攻关和性能优化,持续维护和引进最新的大数据技术到城市大数据平台中,支撑城市级大数据平台业务;

  3、承担城市数据标准编制和数据模型的设计;

  4、承担项目中数据相关方案设计及数据团队管理;

  5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。

  任职资格:

  1、1年以上数据开发工作经验,熟练使用SQL查询引擎;

  2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具

  3、具备良好的.编程语言基础如:java/python/scala/c++/shell等

  4、二本以上学历,计算机相关专业或者有相关培训经历者优先

  5、个人素质要求:目光长远、态度诚恳、岗位有稳定性,能够长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划,优秀的学习能力和团队沟通协作能力,对新技术有浓厚兴趣并有钻研精神。

  数据开发工程师岗位职责 3

  职责:

  1、负责研发PAAS开放平台开发,完成需求分析详细设计,spring boot基础组件的使用和扩展开发工作;

  2、负责研发PAAS平台业务中台,数据中台的研发工作,能够准确把握业务需求,参与系统设计,负责核心代码的`实现;

  3、负责带领3-5人研发团队,实现系统规划需求。

  【任职要求】

  业务技能要求:

  1、精通Java语言,深刻理解常用微服务组件,如Spring,Spring Boot, Spring Cloud, Mybatis;

  2、熟悉Shell或者Python脚本并能在Linux环境进行开发;

  3、了解常用中间件系统,如RabbitMQ,RocketMq,Redis,ZooKeeper系统等;

  4、熟悉Mysql数据库以及常见的NoSQL DB,如MongoDB等;

  5、了解常用工具如Git , Jenkins, Maven 等。

  数据开发工程师岗位职责 4

  职位描述:

  1、支撑dmp人群包计算的业务需求,参与服务端代码开发;

  2、支撑dmp标签的技术升级,参与数据产出流程性能优化;

  3、支持dmp大规模数据的.计算和分析。

  任职要求:

  1、本科及以上学历,计算机、通信等相关专业,1-2年相关工作经验;

  2、有良好的数据结构、算法基础和扎实的编程能力;

  3、熟悉python/java/c++/scala其中任意一门或者多门语言;

  4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技术;

  5、具有良好的团队沟通意识和快速学习能力;

  6、加分项: 熟悉大数据处理或者dmp业务.

  数据开发工程师岗位职责 5

  职位描述:

  1、负责数据收集、清洗和规约等工作;

  2、提供面向业务的数据服务,完成数据指标的统计、多维分析和展现;

  3、根据业务和产品情况,抽象业务逻辑,搭建和开发大数据平台。

  任职要求:

  1、统招本科或以上学历;

  2、精通sql,有较好的sql性能调优经验,了解hive/mysql的基本原理和调优策略

  3、熟悉常用的数据挖掘、分析的.工具和方法,熟悉linux平台,精通shell/python/php等脚本语言的一种或多种,编码基本功扎实 ;

  4、精通java开发,熟悉大数据处理相关技术,有hadoop开发经验,掌握mapreduce。

  数据开发工程师岗位职责 6

  职责:

  1.负责机票酒店大数据项目的评估、设计及关键模块研发;

  2.参与公司大数据平台及联机分析系统的.建设;

  3.机器学习算法讨论、评估及算法的最终编码实现;

  4.数据平台开发规范制定,数据建模及核心框架研发;

  任职要求:

  1.本科及以上学历,计算机或数学相关专业,三年以上相关工作经验;

  2.掌握Java、Python、Scala等中的一到两种语言;

  3.熟悉Mongodb、Hive、Hbase、Redis等NoSQL数据库开发和调优;

  4.熟悉数据相关开源框架和工具,如ZooKeeper、Spark、Flink、Impala、Kylin等;

  5.对数据结构和机器学习算法有一定的了解;

  6.具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先;

  7.有机票酒店等旅游行业数据开发经验者优先。

  数据开发工程师岗位职责 7

  职责

  1.数据库安装、配置、故障处理、备份与恢复;

  2.数据库性能监控与优化、数据库安全加固、数据库空间管理等(包括线上、线下环境);

  3.负责项目数据ETL整合与数据库设计;

  4.审核数据库设计方案和SQL语句,对上线数据库质量进行管理;

  5.负责数据库操作标准化流程制定,并遵照执行;(如数据库设计规范、数据库变更管理规范)

  6.负责跟进、试用厦门数据组产出的工具、数据整合方案,以及在重庆团队中推广使用;

  7.提升实施团队数据库运维相关技能。

  岗位要求

  1、计算机或相关专业本科以上学历,2年以上数据处理工作经验;

  2、精通关系型数据库体系架构和原理,精通存储过程、触发器、动态SQL的.编写;

  3、精通数据库的性能优化及SQL语句的优化;

  4、精通MySql/oracle数据库的规划、设计、优化及运维;

  5、熟悉Linux常用命令,熟悉shell/python/perl(其中一种)脚本开发;

  6、熟悉数据库的负载解决方案,如分库、分表、主从;

  7、高度的责任心、良好的沟通技巧和团队合作精神;

  数据开发工程师岗位职责 8

  职位描述:

  工作职责:

  1、基于海量数据,支持业务对数据的分析和使用;

  2、支持业务处理数据的`流式处理、分析客户行为等。

  任职要求:

  1、精通至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力 ;

  2、熟悉常用的开源组件:hadoop/hive/spark/storm,并了解其特性和使用场景优先;

  3、熟悉机器学习、数据挖掘、数据分析、分布式计算至少某一方面,有较深的理论研究和实践经验优先;

  4、数据分析、推荐、机器学习、数据挖掘相关的开发工作优先。

  数据开发工程师岗位职责 9

  岗位职责:

  1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;

  2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的需求分析;

  3、负责分析结果的可视化展现;

  4、负责核心算法的设计与优化。

  任职要求:

  1、全日制本科毕业;

  2、计算机或数学或软件类或统计相关专业;

  3、熟悉数据挖掘和文本挖掘的'理论基础,掌握统计模型、机器学习相关原理;

  4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。

  数据开发工程师岗位职责 10

  岗位职责:

  分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发;

  参与项目的`架构设计、评审、技术攻坚及优化;

  参与系统文档的撰写、维护。

  任职要求:

  本科以上学历,计算机或相关专业;

  3年以上linux后台开发经验,有大规模系统开发经验;

  精通http、tcp/ip协议,网络编程;

  熟悉linux操作系统原理,常用工具;

  熟悉常用大数据开源组件;

  有高并发、大容量后台服务系统设计经验;

  具有良好的学习能力、沟通能力、团队合作意识;

  强烈的责任心与主动性,对所负责工作有owner意识,并能自我驱动成长;

  对hadoop、flink、spark、lucene等开源项目有大规模应用经验,contributor或者committer优先。

  数据开发工程师岗位职责 11

  职位描述:

  1、承担现有数据平台的`开发和优化工作

  2、根据业务需求进行数据模型的调研、设计、开发及验证工作,并持续进行模型优化

  3、负责数据模型架构的构建,建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型

  4、负责实时计算平台搭建。

  职位要求:

  1、3-5年以上的相关工作经验

  2、熟悉分布式计算平台

  3、有日志采集,数据处理,数据仓库建模,etl等经验

  4、熟悉java、python、spark开发

  5、熟练掌握linux shell及sql语言

  6、有独立负责数据某一模块的实际项目经验

  7、有过用户画像等方面开发经验者优先

  8、有实时处理开发经验者优先

  数据开发工程师岗位职责 12

  1. 建立和维护公司IT项目建设管理的规章制度;

  2. 项目进度跟踪和控制,风险识别,里程碑监控、项目成本管理;

  3. 根据公司IT系统需求和系统设计要求,进行详细分析、设计,编写设计文档,进行功能模块的'代码编写工作;

  4. 协助进行公司IT系统架构设计,技术规划及技术可行性分析,对公司IT系统架构方案提出优化改进建议,提高系统架构质量;

  5. 根据开发规范编写各种开发文档及项目文档;

  6. 评估项目交付件,对系统质量负责。

  7. 对于开发外包项目,作为开发接口人与供应商进行系统开发对接,对开发进度进行管理控制,修正开发偏差。

  8. 上级领导安排的其他工作。

  数据开发工程师岗位职责 13

  职责:

  1、根据数据仓库及BI项目的需求,制定ETL相关的设计方案和开发计划,并进行后续的.设计、实施、维护;

  2、负责数据仓库数据模型的开发,发布,测试工作;

  3、负责多种类型的数据报表的研发工作,包括钻取类报表,表格类报表,和图形化报表的研发,测试和发布工作;

  4、承担数据抽取、清洗、转化等数据处理程序开发。

  任职要求:

  1、计算机相关专业本科及以上学历

  2、精通数据仓库的数据模型设计,熟悉ETL工具如DataStage,有3年以上的实际BI项目经验;

  3、精通Mysql/Oracle/SQLServer数据库,精通SQL语言,熟练编写存储过程,掌握海量数据处理及数据库性能优化;

  4、熟悉Hadoop大数据技术框架及相关技术;

  数据开发工程师岗位职责 14

  职位描述:

  1、基于海量数据,支持业务对数据的分析和使用:

  2、支持业务处理数据的流式处理、构建数据仓库、分析用户行为等。

  任职要求:

  1、有扎实的编程能力,有优秀的设计和代码品位,对解决具有挑战性问题充满激情;

  2、对大数据处理有丰富的`经验和广阔的视野;

  3、熟悉常用的开源组件:hadoop/hive/spark/storm,并了解其特性和使用场景;

  4、优秀的沟通理解能力,能快速理解业务,用数据解读业务;

  5、推荐或机器学习相关的开发工作优先。

  数据开发工程师岗位职责 15

  1、分析需求,根据需求确定技术方案,设计系统架构,编写相关设计文档;

  2、根据项目进度计划完成软件编码和集成测试;

  3、指导初中级工程师的设计编码;

  4、积极响应客户需求并进行定制化开发和交付;

  5、协助处理其他部门完成技术性事项;

  数据开发工程师岗位职责 16

  职责:

  1、负责公司大数据平台建设;

  2、根据业务需求,制定数据仓库和数据分析平台的实施和持续更新;

  3、攻克技术难关,保证大数据系统的`稳定运行;

  4、完成大数据产品的开发。

  职位要求:

  1、计算机相关专业全日制专科及以上学历,大数据相关经验;

  2、熟悉Java或Scala语言,熟悉Spark,Hadoop,Kafka,Hive,HBase,ZooKeeper等大数据相关技术;

  3、精通SQL语句并对Redis,Mongodb等NoSQL数据库有一定经验;

  4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品经验者优先;

  5、责任心强,工作踏实,有团队协作精神,沟通能力强者优先。

  数据开发工程师岗位职责 17

  职责:

  1、参与需求调研,负责开展专项业务分析,数据开发工作;

  2、负责数据支撑工作,从事数据库开发,报表设计和实现;

  3、负责相关数据库设计的编写等工作;

  4、参与项目的实施,负责数据结果提交、测试反馈与优化;

  5、运营及决策提供业务分析及数据支持;

  6、参与建立采集、转换、整合数据,与展现开发报表分析的数据设计流程,并应用于实际操作中。

  任职资格:

  1、本科以上学历,计算机相关专业,掌握SQL语言,至少熟练使用过Sybase、DB2、Oracle等其中一种数据库;

  2、熟悉ETL的`概念和流程,至少熟练使用过一种ETL工具(odi,informatica,kettle等);

  3、系统学习过数据库原理,对关系模型设计有一定认识更佳,熟练具备SQL语言、存储过程的编写能力;

  4、良好的逻辑思维能力,敏锐的数据洞察力,较强的总结归纳能力;

  5、持有OCP认证、OCM、数据库工程师、SPSS、SAS、CDA任意一种证书者优先;

  6、熟悉db2和sybase者加分,有会计或审计经验者加分。

  数据开发工程师岗位职责 18

  职责:

  1、完成软件的设计、开发、测试、修改bug等工作。

  2、撰写相关的技术文档。

  3、参与业务需求的沟通,功能模块详细设计,业务功能实现与单元测试,系统维护等工作。

  4、对代码质量如执行性能、可读性、可维护性负责

  5、独立的解决和分析开发过程中的问题

  6、完成上级安排的`其他临时性工作。

  岗位要求:

  1、计算机相关专业专科以上。

  2、精通Java语言,熟练使用MyEclipse,熟悉Linux平台的程序开发。

  3、熟悉面向对象编程原理,数据结构和算法基础扎实。

  4、熟悉J2EE相关技术,掌握Spring、Spring MVC、Mbatis/Hibernate等常用应用开发框架。

  5、掌握Web前端技术,熟悉HTML、CSS、JavaScript,有JQuery、Bootstrap、Vue使用经验者优先。

  6、熟悉Mysql/Oracle等常用关系型数据库,精通SQL,能够对SQL进行优化。

  7、了解分布式计算、NoSQL技术,有实际应用经验者优先。

  8、有Spring Boot、Spring Cloud、Git、Redis、Java8等相关使用经验者优先。

  9、思维敏捷,具备良好的表达能力和沟通能力,PMP/ACP/CSM优先。

  10、工作认真负责,有强烈的责任感和吃苦耐劳精神,具有良好的团队合作精神,具有强烈的事业心和责任感。

  数据开发工程师岗位职责 19

  职责:

  1、负责研发PAAS开放平台开发,完成需求分析详细设计,spring boot基础组件的使用和扩展开发工作;

  2、负责研发PAAS平台业务中台,数据中台的`研发工作,能够准确把握业务需求,参与系统设计,负责核心代码的实现;

  3、负责带领3-5人研发团队,实现系统规划需求。

  任职要求

  业务技能要求:

  1、精通Java语言,深刻理解常用微服务组件,如Spring,Spring Boot, Spring Cloud, Mybatis;

  2、熟悉Shell或者Python脚本并能在Linux环境进行开发;

  3、了解常用中间件系统,如RabbitMQ,RocketMq,Redis,ZooKeeper系统等;

  4、熟悉Mysql数据库以及常见的NoSQL DB,如MongoDB等;

  5、了解常用工具如Git , Jenkins, Maven 等。

  数据开发工程师岗位职责 20

  职责:

  1、参与大数据架构的规划设计,参与业务建模及数据化运营平台的搭建、运维,对业务流程与大数据的结合提出建议和解决方案;

  2、完成基于大数据平台的业务项目的开发、实施和维护工作;

  3、负责解决大数据平台建设过程中的技术难点和性能调优工作;

  4、参与数据仓库设计,根据业务需求实现高效率高灵活性的查询,数据分析,数据挖掘;

  5、负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计

  6、负责研发技术发展方向,新技术领域的探索,引入并验证数据平台领域新技术,提供系统效能

  7、对大数据技术及开源框架充满热情,具有钻研精神,能自我学习。

  任职资格:

  1、具有5年Java开发经验,熟悉Spring生态,掌握Hibernate、Mybatis任意一种ORM框架,掌握Oracle、Mysql数据库。

  2、具有2年以上的大数据开发经验,熟悉大数据、数据仓库,分布式架构技术理论,具有大数据整体系统架构设计和实战经验,熟悉CDH、HDP、TDH至少一款大数据产品,有从无到有建设大数据平台经验者优先;

  3、熟悉大数据组件的开发、搭建、维护以及性能优化;

  4、较强的开发能力,必须熟练使用相关开发语言(Java/Python/Scala/Shell等),熟悉大数据生态、关系数据库和NOSQL数据库、Linux等相关知识,能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;

  5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等组件或技术,能阅读源码跟踪问题。

  6、熟练掌握Spark、flink任意一种计算框架,掌握MapReduce计算框架原理,并有实际项目开发经验。

  7、熟练掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技术和组件,熟练应用开发,必须熟悉复杂数据查询性能调优,包括实时查询和离线批处理查询,服务器和生态组件的.参数优化。

  8、精通高级算法并有与业务结合落地优先;

  9、扎实的独立分析问题、解决问题的能力,具备良好的需求理解能力、沟通协调能力和团队合作精神;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径,并且擅于跟业务团队就业务问题进行良好的沟通,能推动业务的指标化、量化;

  10、有较好的学习能力、团队协作精神,认真细心,有强烈的责任心,爱岗敬业,有较高抗压能力,有较好的工作稳定性。

【数据开发工程师岗位职责】相关文章:

数据库开发工程师岗位职责02-03

数据库开发工程师的岗位职责06-08

数据开发岗位职责02-02

数据开发工程师岗位职责(通用20篇)09-20

数据库开发工程师岗位职责10篇05-15

数据库开发工程师岗位职责(10篇)05-15

数据库开发工程师的岗位职责(精选30篇)03-23

数据库开发工程师岗位职责(精选15篇)03-10

数据库开发工程师岗位职责15篇02-03