数据开发工程师简历工作经历(11篇)
编辑:幻主简历 时间:2026-11-19 来源:幻主简历

【#数据开发工程师简历工作经历#】简历是求职过程中的第一步,也是向招聘方展示自己的关键机会。 以下是小编整理的数据开发工程师简历工作经历(11篇),同时,幻主简历网还提供精美简历模板以及简历在线制作工具,欢迎大家阅读参考。

数据开发工程师简历工作经历(11篇)

数据开发工程师简历工作经历(一)

202x.x-202x.x xxxx有限责任公司 大数据平台开发工程师

- 项目架构:CDH6.3.2+Linkis+Wedatasphere+Datahub+GuanyuanBI

项目描述:

该项目旨在构建一个公司级的大数据中台,以打通数据的统一采集、统一计算、统一应用服务接口,更好地服务公司各个部门。该项目基于

- CDH6.3.2

- 版本,升级了

- Linkis和Wedatasphere

- 版本,整合了数据资产、数据治理等平台,并包含了

- WebIDE数据查询工具、可拖拽式自动生成任务工作流、数据可视化 BI平台、数据血缘管理、数据资产管理等配套服务。该平台实现了从数据源到数据收集、数据处理、再到数据应用的整套生态闭环体系,并成功服务公司各个部门。

- 项目技术:

- 通过Exchangis组件和自研实时数据接入工具将数据汇集到大数据中台,Qualitis组件监控数据质量,

- Schedulis负责调度跑批任务,Visualis组件作为BI工具,赋能数据中台可视化能力,Script组件作为在线IDE编辑工具,提供用户实时在线编辑SQL/脚本。

- 个人职责:

1、独自完成Apache Linkis

- 和DSS的部署与搭建,与大数据集群CDH6.3.2的适配

2、WedateSphere其他组件如Schedulis、Qualits、Visualis、Exchagis、Script组件的部署搭建与适配

3、完成Linkis与底层引擎的适配,如Spark、Jdbc、Shell、Python、PySpark、Flink等引擎的适配

4、修复Linkis部分bug,并提交PR到社区

5、公司内部所有大数据调度任务迁移至数据中台

- 项目成果:

- 成功构建了公司级的大数据中台,实现了从数据源到数据收集、数据处理、再到数据应用的整套生态闭环体系,并成功服务公司各个部门。

- 具体成果如下:

1、成功完成了各组件的部署及适配工作,提高了数据质量和效率

2、成功整合了数据资产、数据治理等平台,提高了数据治理和管理能力

3、成功修复了Linkis部分bug,提高了系统稳定性和可靠性

4、成功将公司内部所有大数据调度任务迁移至数据中台,每日调度任务500+

数据开发工程师简历工作经历(二)

202x.x-202x.x xxxx有限责任公司 数据挖掘工程师|技术部

工作描述:

1、完成华夏银行信用卡中心运营部的各类业务需求,配合信用卡评分、反欺诈、人工智能等团队人员提供相关数据支持;2、银行各系统数据入库工作:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,跟客户深入沟通入库格式和需求结果呈现;

- 计划制定:根据详细的需求情况和需要入库的报表数量,以及报表字段加载,结合以往入库项目经验,

- 预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,根据需求格式创建EXCEL数据字典(包含数据表表名,字段名,字段类型,输入输出长度,字段描述等内容),然后利用SAS代码进行两次处理,分别将原始数据按照数据字典的格式读入到ODS和DDS层。程序测试:SIT测试,主要测测试数据能否正常跑通,输出结果和客户方提供的测试数据的需求是否一致,UAT测试,主要由相关业务人员检查数据格式及数据内容准确性。上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。3、相关报表开发:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,通过基于EXCEL的数据字典查找检视数据是否存在,与客户

- 深入沟通报告结果(数据形式)的详细信息。计划制定:根据详细的需求情况,根据以往项目的经验,预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,沿目标数据-字段-数据表-系统的逻辑顺序准备数据,根据报表的4个层次(准备层、中间层、报表层、卸数层)依次进行开发;依据客户目标,有选择性的筛选呈现数据,并根据客户业务逻辑(直销、分销),进行数据分发,整个过程进行详细注释。报表测试:与银行对接人反复沟通,或借用相近的历史数据,尽量保证使用真实业务数据,使用SAT进行自测,程序BUG率低于10%,在公司处于前列;测试团队进行UIT测试,测试符合率高于80%。上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。4、熟悉ETL调度的执行原理,将新增作业成功接入ETL调度,并不影响其他作业执行;

数据开发工程师简历工作经历(三)

202x.x-202x.x xxxx有限责任公司 数据挖掘工程师|技术部

工作描述:

1、完成华夏银行信用卡中心运营部的各类业务需求,配合信用卡评分、反欺诈、人工智能等团队人员提供相关数据支持;2、银行各系统数据入库工作:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,跟客户深入沟通入库格式和需求结果呈现;

- 计划制定:根据详细的需求情况和需要入库的报表数量,以及报表字段加载,结合以往入库项目经验,

- 预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,根据需求格式创建EXCEL数据字典(包含数据表表名,字段名,字段类型,输入输出长度,字段描述等内容),然后利用SAS代码进行两次处理,分别将原始数据按照数据字典的格式读入到ODS和DDS层。程序测试:SIT测试,主要测测试数据能否正常跑通,输出结果和客户方提供的测试数据的需求是否一致,UAT测试,主要

- 由相关业务人员检查数据格式及数据内容准确性。上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。3、相关报表开发:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,通过基于EXCEL的数据字典查找检视数据是否存在,与客户深入沟通报告结果(数据形式)的详细信息。计划制定:根据详细的需求情况,根据以往项目的经验,预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,沿目标数据-字段-数据表-系统的逻辑顺序准备数据,根据报表的4个层次(准备层、中间层、报表层、卸数层)依次进行开发;依据客户目标,有选择性的筛选呈现数据,并根据客户业务逻辑(直销、分销),进行数据分发,整个过程进行详细注释。报表测试:与银行对接人反复沟通,或借用相近的历史数据,尽量保证使用真实业务数据,使用SAT进行自测,程序BUG率低于10%,在公司处于前列;测试团队进行UIT测试,测试符合率高于80%。上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。4、熟悉ETL调度的执行原理,将新增作业成功接入ETL调度,并不影响其他作业执行;

数据开发工程师简历工作经历(四)

202x.x-202x.x xxxx有限责任公司 大数据平台开发工程师

项目描述:微众银行大数据批量计算平台,服务于全银行的离线计算平台

工作职责:

1. 沟通明确业务需求,与相关团队和利益相关者进行有效沟通,确保全面理解业务需求

2. 根据需求制定解决方案并实施,负责整体系统的设计、开发和实施工作

3. 存量业务逻辑梳理、维护和优化,识别问题和瓶颈,并提出改进措施以提高系统性能和稳定性

4. Hive/Spark组件开发owner,维护组件稳定性,产品功能迭代及升级维稳

- 项目成果:

1.Hive

- 元数据存储优化,节省近500G元数据存储容量。

2.优化Hive/Spark客户端启动初始化,离线应用跑批执行提速近10%。

3.组件稳定运行,修复/优化生产故障和隐患10个+

数据开发工程师简历工作经历(五)

202x.x-202x.x xxxx有限责任公司 数据开发工程师

工作内容:1、梳理历史Storm任务中的业务处理逻辑,使用Flink进行改造保证任务在10亿/天量级下数据exactly once并稳定运行。2、根据京东物流离线数仓设计经验并结合实时数仓自身业务需求设计并开发仓储域和运单域部分实时基础模型,为大促报表、对内数据分析、业务结算提供实时数据支持。

主要职责:使用Flink SQL和Flink DataStream对京东实时平台中Storm加工的50张实时单表和宽表进行改造和迁移,保证改造后的宽表在大促期间稳定运行。负责开发京东物流仓储域云仓入库、拣货、验货、打包、出库等实时模型以及中小件运单明细实时模型的设计和开发保证了再大促期间10亿以上/天数据量下的稳定运行。

数据开发工程师简历工作经历(六)

202x.x-202x.x xxxx有限责任公司 资深数据开发工程师

- 一、数据仓库模型设计及开发:

1、订单主题:新业务形态shopify订单主题的数仓模型设计及开发,充分了解业务过程及BI

- 需求,确定模型字段及粒度以满足业务需求,模型评审后开发,进行充分数据验证后上线。

2、广告主题:阅读接口文档,将facebook、tiktok、google、shopify等第三方接口广告相关数据采集,存储ods层,并进行数据清洗、json字段解析到dw_ods层,充分调研业务需求,进行模型设计,将商品和广告部分维度属性冗余到广告报表中生成高可用的dwd层

3、流量主题:

3、财务主题:收入、资金、税务、库值等子主题的设计及开发,涉及订单-履约-物流-仓储等全业务流程,保证数据一致性,并做全面的数据质量监控,全面支持财务结算业务,保证财务数据的及时准确

- 二、配合公司战略调整,主导优化师业绩盘点项目,调研业务形态,梳理业务需求,按主题拆解分配任务,多人并行开发,抽象公用逻辑单独沉淀,保证数据一致,进行充分数据验证后整合数据形成结果表,并同步生成数据稽核脚本,保证数据准确

- 三、供应链端采购相关,采购需求、入库、缺退货及时效相关数据支持,配合算法进行风控,减少供应商缺货及提高供货物流时效

- 四、生命周期管理:python开发可配置化存储周期脚本,节约存储成本,精细化管理数据存储,在满足业务需求的前提下节约存储90%

- 五、数据质量监控:对各项财务数据进行全面稽核校验,及时发现异常,并熔断下游job任务,保证财务数据准确入账

- 六、ETL平台datax数据采集及回流脚本维护,使用指导及问题答疑。

数据开发工程师简历工作经历(七)

202x.x-202x.x xxxx有限责任公司 高级数据工程师

- 上海二三四五网络科技有限公司致力于打造网民首选的上网入口平台,旗下

- 拥有2345网址导航、2345好压、2345浏

- 览器等知名网站和软件产品,覆盖互联网用户

- 超过2.3亿。

工作职责:

1. 指标系统与报表系统的规划设计,开发;

2. 业务数据分析

- 渠道质量评估,产品功能评估,版本效果评估等数据分析报告;

3. 集团反作弊系统设计开发;

- 主要技术及组件:

- hive,

- spark,python

数据开发工程师简历工作经历(八)

202x.x-202x.x xxxx有限责任公司 数据分析师

1、全省54家分支机构的业务数据统计和数据分析,实时监控全省各机构业务动态并做总结报告;

2、制定全省业务推动方案;随领导与大客户(地铁集团,各大经纪公司的等)进行招投标业务洽谈;

3、参与大项目招投标并独立完成标书制作。

数据开发工程师简历工作经历(九)

202x.x-202x.x xxxx有限责任公司 大数据工程师

- VDM(车辆数据平台)项目:

- 技术构架

 Hadoop+Zookeeper+Kafka+SparkStreaming+HBase+Hive+Spark+Mysql+Springboot+Mybatis

项目描述:

因为客户业务部门提出需求,需要对车辆的实时状态进行监控,如车辆可能发生的故障以及故障级别等数据,因此需要一套系统实现相应的功能并可以让业务部门随时使用。该项目的构架为Kafka通过sparkStreaming将数据落入HBase与HDFS上,分别用于实时数据处理与历史数据处理,实现了车辆状态实时查询与历史数据查询与统计的功能,并把最终结果通过前端展现给用户或统计数据提供下载.

项目职责:

负责项目功能的搭建与部署;

- 负责后端模块大数据模块对应部分controller,resource,dao层的开发;负责大数据模块包括历史数据的清洗与计算,实时数据的解析与转储;代码测试与优化.

- 开发环境:

- Linux

- Tomcat

- Nginx

- Maven

- JDK

- GIT

- 云效平台(用于项目测试与部署)

- 项目成果:实现的客户对于车辆状态的监控,实时信号的采集与处理,以及离线数据的存储于解析。目前已经上线且已完成二期的开发。

- 项目总结:项目由于对于实时已经离线任务都有需求,所有构架的设计上需要对数据源的数据进行多份存储,实时方面起初是准备选择Flink而不是sparkStreaming,但是由于Flink对于开发来说是新的工具,而这个项目属于国家要求的有着比较严格规范的项目,因此采用SparkStreaming处理实时数据。目前整个系统数据量级其实并不是很大,构架的很多地方也存在单点问题,总的来说目前实现了的是基于当前需要的功能,整个系统几乎没有扩展性,对于超高并发的访问个人觉得还不能承受这样的压力,从前端到后端再到大数据端上面参数暂时还没有进行调优,但在目前阶段,已经能够满足客户需求。

- TDS项目:

- 技术构架

- Hadoop+Zookeeper+Kafka+Flume+Hive+MapReudce+Mysql

项目描述

- 由于客户业务部门需要远程监控管理各自负责的车辆,曾经旧的TDS系统无法满足日益增长的数据采集需求,因此这个项目被提出来并且需要优化配置管理、版本管理、历史追溯等功能。该项目完成了各业务部门对车辆数据的采集与分析;且具有一定的扩展性以应对未来数据的增长;完善和优化了车载控制配置流程、版本管理以及历史追溯。

项目职责:负责项目中数据分析功能模块开发,以及部分数据分析业务功能的优化;项目上线后对出现的bug进行修复。

项目成果:完成了客户预期并已投入使用,但是由于是公司较早期的大数据项目,性能方面并不十分突出。

- 项目总结:该项目数据源来自kafka落地数据到磁盘上,再使用flume读取磁盘并把数据落地到Hbase或Hive。该设计其实并不是很好,增加了磁盘的IO,且出现故障时很多时候需要人为重启Flume。因此经过团队讨论,后来使用了Flume当时新特性,以Kafka作为channel,直接将数据落地到hadoop集群中,依赖CDH对集群的管理功能,可以轻松监控任务的状态,并及时处理可能产生的错误。

- PHEV项目

- 技术构架:

- Hadoop+Zookeeper+Kafka+Flume+Hive+MapReudce+Mysql

项目描述

:该项目与TDS项目类似,不过对应的是不同类型的车辆数据,PHEV项目车型主要是新能源车,但是需要实现的功能与TDS项目相同。

项目职责:对已开发的系统进行维护以及部分代码的优化。

项目成果:实现了客户需求的功能,并且在这次开发中,我们意识到MapReduce程序编写过程确实很繁琐,且性能并不是特别好,因为每一次MapReduce都会产生磁盘IO,所以在这个项目之后我们开始尝试使用Spark进行业务开发,降低了不少编码成本。

- 其他

- 数据迁移转储等小功能模块代码开发

- shell脚本编写实现数据导出或备份

数据开发工程师简历工作经历(十)

202x.x-202x.x xxxx有限责任公司 大数据中心-大数据开发工程师

1、构建财务条线数据仓库,收入主题及资金主题,资金账户缓慢变化维度表设计开发,明细粒度收入、资金事实表设计开发,冗余维度来提高使用的便捷性。基于公共数据层开发相应的周期快照,报表、接口及邮件任务。

2、构建数据质量体系,包括唯一性校验、异常值校验,线上数据与入湖数据一致性校验,提高任务调度优先级及任务优化等。对上游数据问题进行追踪,跟进业务系统进行数据订正或系统改造,建立数据质量故障总结机制及监控机制,避免同类数据质量问题再次发生。保障财务数据的及时准确。

3、参与收入推送项目,和支付研发团队进行接口联调,自动生成借贷凭证,完成财务数据从线上业务系统-账务处理-金蝶系统的全流程自动化,彻底解放财务人力。

4、入账逻辑调整,通过血缘关系查找受影响的下游任务,所有相关任务调整测试完成后上线并重跑历史数据。

5、根据业务需求开发相应的python小工具(文件整理,Excel拆分,数据自动比对等),减少业务方手工处理,提升效率。

6、上市审计,内控等数据支持。

数据开发工程师简历工作经历(一十一)

202x.x-202x.x xxxx有限责任公司 数据开发工程师

1、参与乐凯撒的信息化,数据化建设;主要负责数据仓库开发,报表开发,营业数据可视化,算法工具化等开发。主要成果:将乐凯撒数据从不同系统集成到统一数据库,面向主题开发数据仓库,集成到系统形成数据集市,用机器学习探索深层数据;

2、负责线上美团饿了么数据分析,每周跟踪并分析营业数据,活动效果,

- 输出数据分析报告,讨论营销策略;用数据库开发满减工具,测算满减策略,帮助公司获得最优满减

- 档位,提升线上毛利率。

3、参与竞品数据分析,负责数据整理入库及对比分析;风控指标监控,负责分类客服反馈、客户留言评论等数据监控,形成数据报表;参与网站流量分析、商品销售指标监控分析,输出数据。

4、负责设计开发技术方案,拆分技术方案,分派、跟踪、落实开发方案,

- 测试数据产品;培训实习生,培训EHR系统与收银系统表结构,教导SQL

- 语句与优化,分析业务逻辑,指导实现方案。

简历在线制作下载(传送门):立即在线制作

《数据开发工程师简历工作经历(11篇).doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档
资讯来源说明:本文章来自网络收集,如侵犯了你的权益,请联系QQ:509053849。
继续阅读相关文章
最新更新