大数据开发工程师简历工作经历(8篇)
编辑:幻主简历 时间:2026-11-20 来源:幻主简历

【#大数据开发工程师简历工作经历#】简历,对于能否获得面试机会起着至关重要的作用。那简历怎么写呢? 以下是小编整理的大数据开发工程师简历工作经历(8篇),同时,幻主简历网还提供精美简历模板以及简历在线制作工具,欢迎大家阅读参考。

大数据开发工程师简历工作经历(8篇)

大数据开发工程师简历工作经历(一)

202x.x-202x.x xxxx有限责任公司 大数据平台开发工程师

- 项目架构:CDH6.3.2+Linkis+Wedatasphere+Datahub+GuanyuanBI

项目描述:

该项目旨在构建一个公司级的大数据中台,以打通数据的统一采集、统一计算、统一应用服务接口,更好地服务公司各个部门。该项目基于

- CDH6.3. 版本,升级了Linkis和Wedatasphere版本,整合了数据资产、数据治理等平台,并包WebIDE数据查询工具、可拖拽式自动生成任务工作流、数据可视化BI平台、数据血缘管理、数据资产管理等配套服务。该平台实现了从数据源到数据收集、数据处理、再到数据应用的整套生态闭环体系,并成功服务公司各个部门。

- 项目技术:

- 通过Exchangis组件和自研实时数据接入工具将数据汇集到大数据中台,Qualitis组件监控数据质量,

- Schedulis负责调度跑批任务,Visualis组件作为BI工具,赋能数据中台可视化能力,Script组件作为在线IDE编辑工具,提供用户实时在线编辑SQL/脚本。

- 个人职责:

1、独自完成Apache Linkis

- 和DSS的部署与搭建,与大数据集群CDH6.3.2的适配

2、WedateSphere其他组件如Schedulis、Qualits、Visualis、Exchagis、Script组件的部署搭建与适配

3、完成Linkis与底层引擎的适配,如Spark、Jdbc、Shell、Python、PySpark、Flink等引擎的适配

4、修复Linkis部分bug,并提交PR到社区

5、公司内部所有大数据调度任务迁移至数据中台

项目成果:

成功构建了公司级的大数据中台,实现了从数据源到数据收集、数据处理、再到数据应用的整套生态闭环体系,并成功服务公司各个部门。

具体成果如下:

1、成功完成了各组件的部署及适配工作,提高了数据质量和效率

2、成功整合了数据资产、数据治理等平台,提高了数据治理和管理能力

3、成功修复了 Linkis部分bug,提高了系统稳定性和可靠性

4、成功将公司内部所有大数据调度任务迁移至数据中台,每日调度任务500+

大数据开发工程师简历工作经历(二)

202x.x-202x.x xxxx有限责任公司 大数据平台开发工程师

项目描述:微众银行大数据批量计算平台,服务于全银行的离线计算平台

工作职责:

1. 沟通明确业务需求,与相关团队和利益相关者进行有效沟通,确保全面理解业务需求

2. 根据需求制定解决方案并实施,负责整体系统的设计、开发和实施工作

3. 存量业务逻辑梳理、维护和优化,识别问题和瓶颈,并提出改进措施以提高系统性能和稳定性

4. Hive/Spark组件开发owner,维护组件稳定性,产品功能迭代及升级维稳

- 项目成果:

1.Hive

- 元数据存储优化,节省近500G元数据存储容量。

2.优化Hive/Spark客户端启动初始化,离线应用跑批执行提速近10%。

3.组件稳定运行,修复/优化生产故障和隐患10个+

大数据开发工程师简历工作经历(三)

202x.x-202x.x xxxx有限责任公司 大数据工程师

- VDM(车辆数据平台)项目:

- 技术构架 Hadoop+Zookeeper+Kafka+SparkStreaming+HBase+Hive+Spark+Mysql+Springboot+Mybatis

项目描述:

因为客户业务部门提出需求,需要对车辆的实时状态进行监控,如车辆可能发生的故障以及故障级别等数据,因此需要一套系统实现相应的功能并可以让业务部门随时使用。该项目的构架为Kafka通过sparkStreaming将数据落入HBase与HDFS上,分别用于实时数据处理与历史数据处理,实现了车辆状态实时查询与历史数据查询与统计的功能,并把最终结果通过前端展现给用户或统计数据提供下载.

项目职责:

负责项目功能的搭建与部署;

- 负责后端模块大数据模块对应部分controller,resource,dao层的开发;负责大数据模块包括历史数据的清洗与计算,实时数据的解析与转储;代码测试与优化.

- 开发环境:

- Linux

- Tomcat

- Nginx

- Maven

- JDK

- GIT

- 云效平台(用于项目测试与部署)

- 项目成果:实现的客户对于车辆状态的监控,实时信号的采集与处理,以及离线数据的存储于解析。目前已经上线且已完成二期的开发。

- 项目总结:项目由于对于实时已经离线任务都有需求,所有构架的设计上需要对数据源的数据进行多份存储,实时方面起初是准备选择Flink而不是sparkStreaming,但是由于Flink对于开发来说是新的工具,而这个项目属于国家要求的有着比较严格规范的项目,因此采用SparkStreaming处理实时数据。目前整个系统数据量级其实并不是很大,构架的很多地方也存在单点问题,总的来说目前实现了的是基于当前需要的功能,整个系统几乎没有扩展性,对于超高并发的访问个人觉得还不能承受这样的压力,从前端到后端再到大数据端上面参数暂时还没有进行调优,但在目前阶段,已经能够满足客户需求。

- TDS项目:

- 技术构架

- Hadoop+Zookeeper+Kafka+Flume+Hive+MapReudce+Mysql

项目描述:

由于客户业务部门需要远程监控管理各自负责的车辆,曾经旧的TDS系统无法满足日益增长的数据采集需求,因此这个项目被提出来并且需要优化配置管理、版本管理、历史追溯等功能。该项目完成了各业务部门对车辆数据的采集与分析;且具有一定的扩展性以应对未来数据的增长;完善和优化了车载控制配置流程、版本管理以及历史追溯。

项目职责:负责项目中数据分析功能模块开发,以及部分数据分析业务功能的优化;项目上线后对出现的bug进行修复。

项目成果:完成了客户预期并已投入使用,但是由于是公司较早期的大数据项目,性能方面并不十分突出。

项目总结:该项目数据源来自kafka落地数据到磁盘上,再使用flume读取磁盘并把数据落地到Hbase或Hive。该设计其实并不是很好,增加了磁盘的IO,且出现故障时很多时候需要人为重启Flume。因此经过团队讨论,后来使用了Flume当时新特性,以Kafka作为channel,直接将数据落地到hadoop集群中,依赖CDH对集群的管理功能,可以轻松监控任务的状态,并及时处理可能产生的错误。

- PHEV项目

- 技术构架

- Hadoop+Zookeeper+Kafka+Flume+Hive+MapReudce+Mysql

项目描述:

- 该项目与TDS项目类似,不过对应的是不同类型的车辆数据,PHEV项目车型主要是新能源车,但是需要实现的功能与TDS项目相同。

项目职责:对已开发的系统进行维护以及部分代码的优化。

项目成果:实现了客户需求的功能,并且在这次开发中,我们意识到MapReduce程序编写过程确实很繁琐,且性能并不是特别好,因为每一次MapReduce都会产生磁盘IO,所以在这个项目之后我们开始尝试使用Spark进行业务开发,降低了不少编码成本。

其他

- 数据迁移转储等小功能模块代码开发

- shell脚本编写实现数据导出或备份

大数据开发工程师简历工作经历(四)

202x.x-202x.x xxxx有限责任公司 大数据中心-大数据开发工程师

1、构建财务条线数据仓库,收入主题及资金主题,资金账户缓慢变化维度表设计开发,明细粒度收入、资金事实表设计开发,冗余维度来提高使用的便捷性。基于公共数据层开发相应的周期快照,报表、接口及邮件任务。

2、构建数据质量体系,包括唯一性校验、异常值校验,线上数据与入湖数据一致性校验,提高任务调度优先级及任务优化等。对上游数据问题进行追踪,跟进业务系统进行数据订正或系统改造,建立数据质量故障总结机制及监控机制,避免同类数据质量问题再次发生。保障财务数据的及时准确。

3、参与收入推送项目,和支付研发团队进行接口联调,自动生成借贷凭证,完成财务数据从线上业务系统-账务处理-金蝶系统的全流程自动化,彻底解放财务人力。

4、入账逻辑调整,通过血缘关系查找受影响的下游任务,所有相关任务调整测试完成后上线并重跑历史数据。

5、根据业务需求开发相应的python小工具(文件整理,Excel拆分,数据自动比对等),减少业务方手工处理,提升效率。

6、上市审计,内控等数据支持。

大数据开发工程师简历工作经历(五)

202x.x-202x.x xxxx有限责任公司 青岛-大数据工程师

- 在职期间参与了中国中车的动车组健康监测及专家支持系统(简称PHM系统)的开发与升级,主要负责PHM系统后台故障诊断模型的研发与部署、数据挖掘项目实施和相关的运维服务工作。

工作内容:

1、数据处理。负责系统后台模型数据与报表数据的抽取、过滤、清洗、转换及存储业务。

2、模型研发。与客户对接业务需求,根据规则逻辑开发故障诊断模型,进行测试、部署与优化工作,并编写相应的需求说明、设计说明、测试报告与部署文档等。

3、报表开发。根据客户的不同需求,对动车组的数据进行ETL处理,最终生成相应的数据报表供客户使用与分析。

4、数据挖掘。根据项目需求,对动车组关键部位组件如转向架轴承、车门、空调滤网等进行数据的分析与挖掘,使用机器学习算法生成故障预测模型,最终进行训练、验证、优化与部署,并编写相应的数据分析报告。

5、shell编程。负责将同类业务程序封装到对应的shell脚本中,供crontab定时调度执行。

6、运维监控。对数据抽取程序及模型运行程序进行日志监控分析,保障模型正常运行;监控大数据平台的资源使用情况,保障系统平台业务的正常运转。

工作成果:

团队研发的故障诊断与故障预测模型多达上百个,涵盖了既有动车组、城际动车组、标准动车组、城轨动车组和专运车等不同类型的动车组,有效地满足了中国中车检修事业部对PHM系统的动车组运营管理需要,实现了对动车组的故障实时监控诊断,保障了动车组安全而高效的运行,并大大减少了动车组设备组件的维护成本。

大数据开发工程师简历工作经历(六)

202x.x-202x.x xxxx有限责任公司 大数据开发工程师

项目名称:江西省农村信用社大数据平台项目

项目描述:该项目主要采用Hadoop大数据技术,集数据存储、

加工、服务于一体的大数据平台,与原有的数据平台组成行内异构双活的大

- 数据体系,两个平台同时向外提供大数据服务。

- 责任描述:

- 在该公司属于负责对原关系型数据库的存储过程进行改写;Impala+Kudu可以支持大数据体系的数据增、删、改等操作,以及HPLSQL+Hive可以完美解决Hadoop的事务处理功能。并对改写后的存储过程进行测试和优化。

1.对原有关系型数据库的存储过程进行分析、改写并生成说明文档;

2.对改写后的存储过程进行数据数据准确性测试以及优化,使其运行效率更高;

3.对FTP服务器上的数据进行转码入库;

大数据开发工程师简历工作经历(七)

202x.x-202x.x xxxx有限责任公司 数据挖掘工程师|技术部

工作描述:

1、完成华夏银行信用卡中心运营部的各类业务需求,配合信用卡评分、反欺诈、人工智能等团队人员提供相关数据支持;2、银行各系统数据入库工作:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,跟客户深入沟通入库格式和需求结果呈现;

- 计划制定:根据详细的需求情况和需要入库的报表数量,以及报表字段加载,结合以往入库项目经验,

- 预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,根据需求格式创建EXCEL数据字典(包含数据表表名,字段名,字段类型,输入输出长度,字段描述等内容),然后利用SAS代码进行两次处理,分别将原始数据按照数据字典的格式读入到ODS和DDS层。程序测试:SIT测试,主要测测试数据能否正常跑通,输出结果和客户方提供的测试数据的需求是否一致,UAT测试,主要由相关业务人员检查数据格式及数据内容准确性。上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。3、相关报表开发:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,通过基于EXCEL的数据字典查找检视数据是否存在,与客户

- 深入沟通报告结果(数据形式)的详细信息。计划制定:根据详细的需求情况,根据以往项目的经验,预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,沿目标数据-字段-数据表-系统的逻辑顺序准备数据,根据报表的4个层次(准备层、中间层、报表层、卸数层)依次进行开发;依据客户目标,有选择性的筛选呈现数据,并根据客户业务逻辑(直销、分销),进行数据分发,整个过程进行详细注释。报表测试:与银行对接人反复沟通,或借用相近的历史数据,尽量保证使用真实业务数据,使用SAT进行自测,程序BUG率低于10%,在公司处于前列;测试团队进行UIT测试,测试符合率高于80%。上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。4、熟悉ETL调度的执行原理,将新增作业成功接入ETL调度,并不影响其他作业执行;

大数据开发工程师简历工作经历(八)

202x.x-202x.x xxxx有限责任公司 数据挖掘工程师|技术部

工作描述:

1、完成华夏银行信用卡中心运营部的各类业务需求,配合信用卡评分、反欺诈、人工智能等团队人员提供相关数据支持;2、银行各系统数据入库工作:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,跟客户深入沟通入库格式和需求结果呈现;

- 计划制定:根据详细的需求情况和需要入库的报表数量,以及报表字段加载,结合以往入库项目经验,

- 预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,根据需求格式创建EXCEL数据字典(包含数据表表名,字段名,字段类型,输入输出长度,字段描述等内容),然后利用SAS代码进行两次处理,分别将原始数据按照数据字典的格式读入到ODS和DDS层。程序测试:SIT测试,主要测测试数据能否正常跑通,输出结果和客户方提供的测试数据的需求是否一致,UAT测试,主要

- 由相关业务人员检查数据格式及数据内容准确性。

上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。3、相关报表开发:需求承接:从客户处承接需求说明,关注数据来源、开发目标、开发时间要求和以及对接人等,通过基于EXCEL的数据字典查找检视数据是否存在,与客户深入沟通报告结果(数据形式)的详细信息。计划制定:根据详细的需求情况,根据以往项目的经验,预估每阶段时间,按照项目实施流程将每一步的开始、结束时间以及输出物进行明确。开发实施:基于SAS语言,沿目标数据-字段-数据表-系统的逻辑顺序准备数据,根据报表的4个层次(准备层、中间层、报表层、卸数层)依次进行开发;依据客户目标,有选择性的筛选呈现数据,并根据客户业务逻辑(直销、分销),进行数据分发,整个过程进行详细注释。报表测试:与银行对接人反复沟通,或借用相近的历史数据,尽量保证使用真实业务数据,使用SAT进行自测,程序BUG率低于10%,在公司处于前列;测试团队进行UIT测试,测试符合率高于80%。上线准备:撰写上线包所需文件(代码、测试报告、上线步骤),指导监督上线人员完成工作,通过关联性检查,日志审查等方式及时解决上线中的问题。4、熟悉ETL调度的执行原理,将新增作业成功接入ETL调度,并不影响其他作业执行;

简历在线制作下载(传送门):立即在线制作

《大数据开发工程师简历工作经历(8篇).doc》
将本文的Word文档下载到电脑,方便收藏和打印
推荐度:
点击下载文档
资讯来源说明:本文章来自网络收集,如侵犯了你的权益,请联系QQ:509053849。
继续阅读相关文章
最新更新