资深大数据开发工程师个人简历

首页模板中心在线制作简历行家求职那些事

首页> 求职那些事> 资深大数据开发工程师个人简历

资深大数据开发工程师个人简历

编辑：幻主简历时间：2024-04-26 来源：幻主简历

最新简历模板

立即下载

一份出色的资深大数据开发工程师个人简历，是向招聘方展示专业技能和丰富经验的关键。那么简历该怎么写才好呢？小编整理了一篇资深大数据开发工程师个人简历案例,欢迎大家参考阅读。

资深大数据开发工程师个人简历

资深大数据开发工程师个人简历：

求职意向

求职类型：全职

意向岗位：资深大数据开发工程师

意向城市：广东广州

薪资要求：面议

求职状态：随时到岗

教育背景

时间：20xx.9-20xx.7

学校名称：幻主简历大学

专业名称：计算机科学与技术

学校描述：统招全日制本科

工作经历

时间：20xx.5-至今

公司名称：幻主简历公司1

职位名称：高级大数据开发工程师

1、参与构建了公司基于Hadoop、Spark等主流开源大数据组件的数据仓库，整合了超过10TB的业务数据，打通了数据采集、加工、监控、服务的全链路，提升了数据处理效率30%。

2、成功对接并满足了50+个数据开发需求，为业务方提供了定制化报表和训练数据服务，其中报表生成速度提升了20%。

3、负责实时计算模块，通过Flink/Blink对接Kafka消息队列，实现了10+项业务数据的实时指标计算，将实时查询效率提高了50%。

4、主导了用户画像的开发任务，利用阿里云的大数据组件实现了100+个用户画像标签的离线化和实时化计算，为精准营销提供了有力支持。

时间：20xx.12-20xx.5

公司名称：幻主简历公司2

职位名称：大数据开发工程师

1、参与了大数据平台的基础建设，设计了20+张核心业务表，处理了5TB+的贷款业务数据，生成了10+份关键业务报表，为管理层提供了决策支持。

2、支持了团队完成的5个重大业务数据分析项目，为业务策略调整提供了数据依据。

3、协助风控数据分析人员完成了3个风控模型的训练和上线工作，提高了贷款审批的准确性和效率。

时间：20xx.7-20xx.11

公司名称：幻主简历公司3

职位名称：java开发工程师

1、负责了5个应用软件的模块设计、开发和交付工作，其中3个软件已成功上线并稳定运行。

2、编写了5万+行代码，完成了20+个单元测试案例的编写和执行工作。

3、熟练运用了Java基础框架和Web开发技术完成了10+个功能组件的详细设计和开发工作。

4、参与了公司的大数据项目开发工作，熟练运用Hadoop生态环境和工具对公司日常物流数据进行了整合、计算、分析、维护和优化等工作；同时负责维护公司的Hadoop集群稳定运行了超过500天无重大故障发生。

项目经验

时间：20xx.7-20xx.10

项目名称：幻主简历项目1

项目角色：开发负责人

为满足公司电商业务的精细化运营和DMP广告投放以及推荐引擎系统，亟需一套用户画像体系来满足业务需求。

工作内容：

1.配合产品进行标签分层管理，即标签按照不同属性分类，包括用户属性、行为属性、金融属性、消费属性等进行划分；

2.负责架构设计，标签分实时标签和离线标签：

离线标签：按照给定逻辑进行sql编码，maxcompute+云spark+云hbase（后来替换成ots），每日或每小时进行ETL 清洗，更新标签信息。

实时标签：kafka+blink+maxcompute+表格存储（OTS）,实时更新标签信息。

3.负责主键rowkey设计，MD5(userid)加密取前四位再拼接userid,防止数据热点；

4.构建二级索引，一期时由云hbase+内置solr实现，二期改成表格存储OTS+多元索引功能实现，主要用于人群筛选。

成绩：主导并实现了基本的用户画像功能服务，赋能业务进行用户洞察，精准营销，广告投放。

时间：20xx.4-20xx.7

项目名称：幻主简历项目2

项目角色：数据开发

由于公司IDC机房自建的CDH面临着高运维成本，稳定性差，使用起来复杂繁琐等问题，遂决定将现有数仓统一迁移至阿里云大数据一站式解决方案Maxcompute（ODPS）,借助云上平台的天然优势，将公司人力资源更多的往数据服务上倾斜，极大减少自建数仓的高运维成本，解放人力，同时，离线计算已经不能满足越来越多的时效性需求，也需要构建实时数据通道，即lamda架构的数仓：

工作内容：

1.负责批量创建HDFS数据迁移任务，借助ODPS迁移工具，将原hive上的数据整体迁移至odps;

2.参与部分业务线数仓重构，即重新梳理业务模型，按业务主题域建模，ods/dws/dws/ads的分层架构；

3.负责搭建实时数据通道，业务研发将app端或小程序端的用户埋点数据打入消息中间件kafka，在此基础上基于blink将用户埋点数据铺平解析入库（odps）,同时会关联其它维表做一些实时计算和统计，如新老客户、dau等实时指标。

成绩：数仓整体迁云，极大节约了运维成本，同时释放人力，专注于数据应用服务，同时，优化数仓结构，将原来只有离线计算的模式变成了离线+实时的lamda架构，初步满足业务对时效性数据服务的需求。

时间：20xx.6-20xx.12

项目名称：幻主简历项目3

项目角色：数据开发

公司风控部门初期由于没有一套完整的数仓，所有数据分析人员均从业务库直接取数，面临着取数效率低，周期长，跨库查询，拖垮业务从库等问题，为解决这些问题，并提供更多的数据服务，需要构建一个标准数据仓库模型。

工作内容：

1. 参与搭建基于开源大数据CDH版Hadoop生态组件的大数据平台（50节点）；

2. 数据库分层设计，主要设计了ods、dwd、dws、ads层；

3. 业务库数据（主要是mysql）通过sqoop导入hive数仓，少数mongo库数据通过自带工具导入hive数仓；

4. 使用oozie调度工具定时进行ETL数据加工清洗；

5. 使用grafana监控作业任务情况，实时监控job运行情况，异常告警至钉钉群消息；

6. 搭建zeppelin分析工具，为数据分析师提供便利和强大的大数据分析工具。

成绩：大大缩短了数据分析人员的取数周期，也解决了跨库取数的痛点，为数据分析师提供多样化报表数据服务和数据分析服务。

时间：20xx.12-20xx.2

项目名称：幻主简历项目4

项目角色：数据开发

基于随机森林的贷款违约率风险评估模型，旨在判断贷款申请客户的违约概率，为风控决策提供相关的评判依据。此模型利用目前数据仓库中的历史申请人信息、两千多项外部和内部的各项标签，通过特征工程（数据预处理、特征选择、降维等）提取相关性最强的客户标签来训练随机森林模型，以达到数据客户违约概率的输出，为客户的贷款风控决策提供必要依据。

时间：20xx.5-20xx.5

项目名称：幻主简历项目5

项目角色：数据开发

参与数据分析平台的基础建设、表设计、数据处理、编码，利用大数据开源组件（hdfs、spark、hive、sqoop、oozie、zeppelin）为公司的贷款业务提供数据融合、离线计算，实时监控预警等功能，并为各个部门提供各项数据报表，对业务分析中间表进行开发工作，极大的为风控业务人员的数据获取提供方便的途径，以及方便业务员对风控新特征,新规则的发现和验证。

时间：20xx.5-20xx.7

项目名称：幻主简历项目6

项目角色：数据开发

风控规则需要从历史数据中检测贷款申请人的申请信息是否在目前的贷款历史申请数据中击中某些风险规则，因此需要实时并快速的返回历史数据比对结果，此系统利用kafka、sparkstreaming作为实时流的入口，利用hbase作为底层数据库，把实时的申请信息抽取相应的关键信息在hbase数据库中快速查询并插入hbase数据库中，最后返回结果，以实现对历史数据的快速校验功能。

时间：20xx.3-20xx.5

项目名称：幻主简历项目7

项目角色：数据开发

由于旧有的历史查件系统是利用oracle作为数据仓库的，面对时间较为久远的单号走件流程（既一个单号从揽收到签收的整个生命周期的状态）查询，无法满足快速，高并发查询，于是利用hadoop+hbase的方案解决了以上问题，所有的源数据利用公司自主的etl工具抽取至hdfs当中，在hadoop当中（mapreduce）进行各种复杂的关联和映射工作，最终生成单号的生命周期数据，设计好key值，再放入hbase当中，现如今已经可以实现不论多久前的单号，查询的时间都是毫秒级别，并发量查询也比较令人满意，可以达到每秒钟提供5000条单号的查询。

自我评价

1、7年研发经验（2年java研发+5年大数据研发经验）

2、熟悉Hadoop/Hbase/Hive/Spark/Flink/kafka等主流开源分布式大数据组件；熟悉阿里云大数据开发平台Maxcompute(原ODPS)；熟悉数仓分层体系建设、主题域模型设计、数仓规范化落地，参与搭建企业级大数据平台建设，熟悉HiveSQL使用和性能优化，熟悉Linux系统操作，熟悉基于scala的spark开发。

简历在线制作下载（传送门）：立即在线制作

《资深大数据开发工程师个人简历.doc》

将本文的Word文档下载到电脑，方便收藏和打印

推荐度：

点击下载文档

返回幻主简历首页>