负责调研系统级、表级、字段级需求;

负责关系型数据库与非关系型数据库之间的转换;

负责PIWIK打点数据解析;

负责kettle清洗Kafka Topic转换为Spark程序解析数据;

从Mysql、Oracel、MongoDB抽取数据到本地，再使用TCC调度系统，每天通过定时调度任务把数据导入Hive的ods层;

本来将kettle清洗Kafka Topic业务日志数据的工作，为了加快数据清洗效率，转换为HiveSql、SparkStreaming程序来清洗数据，再把清洗好的数据导入到Hive的ods层;

将解析大数据量hive表的MR程序和部分HiveSql语句统一换为Spark程序加快数据解析流程，减少对Hive的压力;

根据业务需要，将清洗好的数据统一存储在ads层次，导出到Mysql中，Mysql数据库对外提供接口访问;

负责消费者行为数据采集；

负责研究基于物品相似度算法：item-cf；

负责Spark分析、优化工作；

生成商品相似度数据集并定时导出文件供广告系统拉取；

主要负责合并用户一个月的消费行为作为数据集；

用Spark-sql计算每个商品的购买数量作为算法输入配置文件，存储在Hdfs,用于Spark任务的广播变量；

用户的购买时间行为权重、用户购买商品数量权重；

使用Spark算子reduceByKey计算求出商品相似度算术平均值； 使用Spark-sql窗口函数按商品相识度倒序排序输出到Hdfs上；

参与分布式并发框架设计、模块测试；

数据处理模块的核心代码编写；

负责后期代码维护、优化；

主要是使用生产-消费模式（框架）来开发Python脚本，多线程、高并发爬取需要的数据；

通过selenium Chrome反网站反爬取，中间链接存入MySQL和Redis中，爬取数据存入HDFS、Kafka中；

通过编写Shell脚本，通过Oozie定时跑任务；

使用Spark-Streaming实时来分析、处理Kafka数据,并把Kafka的Topic读取位置（offset）存储在Zookeeper；

解析出xpath存放在Redis；

通过Python脚本读取Redis中xpath，分析出一个网站通用xpath，存储在Hdfs上，用于Spark任务的广播变量；

抽取正文以及相关信息存储在Hbase、ES和MySql上；

负责测试集群和生产集群的测试工作；

负责用户行为分析各项指标；

负责Shell脚本的开发；

参与制定统一的MapReducer任务的编写标准；