80 分
幻主简历
技能:精通Python,熟悉Java、分布式集群爬虫,及与爬虫相关的技能;精通Scrapy框架,喜欢专研Scrapy源码,追求高并发、高性能的分布式爬虫系统;熟练使用aws服务,如CloudWatch、SQS、Lambda、SNS、Kinesis等组件;熟练使用Appium进行APP数据抓取,以及手机群控技术;精通Fiddler,charles,mitmproxy等抓包工具,以及攻击,拦截,重定向等;有JavaScript反爬、验证码IP等常见反爬经验,对反反爬有自己的理解;数据库方面:熟练使用MySql、Couch、MongoDB、Elasticsearch以及HIVE、HBase;数据提取方面:熟练使用Re、Xpath、Jsonpath及Css选择器;web方向:熟练使用Flask、Tornado、Django;了解Hadoop、PySpark等大数据组件;语言能力:CET - 4,掌握基本的听说读写能力