技能标签
专业技能
精通Scrapy爬虫框架开发,具备百万级数据采集处理经验;熟练掌握Selenium自动化爬虫技术,实现电商平台数据抓取;擅长Appium移动端自动化测试,完成小红书/抖音等APP数据采集;精通网络协议分析与反爬虫策略破解,掌握Fiddler/Charles数据抓包分析;熟悉Linux系统部署与定时任务调度,具备Django框架开发经验;擅长数据清洗、加密算法破解及分布式爬虫架构设计
工作履历(脱敏处理)
主导数据采集系统开发,设计分布式爬虫架构实现千万级数据处理,优化反爬虫策略提升数据抓取效率30%。开发自动化测试框架,完成小红书/抖音等APP数据采集,解决动态加密数据解析难题。搭建Linux定时任务系统,实现数据采集自动化运维。参与接口监控系统开发,通过MITMProxy实现接口数据实时监控。主导加密数据解密方案设计,突破多平台数据采集技术壁垒。
项目经验(脱敏处理)
主导电商数据采集项目,基于Scrapy框架构建分布式爬虫系统,实现日均百万级数据抓取,采用动态代理和请求头伪装技术突破反爬虫机制。开发移动端数据采集方案,利用Appium实现抖音/小红书APP数据抓取,通过Fiddler分析HTTPS加密流量,完成数据解密与结构化处理。设计接口监控系统,基于MITMProxy实现接口数据实时监控,建立异常响应机制保障数据稳定性。开发自动化数据清洗模块,采用正则表达式和XPath技术处理结构化数据,提升数据入库效率40%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接