IT人力外包人才简历库

返回列表

Python数据采集与自动化开发工程师

驻场外包人员
工作年限:5年 意向城市:杭州 浏览:3次 发布时间:近期

技能标签

Python Scrapy Selenium Appium 数据清洗 加密解密 反爬虫技术 分布式爬虫 接口监控 自动化测试 Linux运维 Django框架

专业技能

精通Scrapy爬虫框架开发,具备百万级数据采集处理经验;熟练掌握Selenium自动化爬虫技术,实现电商平台数据抓取;擅长Appium移动端自动化测试,完成小红书/抖音等APP数据采集;精通网络协议分析与反爬虫策略破解,掌握Fiddler/Charles数据抓包分析;熟悉Linux系统部署与定时任务调度,具备Django框架开发经验;擅长数据清洗、加密算法破解及分布式爬虫架构设计

工作履历(脱敏处理)

主导数据采集系统开发,设计分布式爬虫架构实现千万级数据处理,优化反爬虫策略提升数据抓取效率30%。开发自动化测试框架,完成小红书/抖音等APP数据采集,解决动态加密数据解析难题。搭建Linux定时任务系统,实现数据采集自动化运维。参与接口监控系统开发,通过MITMProxy实现接口数据实时监控。主导加密数据解密方案设计,突破多平台数据采集技术壁垒。

项目经验(脱敏处理)

主导电商数据采集项目,基于Scrapy框架构建分布式爬虫系统,实现日均百万级数据抓取,采用动态代理和请求头伪装技术突破反爬虫机制。开发移动端数据采集方案,利用Appium实现抖音/小红书APP数据抓取,通过Fiddler分析HTTPS加密流量,完成数据解密与结构化处理。设计接口监控系统,基于MITMProxy实现接口数据实时监控,建立异常响应机制保障数据稳定性。开发自动化数据清洗模块,采用正则表达式和XPath技术处理结构化数据,提升数据入库效率40%。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

5年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接