技能标签
专业技能
精通Python爬虫开发,熟练使用XPath、正则表达式等数据提取技术,掌握MongoDB与MySQL数据库的增删改查操作,熟悉HTML5结构解析。具备Selenium自动化测试框架使用经验,能够实现浏览器自动化操作与数据采集。熟练使用Matplotlib/Seaborn进行数据可视化,掌握Requests网络请求库及代理IP配置技术,熟悉动态网页反爬策略应对方案。
工作履历(脱敏处理)
专注数据采集与自动化测试开发,主导完成多个高并发数据采集系统设计。开发房天下房产数据采集系统,使用Selenium实现动态网页数据抓取,通过XPath和正则表达式提取结构化数据,存储至MySQL和MongoDB数据库。设计拉钩网招聘数据采集方案,优化反爬策略,实现日均百万级数据采集。开发B站弹幕自动发送系统,集成Selenium和图像识别技术,解决验证码识别难题。构建视频解析平台,实现爱奇艺/腾讯视频VIP内容破解,开发图片批量下载工具,支持多平台图片抓取与分类存储。
项目经验(脱敏处理)
1. 房天下房产数据采集系统:使用Selenium实现动态网页数据抓取,通过XPath和正则表达式提取结构化数据,存储至MySQL和MongoDB数据库,日均处理数据量达50万条。
2. 拉钩网招聘数据采集项目:设计分布式爬虫架构,优化反爬策略,实现日均百万级数据采集,数据清洗准确率达99.8%。
3. B站弹幕自动发送系统:集成Selenium和图像识别技术,解决验证码识别难题,实现自动登录与弹幕发送功能。
4. 视频解析平台开发:实现爱奇艺/腾讯视频VIP内容破解,支持电影、电视剧及云首发视频解析,开发图片批量下载工具,支持多平台图片抓取与分类存储。
5. 搜狗图片爬虫系统:设计图片批量下载工具,支持按关键词筛选图片,实现多线程并发下载,日均处理图片量达20万张。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接