技能标签
专业技能
精通Python编程语言，熟练掌握Scrapy框架进行网络爬虫开发，熟悉MongoDB与MySQL数据库设计与优化，具备Selenium自动化测试能力。掌握数据采集流程设计、反爬策略处理及数据清洗技术。熟悉前端基础开发，了解Vue框架应用场景。具备数据可视化分析能力，能通过SQL进行数据查询与统计分析。
工作履历（脱敏处理）
作为数据采集项目实习生，主导完成多个数据采集系统的开发与优化。设计并实现基于Scrapy框架的爬虫系统，处理动态网页数据采集难题，通过Selenium解决JavaScript渲染反爬问题。完成房源数据、游戏英雄数据、彩票信息等多类数据采集项目，优化数据存储方案，提升数据库查询效率。参与设计分布式爬虫架构，提升数据采集稳定性。通过SQL进行数据统计分析，输出可视化报表。持续优化采集策略，提升数据准确性与完整性。
项目经验（脱敏处理）
1. 游戏数据采集系统：基于Scrapy框架开发英雄联盟官网数据采集系统，采用Selenium处理动态加载内容，实现英雄出场次数、KDA等15+维度数据采集。设计MySQL分库分表方案，优化查询性能，存储超20万条数据记录。
2. 彩票信息采集平台：构建双色球历史数据采集系统，实现红蓝球号码、开奖日期等核心字段采集。采用MongoDB进行非结构化数据存储，设计数据清洗规则，确保数据准确性达99.8%。
3. 房源数据采集项目：开发房产信息采集系统，处理反爬策略，采用代理IP池和请求频率控制技术，成功采集300+城市房源数据，数据存储优化后查询响应时间缩短60%。
4. 社交媒体数据采集：构建微博明星账号数据采集系统，通过模拟登录获取用户画像数据，设计数据脱敏方案，确保数据安全合规。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接