IT人力外包人才简历库

精通Python编程语言，具备网络请求、数据解析及存储能力，熟练掌握Requests/BeautifulSoup/Scrapy等爬虫框架，熟悉MySQL数据库设计与优化，掌握Selenium自动化浏览器操作技术，具备JS逆向解析能力，了解Django框架基础开发，熟悉IP代理池构建及反反爬策略实施

专注于数据采集系统开发，主导完成多个垂直领域数据抓取项目。设计并实现动态网页数据采集方案，采用Selenium处理JavaScript渲染内容，通过IP代理池构建实现反反爬策略。优化MySQL数据库表结构，提升数据存储效率30%。开发标准化数据采集框架，支持多线程并发处理，单项目日均处理数据量达5万条。具备良好的代码规范意识，持续优化爬虫稳定性与数据准确性。

1. 高校资讯采集系统：基于Selenium实现动态网页翻页采集，采用分布式爬虫架构提升采集效率，建立IP代理池应对反爬策略，最终完成某高校官网全部新闻数据的结构化存储（日均处理5000+条）。2. 电商商品数据采集：开发京东商品爬虫系统，通过Requests+BeautifulSoup实现商品信息提取，采用Excel多sheet存储优化数据导出效率，支持按品类批量采集。3. 品牌信息采集平台：构建丁香通品牌数据采集系统，运用JS逆向技术破解加密接口，设计分布式任务调度模块，实现品牌信息自动采集与MongoDB存储。4. 多源数据整合：开发数据采集中间件，集成MySQL/Excel/MongoDB多存储方案，实现数据格式标准化转换，支持按业务需求灵活配置采集规则。