IT人力外包人才简历库

精通Python编程语言，熟悉PyCharm开发环境，掌握数据库管理工具（Navicat）；具备数据采集与解析能力，熟练使用XPath、JSON、BeautifulSoup等数据解析技术；熟悉Selenium自动化工具实现网页数据抓取；能够将采集数据存储至MySQL、MongoDB、Excel、Text等多类型数据源；具备反爬虫策略制定与应对能力

专注于数据采集系统开发，主导完成携程旅游平台景点数据采集项目，实现从列表页到详情页的数据抓取与结构化存储；开发喜马拉雅音频采集系统，完成音频链接生成与批量下载；构建梨视频视频采集方案，实现视频链接解析与本地化存储；设计彼岸图网图片采集系统，完成图片链接提取与批量下载。具备完整的数据采集流程设计能力，包括反爬虫策略制定、数据解析优化及存储方案设计。

携程网数据采集：基于Selenium实现旅游平台景点数据抓取，通过XPath定位列表页元素，解析详情页获取城市、景点名称、热度、地址及评论等结构化数据，存储至MySQL数据库。采用动态等待机制应对页面加载延迟，设计反爬虫策略应对验证码拦截。

喜马拉雅音频采集：开发音频采集系统，通过解析列表页获取小说名称及音频链接片段，利用正则表达式生成完整下载链接，实现音频文件批量下载及本地存储，支持多线程并发提升采集效率。

梨视频视频采集：构建视频采集方案，解析列表页详情页链接生成规则，定位视频下载链接并完成视频文件下载，采用断点续传技术保证数据完整性，实现视频内容本地化存储与管理。

彼岸图网图片采集：设计图片采集系统，通过列表页详情页链接解析获取图片资源，利用requests库完成图片下载及存储，支持多格式图片类型识别与分类存储，优化采集流程提升数据获取效率。