IT人力外包人才简历库

返回列表

数据采集工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:2次 发布时间:近期

技能标签

分布式爬虫框架 JavaScript逆向分析 MySQL数据库优化 MongoDB数据建模 Selenium自动化测试 反爬虫机制破解 Requests网络请求 BeautifulSoup解析 Scrapy爬虫框架 数据清洗处理 多线程并发编程 HTML结构解析 CSS选择器应用 网络协议分析 加密算法破解

专业技能

精通Python网络爬虫开发,熟练掌握Selenium浏览器自动化框架,具备分布式爬虫框架搭建经验。精通MySQL与MongoDB数据库设计与优化,擅长数据清洗与存储方案设计。掌握JavaScript逆向分析与加密算法破解技术,具备反爬虫机制应对经验。熟悉Excel数据处理及文件系统管理,具备多线程并发处理能力。精通HTML/JS/CSS解析技术,掌握Requests/BeautifulSoup/Scrapy等主流爬虫工具链。

工作履历(脱敏处理)

独立完成多个高并发数据采集项目,包括某电商平台商品信息采集系统、某知识库平台文献数据采集、某社交平台用户行为数据采集等。设计并实现分布式爬虫框架,支持千级并发请求处理,通过动态参数生成算法破解反爬机制。优化MySQL数据库索引结构,提升数据写入效率30%。开发自动化数据清洗模块,实现数据标准化处理流程。构建MongoDB分片集群,支持亿级数据存储与快速查询。

项目经验(脱敏处理)

某电商平台商品信息采集项目:设计分布式爬虫架构,通过分析商品详情页结构,实现动态参数生成算法破解反爬机制。采用Selenium模拟浏览器操作,结合Requests库处理复杂登录验证,最终完成日均百万级商品数据采集。某知识库平台文献数据采集:通过JavaScript逆向分析破解参数加密算法,构建多线程爬虫系统,实现文献元数据自动抓取与存储。某社交平台用户行为数据采集:开发动态渲染页面数据提取方案,使用Playwright框架处理AJAX异步加载内容,建立完整的数据采集-清洗-存储处理流水线。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接