IT人力外包人才简历库

精通 Oracle、MySQL、DB2、GaussDB 等关系型数据库的架构设计与性能调优，具备分库分表、索引优化等实战经验；深度掌握 Hadoop 生态体系，包括 HDFS 分布式存储、MapReduce 计算框架、Spark 实时计算引擎，熟练使用 Hive 实现离线数仓分层架构设计与 ETL 流程开发；精通 HiveQL 性能调优技术，擅长解决数据倾斜、小文件合并等复杂问题；熟悉 FineReport、FineBI 等数据可视化工具的报表开发与交互设计；掌握 Linux 操作系统及 Shell 脚本开发，具备 HiveQL/SparkSQL 任务封装与自动化运维能力；熟练使用 Sqoop/Kettle 实现数据迁移，Azkaban/DolphinScheduler 完成任务调度与依赖管理；具备 Python 编程能力，熟练运用 pandas 进行数据清洗与分析，熟悉 HTML/CSS/JavaScript 前端基础开发。

专注于大数据平台架构设计与数据开发，主导财政数据整合平台建设，完成多源异构数据的清洗、转换与建模，构建覆盖预算执行、债务管理等核心业务的离线数仓体系。设计并优化ETL流程，通过HiveQL性能调优解决数据倾斜问题，提升数据处理效率30%。开发自动化运维脚本，实现Hive/Spark任务的批量调度与监控，降低人工干预成本。搭建数据可视化平台，集成FineBI工具完成多维度数据看板开发，支持财政决策的实时分析需求。持续优化数据质量管控机制，建立数据血缘追踪体系，保障数据一致性与准确性。

财政数据整合与可视化平台建设项目（2024.03-至今）

项目架构：GaussDB（数据仓库）+ DM（分布式计算）+ MySQL/Oracle（关系型数据库）+ Hive（离线数仓）+ DolphinScheduler（任务调度）

项目描述：针对财政数据分散在多个业务系统导致的口径不统一、多层级数据监控效率低、决策支撑滞后等问题，构建统一的数据整合平台。通过建立标准数据模型，实现财政预算执行、债务管理、国有资本等核心业务数据的集中管控与智能分析，支撑财政监管与决策的数字化升级。

技术挑战：多源异构数据整合、数据口径统一、高并发查询性能优化、数据可视化交互设计

解决方案：设计分层数据仓库架构，采用Hive进行数据清洗与聚合；通过Sqoop实现数据迁移，利用Spark进行复杂计算；构建数据血缘追踪体系保障数据一致性；集成FineBI开发可视化看板，支持多维度钻取分析。通过优化HiveQL执行计划，解决数据倾斜问题，提升查询效率40%；设计自动化调度任务，实现数据处理流程的标准化与可维护性。