IT人力外包人才简历库

精通Hadoop生态体系（HDFS小文件优化、YARN资源调度、MR数据倾斜处理），掌握Spark全栈开发（SparkSQL/DStream/FlinkSQL），擅长Flink实时计算（状态管理/Exactly-Once/窗口计算），熟悉Kafka高吞吐架构设计，精通实时数仓分层建模（ODS/DWD/DWS/ADS），具备复杂SQL优化能力，熟悉Kudu/HBase/Redis/ClickHouse等存储系统，掌握Flume/Sqoop/DataX等数据采集工具，具备Azkaban/Oozie/Airflow调度系统使用经验，熟悉K8s容器化部署方案

主导某大型金融机构实时数据平台建设，设计并实施基于Flink CDC的实时数仓架构，完成零售业务、基金投顾等多业务场景的实时指标统计系统开发。优化HBase存储方案提升资金流水查询效率30%，通过离线校验机制保障数据准确性。开发自动化数据校验工具，实现离线与实时数据比对，保障数据一致性。设计实时ETL流水线，支持秒级数据查询响应，满足业务高峰期的实时分析需求。

某大型金融机构实时数据平台（2021-至今）

技术架构：Flink CDC + Kafka + Flink SQL + HBase + ClickHouse

项目成果：

1. 构建实时数仓分层体系，实现零售业务开户统计、APP运营等核心指标实时计算，支撑业务决策

2. 设计基金投顾场景数据处理方案，通过MySQL离线校验机制保障数据准确性，满足开盘时间数据交付需求

3. 开发资金流水实时查询系统，采用HBase分区分片技术实现百亿级数据秒级查询

4. 实现跨系统数据采集管道，整合Flume/Debezium/DataX等工具构建统一数据接入层

5. 设计实时任务调度策略，通过资源动态分配保障核心业务系统运行

技术挑战与解决方案：

- 大规模数据实时处理：采用Flink流批一体架构，结合Kafka分区策略实现高吞吐数据处理

- 数据准确性保障：设计多级校验机制，通过离线批处理修正实时计算误差

- 系统稳定性保障：实施资源动态调度策略，结合Prometheus实现系统性能监控