技能标签
专业技能
精通Java/Scala语言开发,具备大数据架构设计能力。熟练掌握Hadoop生态体系(HDFS/YARN/MapReduce)、Spark全栈开发(SparkSQL/SparkStreaming)、Flink实时计算引擎。精通数据仓库建设,熟悉维度建模与OLAP架构设计。熟练使用DataWorks/MaxCompute进行离线与实时数据处理,具备复杂ETL流程开发经验。精通Kafka/Flume/Canal数据采集体系,熟悉实时数仓架构设计。掌握HiveSQL优化技巧,具备数据倾斜处理能力。熟悉ClickHouse/Druid/Impala等OLAP数据库,具备高并发查询优化经验。
工作履历(脱敏处理)
主导数据仓库建设,完成维度建模与多维分析系统开发,支持复杂业务指标计算。设计并实现离线数据处理流程,优化数据清洗与小计计算逻辑,提升计算效率30%。搭建实时数仓架构,整合Kafka/Canal/Flink技术栈,实现分钟级数据更新。开发分布式ETL任务调度系统,采用Azkaban/Oozie进行流程编排,提升任务稳定性。优化HiveSQL执行计划,解决数据倾斜问题,降低作业执行时间25%。设计高可用数据采集方案,实现日均千万级数据实时同步。
项目经验(脱敏处理)
固定成本报表分析平台:基于DataWorks构建数据处理架构,完成日志数据清洗与维度建模,设计多维离线计算方案实现月累计统计。开发实时数据更新模块,采用FlinkSQL进行复杂业务指标计算,支持分钟级数据更新。优化HiveSQL执行计划,解决数据倾斜问题,提升离线计算效率。搭建OLAP查询系统,集成Kylin/Presto实现即席查询,支持多维分析需求。设计高可用数据采集方案,实现日均千万级数据实时同步,保障业务系统稳定运行。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
4年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接