自己紹介
资深大数据工程师,14年经验,精通Hadoop生态、数据湖Hudi、Flink实时处理及金融反欺诈建模,主导中国移动EB级数据平台建设,优化集群管理及资源分配,擅长高并发日志采集与实时分析。
経験
Data Warehouse Engineer
中国移动 - - 今
职位: Data Warehouse Engineer | 时间段: 具体时间段不详 | 工作内容: 参与中国移动梧桐大数据存算平台项目-PAAS底座,负责联邦集群运维管理、华为hadoop集群管理、移动bchadoop集群管理等工作。具体包括存储扩展、集群互信认证、RBF服务管理、数据湖Hudi集成、多集群元数据统一网关设计等。
Data Warehouse Engineer
中国移动 - - 今
职位: Data Warehouse Engineer | 时间段: 具体时间段不详 | 工作内容: 参与中国移动CDN日志大数据实时项目,负责日志数据实时采集、处理、上传运维管理平台,以及数据的监控和稽核。使用Flink+Flume+SpringBoot+clickhouse+granfa等技术框架。
Data Warehouse Engineer
卓望信息 - - 今
职位: Data Warehouse Engineer | 时间段: 具体时间段不详 | 工作内容: 参与大数据联合建模金融反欺诈离线项目,负责数仓平台建设、数据建模、数据清洗开发及程序优化。基于中国移动EB级别的数据量,使用HIVE+TEZ+PYSPARK+调度监控+JAVA+PYTHON等技术框架。


