关于我
经验
高级数据开发工程师
CMC Market - - 现在
职位: 高级数据开发工程师 | 时间段: 2025.05 - 至今 | 工作内容: 建设覆盖链上交易解析、行情指标、地址画像、异动监控的数据分析平台;参与链上区块交易数据处理链路设计,对交易、地址、Token、资金流向、事件日志等数据进行解析、清洗、标准化和指标加工;基于 Flink 设计流动窗口实时计算框架,支持 1min、5min、15min、1h、1d 多时间粒度;设计 DEX K-line/OHLCV 聚合引擎;构建地址标签体系和异动监控模块;设计冷热分层存储架构;建设上报数据量校验与异常监控逻辑。参与建设 CEX 交易数据平台,覆盖交易数据、用户账户、钱包资产、资金流水、行情数据和风险标签等核心数据;设计核心数据域模型及 ODS/DWD/DWS 分层;基于 Flink/Kafka 接入实时订单、成交、资金流水和账户变更事件;基于 Spark/Hive 建设离线数仓任务;参与构建行情数据链路;建设风控标签与风险指标口径;建立数据质量监控、血缘追踪和权限控制。负责 Binance、OKX、Bybit 等多交易所行情接入,通过 WebSocket 实时采集价格、盘口与成交数据;设计多源价格聚合算法;优化热路径逻辑,引入 Redis 缓存、布隆过滤器、熔断降级等机制。
大数据架构师
上海回响智能科技有限公司 - - 现在
职位: 大数据架构师 | 时间段: 2021.04 - 2025.04 | 工作内容: 从 0 到 1 搭建 PB 级现代化数据体系,建设 ODS/DWD/DWS/ADS 分层模型;参与数据平台能力建设,覆盖数据同步、任务调度、数据开发规范、指标口径、任务依赖、质量规则和查询服务;从业务共性需求出发沉淀平台化能力;通过分层存储、冷热数据分离和弹性资源调度降低综合成本;建设全生命周期数据治理体系;参与平台需求收集、技术方案评审、工程开发、功能测试、上线运维和值班答疑。设计分级资源调度策略;搭建元数据治理中台并构建动态血缘图谱;开发数据质量哨兵系统,覆盖 200+ 监控规则与自动修复流程;参与数据费用和资源账单分析;基于 AWS EMR、S3、MSK Kafka 等完成外部云资源与内部数据平台整合。
大数据开发工程师
上海拍拍贷金融信息服务有限公司 - - 现在
职位: 大数据开发工程师 | 时间段: 2020.06 - 2021.04 | 工作内容: 负责用户特征工程与风控指标体系开发,覆盖贷前审核、贷中监控、贷后预警全流程;基于 Flink 开发实时特征计算引擎;构建用户信用画像宽表并整合征信、消费、社交、设备等维度数据;通过 HBase 预聚合与 Redis 缓存优化特征读取;参与反欺诈规则、黑名单、风险标签和异常行为识别链路建设。