职位描述
本职位专注于数据处理系统与架构的设计、开发及优化工作。候选人将主导实时与离线数据管道的构建,确保其符合业务目标与技术需求。核心职责包括制定数据建模策略、实现低延迟高性能ETL流程、建立完善的数据平台工程标准。该职位要求具备开发可扩展解决方案的专业能力,以支持数据治理、质量保障及安全协议。候选人还需负责维护技术文档、监控系统运行状态,并解决与数据处理效率和可靠性相关的技术难题。
核心职责
- 设计并构建注重性能、稳定性和扩展性的实时与离线数据处理系统
- 为结构化与非结构化数据源开发数据建模框架
- 创建和维护保障数据一致性并最大限度降低延迟的ETL流程
- 制定数据平台工程技术规范,包括文档标准与运行监控协议
- 实施数据治理框架以确保符合法规要求与数据安全政策
- 监控数据质量指标并针对数据异常制定纠正措施
- 跨部门协作识别数据处理需求并优化系统性能
- 对数据处理问题进行根因分析并提出技术解决方案
- 开发维护用于数据溯源追踪与编目的元数据管理系统
- 通过持续改进与风险缓解策略确保数据平台的可靠性与安全性
任职要求
- 具备设计和实施数据处理系统的实际经验(至少5年)
- 精通Apache Spark、Kafka或Flink等工具的ETL开发
- 深入理解数据建模技术与数据库优化策略
- 熟练编写技术文档及维护代码仓库
- 了解数据治理框架与合规标准(如GDPR、HIPAA)
- 具有数据质量管理工具及方法论使用经验
- 能够开发用于数据编目与溯源的元数据管理方案
- 具备优化数据处理工作流的丰富问题解决经验
- 擅长系统性能监控与告警机制实施
- 优秀的沟通能力以协调利益相关方并呈现技术方案
- 优先条件:熟悉云数据平台(AWS/Azure/GCP)及容器化技术(Docker/Kubernetes)
- 优先条件:了解数据安全协议与加密标准
- 优先条件:扎实的数据工程最佳实践与DevOps方法论基础