职位描述
本职位负责综合性数据平台开发平台的设计、开发与优化工作，涵盖数据采集、任务调度、数据质量管理、元数据管理、指标体系及数据清洗等多个子系统。同时需构建和维护大数据平台服务组件，保障服务的高可用性、稳定性与低延迟交付。通过数据可视化工具开展深度业务分析并有效呈现结论，参与产品与应用开发并制定数据接入规范。此外，需持续研究新兴技术以解决业务难题，优化数据处理、分析与可视化方法。
核心职责
- 主导统一数据平台的设计开发，重点建设数据采集、任务调度、数据质量、元数据、指标体系及数据清洗等子系统，包括制定技术规范、协调跨职能团队及确保与业务目标对齐
- 研发和维护大数据平台核心服务组件，优化现有技术框架的扩展性、性能与可靠性，实施高可用、高稳定、低延迟的服务解决方案
- 基于数据集开展业务分析，识别趋势与洞察，运用Tableau/Power BI等可视化工具制作直观的可执行报告
- 协同产品团队设计数据接入标准，确保跨应用服务的一致性、安全性与效率，包括制定数据治理策略与集成协议
- 研究前沿技术方法论解决实际业务问题，评估Flink等流处理工具，开发拖拽式报表系统，探索创新数据分析与可视化方案
- 提供全生命周期技术领导，从需求收集到部署运维，包括指导初级开发、流程文档编写及行业最佳实践合规
- 监控分析系统性能指标，识别瓶颈并实施优化方案，提升处理效率与用户体验
- 持续学习数据工程、大数据技术与分析工具的最新趋势，推动团队技术创新
任职要求
- 具备数据平台设计与开发经验，精通数据采集、任务调度、数据质量、元数据管理等子系统，熟悉ETL流程与数据管道优化
- 掌握Hadoop/Spark/Kafka等大数据技术及AWS/Azure/GCP云平台，能构建高扩展、高可靠的服务组件
- 精通Tableau/Power BI或Matplotlib/Seaborn等可视化工具，具有交互式仪表盘开发经验
- 深入理解Flink/Storm等流处理框架及批处理算法，能优化实时与历史数据工作流
- 出色的业务需求转化能力，擅长处理结构化/半结构化/非结构化等多源数据
- 熟悉数据治理与安全合规标准，能设计保障数据完整性与隐私的访问策略
- 熟练使用Python/Java/Scala等语言，掌握MySQL/PostgreSQL/MongoDB等数据库
- 适应快节奏工作环境，具备多项目并行管理能力
- 优秀的跨团队协作能力，能向非技术方清晰阐述技术概念
- 计算机/数据科学相关专业本科及以上学历，有敏捷开发与CI/CD经验者优先
