数据工程师 at NFTGo

全职1个月前
Employment Information
职位描述
本职位专注于数据处理系统与架构的设计、开发及优化工作。候选人将主导实时与离线数据管道的构建,确保其符合业务目标与技术需求。核心职责包括制定数据建模策略、实现低延迟高性能ETL流程、建立完善的数据平台工程标准。该职位要求具备开发可扩展解决方案的专业能力,以支持数据治理、质量保障及安全协议。候选人还需负责维护技术文档、监控系统运行状态,并解决与数据处理效率和可靠性相关的技术难题。
核心职责
  • 设计并构建注重性能、稳定性和扩展性的实时与离线数据处理系统
  • 为结构化与非结构化数据源开发数据建模框架
  • 创建和维护保障数据一致性并最大限度降低延迟的ETL流程
  • 制定数据平台工程技术规范,包括文档标准与运行监控协议
  • 实施数据治理框架以确保符合法规要求与数据安全政策
  • 监控数据质量指标并针对数据异常制定纠正措施
  • 跨部门协作识别数据处理需求并优化系统性能
  • 对数据处理问题进行根因分析并提出技术解决方案
  • 开发维护用于数据溯源追踪与编目的元数据管理系统
  • 通过持续改进与风险缓解策略确保数据平台的可靠性与安全性
任职要求
  • 具备设计和实施数据处理系统的实际经验(至少5年)
  • 精通Apache Spark、Kafka或Flink等工具的ETL开发
  • 深入理解数据建模技术与数据库优化策略
  • 熟练编写技术文档及维护代码仓库
  • 了解数据治理框架与合规标准(如GDPR、HIPAA)
  • 具有数据质量管理工具及方法论使用经验
  • 能够开发用于数据编目与溯源的元数据管理方案
  • 具备优化数据处理工作流的丰富问题解决经验
  • 擅长系统性能监控与告警机制实施
  • 优秀的沟通能力以协调利益相关方并呈现技术方案
  • 优先条件:熟悉云数据平台(AWS/Azure/GCP)及容器化技术(Docker/Kubernetes)
  • 优先条件:了解数据安全协议与加密标准
  • 优先条件:扎实的数据工程最佳实践与DevOps方法论基础
MyJob.one —— 远程工作,真实影响

新内容将持续不断
定期更新

MyJob.one —— 远程工作,真实影响