数据工程师 at Ramp

职位描述

核心职责

• 运用DBT、SQL、Python、Airflow和GitHub等工具在Google云平台上实施数据仓库设计与管理的最佳实践，降低复杂度与成本
• 设计并执行数据摄取流程，将多源数据迁移至云端数据仓库（BigQuery），确保数据准确性与时效性
• 支持Google Analytics、交易数据库、SFTP服务器及通过API/webhook获取的公共数据集等多源数据与BigQuery的集成，实现集中化管理
• 通过查询优化、模式设计和资源分配提升数据仓库性能，同时监控数据质量并实施纠正措施
• 建立并维护数据治理框架，确保数据完整性、安全性及合规性
• 与利益相关方协作识别数据需求，编写流程文档，为数据战略实施提供技术指导
• 编写并维护数据工作流、集成流程和系统配置文档，支持团队知识共享与未来扩展
• 参与评估新技术工具，以增强数据处理能力并提升运营效率

任职要求

• 具备数据战略实施经验，精通Google云平台(GCP)等云端数据仓库设计与管理
• 熟练使用DBT(数据构建工具)、SQL、Python、Airflow和GitHub实现云端环境下的数据转换、自动化与版本控制
• 精通BigQuery的数据存储、查询与分析，了解其与外部数据源的集成能力
• 具有整合Google Analytics、交易数据库、SFTP服务器及API/webhook公共数据集等异构数据源的经验
• 掌握数据仓库性能优化、质量监控及问题解决的技术能力
• 熟悉数据分类、访问控制和数据法规遵从等数据治理原则
• 优秀的跨部门协作能力，能与数据工程师、分析师及业务方高效沟通
• 能清晰编写复杂数据工作流和系统配置文档，供团队参考与审计
• 出色的细节把控与问题解决能力，确保数据处理结果准确可靠
• 持有云计算（如Google云专业数据工程师认证）、数据工程相关认证，或具备数据管道开发与云端分析工具经验者优先