Job Description:
岗位描述:
1. 主导攻克各类复杂的反爬机制,维护大规模分布式爬虫系统,保障核心数据源的稳定供给;
2. 深入理解量化交易逻辑,与团队紧密配合,将业务需求转化为高效的技术解决方案;
3. 与产品、设计、前端紧密合作,保障高质量交付;
Job Requirements:
任职要求:
1. 扎实的工程功底:
2. 3年以上 Python 开发经验,具备良好的计算机基础(数据结构、算法、网络、操作系统)。
3. 深入理解 Python 底层机制(如 GIL、内存管理),熟练掌握进程/线程/协程模型,并能根据实际业务场景进行高性能并发设计。
4. 熟练使用 FastAPI 、Django等主流 Web 框架,精通 MySQL/Redis,具备良好的数据库设计、索引优化及调优能力。
5. 熟练使用Docker, 了解k8s, 有独立部署上线的能力.
6. 爬虫与逆向能力:
拥有 2 年以上大规模数据采集经验,熟练使用 Scrapy、Playwright 等框架
具备极强的 JS 逆向分析能力,能够独立调试并还原混淆 JS 代码,熟悉 RSA/AES/DES 等加密算法在反爬中的应用。
深刻理解各类反爬机制(验证码、IP 封禁、请求签名、行为检测),并有成熟的应对策略与落地经验。
熟悉数据清洗流程(缺失值、异常值处理),能根据业务场景(结构化/非结构化数据)设计合理的存储方案(关系型/NoSQL/时序数据库)。
Benefits:
请联系HR TG沟通!