직무 설명
시니어 웹 크롤러 엔지니어로서, 대규모 분산 크롤링 시스템의 유지보수 및 최적화에서 핵심적인 역할을 수행하게 됩니다. 크로스-기능 팀과 긴밀히 협력하여 안정적인 데이터 수집을 보장하고 비즈니스 목표에 부합하는 고품질 기술 솔루션을 제공할 것입니다.
- 복잡한 반-스크래핑 메커니즘을 극복하기 위한 분산 크롤러 시스템 개발 및 유지보수 주도
- 핵심 비즈니스 운영을 위한 안정적이고 신뢰할 수 있는 데이터 공급 보장
- 퀀트 트레이딩 팀과 협력하여 비즈니스 요구사항을 효율적인 기술 솔루션으로 전환
- 제품 관리자, 디자이너 및 프론트엔드 개발자와 긴밀히 협력하여 고품질 결과물 보장
- 크롤링 성능 및 데이터 처리 파이프라인 지속적 최적화
주요 책임
- 고급 반-스크래핑 기술을 우회하기 위한 견고한 솔루션 설계 및 구현
- 고성능 분산 크롤링 시스템 개발 및 유지보수
- 난독화를 극복하기 위한 JavaScript 코드 분석 및 리버스 엔지니어링
- 다양한 반-스크래핑 조치에 대한 효과적인 전략 구현
- 다양한 데이터 유형에 대한 데이터 저장 및 처리 파이프라인 최적화
직무 요구 사항
- 견고한 공학적 기초:
- 3년 이상의 Python 개발 경험
- 강력한 컴퓨터 과학 기초(자료 구조, 알고리즘, 네트워킹, 운영체제)
- Python 내부 구조에 대한 깊은 이해(GIL, 메모리 관리)
- 동시성 모델(프로세스/스레드/코루틴) 전문 지식
- 기술적 능력:
- FastAPI, Django 또는 유사한 웹 프레임워크 숙련
- MySQL/Redis 전문가로서 강력한 데이터베이스 최적화 기술 보유
- Docker 및 Kubernetes 배포 경험
- 웹 스크래핑 전문 지식:
- 대규모 데이터 수집 2년 이상 경험
- Scrapy, Playwright 또는 유사한 프레임워크 숙련
- 강력한 JS 리버스 엔지니어링 기술
- 반-스크래핑에서의 암호화 알고리즘(RSA/AES/DES) 지식
- 다양한 반-스크래핑 대응책 경험
- 데이터 정제 및 저장 솔루션 기술 보유
혜택
상세한 혜택 정보는 Telegram을 통해 HR 팀에 문의해 주세요.
우리는 다음과 같은 경쟁력 있는 보상 패키지를 제공합니다:
- 성과 기반 보너스
- 포괄적인 건강 보험
- 유연한 근무 방식
- 지속적인 학습 기회
