직무 설명:
이 역할은 복잡한 크롤링 방지 메커니즘을 극복하기 위한 솔루션 개발을 주도하고, 대규모 분산 크롤링 시스템을 유지하며, 핵심 비즈니스 요구사항에 대한 안정적인 데이터 공급을 보장하는 것을 포함합니다. 지원자는 팀과 긴밀히 협력하여 비즈니스 요구사항을 효율적인 기술 솔루션으로 전환하고, 제품, 디자인 및 프론트엔드 팀과 협업하여 고품질의 결과물을 제공할 것입니다.
주요 책임:
- 분산 크롤링 시스템의 개발 및 유지를 주도하여 안정적인 데이터 수집을 보장합니다.
- 정량적 트레이딩 로직을 깊이 이해하고 팀과 협력하여 기술 솔루션을 구현합니다.
- 제품, 디자인 및 프론트엔드 팀과 긴밀히 협력하여 고품질 솔루션을 제공합니다.
- 자바스크립트 코드를 분석 및 역공학하여 크롤링 방지 메커니즘을 우회합니다.
- 효율적인 데이터 저장 및 검색을 위한 데이터베이스 구조를 설계 및 최적화합니다.
직무 요구사항:
- 견고한 엔지니어링 기술:
- 3년 이상의 Python 개발 경험과 강력한 컴퓨터 과학 기초(자료 구조, 알고리즘, 네트워킹, 운영체제).
- Python 내부 구조(GIL, 메모리 관리)에 대한 깊은 이해와 동시성 모델(프로세스, 스레드, 코루틴)에 능숙함.
- FastAPI, Django, MySQL, Redis 및 데이터베이스 최적화 경험.
- Docker에 능숙하고 Kubernetes를 이용한 배포에 익숙함.
- 크롤링 및 역공학:
- Scrapy, Playwright 등을 이용한 대규모 데이터 스크래핑 2년 이상 경험.
- 디버깅 및 난독화된 코드를 해독할 수 있는 강력한 JS 역공학 기술, 암호화 알고리즘(RSA, AES, DES)에 대한 지식.
- 크롤링 방지 조치(CAPTCHA, IP 차단, 요청 서명, 행위 감지) 우회 전문성.
- 데이터 클렌징(결측값/이상값) 및 저장 설계(SQL/NoSQL/시계열 데이터베이스) 경험.
- 우대 사항:
- 실시간 트레이딩 경험 및 시장 동향 이해.
- 트레이딩에서의 ML/DL 응용(캔들스틱 패턴 인식, 로보어드바이저, 스마트 전략) 지식.
- 금융 시장(암호화폐, 선물, 주식)에 대한 친숙함.
- 강력한 제품 설계 사고.
- AI 기반 자동화 경험.
- Golang 능숙함.
혜택:
연말 보너스, 의료 보조금, 휴가 수당, 유급 휴가 등.
