직무 설명
우리 팀에 합류할 숙련된 데이터 크롤링 전문가를 찾고 있습니다. 이상적인 후보자는 다양한 소스에서 데이터를 수집하기 위한 웹 크롤러를 개발 및 유지 관리하고, 고품질 데이터 추출 및 저장을 보장할 책임이 있습니다.
주요 책임
- 정적 웹 페이지, 동적 웹 페이지(JS 렌더링), API 인터페이스 데이터 등을 포함한 데이터 크롤링 담당
- User Agent 위장, 프록시 풀링, 캡차 우회, 쿠키 암호화, 바디 파라미터 암호화 등의 반크롤링 전략 처리로 크롤링 성공률 향상
- XPath, CSS 선택자, 정규 표현식 등의 기술을 사용하여 웹 페이지 데이터 분석 및 정보 추출
- MySQL, MongoDB, Redis, Selectdb 등의 데이터베이스에 데이터 저장 및 크롤링
- 데이터 정제 및 중복 제거 관련 코드 작성으로 데이터 품질 향상
- 크롤러 실행 상태 모니터링, 크롤링 전략 최적화 및 데이터 크롤링 안정성 보장
직무 요구 사항
- 웹 스크래핑 및 데이터 크롤링 기술에 대한 검증된 경험
- 반크롤링 메커니즘 및 전략 처리에 대한 강력한 지식
- XPath, CSS 선택자, 정규 표현식과 같은 데이터 추출 기술에 능숙
- MySQL, MongoDB, Redis 또는 Selectdb와 같은 다양한 데이터베이스 경험
- 효율적인 데이터 정제 및 중복 제거 스크립트 작성 능력
- 강력한 문제 해결 능력과 세부 사항에 대한 주의
- 크롤러 성능 모니터링 및 최적화 경험 우대
