직무 설명
데이터 엔지니어는 회사의 종합적인 데이터 인프라 구축 및 유지를 담당하며, 배치 및 실시간 데이터 처리 파이프라인을 모두 포함합니다. 이 역할은 비즈니스 인텔리전스와 의사 결정을 지원하기 위한 데이터 아키텍처, ETL/ELT 프로세스 및 데이터 웨어하우스 설계에 대한 전문 지식을 요구합니다.
주요 책임
- 오프라인 배치 처리와 실시간 스트리밍 파이프라인을 포함한 종단간 데이터 시스템 설계 및 구현
- 정확하고 효율적인 데이터 흐름을 보장하기 위한 데이터 수집, 동기화, 정제 및 변환을 위한 ETL/ELT 프로세스 개발 및 유지
- Flink를 사용한 실시간 데이터 처리 구현(수집, 정제, 집계 및 지표 계산)
- 데이터 웨어하우스 레이어 설계 및 데이터 모델링, 차원 설계, 통합 지표 표준 구현
- 비즈니스 부서(운영, 영업, 제품)를 지원하기 위한 데이터 인터페이스, 보고서 및 기본 데이터 서비스 개발
- 데이터 품질 모니터링, 문제 해결 및 프로세스 최적화를 통해 정확성, 완전성 및 적시성 보장
- 비즈니스 데이터 요구에 신속히 대응하고 기존 데이터 워크플로우 및 SQL/작업 스크립트 최적화
자격 요건
- 컴퓨터 과학, 수학 또는 관련 분야의 학사 학위 이상
- 데이터 개발 및 데이터 웨어하우징 분야 5년 이상의 경력
- 복잡한 쿼리 및 저장 프로시저 작성 능력을 갖춘 SQL 숙련자
- MySQL, Hive, Paimon, HBase와 같은 데이터베이스/웨어하우스 경험
- ETL 스크립트 및 데이터 처리 작업을 위한 Java/Python 프로그래밍 능력
- 데이터 처리 및 최적화를 위한 Spark, Flink, Kafka에 대한 이해
- 데이터 웨어하우스 모델링 원리 및 설계에 대한 이해
- 데이터 이상 및 성능 문제에 대한 강력한 문제 해결 능력
- 알리바바 클라우드 데이터 플랫폼(MaxCompute, DataWorks 등) 경험 우대
- 금융, 거래 또는 결제 도메인 경험자 우대
혜택
상세한 혜택 정보는 텔레그램을 통해 HR 팀에 문의해 주세요.
