직무 설명
이 역할은 데이터 처리 시스템 및 아키텍처의 설계, 개발 및 최적화에 중점을 둡니다. 지원자는 실시간 및 오프라인 데이터 파이프라인 구축을 주도하며 비즈니스 목표와 기술 요구사항과의 일치를 보장해야 합니다. 주요 책임에는 데이터 모델링 전략 정의, 저지연 및 고성능 ETL 프로세스 구현, 포괄적인 데이터 플랫폼 엔지니어링 표준 수립이 포함됩니다. 이 직위는 데이터 거버넌스, 품질 보증 및 보안 프로토콜을 지원하는 확장 가능한 솔루션 개발에 대한 전문 지식을 요구합니다. 지원자는 또한 문서화 유지, 시스템 운영 모니터링 및 데이터 처리 효율성과 신뢰성과 관련된 기술적 문제 해결에 대한 책임이 있습니다.
주요 책임
- 성능, 안정성 및 확장성에 중점을 둔 실시간 및 오프라인 데이터 처리 시스템 설계 및 구축
- 구조화 및 비구조화 데이터 소스를 위한 데이터 모델링 프레임워크 개발
- 데이터 일관성을 보장하고 지연 시간을 최소화하는 ETL 프로세스 생성 및 유지
- 문서화 표준 및 운영 모니터링 프로토콜을 포함한 데이터 플랫폼 엔지니어링을 위한 기술 사양 수립
- 규제 요구 사항 및 데이터 보안 정책 준수를 보장하기 위한 데이터 거버넌스 프레임워크 구현
- 데이터 품질 지표 모니터링 및 데이터 이상에 대한 교정 조치 개발
- 크로스 기능 팀과 협력하여 데이터 처리 요구 사항 식별 및 시스템 성능 최적화
- 데이터 처리 문제에 대한 근본 원인 분석 수행 및 기술적 솔루션 제안
- 데이터 계보 추적 및 카탈로그 작성을 위한 메타데이터 관리 시스템 개발 및 유지
- 지속적인 개선 및 위험 완화 전략을 통해 데이터 플랫폼의 신뢰성과 보안 보장
직무 요구 사항
- 데이터 처리 시스템 설계 및 구현 경력(최소 5년 이상)
- Apache Spark, Kafka 또는 Flink와 같은 도구를 사용한 ETL 개발 전문 지식
- 데이터 모델링 기술 및 데이터베이스 최적화 전략에 대한 강력한 이해
- 기술 문서 작성 및 코드 저장소 유지 관리 능숙도
- 데이터 거버넌스 프레임워크 및 준수 표준(GDPR, HIPAA 등)에 대한 지식
- 데이터 품질 관리 도구 및 방법론 경험
- 데이터 카탈로그 및 계보 추적을 위한 메타데이터 관리 솔루션 개발 능력
- 데이터 처리 워크플로우 최적화 경험을 통한 강력한 문제 해결 능력
- 시스템 성능 모니터링 및 경고 메커니즘 구현 능숙도
- 이해 관계자와 협력하고 기술적 솔루션을 제시하기 위한 탁월한 커뮤니케이션 기술
- 우대 사항: 클라우드 기반 데이터 플랫폼(AWS, Azure, GCP) 및 컨테이너화 기술(Docker, Kubernetes) 경험
- 우대 사항: 데이터 보안 프로토콜 및 암호화 표준에 대한 친숙도
- 우대 사항: 데이터 엔지니어링 모범 사례 및 DevOps 방법론에 대한 강력한 배경
