데이터 엔지니어 at Gate

직무 설명

주요 책임

• Flink 및 Kafka와 같은 기술을 사용하여 실시간 데이터 솔루션을 분석, 설계 및 개발하여 실시간 분석, 모니터링, 메트릭 및 비즈니스 의사 결정을 지원합니다.
• 실시간 데이터 웨어하우스 구축 및 모델 설계에 참여하여 데이터 계층화, 메트릭 정의, 차원 모델링 및 데이터 서비스가 비즈니스 요구 사항과 일치하도록 합니다.
• 기존 실시간 작업을 지속적으로 최적화하여 데이터 지연, 백프레셔, Checkpoint 이상, 상태 확장, 리소스 비효율성 및 데이터 불일치와 같은 문제를 해결하여 작업 안정성과 계산 효율성을 향상시킵니다.
• 작업 종속성 매핑, 메타데이터 관리, 데이터 품질 모니터링, 경고 메커니즘, 개발 표준 및 문제 해결 프레임워크를 포함한 데이터 거버넌스 및 엔지니어링 품질 이니셔티브에 참여합니다.
• 업스트림 및 다운스트림 팀과 협력하여 데이터 파이프라인의 안정성, 정확성 및 적시성을 유지하면서 빅 데이터 플랫폼 및 컴퓨팅 엔진의 일상적인 유지 관리에도 지원합니다.
• 코드 리뷰, 기술 논의 및 솔루션 평가를 통해 실시간 개발 모범 사례 및 기술 통찰력을 문서화하고 공유하여 팀의 실시간 개발 역량을 강화합니다.

직무 요구 사항

• 컴퓨터 과학, 소프트웨어 공학, 정보 기술 또는 관련 분야의 학사 학위 이상, 데이터 개발 또는 빅 데이터 엔지니어링 분야에서 5년 이상의 경력 (우수한 기술을 보유한 경우 예외 가능).
• 데이터 웨어하우스 프로젝트 경험, 실시간 데이터 웨어하우스 아키텍처, 데이터 계층화 및 모델 설계에 대한 전문 지식을 보유하여 비즈니스 요구 사항을 기술 솔루션으로 전환할 수 있어야 합니다.
• Flink에 대한 숙련도, Flink SQL 및 DataStream API의 실무 경험, State, Checkpoint, Watermark, 윈도우, 백프레셔 및 내결함성 메커니즘에 대한 깊은 이해.
• 실시간 작업 개발 및 최적화 경험, 지연, 높은 리소스 소비, 상태 이상, 데이터 스큐 및 일관성과 같은 문제를 독립적으로 해결할 수 있는 능력.
• Kafka 및 실시간 데이터 파이프라인에 대한 경험, 데이터 수집, 전송, 계산, 저장 및 서비스 제공의 전체 라이프사이클을 다룹니다.
• Hadoop, Hive, Spark 및 기타 빅 데이터 기술에 대한 지식, 오프라인 데이터 개발 경험 일부.
• 복잡한 데이터 처리 및 성능 튜닝을 위한 강력한 SQL 기술, Python, Java 또는 Scala와 같은 최소 하나의 프로그래밍 언어에 대한 숙련도.
• MySQL, PostgreSQL 또는 Elasticsearch와 같은 데이터베이스 또는 저장 시스템 경험.
• 뛰어난 비즈니스 감각, 커뮤니케이션 기술 및 문서 작성 능력, 책임감과 주도적인 문제 해결 및 프로젝트 실행 능력.

우대 사항

• 대규모 Flink 작업 개발, 성능 튜닝 또는 클러스터 거버넌스 경험.
• 실시간 데이터 웨어하우스 최적화, 파이프라인 거버넌스 또는 기술 업그레이드 배경.
• Hologres, ClickHouse 또는 Doris와 같은 실시간 OLAP 기술에 대한 친숙함.
• 실시간 메트릭, 모니터링, 리스크 컨트롤 또는 추천 시스템과 같은 복잡한 비즈니스 시나리오 경험.

우리가 찾는 이상적인 후보

혜택