Описание вакансии
Инженер данных будет отвечать за создание и поддержку комплексной инфраструктуры данных компании, включая как пакетные, так и потоки обработки данных в реальном времени. Эта роль требует экспертных знаний в архитектуре данных, процессах ETL/ELT и проектировании хранилищ данных для поддержки бизнес-аналитики и принятия решений.
Ключевые обязанности
- Проектирование и внедрение сквозных систем данных, включая как оффлайн-обработку пакетов, так и потоки данных в реальном времени
- Разработка и поддержка процессов ETL/ELT для сбора, синхронизации, очистки и преобразования данных для обеспечения точного и эффективного потока данных
- Реализация обработки данных в реальном времени с использованием Flink для сбора, очистки, агрегации и расчета метрик
- Архитектура слоев хранилища данных и реализация моделирования данных, проектирования измерений и единых стандартов метрик
- Разработка интерфейсов данных, отчетов и базовых сервисов данных для поддержки бизнес-подразделений (операции, продажи, продукт)
- Мониторинг качества данных, устранение неполадок и оптимизация процессов для обеспечения точности, полноты и своевременности
- Быстрое реагирование на потребности бизнеса в данных и оптимизация существующих рабочих процессов данных и SQL/скриптов заданий
Требования к кандидату
- Диплом бакалавра или выше в области компьютерных наук, математики или смежных областях
- 5+ лет опыта в разработке данных и работе с хранилищами данных
- Свободное владение SQL с возможностью написания сложных запросов и хранимых процедур
- Опыт работы с базами данных/хранилищами, такими как MySQL, Hive, Paimon, HBase
- Навыки программирования на Java/Python для скриптов ETL и заданий обработки данных
- Знакомство с Spark, Flink, Kafka для обработки и оптимизации данных
- Понимание принципов моделирования и проектирования хранилищ данных
- Сильные навыки решения проблем, связанных с аномалиями данных и проблемами производительности
- Опыт работы с платформами данных Alibaba Cloud (MaxCompute, DataWorks и др.) будет преимуществом
- Предпочтителен опыт в финансовой, торговой или платежной сферах
Условия
Для получения подробной информации об условиях, пожалуйста, свяжитесь с нашей командой HR через Telegram.
