Описание вакансии:
Мы ищем опытного инженера по большим данным для участия в проектировании, разработке и поддержке нашей платформы больших данных. Идеальный кандидат будет играть ключевую роль в обеспечении стабильности платформы и реализации бизнес-требований через инновационные решения.
- Участие в проектировании архитектуры, построении, разработке и поддержке платформы больших данных компании для обеспечения её стабильности и производительности.
- Проектирование и разработка оффлайн- и реального времени хранилищ данных на основе бизнес-потребностей с использованием методов моделирования данных.
- Вклад в разработку платформ управления данными, включая управление метаданными и инициативы по безопасности данных.
- Участие в построении бизнес-доменов данных (спот/контракты/управление капиталом) и систем показателей в хранилище данных.
- Сотрудничество с кросс-функциональными командами для преобразования бизнес-требований в технические решения.
- Постоянная оптимизация процессов обработки данных и решений хранения.
Ключевые обязанности:
- Разработка и поддержка масштабируемых систем обработки данных с использованием Hadoop, Spark и Flink.
- Реализация процессов ETL и управление технологиями хранилищ данных (Hive, Presto, Starrocks).
- Проектирование моделей данных для поддержки бизнес-аналитики.
- Обеспечение качества и целостности данных на всех платформах.
- Участие в инициативах по управлению данными.
Требования:
- Высшее образование в области компьютерных наук, электроники, программной инженерии или смежных областях.
- Минимум 3 года опыта в разработке больших данных.
- Знание технологий больших данных (Hadoop, Spark, Flink).
- Опыт работы с хранилищами данных (ETL, Hive, Presto, Starrocks) и моделированием данных.
- Навыки программирования (Java, Python предпочтительно).
- Способность анализировать и решать бизнес-задачи.
- Знание концепций управления данными, безопасности или качества данных.
- Опыт развертывания компонентов на AWS или Alibaba Cloud (желательно).
Условия:
Мы предлагаем конкурентную зарплату и полный социальный пакет. Детали обсуждаются на собеседовании.
