Описание должности
Как старший инженер по веб-краулингу, вы будете играть ключевую роль в поддержке и оптимизации наших крупномасштабных распределенных систем сбора данных. Вы будете тесно сотрудничать с кросс-функциональными командами, чтобы обеспечить стабильный сбор данных и предоставлять высококачественные технические решения, соответствующие бизнес-целям.
- Руководство разработкой и поддержкой распределенных систем краулеров для преодоления сложных анти-скрейпинговых механизмов
- Обеспечение стабильной и надежной поставки данных для ключевых бизнес-операций
- Сотрудничество с командами количественной торговли для преобразования бизнес-требований в эффективные технические решения
- Тесная работа с менеджерами продуктов, дизайнерами и фронтенд-разработчиками для обеспечения высокого качества результатов
- Постоянная оптимизация производительности краулинга и конвейеров обработки данных
Ключевые обязанности
- Проектирование и реализация надежных решений для обхода современных анти-скрейпинговых технологий
- Разработка и поддержка высокопроизводительных распределенных систем краулинга
- Анализ и реверс-инжиниринг JavaScript-кода для преодоления обфускации
- Реализация эффективных стратегий против различных анти-скрейпинговых мер
- Оптимизация хранения данных и конвейеров обработки для различных типов данных
Требования к кандидату
- Прочная инженерная база:
- 3+ года опыта разработки на Python
- Сильные основы компьютерных наук (структуры данных, алгоритмы, сети, ОС)
- Глубокое понимание внутренней работы Python (GIL, управление памятью)
- Экспертиза в моделях конкурентности (процессы/потоки/корутины)
- Технические навыки:
- Опыт работы с FastAPI, Django или аналогичными веб-фреймворками
- Эксперт в MySQL/Redis с навыками оптимизации баз данных
- Опыт развертывания с Docker и Kubernetes
- Экспертиза в веб-скрейпинге:
- 2+ года опыта крупномасштабного сбора данных
- Опыт работы с Scrapy, Playwright или аналогичными фреймворками
- Навыки реверс-инжиниринга JavaScript
- Знание алгоритмов шифрования (RSA/AES/DES) в анти-скрейпинге
- Опыт работы с различными мерами противодействия скрейпингу
- Навыки очистки данных и решений для хранения
Преимущества
Для получения подробной информации о преимуществах свяжитесь с нашей HR-командой через Telegram.
Мы предлагаем конкурентоспособные пакеты компенсаций, включая:
- Бонусы за производительность
- Комплексное медицинское страхование
- Гибкие условия работы
- Возможности непрерывного обучения
