Описание работы:
Эта роль предполагает руководство разработкой решений для преодоления сложных анти-скрейпинговых механизмов, поддержку крупномасштабных распределенных скрейпинговых систем и обеспечение стабильной поставки данных для ключевых бизнес-потребностей. Кандидат будет тесно сотрудничать с командой для преобразования бизнес-требований в эффективные технические решения, взаимодействуя с продуктом, дизайном и фронтенд-командами для обеспечения высококачественных результатов.
Ключевые обязанности:
- Руководство разработкой и поддержкой распределенных скрейпинговых систем для обеспечения стабильного сбора данных.
- Глубокое понимание логики количественной торговли и сотрудничество с командой для реализации технических решений.
- Тесное взаимодействие с продуктом, дизайном и фронтенд-командами для предоставления высококачественных решений.
- Анализ и реверс-инжиниринг JavaScript-кода для обхода анти-скрейпинговых механизмов.
- Проектирование и оптимизация структур баз данных для эффективного хранения и извлечения данных.
Требования к работе:
- Твердые инженерные навыки:
- 3+ года опыта разработки на Python с сильными основами компьютерных наук (структуры данных, алгоритмы, сети, ОС).
- Глубокое понимание внутренней работы Python (GIL, управление памятью) и владение моделями конкурентности (процессы, потоки, корутины).
- Опыт работы с FastAPI, Django, MySQL, Redis и оптимизацией баз данных.
- Владение Docker и знакомство с Kubernetes для развертывания.
- Скрейпинг и реверс-инжиниринг:
- 2+ года опыта крупномасштабного скрейпинга данных с использованием Scrapy, Playwright и т.д.
- Сильные навыки реверс-инжиниринга JS для отладки и деобфускации кода, знание алгоритмов шифрования (RSA, AES, DES).
- Экспертиза в обходе анти-скрейпинговых мер (CAPTCHA, баны IP, подпись запросов, поведенческое обнаружение).
- Опыт в очистке данных (пропущенные/аномальные значения) и проектировании хранилищ (SQL/NoSQL/временные базы данных).
- Предпочтительные квалификации:
- Опыт в реальной торговле и понимание рыночных трендов.
- Знание применения ML/DL в торговле (распознавание паттернов K-линий, робо-советники, умные стратегии).
- Знакомство с финансовыми рынками (криптовалюта, фьючерсы, акции).
- Сильное продуктовое мышление.
- Опыт в автоматизации на основе ИИ.
- Владение Golang.
Преимущества:
Годовые бонусы, медицинские субсидии, праздничные пособия, оплачиваемый отпуск и многое другое.