職務内容
シニアWebクローラーエンジニアとして、大規模分散型クローリングシステムの維持・最適化において重要な役割を担っていただきます。クロスファンクショナルチームと緊密に連携し、安定したデータ収集を確保するとともに、ビジネス目標に沿った高品質な技術ソリューションを提供します。
- 複雑なアンチスクレイピング対策を克服する分散型クローラーシステムの開発・保守を主導
- コアビジネス運営のための安定したデータ供給を確保
- 定量取引チームと協力し、業務要件を効率的な技術ソリューションに変換
- プロダクトマネージャー、デザイナー、フロントエンド開発者と緊密に連携し、高品質な成果物を保証
- クローリング性能とデータ処理パイプラインの継続的最適化
主な責任
- 高度なアンチスクレイピング技術を回避する堅牢なソリューションの設計・実装
- 高性能分散型クローリングシステムの開発・保守
- 難読化対策のためのJavaScriptコードの解析・リバースエンジニアリング
- 様々なアンチスクレイピング対策に対する効果的な戦略の実装
- 異なるデータタイプ向けのデータストレージ・処理パイプラインの最適化
求めるスキル
- 確固たるエンジニアリング基盤:
- 3年以上のPython開発経験
- 強固なコンピュータサイエンス基礎（データ構造、アルゴリズム、ネットワーク、OS）
- Python内部構造の深い理解（GIL、メモリ管理）
- 並行処理モデル（プロセス/スレッド/コルーチン）の専門知識
- 技術スキル:
- FastAPI、Djangoまたは類似Webフレームワークの熟練
- MySQL/Redisの専門知識と強力なデータベース最適化スキル
- DockerとKubernetesデプロイメントの経験
- Webスクレイピング専門知識:
- 大規模データ収集における2年以上の経験
- Scrapy、Playwrightまたは類似フレームワークの熟練
- 強力なJSリバースエンジニアリングスキル
- アンチスクレイピングにおける暗号化アルゴリズム（RSA/AES/DES）の知識
- 様々なアンチスクレイピング対策の経験
- データクリーニングとストレージソリューションのスキル
福利厚生
詳細な福利厚生情報については、Telegram経由で人事チームまでお問い合わせください。
以下のような競争力のある報酬パッケージを提供しています:
- 業績連動ボーナス
- 充実した健康保険
- 柔軟な働き方
- 継続的な学習機会
