職務内容:
この役職では、複雑なアンチクローリングメカニズムを克服するソリューションの開発を主導し、大規模分散型クローリングシステムの維持管理、およびコアビジネスニーズに対する安定したデータ供給を確保します。候補者はチームと緊密に連携し、ビジネス要件を効率的な技術的ソリューションに変換し、製品、デザイン、フロントエンドチームと協力して高品質の成果物を提供します。
主な責任:
- 分散型クローリングシステムの開発とメンテナンスを主導し、安定したデータ収集を確保します。
- 定量取引ロジックを深く理解し、チームと協力して技術的ソリューションを実装します。
- 製品、デザイン、フロントエンドチームと緊密に連携し、高品質のソリューションを提供します。
- JavaScriptコードを分析およびリバースエンジニアリングして、アンチクローリングメカニズムを回避します。
- 効率的なデータ保存と検索のためのデータベース構造を設計および最適化します。
求めるスキル:
- 確固たるエンジニアリングスキル:
- 3年以上のPython開発経験と強力なコンピュータサイエンスの基礎（データ構造、アルゴリズム、ネットワーキング、OS）。
- Pythonの内部仕様（GIL、メモリ管理）の深い理解と、並行モデル（プロセス、スレッド、コルーチン）の熟練。
- FastAPI、Django、MySQL、Redis、およびデータベース最適化の経験。
- Dockerの熟練とKubernetesを使用したデプロイメントの知識。
- クローリング＆リバースエンジニアリング:
- Scrapy、Playwrightなどを使用した大規模データスクレイピングの2年以上の経験。
- コードのデバッグおよび難読化解除のための強力なJSリバースエンジニアリングスキル、および暗号化アルゴリズム（RSA、AES、DES）の知識。
- アンチクローリング対策（CAPTCHA、IP禁止、リクエスト署名、行動検出）の回避に関する専門知識。
- データクリーニング（欠損値/異常値）およびストレージ設計（SQL/NoSQL/時系列データベース）の経験。
- 歓迎する資格:
- ライブ取引の経験と市場動向の理解。
- 取引におけるML/DLアプリケーションの知識（K線パターン認識、ロボアドバイザー、スマート戦略）。
- 金融市場（暗号通貨、先物、株式）の知識。
- 強力な製品設計思考。
- AI駆動の自動化の経験。
- Golangの熟練。
福利厚生:
年末ボーナス、医療補助、休暇手当、有給休暇など。
