データエンジニア at Gate

職務内容

主な責任

• FlinkやKafkaなどの技術を用いてリアルタイムデータソリューションを分析・設計・開発し、リアルタイム分析、監視、指標、ビジネス意思決定を支援します。
• リアルタイムデータウェアハウス構築とモデル設計に参加し、データ階層化、指標定義、次元モデリング、データサービスがビジネスニーズに合致していることを保証します。
• 既存のリアルタイムタスクを継続的に最適化し、データ遅延、バックプレッシャー、Checkpoint異常、状態拡張、リソース非効率、データ不整合などの問題を解決し、タスクの安定性と計算効率を向上させます。
• タスク依存関係マッピング、メタデータ管理、データ品質監視、アラートメカニズム、開発標準、トラブルシューティングフレームワークなどのデータガバナンスとエンジニアリング品質向上に取り組みます。
• 上流・下流チームと協力してデータパイプラインの安定性、正確性、即時性を維持するとともに、ビッグデータプラットフォームと計算エンジンの日常メンテナンスを支援します。
• コードレビュー、技術議論、ソリューション評価を通じてリアルタイム開発のベストプラクティスと技術的知見を文書化・共有し、チームのリアルタイム開発能力を高めます。

求めるスキル

• コンピュータサイエンス、ソフトウェアエンジニアリング、情報技術または関連分野の学士号以上、データ開発またはビッグデータエンジニアリングでの5年以上の経験（スキルの高い候補者は例外あり）。
• データウェアハウスプロジェクトの実績があり、リアルタイムデータウェアハウスアーキテクチャ、データ階層化、モデル設計に精通し、ビジネス要件を技術的ソリューションに変換できること。
• Flinkに精通し、Flink SQLとDataStream APIの実務経験があり、State、Checkpoint、Watermark、ウィンドウ処理、バックプレッシャー、耐障害性メカニズムを深く理解していること。
• リアルタイムタスク開発と最適化の経験があり、遅延、高リソース消費、状態異常、データスキュー、一貫性などの問題を独自にトラブルシューティングできること。
• Kafkaとリアルタイムデータパイプラインに精通し、データ収集、伝送、計算、保存、サービス提供の全ライフサイクルをカバーしていること。
• Hadoop、Hive、Sparkなどのビッグデータ技術の知識があり、オフラインデータ開発の経験があること。
• 複雑なデータ処理とパフォーマンスチューニングのための強力なSQLスキルと、少なくとも1つのプログラミング言語（Python、Java、またはScala）に精通していること。
• MySQL、PostgreSQL、Elasticsearchなどのデータベースまたはストレージシステムの経験があること。
• 優れたビジネスセンス、コミュニケーションスキル、文章表現力があり、問題解決とプロジェクト実行を推進する強い責任感と自発性があること。

歓迎スキル

• 大規模Flinkタスク開発、パフォーマンスチューニング、またはクラスターガバナンスの経験。
• リアルタイムデータウェアハウス最適化、パイプラインガバナンス、または技術的アップグレードの背景。
• Hologres、ClickHouse、DorisなどのリアルタイムOLAP技術に精通していること。
• リアルタイム指標、監視、リスク管理、推薦システムなどの複雑なビジネスシナリオに触れた経験。

理想的な候補者

福利厚生