職務内容
当社のビッグデータプラットフォームの開発、最適化、保守を行い、データ収集、処理、モデリング、分析システムの設計と実装に参加し、ビジネス意思決定とインテリジェントアプリケーションをサポートします。
主な責任
- ビッグデータプラットフォームのアーキテクチャ設計と技術選定に参加し、データ処理パイプライン(Data Pipeline)の開発と保守を行います。
- Hadoop/Spark/Flinkなどのフレームワークを使用して、データクリーニング、ETL、集計、計算タスクを実装します。
- Hive/Presto/ClickHouseなどのオフライン分析クエリシステムの開発と最適化を行います。
- リアルタイムデータストリーム処理(例:Kafka、Flink、Spark Streaming)の設計と実装を行います。
- データアナリストやアルゴリズムエンジニアと協力し、高品質なデータインターフェースとサービスを提供します。
- ビッグデータクラスターのパフォーマンスを最適化し、リソースを監視し、タスクをスケジュールし、例外を処理します。
- 技術文書を作成し、開発標準を確立し、データエンジニアリングの標準化と自動化を推進します。
求めるスキル
- コンピュータサイエンス、ソフトウェアエンジニアリング、データエンジニアリングまたは関連分野の学士号以上。
- Hadoopエコシステム(HDFS、YARN、Hive、HBase、Spark、Flink、Kafkaなど)に精通していること。
- 強いSQLスキルと少なくとも1つのプログラミング言語(Python/Java/Scala)に精通していること。
- ETL開発とデータウェアハウスモデリング(ディメンショナルモデリング、スター/スノーフレークスキーマ)の経験。
- Linux環境、Shellスクリプト、およびデータスケジューリングツール(例:Airflow/Azkaban/DolphinScheduler)に精通していること。
- クラウドベースのビッグデータプラットフォーム(AWS EMR、GCP BigQuery、Azure Synapse、Aliyun MaxCompute)の経験は歓迎します。
- 強いコミュニケーション能力、問題解決能力、および独立したプロジェクト実行能力。
歓迎スキル
- リアルタイムコンピューティングまたはログ収集システム(例:Flink + Kafka + Druid)の経験。
- データセキュリティ、プライバシー保護、およびアクセス制御メカニズムの知識。
- 機械学習データ処理ワークフローのサポート経験。
- 大規模なインターネットまたは金融業界プロジェクトのバックグラウンド。
福利厚生
グローバルリモートワークオプション、競争力のある給与、年次休暇、ポジティブなチーム文化、およびサポート体制の整った会社環境。
