職務内容
当社のビッグデータプラットフォームの開発、最適化、保守を行い、データ収集、処理、モデリング、分析システムの設計と実装に参加し、ビジネス意思決定とインテリジェントアプリケーションをサポートします。
主な責任
- ビッグデータプラットフォームのアーキテクチャ設計と技術選定に参加し、データ処理パイプライン（Data Pipeline）の開発と保守を行います。
- Hadoop/Spark/Flinkなどのフレームワークを使用して、データクリーニング、ETL、集計、計算タスクを実装します。
- Hive/Presto/ClickHouseなどのオフライン分析クエリシステムの開発と最適化を行います。
- リアルタイムデータストリーム処理（例：Kafka、Flink、Spark Streaming）の設計と実装を行います。
- データアナリストやアルゴリズムエンジニアと協力し、高品質なデータインターフェースとサービスを提供します。
- ビッグデータクラスターのパフォーマンスを最適化し、リソースを監視し、タスクをスケジュールし、例外を処理します。
- 技術文書を作成し、開発標準を確立し、データエンジニアリングの標準化と自動化を推進します。
求めるスキル
- コンピュータサイエンス、ソフトウェアエンジニアリング、データエンジニアリングまたは関連分野の学士号以上。
- Hadoopエコシステム（HDFS、YARN、Hive、HBase、Spark、Flink、Kafkaなど）に精通していること。
- 強いSQLスキルと少なくとも1つのプログラミング言語（Python/Java/Scala）に精通していること。
- ETL開発とデータウェアハウスモデリング（ディメンショナルモデリング、スター/スノーフレークスキーマ）の経験。
- Linux環境、Shellスクリプト、およびデータスケジューリングツール（例：Airflow/Azkaban/DolphinScheduler）に精通していること。
- クラウドベースのビッグデータプラットフォーム（AWS EMR、GCP BigQuery、Azure Synapse、Aliyun MaxCompute）の経験は歓迎します。
- 強いコミュニケーション能力、問題解決能力、および独立したプロジェクト実行能力。
歓迎スキル
- リアルタイムコンピューティングまたはログ収集システム（例：Flink + Kafka + Druid）の経験。
- データセキュリティ、プライバシー保護、およびアクセス制御メカニズムの知識。
- 機械学習データ処理ワークフローのサポート経験。
- 大規模なインターネットまたは金融業界プロジェクトのバックグラウンド。
福利厚生
グローバルリモートワークオプション、競争力のある給与、年次休暇、ポジティブなチーム文化、およびサポート体制の整った会社環境。