職務内容
データの正確性、完全性、タイムリー性を確保しながら、ETLプロセスを設計・開発・最適化できる熟練したビッグデータエンジニアを募集しています。この役職では、クロスファンクショナルチームと協力して効率的なデータソリューションを実装し、ビジネスニーズをサポートすることが求められます。
主な責任
- ビジネス要件を満たすビッグデータETLプロセスの設計・開発・最適化
- データウェアハウスアーキテクチャ設計への参加と適切なETLソリューションの開発
- データクリーニング、変換、ロードを含む大規模データ処理のためのSparkアプリケーション開発
- Sparkジョブのパフォーマンス最適化による効率向上とリソース消費削減
- データ収集、前処理、監視タスクのためのPythonスクリプト作成
- 複雑なデータワークフローのためのPythonコードとSparkアプリケーションの統合
- PythonとSparkの組み合わせた利点を活かしたPySpark環境での開発
- データ型変換やパフォーマンス最適化を含むPySpark技術課題のトラブルシューティング
- データ品質監視戦略の実施とETL品質チェックの実行
- データ品質報告メカニズムの確立と意思決定支援の提供
- データアナリスト、サイエンティスト、ウェアハウスエンジニアとのプロジェクト協業
- 技術ナレッジ共有への参加によるチーム能力向上
求めるスキル
- ビッグデータETLプロセス設計・最適化の豊富な経験
- Sparkアプリケーション開発とパフォーマンスチューニングの高度なスキル
- データ処理タスクにおけるPythonプログラミングの専門知識
- PySpark統合・開発の実務経験
- データ品質保証方法論とツールに関する知識
- データウェアハウスアーキテクチャ原則の理解
- 複雑なデータ処理問題のトラブルシューティング能力
- 優れた協業・コミュニケーションスキル
- クロスファンクショナルデータチームでの勤務経験
- 継続的学習マインドと知識共有姿勢
歓迎スキル
- 追加ビッグデータ技術（Hadoop、Hiveなど）の経験
- クラウドベースデータプラットフォーム（AWS、Azure、GCP）の知識
- データ可視化・レポーティングツールへの習熟
- 機械学習コンセプトとアプリケーションの理解
- データガバナンスフレームワーク導入の実績