職務内容
当チームに参加するスキルのあるビッグデータ運用エンジニアを募集しています。理想的な候補者は、ビッグデータインフラの包括的な管理を担当し、最適なパフォーマンス、セキュリティ、スケーラビリティを確保します。
主な責任
- ビッグデータプラットフォームの構築、運用、管理、トラブルシューティングを行い、シームレスな運用を確保
- ビッグデータプラットフォームの効率的な運用、安定性、セキュリティを確保しつつ、クラスターのアップグレードや拡張のためのソリューションを提供
- Hadoop、Yarn、Kafka、Flink、Doris、MySQL、PostgreSQLなどの各種プラットフォームコンポーネントの設定と最適化
- ビッグデータタスクの起動とデプロイを行い、一般的な実行問題に精通し、緊急計画を策定
- システムパフォーマンスを監視し、効率向上のための改善を実施
- 開発チームと協力し、データ処理とストレージのベストプラクティスを実装
- システム構成、プロセス、手順を文書化し、ナレッジ共有を促進
求めるスキル
- コンピュータサイエンス、エンジニアリング、または関連分野の学士号
- ビッグデータ運用と管理における3年以上の経験
- Hadoopエコシステムコンポーネント（HDFS、YARN、MapReduce）の強力な専門知識
- ストリーム処理フレームワーク（Kafka、Flink）の習熟
- リレーショナルデータベース（MySQL、PostgreSQL）および分析データベース（Doris）の経験
- Linuxシステム管理とシェルスクリプトの知識
- 分散システムの原則とベストプラクティスの理解
- 複雑なシステム問題のトラブルシューティングとソリューションの実装能力
- 優れた問題解決スキルと細部への注意力
- 強いコミュニケーションとコラボレーションスキル
歓迎するスキル
- クラウドベースのビッグデータソリューション（AWS EMR、Azure HDInsight、GCP Dataproc）の経験
- コンテナ技術（Docker、Kubernetes）の知識
- Infrastructure as Codeツール（Terraform、Ansible）の理解
- データセキュリティとコンプライアンス要件の理解
- 関連するビッグデータ技術の認定資格