Mô tả Công việc:
Chúng tôi đang tìm kiếm một Kỹ sư Dữ liệu Lớn có tay nghề để gia nhập đội ngũ và đóng góp vào việc thiết kế, phát triển, bảo trì nền tảng dữ liệu lớn của công ty. Ứng viên lý tưởng sẽ đóng vai trò quan trọng trong việc đảm bảo tính ổn định của nền tảng đồng thời đáp ứng yêu cầu kinh doanh thông qua các giải pháp dữ liệu sáng tạo.
- Tham gia thiết kế kiến trúc, xây dựng, phát triển và bảo trì nền tảng dữ liệu lớn của công ty để đảm bảo tính ổn định và hiệu suất.
- Thiết kế và phát triển kho dữ liệu offline và thời gian thực dựa trên nhu cầu kinh doanh, sử dụng kỹ thuật mô hình hóa dữ liệu để xây dựng các mô hình dữ liệu hiệu quả hỗ trợ phân tích và ra quyết định.
- Đóng góp vào phát triển nền tảng quản trị dữ liệu, bao gồm quản lý siêu dữ liệu và các sáng kiến an ninh dữ liệu để nâng cao khả năng sử dụng và bảo vệ dữ liệu.
- Tham gia xây dựng các miền dữ liệu kinh doanh (như giao ngay/hợp đồng/quản lý tài sản) và hệ thống chỉ số trong kho dữ liệu, cung cấp các phân tích và đề xuất giá trị.
- Hợp tác với các nhóm đa chức năng để hiểu yêu cầu kinh doanh và chuyển đổi thành các giải pháp kỹ thuật.
- Liên tục tối ưu hóa quy trình xử lý dữ liệu và giải pháp lưu trữ để cải thiện hiệu quả.
Trách nhiệm Chính:
- Phát triển và bảo trì hệ thống xử lý dữ liệu mở rộng bằng Hadoop, Spark và Flink.
- Triển khai quy trình ETL và quản lý công nghệ kho dữ liệu bao gồm Hive, Presto và Starrocks.
- Thiết kế và triển khai các mô hình dữ liệu hỗ trợ nhu cầu kinh doanh thông minh và phân tích.
- Đảm bảo chất lượng và tính toàn vẹn dữ liệu trên tất cả các nền tảng dữ liệu.
- Tham gia các sáng kiến quản trị dữ liệu để cải thiện thực hành quản lý dữ liệu.
Yêu cầu Công việc:
- Bằng cử nhân trở lên về Khoa học Máy tính, Điện tử Viễn thông, Kỹ thuật Phần mềm hoặc các lĩnh vực liên quan.
- Tối thiểu 3 năm kinh nghiệm phát triển dữ liệu lớn.
- Thành thạo công nghệ dữ liệu lớn bao gồm Hadoop, Spark và Flink.
- Hiểu biết sâu về công nghệ kho dữ liệu (ETL, Hive, Presto, Starrocks) và các phương pháp mô hình hóa dữ liệu phổ biến.
- Kỹ năng lập trình bằng ít nhất một ngôn ngữ (ưu tiên Java, Python).
- Nhạy bén kinh doanh xuất sắc với khả năng phân tích và giải quyết vấn đề kinh doanh độc lập.
- Quen thuộc với các khái niệm về quản trị dữ liệu, an ninh dữ liệu hoặc chất lượng dữ liệu.
- Kinh nghiệm triển khai và vận hành các thành phần nền tảng AWS hoặc Alibaba Cloud (ưu tiên).
Phúc lợi:
Chúng tôi cung cấp gói lương cạnh tranh và phúc lợi toàn diện. Các phúc lợi cụ thể sẽ được thảo luận trong quá trình phỏng vấn.
