Kỹ sư Dữ liệu at Bitunix exchange

Mô Tả Công Việc

Trách Nhiệm Chính

• Thiết kế và triển khai hệ thống dữ liệu end-to-end bao gồm cả xử lý theo lô ngoại tuyến và đường ống streaming thời gian thực
• Phát triển và duy trì quy trình ETL/ELT để thu thập, đồng bộ hóa, làm sạch và chuyển đổi dữ liệu nhằm đảm bảo luồng dữ liệu chính xác và hiệu quả
• Triển khai xử lý dữ liệu thời gian thực bằng Flink để thu thập, làm sạch, tổng hợp và tính toán chỉ số
• Kiến trúc các lớp kho dữ liệu và triển khai mô hình hóa dữ liệu, thiết kế chiều và tiêu chuẩn chỉ số thống nhất
• Phát triển giao diện dữ liệu, báo cáo và dịch vụ dữ liệu cơ bản để hỗ trợ các bộ phận nghiệp vụ (vận hành, bán hàng, sản phẩm)
• Giám sát chất lượng dữ liệu, xử lý sự cố và tối ưu hóa quy trình để đảm bảo tính chính xác, đầy đủ và kịp thời
• Đáp ứng nhanh chóng nhu cầu dữ liệu nghiệp vụ và tối ưu hóa các quy trình dữ liệu hiện có cùng script SQL/công việc

Yêu Cầu Công Việc

• Bằng cử nhân trở lên về Khoa học Máy tính, Toán học hoặc các lĩnh vực liên quan
• 5+ năm kinh nghiệm phát triển dữ liệu và kho dữ liệu
• Thành thạo SQL với khả năng viết các truy vấn phức tạp và thủ tục lưu trữ
• Kinh nghiệm với các cơ sở dữ liệu/kho dữ liệu như MySQL, Hive, Paimon, HBase
• Kỹ năng lập trình Java/Python cho script ETL và công việc xử lý dữ liệu
• Quen thuộc với Spark, Flink, Kafka để xử lý và tối ưu hóa dữ liệu
• Hiểu biết về nguyên tắc mô hình hóa và thiết kế kho dữ liệu
• Kỹ năng giải quyết vấn đề mạnh mẽ cho các bất thường dữ liệu và vấn đề hiệu suất
• Kinh nghiệm với nền tảng dữ liệu Alibaba Cloud (MaxCompute, DataWorks...) là một lợi thế
• Ưu tiên có nền tảng về lĩnh vực tài chính, giao dịch hoặc thanh toán

Phúc Lợi