Kỹ sư Dữ liệu at Deepcoin

Mô Tả Công Việc

Trách Nhiệm Chính

• Tham gia thiết kế kiến trúc nền tảng dữ liệu lớn và lựa chọn công nghệ, phát triển và duy trì các đường ống xử lý dữ liệu (Data Pipeline).
• Thực hiện các nhiệm vụ làm sạch dữ liệu, ETL, tổng hợp và tính toán bằng các framework như Hadoop/Spark/Flink.
• Phát triển và tối ưu hóa các hệ thống truy vấn phân tích ngoại tuyến như Hive/Presto/ClickHouse.
• Thiết kế và triển khai xử lý luồng dữ liệu thời gian thực (ví dụ: Kafka, Flink, Spark Streaming).
• Hợp tác với các nhà phân tích dữ liệu và kỹ sư thuật toán để cung cấp các giao diện và dịch vụ dữ liệu chất lượng cao.
• Tối ưu hóa hiệu suất cụm dữ liệu lớn, giám sát tài nguyên, lập lịch tác vụ và xử lý ngoại lệ.
• Chuẩn bị tài liệu kỹ thuật, thiết lập tiêu chuẩn phát triển và thúc đẩy tiêu chuẩn hóa và tự động hóa trong kỹ thuật dữ liệu.

Yêu Cầu Công Việc

• Bằng cử nhân trở lên về Khoa học Máy tính, Kỹ thuật Phần mềm, Kỹ thuật Dữ liệu hoặc các lĩnh vực liên quan.
• Thành thạo hệ sinh thái Hadoop (HDFS, YARN, Hive, HBase, Spark, Flink, Kafka, v.v.).
• Kỹ năng SQL mạnh và quen thuộc với ít nhất một ngôn ngữ lập trình (Python/Java/Scala).
• Kinh nghiệm phát triển ETL và mô hình hóa kho dữ liệu (mô hình chiều, sơ đồ sao/bông tuyết).
• Quen thuộc với môi trường Linux, lập trình Shell và các công cụ lập lịch dữ liệu (ví dụ: Airflow/Azkaban/DolphinScheduler).
• Kinh nghiệm với nền tảng dữ liệu lớn trên đám mây (AWS EMR, GCP BigQuery, Azure Synapse, Aliyun MaxCompute) là một lợi thế.
• Kỹ năng giao tiếp, giải quyết vấn đề và thực hiện dự án độc lập tốt.

Ưu Tiên

• Kinh nghiệm với hệ thống tính toán thời gian thực hoặc thu thập nhật ký (ví dụ: Flink + Kafka + Druid).
• Hiểu biết về bảo mật dữ liệu, bảo vệ quyền riêng tư và cơ chế kiểm soát truy cập.
• Kinh nghiệm hỗ trợ quy trình xử lý dữ liệu học máy.
• Nền tảng từ các dự án internet hoặc ngành tài chính quy mô lớn.

Phúc Lợi