Mô tả Công việc
Kỹ sư Phát triển Dữ liệu (Chuyên sâu Tính toán Thời gian thực)
Tổng quan Vị trí:
- Công ty đã xây dựng hệ thống kho dữ liệu và dữ liệu thời gian thực hoàn chỉnh với khả năng thu thập, tính toán, lưu trữ và dịch vụ dữ liệu. Với sự phát triển của quy mô kinh doanh và sự gia tăng các kịch bản ứng dụng thời gian thực, chúng tôi đang tìm kiếm hai kỹ sư phát triển dữ liệu cấp trung đến cao cấp để đảm nhận việc triển khai nhu cầu dữ liệu thời gian thực, tối ưu hóa tác vụ và quản trị kỹ thuật.
- Vai trò này chủ yếu tập trung vào phát triển dữ liệu thời gian thực đồng thời đóng góp vào xây dựng kho dữ liệu offline. Bạn sẽ giải quyết các vấn đề quan trọng trong đường ống dữ liệu thời gian thực như độ trễ dữ liệu, mở rộng trạng thái, tiêu thụ tài nguyên, chất lượng dữ liệu và tính nhất quán, thúc đẩy hệ thống dữ liệu thời gian thực hướng tới sự ổn định, hiệu quả và tiêu chuẩn hóa cao hơn.
Trách nhiệm Chính
- Phân tích, thiết kế và phát triển giải pháp dữ liệu thời gian thực sử dụng các công nghệ như Flink và Kafka để hỗ trợ phân tích thời gian thực, giám sát, chỉ số và ra quyết định kinh doanh.
- Tham gia xây dựng kho dữ liệu thời gian thực và thiết kế mô hình, đảm bảo phân tầng dữ liệu, định nghĩa chỉ số, mô hình chiều và dịch vụ dữ liệu phù hợp với nhu cầu kinh doanh.
- Liên tục tối ưu hóa các tác vụ thời gian thực hiện có để giải quyết các vấn đề như độ trễ dữ liệu, backpressure, bất thường Checkpoint, mở rộng trạng thái, kém hiệu quả tài nguyên và không nhất quán dữ liệu, cải thiện tính ổn định và hiệu quả tính toán của tác vụ.
- Tham gia các sáng kiến quản trị dữ liệu và chất lượng kỹ thuật, bao gồm lập bản đồ phụ thuộc tác vụ, quản lý siêu dữ liệu, giám sát chất lượng dữ liệu, cơ chế cảnh báo, tiêu chuẩn phát triển và khung xử lý sự cố.
- Hợp tác với các nhóm upstream và downstream để duy trì tính ổn định, chính xác và kịp thời của đường ống dữ liệu, đồng thời hỗ trợ bảo trì hàng ngày các nền tảng dữ liệu lớn và engine tính toán.
- Tài liệu hóa và chia sẻ các phương pháp hay nhất về phát triển thời gian thực và hiểu biết kỹ thuật thông qua đánh giá mã, thảo luận kỹ thuật và đánh giá giải pháp để nâng cao năng lực phát triển thời gian thực của nhóm.
Yêu cầu Công việc
- Bằng cử nhân trở lên về Khoa học Máy tính, Kỹ thuật Phần mềm, Công nghệ Thông tin hoặc lĩnh vực liên quan, với 5+ năm kinh nghiệm trong phát triển dữ liệu hoặc kỹ thuật dữ liệu lớn (có thể xem xét ngoại lệ cho ứng viên có kỹ năng xuất sắc).
- Kinh nghiệm đã được chứng minh trong các dự án kho dữ liệu, với chuyên môn về kiến trúc kho dữ liệu thời gian thực, phân tầng dữ liệu và thiết kế mô hình để chuyển đổi yêu cầu kinh doanh thành giải pháp kỹ thuật.
- Thành thạo Flink, bao gồm kinh nghiệm thực tế với Flink SQL và DataStream API, và hiểu biết sâu sắc về State, Checkpoint, Watermark, cửa sổ, backpressure và cơ chế chịu lỗi.
- Kinh nghiệm trong phát triển và tối ưu hóa tác vụ thời gian thực, với khả năng tự khắc phục sự cố như độ trễ, tiêu thụ tài nguyên cao, bất thường trạng thái, lệch dữ liệu và tính nhất quán.
- Quen thuộc với Kafka và đường ống dữ liệu thời gian thực, bao gồm toàn bộ vòng đời thu thập, truyền tải, tính toán, lưu trữ và cung cấp dịch vụ dữ liệu.
- Hiểu biết về Hadoop, Hive, Spark và các công nghệ dữ liệu lớn khác, với một số kinh nghiệm trong phát triển dữ liệu offline.
- Kỹ năng SQL mạnh mẽ để xử lý dữ liệu phức tạp và điều chỉnh hiệu suất, cùng với thành thạo ít nhất một ngôn ngữ lập trình (Python, Java hoặc Scala).
- Kinh nghiệm với các hệ thống cơ sở dữ liệu hoặc lưu trữ như MySQL, PostgreSQL hoặc Elasticsearch.
- Nhạy bén kinh doanh xuất sắc, kỹ năng giao tiếp và diễn đạt bằng văn bản, với tinh thần trách nhiệm cao và chủ động thúc đẩy giải quyết vấn đề và thực hiện dự án.
Ưu tiên
- Kinh nghiệm trong phát triển tác vụ Flink quy mô lớn, điều chỉnh hiệu suất hoặc quản trị cụm.
- Nền tảng trong tối ưu hóa kho dữ liệu thời gian thực, quản trị đường ống hoặc nâng cấp kỹ thuật.
- Quen thuộc với các công nghệ OLAP thời gian thực như Hologres, ClickHouse hoặc Doris.
- Tiếp xúc với các kịch bản kinh doanh phức tạp như chỉ số thời gian thực, giám sát, kiểm soát rủi ro hoặc hệ thống đề xuất.
Ứng viên Lý tưởng của Chúng tôi
Chúng tôi tìm kiếm người không chỉ cung cấp giải pháp dữ liệu mà còn đi sâu vào cơ chế tính toán thời gian thực, ưu tiên tính ổn định đường ống, hiệu suất và chất lượng kỹ thuật. Khi giải quyết vấn đề phức tạp, bạn nên có khả năng chẩn đoán nguyên nhân gốc rễ từ nhiều góc độ - dữ liệu, mã, cấu hình tác vụ và cơ chế vận hành - và chính thức hóa giải pháp thành tiêu chuẩn hoặc công cụ có thể tái sử dụng.
Phúc lợi
Chi tiết sẽ được thảo luận trong quá trình phỏng vấn.
