Mô Tả Công Việc
Chúng tôi đang tìm kiếm một chuyên gia có tay nghề cao để dẫn dắt việc phát triển và bảo trì hệ thống thu thập dữ liệu phân tán quy mô lớn. Ứng viên lý tưởng sẽ đối mặt với các cơ chế chống thu thập dữ liệu phức tạp đồng thời đảm bảo việc thu thập dữ liệu ổn định phục vụ nhu cầu kinh doanh cốt lõi.
Trách Nhiệm Chính
- Dẫn dắt việc phá vỡ các cơ chế chống thu thập dữ liệu đa dạng và duy trì hệ thống thu thập phân tán quy mô lớn để đảm bảo nguồn cung dữ liệu cốt lõi ổn định
- Hiểu sâu logic giao dịch định lượng và phối hợp chặt chẽ với nhóm để chuyển đổi yêu cầu nghiệp vụ thành giải pháp kỹ thuật hiệu quả
- Hợp tác với các nhóm sản phẩm, thiết kế và front-end để đảm bảo chất lượng đầu ra
- Thiết kế và triển khai pipeline xử lý dữ liệu mạnh mẽ cho cả dữ liệu có cấu trúc và phi cấu trúc
- Liên tục tối ưu hóa hiệu suất và độ ổn định hệ thống trong các tình huống có tính đồng thời cao
Yêu Cầu Công Việc
- Nền Tảng Kỹ Thuật Vững Chắc:
- 3+ năm kinh nghiệm phát triển Python với nền tảng khoa học máy tính vững (cấu trúc dữ liệu, thuật toán, mạng, hệ điều hành)
- Hiểu sâu bản chất Python (GIL, quản lý bộ nhớ) và thành thạo các mô hình process/thread/coroutine cho thiết kế đồng thời hiệu năng cao
- Thành thạo FastAPI, Django và các framework web khác; chuyên sâu MySQL/Redis với kỹ năng thiết kế và tối ưu cơ sở dữ liệu mạnh
- Có kinh nghiệm với Docker và quen thuộc với k8s; có khả năng triển khai độc lập
- Kỹ Năng Thu Thập Dữ Liệu và Đảo Ngược Kỹ Thuật:
- 2+ năm kinh nghiệm thu thập dữ liệu quy mô lớn với các framework như Scrapy và Playwright
- Khả năng đảo ngược kỹ thuật JS mạnh để gỡ lỗi và giải mã code; quen thuộc với các thuật toán mã hóa (RSA/AES/DES) trong chống thu thập dữ liệu
- Hiểu thấu đáo các cơ chế chống thu thập (CAPTCHA, cấm IP, ký yêu cầu, phát hiện hành vi) với các biện pháp đối phó đã được chứng minh
- Có kinh nghiệm làm sạch dữ liệu (giá trị thiếu/bất thường) và thiết kế giải pháp lưu trữ phù hợp (RDBMS/NoSQL/cơ sở dữ liệu chuỗi thời gian)
- Ưu Tiên:
- Kinh nghiệm giao dịch thực tế với hiểu biết về xu hướng và chỉ số thị trường
- Kinh nghiệm áp dụng ML/DL trong nhận dạng mô hình nến, robo-advisor hoặc chiến lược thông minh
- Quen thuộc với thị trường tiền điện tử, tương lai hoặc chứng khoán
- Tư duy thiết kế sản phẩm mạnh
- Kinh nghiệm triển khai AI/ML
- Thành thạo Golang
Phúc Lợi
Vui lòng liên hệ trực tiếp với nhóm Nhân sự của chúng tôi qua Telegram để biết thông tin chi tiết về chế độ lương thưởng và phúc lợi.