Trách nhiệm chính

• Xây dựng và vận hành Data Pipeline thu thập dữ liệu từ nhiều nguồn như SQL Server, PostgreSQL, MySQL vào hệ thống Data Lakehouse.
• Thiết kế, phát triển và quản lý workflow/DAG trên Airflow, đảm bảo pipeline hoạt động ổn định, chính xác và hiệu quả.
• Xử lý và quản lý dữ liệu xuyên suốt các tầng Raw, Cleansed, Aggregated, đáp ứng nhu cầu khai thác dữ liệu của các phòng ban.
• Tối ưu hiệu năng lưu trữ và truy vấn dữ liệu trên các nền tảng như Dremio và ClickHouse.
• Theo dõi chất lượng dữ liệu, xây dựng cơ chế kiểm tra, cảnh báo và chủ động xử lý các sự cố liên quan đến Data Pipeline.
• Xây dựng và cập nhật các tài liệu kỹ thuật như Data Dictionary, Runbook và tài liệu vận hành nhằm đảm bảo khả năng kế thừa và mở rộng hệ thống.
• Bảo mật và vận hành hạ tầng dữ liệu, triển khai cơ chế phân quyền truy cập dữ liệu theo nguyên tắc Least Privilege trên các nền tảng Lakehouse, Dremio, ClickHouse và Power BI.
• Tham gia xây dựng và thực hiện các quy trình backup, retention, restore và quản lý log phục vụ nhu cầu kiểm toán và vận hành hệ thống.
• Phát triển dữ liệu phục vụ Business & báo cáo, xây dựng và duy trì các báo cáo Power BI ở mức cơ bản, bao gồm Data Model, DAX Measure và các hình thức trực quan hóa dữ liệu phổ biến.
• Làm việc trực tiếp với các bộ phận Kinh doanh, Vận hành, Tài chính và Sản phẩm để phân tích nhu cầu, làm rõ bài toán dữ liệu và chuẩn hóa định nghĩa các chỉ số quan trọng.
• Xây dựng và cung cấp các Data Set đáng tin cậy, phục vụ hoạt động phân tích và ra quyết định của doanh nghiệp.
• Đảm bảo các kết quả được kiểm tra và xác thực trước khi sử dụng trong báo cáo hoặc phục vụ hoạt động ra quyết định.
• Nghiên cứu và ứng dụng các công cụ AI/LLM nhằm nâng cao hiệu quả trong quá trình phân tích và xử lý dữ liệu.
• Tham gia xây dựng các công cụ AI đơn giản, hỗ trợ các phòng ban khai thác thông tin và giải đáp những câu hỏi phổ biến dựa trên dữ liệu.
• Tuân thủ các quy định về bảo mật dữ liệu, đặc biệt đối với việc sử dụng dữ liệu nhạy cảm trên các công cụ và nền tảng AI bên ngoài.

Yêu cầu

• Có từ 4 năm kinh nghiệm Data Engineer, từng trực tiếp xây dựng và vận hành Data Pipeline trong môi trường Production.
• Thành thạo SQL và Python cho xử lý dữ liệu; có kinh nghiệm với Pandas/PySpark và tối ưu truy vấn.
• Có kinh nghiệm tự xây dựng, quản lý và vận hành DAG trên Airflow.
• Làm việc được với ít nhất 2 trong các hệ quản trị cơ sở dữ liệu: SQL Server, PostgreSQL, MySQL; hiểu về Incremental Extract hoặc CDC.
• Có kinh nghiệm hoặc kiến thức vận hành hệ sinh thái Hadoop (HDFS, Hive, Spark) và các nền tảng xử lý/truy vấn dữ liệu như ClickHouse, Dremio hoặc tương đương.
• Có khả năng xây dựng báo cáo cơ bản trên Power BI, bao gồm Data Model, DAX, Publish và Refresh.
• Có kiến thức cơ bản về bảo mật và vận hành hệ thống: phân quyền, quản lý Secret, xử lý dữ liệu nhạy cảm, Linux và đọc Log.
• Đã ứng dụng LLM/AI vào công việc và có khả năng kiểm chứng kết quả; thành thạo Git và quy trình Branch/PR.

Yêu cầu ưu tiên

• Có kinh nghiệm về Cloudera CDP/CDH, Ranger, Data Modeling, dbt, Docker/Kubernetes, CI/CD.
• Từng có kinh nghiệm làm việc trong lĩnh vực E-commerce, Retail hoặc SaaS.
• Có kiến thức về Data Security, AI/LLM (RAG, Text-to-SQL, LangChain, n8n), Machine Learning.
• Khả năng đọc hiểu tài liệu tiếng Anh là một lợi thế.

Phúc lợi

• Thu nhập cạnh tranh, được xem xét và đánh giá định kỳ dựa trên năng lực và hiệu quả công việc.
• Hưởng đầy đủ các chế độ, chính sách và phúc lợi theo quy định của Công ty và pháp luật.

Thông tin khác

• Liên hệ: Gửi CV và linkGitHub hoặc mô tả ngắn một pipeline bạn từng xây (nếu có) về email: trangnth12@sapo.vn
• Mọi thông tin xin vui lòng liên hệ Ms. Trang: 032 669 7822
• Địa điểm làm việc: Hà Nội