Trách nhiệm chính

Xây dựng và mở rộng các pipeline dữ liệu cho nền tảng thông tin doanh nghiệp lớn nhất Nhật Bản, xử lý 8 tỷ điểm dữ liệu và 2,3 triệu bản ghi cập nhật hàng ngày.
Phát triển hệ thống thu thập, chuyển đổi và phân phối dữ liệu từ hơn 42 nguồn dữ liệu khác nhau.
Viết và tối ưu các truy vấn SQL phức tạp, đảm bảo hiệu suất cho các hệ thống dữ liệu quy mô lớn.
Sử dụng các công cụ điều phối như Airflow, Dagster hoặc Prefect để quản lý luồng công việc dữ liệu.
Hợp tác với các nhóm AI để cung cấp dữ liệu cho các pipeline AI đang chạy hàng ngày.

Yêu cầu công việc

2+ năm kinh nghiệm chuyên nghiệp trong data engineering.
Kỹ năng Python mạnh mẽ, viết mã sạch và có thể kiểm thử.
Kỹ năng SQL mạnh mẽ, viết truy vấn phức tạp, sử dụng window functions và tối ưu truy vấn.
Kinh nghiệm với ít nhất một công cụ điều phối: Airflow, Dagster, Prefect hoặc tương đương.
Kinh nghiệm làm việc với cơ sở dữ liệu quan hệ quy mô lớn – ưu tiên PostgreSQL.
Trình độ tiếng Anh chuyên nghiệp (working level).

Yêu cầu ưu tiên

Mức lương

Phúc lợi

Hình thức làm việc

Thông tin khác

Remote Data Engineer - AI Data Platform Japan (Python)