Sr Data Engineer

Posisi ini bersifat individual contributor dengan ekspektasi menjadi lead/PIC untuk seluruh inisiatif data aggregation, termasuk pengambilan keputusan arsitektur data ke depannya.

Tanggung Jawab:

• Merancang dan membangun microservice(s) untuk melakukan ingestion data dari berbagai sumber (internal maupun eksternal).
• Membangun dan mengelola data pipeline end-to-end, mulai dari extraction, cleaning, transformation, hingga loading (ETL/ELT).
• Menerapkan proses monitoring data quality untuk memastikan data yang masuk ke sistem AI akurat, konsisten, dan reliable.
• Menyiapkan data pipeline yang menjadi feed bagi sistem AI, sehingga outputnya dapat digunakan sebagai bagian dari fitur aplikasi Dialog.
• Mengevaluasi kebutuhan bisnis terkait data warehouse — termasuk mengambil keputusan apakah PostgreSQL yang saat ini digunakan masih memadai, atau perlu migrasi ke dedicated data warehouse (misalnya BigQuery, Snowflake, Redshift, dsb).
• Mendelegasikan sebagian task kepada anggota tim lain apabila diperlukan, sambil tetap memegang kepemilikan penuh (ownership) atas roadmap dan kualitas data aggregation secara keseluruhan.
• Berkoordinasi dengan tim AI/Product untuk memastikan struktur data yang dihasilkan sesuai dengan kebutuhan model dan fitur produk.

Kualifikasi:

• Berpengalaman sebagai Data Engineer (bukan posisi entry-level — kandidat diharapkan sudah punya pengalaman membangun data pipeline secara mandiri).
• Menguasai Python untuk data processing.
• Berpengalaman dengan minimal satu dari tools berikut: SQL, Spark, Airflow, Kafka (atau tools setara/alternatif lain seperti dbt, Dagster, Flink, dsb).
• Memiliki pemahaman kuat tentang data warehousing — mampu menganalisis kebutuhan bisnis dan memberikan rekomendasi teknis (termasuk keputusan strategis seperti migrasi warehouse).
• Terbiasa membangun dan memonitor data quality checks (data validation, anomaly detection, dsb).
• Mampu bekerja secara mandiri sekaligus memimpin/mendelegasikan pekerjaan ke anggota tim lain saat dibutuhkan.
• Nilai tambah: pengalaman bekerja dengan pipeline data yang menjadi input untuk sistem AI/ML.
• Wajib bisa berkomunikasi menggunakan bahasa inggris, karena akan handle klien dari luar negeri (Belanda)

Detail Recruitment:

• Jumlah posisi: 1 orang
• Timeline: Dibutuhkan secepatnya (start ASAP)
• Tools/tech stack: Tidak ada preferensi ketat — kandidat bebas mengusulkan stack yang paling sesuai, selama dapat mempertanggungjawabkan pilihannya.
• Level ekspektasi: Memimpin (lead) inisiatif data aggregation, dengan opsi mendelegasikan task ke tim eksisting sesuai kebutuhan dan kapasitas.
• Remote, namun akan onsite ke Yogyakarta 1-3x dalam satu bulan.