PFS - Python Developer

Deskripsi Pekerjaan:

Kami mencari seorang Python Developer yang berpengalaman dalam PySpark dan familiar dengan tools Data Catalog (seperti Collibra) untuk bergabung dalam tim pengembangan software. Kandidat akan bertanggung jawab dalam pengembangan, optimasi, dan integrasi solusi data menggunakan PySpark serta memastikan tata kelola data yang baik melalui penerapan Data Catalog.

Tanggung Jawab & Job Desk:

• Mengembangkan dan memelihara aplikasi berbasis Python dengan library PySpark untuk pemrosesan data skala besar.
• Membangun dan mengoptimalkan pipeline data dengan Spark SQL, DataFrame API, dan Spark Streaming.
• Mengelola metadata, lineage, dan governance data menggunakan Data Catalog tools (Collibra/Alation/DataHub dll.).
• Memastikan kualitas data, konsistensi, dan compliance dengan standar perusahaan.
• Berkolaborasi dengan tim data engineer & analyst untuk mengintegrasikan solusi data.
• Berpartisipasi dalam diskusi arsitektur untuk memastikan solusi yang dikembangkan sesuai dengan kebutuhan bisnis dan teknologi

Kualifikasi & Persyaratan:

Technical Skills:

• Pengalaman kuat dalam Python dengan fokus pada PySpark.
• Pemahaman mendalam tentang relational databases (SQL, PostgreSQL, MySQL, etc.) dan konsep data warehousing.
• Pengalaman dalam menggunakan tools data katalog seperti Collibra, termasuk konfigurasi, integrasi, dan pengelolaan metadata
• Familiar dengan big data ecosystem (Hadoop, Hive, Spark, Delta Lake, etc.).

Soft Skills & Lainnya:

• Kemampuan analitis yang kuat dan perhatian terhadap detail.
• Bisa bekerja dalam tim maupun mandiri.
• Komunikasi yang baik untuk berkolaborasi dengan stakeholder non-teknis.