Data Engineer
Навыки и технологии
Ключевая задача
Разработка и рефакторинг ETL/ELT-пайплайнов на PySpark, поддержка OLAP-движков и миграция данных в рамках внедрения lakehouse.
Описание вакансии
О компании
💎 КИОН (ON Медиа, экосистема МТС)
Обязанности
разработки и рефакторинга ETL/ELT‑пайплайнов на PySpark, поддержки OLAP‑движков Starrocks/ClickHouse, сопровождения пайплайнов на Greenplum и Hadoop, миграции с HDFS на S3, оптимизации Spark‑приложений в рамках внедрения lakehouse с разделением compute и storage.
Требования
опыт работы с Python от 3 лет, глубокое знание SQL и опыт работы с большими данными, опыт с Apache Airflow, проектирование и разработка ETL/ELT‑процессов, работа с колоночными БД (ClickHouse), понимание принципов Data Warehouse и Data Lake, разница между OLTP/OLAP‑системами, уверенная работа с Linux и Git, понимание CI/CD.
Условия
Удалённо · Полная занятость