Middle Data Engineer
Навыки и технологии
Ключевая задача
Разработка и поддержка инфраструктуры данных для сбора, хранения и обработки игровых и продуктовых метрик, обеспечение стабильной работы аналитиков и продуктовых команд.
Описание вакансии
Обязанности
Разработка и поддержка DAG’ов в Apache Airflow, настройка CDC‑процессов для передачи данных в аналитическое хранилище, создание и оптимизация витрин данных на SQL, реализация трансформаций на Apache Flink, контроль качества данных инструментами Data Quality и оптимизация их обработки.
Требования
Уверенные знания Python и Java, глубокое понимание SQL, опыт работы с Apache Kafka, Apache Airflow, dbt, Great Expectations, Apache Flink, Apache Trino/Presto, Hive, Docker, MongoDB, PostgreSQL, AWS; плюсом будет опыт с Apache Spark, Kubernetes, CI/CD, Helm, Terraform и навыки программирования на Scala.
Условия
Полная занятость · Удалённая работа или офисы в разных странах