на главную
telegram•только чтоСвежая вакансияОпубликована сегодня на Telegram. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.

Data Engineer

УдалённоУдалённая работа

Навыки и технологии

GitLab CI/CDPythonClickHouseDockerApache KafkaKubernetesGreenplumApache AirflowApache SparkMySQL

Ключевая задача

Проектирование, разработка и развитие data pipelines и DWH, работа с большими объёмами данных на Python и SQL.

Описание вакансии

Обязанности

  • 🔷 проектировать, разрабатывать и развивать data pipelines;
  • 🔷 работать с DWH: моделями данных, слоями, витринами и ETL/ELT-процессами;
  • 🔷 писать и оптимизировать сложные SQL-запросы;
  • 🔷 разрабатывать на Python инструменты и сервисы для работы с данными;
  • 🔷поддерживать и развивать production-пайплайны;
  • 🔷 работать с большими объемами данных и распределенной обработкой;
  • 🔷следить за качеством и надежностью данных;
  • 🔷участвовать в выборе технических решений и развитии data-платформы;
  • 🔷 взаимодействовать с аналитиками, разработчиками и другими продуктовыми командами.
  • 🔷Для Senior-уровня также важен опыт самостоятельного проектирования архитектурных решений и способность брать ответственность за технический подход к задаче.

Требования

✔️Что для нас важно

  • 🔷очень хорошее знание SQL и опыт работы со сложными запросами и большими объемами данных;
  • 🔷 уверенный Python: не только небольшие скрипты, но и production-код, библиотеки или внутренние инструменты;
  • 🔷 хорошее понимание принципов построения DWH;
  • 🔷опыт проектирования и разработки ETL/ELT-процессов;
  • 🔷 понимание моделирования данных, построения витрин и контроля качества данных;
  • 🔷 умение самостоятельно разбираться в задаче и предлагать техническое решение.

✔️Желательно

  • 🔷практический опыт с Airflow: разработка и поддержка DAG, scheduling, retries, backfill, monitoring;
  • 🔷опыт с dbt или похожими инструментами трансформации данных;
  • 🔷 опыт со Spark и понимание распределенной обработки данных;
  • 🔷работа с аналитическими СУБД: ClickHouse, Greenplum, Vertica или другими MPP/OLAP-системами.

✔️Будет плюсом

  • 🔷Kafka;
  • 🔷Iceberg;
  • 🔷 Trino;
  • 🔷Docker / Kubernetes;
  • 🔷 CI/CD;
  • 🔷понимание подходов Data Mesh;
  • 🔷 участие в open-source или собственные технические проекты.

Условия

Формат: Можно удалённо