Вайти
на главную
skillstaff•2 дн. назадПриоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Data инженер

УдалённоУдаленная работаСрок 24 месВозможность пролонгации

Навыки и технологии

GitLab CI/CDPythonGitDockerGrafanaKubernetesMySQL

Ключевая задача

Развитие и архитектурное совершенствование корпоративной платформы данных для крупной розничной сети: Spark-пайплайны, dbt, Data Vault 2.0, CI/CD и DQ.

Описание вакансии

О компании

Заказчик - крупная розничная сеть.
Проект - развитие и архитектурное совершенствование корпоративной платформы данных для крупной розничной сети.

Обязанности

  • Создание и развитие Spark-пайплайнов, в том числе Structured Streaming;
  • Проектирование модульных и динамических DAG, разработка кастомных операторов, сенсоров и хуков;
  • Построение слоистой модели в dbt (staging, intermediate, marts): реализация incremental‑моделей, снимков (snapshots), макросов, настройка Slim CI;
  • Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных;
  • Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки;
  • Настройка CI/CD‑процессов в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals);
  • Внедрение DQ‑фреймворков (например, Great Expectations), настройка метрик качества данных и алертов;
  • Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub;
  • Составление дата‑контрактов.

Требования

  • Опыт в data‑инжиниринге от 4 лет;
  • Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода;
  • Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи;
  • Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД;
  • Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator;
  • Высокий уровень владения dbt;
  • Навыки эффективной работы с Git: владение командами rebase и cherry‑pick, организация версионирования релизов;
  • Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы;
  • Работа с S3: настройка lifecycle‑правил и управление версионированием объектов;
  • Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций;
  • Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах.

Будет плюсом:

  • Опыт работы в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание подхода с дата‑контрактами.

Условия

Формат работы: Удаленно

Срок: 24 мес с возможностью пролонгации