Вайти
на главную
skillstaff•2 дн. назадПриоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Data инженер

УдалённоУдаленная работаСрок 24 мес с пролонгацией

Навыки и технологии

MongoDBDockerPostgreSQLGreenplumMySQLGitGitLab CI/CDApache SparkGrafanaPythonKubernetesKibanaClickHouse

Ключевая задача

Развитие и поддержка корпоративной платформы данных для крупной розничной сети: ETL-пайплайны, dbt-модели, Airflow DAG и Data Vault 2.0.

Описание вакансии

О компании

Заказчик - крупная розничная сеть.
Проект - масштабирование и совершенствование корпоративной платформы данных для федеральной розничной сети.

Обязанности

  • Создание и развитие ETL‑пайплайнов с использованием Python и PySpark;
  • Поддержка и доработка DAG в Airflow: анализ логов, устранение типовых сбоев, выполнение backfill;
  • Разработка dbt‑моделей, а также сопутствующих тестов и документации;
  • Обслуживание сущностей Data Vault 2.0 (в части Satellite);
  • Взаимодействие с хранилищем S3 (через boto3) и работа с СУБД;
  • Выполнение базовых проверок качества данных: контроль NULL‑значений, проверка уникальности ключей и корректности типов.;
  • Фиксация технической метаданных в DataHub и отслеживание статуса пайплайнов в системах мониторинга.

Требования

  • Не менее 2 лет опыта в роли data‑инженера;
  • Уверенное владение Python: синтаксис, основы ООП, написание ETL‑скриптов с применением готовых библиотек, навыки отладки;
  • Знание PySpark: работа с DataFrames API, понимание разницы между Action и Transformation, базовые представления об архитектуре Spark;
  • Навыки работы с SQL: построение JOIN, использование агрегаций и оконных функций, базовое понимание работы индексов;
  • Опыт в Airflow: настройка DAG, расписаний, операторов и сенсоров, работа с Connections и Variables, настройка ретраев и алертов;
  • Владение dbt: создание моделей, источников, использование refs и Jinja, настройка материализаций, seeds и тестов;
  • Работа с Git и GitLab CI: управление ветками, создание MR, участие в код‑ревью, чтение конфигураций .gitlab‑ci.yml;
  • Базовые навыки в Docker: составление Dockerfile, локальная сборка и запуск контейнеров;
  • Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, а также ключевых принципов Data Vault 2.0;
  • Опыт работы с СУБД: PostgreSQL, ClickHouse, Greenplum, Oracle, MySQL (понимание реляционной модели и принципов ACID), базовые знания NoSQL;
  • Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry, Kibana.

Будет плюсом:

  • Опыт в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание дата‑контрактов.

Условия

Формат работы: Удаленно

Срок: 24 мес с возможностью пролонгации