Вайти
на главную
it_one•3 ч. назадСвежая вакансияОпубликована сегодня на it_one. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Приоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Инженер данных / разработчик DWH

Навыки и технологии

Apache SparkApache AirflowRabbitMQPostgreSQLGitApache HadoopMySQL

Ключевая задача

Разработка и оптимизация ETL/ELT-потоков, обработка больших данных и интеграция систем в масштабном корпоративном хранилище данных транспортной отрасли.

Описание вакансии

О компании

Крупный государственный ИТ-проект в транспортной отрасли. Мы развиваем и поддерживаем масштабное корпоративное хранилище данных (DWH).

Обязанности

  • Разработка, поддержка и оптимизация ETL/ELT-пайплайнов для корпоративного хранилища данных.
  • Написание и оптимизация сложных SQL-запросов (в том числе для OLAP-систем).
  • Создание DAG'ов и управление зависимостями в Apache Airflow.
  • Работа с базами данных (PostgreSQL) и брокерами сообщений (Kafka, RabbitMQ).
  • Разработка и поддержка интеграций через API и веб-сервисы.
  • Документирование потоков данных и результатов работы в базе знаний.
  • Взаимодействие с разработчиками, аналитиками и архитекторами внутри проектной команды

Требования

  • Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL на SQL и PySpark.
  • Опыт работы с СУБД PostgreSQL, оркестратором Apache Airflow, а также с API, веб-сервисами и очередями.
  • Экспертиза в реализации ETL / ELT для хранилищ или озер данных.
  • Уверенное владение SQL и PL/SQL, навыки оптимизации SQL (в том числе для целей OLAP).
  • Уверенные навыки работы с PySpark.
  • Навыки работы с Apache Airflow: создание DAG'ов, управление зависимостями ETL-пайплайнов.
  • Обязательно хотя бы базовый уровень владения Apache Hadoop (Spark, Hive или Impala).
  • Опыт работы с брокерами сообщений (Kafka, RabbitMQ).
  • Опыт работы с Jira, Confluence, Git.
  • Понимание подходов к разработке, документированию и тестированию потоков данных.
  • Самостоятельность (умение докручивать постановки от аналитиков и документировать результаты).
  • Стрессоустойчивость и готовность работать в условиях сжатых сроков.
  • Умение эффективно взаимодействовать со смежными подразделениями и внешними заказчиками.