Вайти
на главную
it_one•3 ч. назадСвежая вакансияОпубликована сегодня на it_one. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Приоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Инженер данных / Разработчик DWH

Навыки и технологии

Apache HadoopApache AirflowGitGreenplumMySQL

Ключевая задача

Разработка и оптимизация ETL/ELT-потоков и поддержка масштабного корпоративного хранилища данных в крупном государственном ИТ-проекте транспортной отрасли.

Описание вакансии

О компании

Крупный государственный ИТ-проект в транспортной отрасли. Мы развиваем и поддерживаем масштабное корпоративное хранилище данных (DWH).

Обязанности

Обязанности

  • Разработка, поддержка и оптимизация ETL/ELT-пайплайнов для корпоративного хранилища данных (с использованием СУБД Greenplum или ADB).
  • Написание и оптимизация сложных SQL-запросов (в том числе для OLAP-систем).
  • Создание DAG'ов и управление зависимостями в Apache Airflow.
  • Работа с Kafka (понимание принципов работы и интеграция).
  • Понимание и применение подходов Data Vault в работе с хранилищем.
  • Документирование потоков данных, тестирование и поддержка результатов работы в базе знаний.
  • Взаимодействие с разработчиками, аналитиками и архитекторами внутри проектной команды.

Требования

Обязательные требования

  • Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL в хранилищах данных на СУБД Greenplum или ADB.
  • Опыт разработки с использованием dbt, оптимизации процессов загрузки и обработки больших витрин.
  • Экспертиза в реализации ETL / ELT для хранилищ или озер данных.
  • Уверенное владение SQL и PL/SQL (СУБД Greenplum / ADB).
  • Навыки оптимизации SQL (в том числе для целей OLAP).
  • Навыки работы с Apache Airflow: создание DAG'ов, управление зависимостями ETL-пайплайнов.
  • Понимание Data Vault и навыки работы с ним.
  • Знание подходов к разработке, документированию, тестированию потоков данных.
  • Обязательно хотя бы базовый уровень владения Apache Hadoop (Spark, Hive или Impala).
  • Понимание работы и взаимодействия с Kafka.
  • Опыт работы с Jira, Confluence, Git.
  • Готовность оперативно погрузиться в сложную архитектуру с множеством требований к разработке и немейнингом объектов.
  • Самостоятельность: умение докручивать постановки от аналитиков и самостоятельно документировать результаты в базе знаний.
  • Готовность работать в условиях сжатых сроков.
  • Умение эффективно взаимодействовать с разработчиками, аналитиками, архитекторами, а также со смежными подразделениями и экспертами заказчика.

Будет плюсом

  • Опыт работы с архитектурой Data Mesh.