Вайти
на главную
hh•2 ч. назадСвежая вакансияОпубликована сегодня на hh.ru. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Прямой откликПриоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Data инженер

УдалённоВ офисе МоскваБелая зарплатаУдаленная работаГибкий графикОфис в Москве

Навыки и технологии

Apache SparkApache KafkaPostgreSQLElasticsearchMySQLApache AirflowKubernetesPythonApache HadoopClickHouse

Ключевая задача

Развитие интеграционной среды и корпоративных данных: построение единого интеграционного слоя, развитие витрины DMDC и автоматизация подключения источников данных.

Описание вакансии

О компании

SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса. SkillStaff — аккредитованная IT-компания.

Обязанности

  • Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC.
  • Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.
  • Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов.
  • Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных.
  • Исправлять ошибки существующих потоков и повышать их надежность.
  • Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

Требования

  • Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
  • Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
  • Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark.
  • Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
  • Навыки работы с контейнеризацией и оркестрацией в Kubernetes.
  • Опыт проведения нагрузочного тестирования систем обработки данных.
  • Экспертное владение SQL и навыки оптимизации сложных запросов.
  • Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow).
  • Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем.

Условия

  • РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
  • КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
  • РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
  • КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!