Вайти
на главную
skillstaff•6 дн. назадУмеренная вакансияОпубликована 6 дней назад на skillstaff. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Приоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Data инженер

УдалённоУдаленная работаБессрочный проект

Навыки и технологии

Apache SparkApache KafkaPostgreSQLElasticsearchMySQLGitApache AirflowKubernetesC#PythonApache HadoopClickHouse

Ключевая задача

Развитие интеграционной среды и витрины данных банка: разработка потоков подключения метаданных, автоматизация на PySpark и Airflow, оптимизация обработки данных.

Описание вакансии

О компании

Отрасль заказчика: Банки и финансы

О проекте: Банк.

Обязанности

  • Развитие интеграционной среды: Разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC;
  • Автоматизация и шаблонизация: Создание шаблонов в платформе управления метаданными для обеспечения подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool);
  • Разработка инструментов автоматизации: Проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных;
  • Поддержка и оптимизация: Исправление ошибок существующих потоков, а также разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов (оптимизация чтения при наличии значительного количества delete-файлов);
  • Модернизация витрины: Доработка функциональности витрины DMDC для обеспечения полной поддержки возможностей каталога данных;
  • Документирование: Подготовка и ведение проектной документации по результатам разработки.

Требования

Профессиональные навыки и опыт:

  • Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow;
  • Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop);
  • Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark;
  • Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3;
  • Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s);
  • Опыт проведения нагрузочного тестирования систем обработки данных.

Стек технологий:

  • СУБД: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive);
  • Data Stack: Hadoop, S3, Impala, Hive, Spark, Iceberg, Kafka, Elasticsearch;
  • Языки программирования: Python (Pandas, NumPy, Matplotlib), C#, SQL;
  • Инструментарий: Git, Jira, Kubernetes.

Общие компетенции:

  • Экспертное владение SQL и навыками оптимизации сложных запросов;
  • Знание основ математической статистики, анализа данных и основ машинного обучения (PyTorch, TensorFlow);
  • Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем.

Условия

Формат работы: Удаленно

Срок: бессрочно