Вайти
на главную
getmatch•4 ч. назадСвежая вакансияОпубликована сегодня на GetMatch. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Приоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Инженер по обработке данных

УдалённоГибридУдалёнка/гибридКарьерный ростСпортзалСкидки

Навыки и технологии

Apache AirflowPythonApache SparkApache KafkaPostgreSQLApache HadoopMySQL

Ключевая задача

Интеграция источников данных голосовых и текстовых коммуникаций, реализация пакетных и потоковых сервисов обработки данных и витрин для ML-моделей.

Описание вакансии

Обязанности

  • Интеграция источников данных по голосовым и текстовым коммуникациям клиентов со специалистами обслуживания и поддержки.
  • Реализация пакетных и потоковых сервисов обработки данных для оценки качества коммуникаций.
  • Создание витрин данных для моделей машинного обучения.
  • Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

Требования

  • Опыт анализа данных - изучение семантики и связи таблиц и объектов данных, характеризующих общие бизнес-процессы, но находящихся в разных хранилищах, выявления причин расхождения семантически эквивалентных данных в разных хранилищах.
  • Высокий уровень знаний языка программирования Python.
  • Опыт реализации промышленных отказоустойчивых сервисов пакетной загрузки и трансформации данных (ETL) под управлением оркестратора задач Apache Airflow.
  • Понимание принципов микросервисной архитектуры.
  • Понимание принципов распределенных вычислений и обработки данных.
  • Понимание принципов потоковой обработки данных.
  • Хорошее знание платформы Apache Spark – опыт использования библиотеки pyspark.
  • Знание и опыт использования платформы потоковой обработки данных Apache Kafka.
  • Отличное знание SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций.
  • Хорошее знание и опыт использования реляционных баз данных Oracle или PostgreSQL.
  • Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc.
  • Хорошее знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3 - оба, форматы таблиц Hive часть хадупа, Iceberg.

Условия

  • Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования.
  • Возможен удаленнй формат работы или гибрид.
  • Сложные и интересные задачи, современный стек технологий.
  • Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни.
  • Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий.
  • Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.
  • Работа у трижды лучшего работодателя РФ по версии hh.ru, Forbes, РБК.
  • Программа развития AI-грамотности: треки по работе с нейросетями от базового до продвинутого уровня.