на главную
hh•1 ч. назадСвежая вакансияОпубликована сегодня на hh.ru. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Прямой откликПриоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Дата инженер

В офисе МоскваДМСОплата больничногоКомпенсация фитнесаКомпенсация обучения английскому

Навыки и технологии

Apache SparkApache AirflowPythonPostgreSQLGreenplumApache HadoopMySQL

Ключевая задача

Разработка и оптимизация ETL-процессов на Spark и SQL для проекта миграции данных на единую платформу, построение и поддержка DWH.

Описание вакансии

О компании

Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.

Обязанности

Что нужно делать:

  • Оптимизация своего и чужого кода на Spark;
  • Написание эффективного кода на SQL, Python, Spark;
  • Настройка и поддержка DAG-ов в Airflow для оркестрации процессов;
  • Тестирование и отладка кода, обеспечение качества данных;
  • Взаимодействие с командой и заказчиком по уточнению требований.

Требования

Что мы хотели бы видеть:

  • Высшее образование;
  • Опыт работы со Spark , знание Pyspark;
  • Знания Spark архитектуры, и вопросов производительности;
  • Глубокие знания SQL;
  • Опыт работы с Airflow (написание и поддержка DAG-ов);
  • Понимание принципов распределенных вычислений (умение использовать нативные инструменты Spark);
  • Опыт работы с Hadoop;
  • Умение работать в команде и следовать процессам заказчика;
  • М/ж: Москва (офисный формат работы 5/2)

Желательно:

  • Знание экономики, финансов, банковской сферы;
  • Опыт работы с Iceberg, StarRocks, Trino.

Условия

Что ты приобретёшь, присоединившись к нам:

  • достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
  • работа в команде профессионалов готовых делиться экспертизой;
  • официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:

✔️ страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР),

✔️ сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни,

✔️ обучение детей сотрудников ИТ специальностям,

✔️ компенсация затрат на фитнес и занятия английским языком;

  • обеспечиваем техникой для работы (ноутбук, наушники, мышь);
  • профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
  • возможность пройти проф.сертификацию;
  • прозрачную систему карьерного развития Performance Review;
  • персонального куратора с первого дня работы;
  • насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;
  • комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники.