на главную
habr•1 дн. назадПриоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Data Engineer

УдалённоДМСКорпоративный университетБесплатное питаниеКорпоративный спорт

Навыки и технологии

GitLab CI/CDApache AirflowPythonDockerClickHouseKubernetesMySQL

Ключевая задача

Разработка и поддержка ETL/ELT-пайплайнов, миграция процессов загрузки данных на data-платформу на базе ClickHouse и обеспечение надёжности обработки данных.

Описание вакансии

О компании

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

WB Такси развивает экосистему сервисов для клиентов, водителей и операторов поддержки. Мы уже запустили сервис в Беларуси и масштабируемся на рынок РФ и страны СНГ.

Обязанности

  • Разрабатывать и поддерживать ETL/ELT-пайплайны для загрузки и обработки данных из различных источников;
  • Участвовать в миграции существующих процессов загрузки данных на новую data-платформу на базе ClickHouse;
  • Развивать и поддерживать инструменты оркестрации и обработки данных;
  • Автоматизировать процессы разработки и эксплуатации data-платформы: CI/CD, тестирование, развёртывание и управление конфигурациями;
  • Развивать наблюдаемость платформы: настраивать мониторинг, логирование и алерты, участвовать в расследовании и устранении инцидентов;
  • Повышать надёжность и производительность пайплайнов: оптимизировать выполнение задач, обеспечивать повторную обработку данных и восстановление после сбоев.

Требования

  • Опыт работы Data Engineer от 2 лет;
  • Уверенное знание Python и SQL, опыт разработки и сопровождения data-пайплайнов;
  • Практический опыт работы с Docker, Kubernetes и инструментами CI/CD (GitLab CI или аналоги);
  • Опыт работы с Apache Airflow или другим оркестратором, понимание принципов построения надёжных процессов обработки данных;
  • Опыт работы с ClickHouse или другими аналитическими СУБД, понимание принципов построения DWH и инкрементальных загрузок;
  • Опыт диагностики технических проблем, понимание принципов мониторинга, логирования и обеспечения отказоустойчивости систем.

Условия

  • Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
  • Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
  • Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
  • Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
  • Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
  • Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.