ML-инженер

Мы развиваем ML-платформу прогнозирования спроса для федеральной розничной сети. Работаем с большими объемами данных: отдельные расчеты обрабатывают терабайты, а общий объем данных платформы измеряется петабайтами.

Расчетный контур построен на Apache Spark и Kubernetes, оркестрация на Apache Airflow, данные храним в S3 и Delta Lake. Для разработки и автоматизации используем Python и GitLab CI/CD.

• развивать и автоматизировать процессы запуска и эксплуатации приложений в Kubernetes
• диагностировать сбои, разбираться в проблемах с ресурсами, конфигурациями и производительностью приложений
• развивать CI/CD, автоматизировать развертывание и поставку изменений между DEV, UAT и PROD
• разрабатывать и развивать внутренние инструменты ML-платформы на Python
• улучшать мониторинг, логирование и диагностику, повышать стабильность и надежность расчетного контура
• участвовать в развитии расчетных пайплайнов на Spark и Airflow, интеграции новых ML-алгоритмов и изменений от Data Science в production

Мы ожидаем

• уверенное знание Python и опыт промышленной разработки
• практический опыт работы с Kubernetes и Docker, включая развертывание и диагностику приложений
• уверенное владение Linux, понимание сетевого взаимодействия и управления ресурсами
• опыт работы с CI/CD и автоматизации сборки и развертывания приложений
• понимание принципов работы распределенных систем
• опыт диагностики и устранения проблем в production-системах

Будет плюсом

• опыт работы с Apache Spark / PySpark, особенно в Kubernetes
• опыт работы с Apache Airflow или другими системами оркестрации
• опыт работы с Helm, Terraform, Argo CD или аналогичными инструментами
• опыт работы с S3, Delta Lake и SQL
• опыт работы с Grafana, Prometheus, Loki и другими инструментами мониторинга и логирования
• опыт разработки и эксплуатации промышленных ML-систем