Вайти
на главную
avito_career•5 ч. назадСвежая вакансияОпубликована сегодня на avito_career. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Приоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Инженер LLM Gateway (MLOps/LLMOps)

ДМССтрахование жизниПсихологическая поддержкаКомпенсация питания

Навыки и технологии

GoPython

Ключевая задача

Развитие LLM Gateway — единой точки доступа к языковым моделям: лидирование стримов, поддержка высоконагруженной инфраструктуры и MLOps/LLMOps для ML/LLM-моделей.

Описание вакансии

О компании

Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене.

Требования

Мы ждём, что вы:

  • лидировали крупные стримы с высокой степенью неопределённости: собирали требования; планировали работу; декомпозировали задачи; отвечали за реализацию и мониторинг результатов;
  • собирали требования;
  • планировали работу;
  • декомпозировали задачи;
  • отвечали за реализацию и мониторинг результатов;
  • поддерживали критическую высоконагруженную инфраструктуру: настраивали мониторинг и алёрты; участвовали в дежурствах 24/7;
  • настраивали мониторинг и алёрты;
  • участвовали в дежурствах 24/7;
  • программируете на Python или Go от 5 лет;
  • имеете опыт в MLOps или LLMOps: поднимали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями;
  • понимаете базовые принципы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT.
  • собирали требования;
  • планировали работу;
  • декомпозировали задачи;
  • отвечали за реализацию и мониторинг результатов;
  • настраивали мониторинг и алёрты;
  • участвовали в дежурствах 24/7;

лидировали крупные стримы с высокой степенью неопределённости:

поддерживали критическую высоконагруженную инфраструктуру:

Условия

Работа у нас — это:

  • расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;
  • сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких;
  • корпоративный спорт: групповые тренировки, велбиинг-приложение;
  • спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;
  • компенсация питания.