на главную
sber•05.11.2026Долгая вакансияОпубликована 16 дней назад на sber. Свежая — до 5 дней, умеренная — 6–14 дней, долгая — от 15 дней. Дата берётся с сайта-источника.Прямой откликПриоритетный отклик · PROПисьмо с вашим резюме уходит рекрутёру компании от сервиса ВАЙТИ — приоритетный канал доступен на PRO и PREMIUM

Исследователь в области переноса обученных LLM в новые архитектуры (GigaChat Pretrain)

С его помощью мы будем показывать вам только самые релевантные вакансии и сэкономим ваше время.

Гибрид г Москва

Навыки и технологии

Python

Ключевая задача

Исследовать и реализовывать методы переноса обученных LLM в новые архитектуры (dense в MoE, изменение ширины/внимания), оценивая экономию вычислений по сравнению с обучением с нуля.

Описание вакансии

Обязанности

  • Реализовывать методы переноса весов и адаптации модели к новой архитектуре.
  • Подбирать рецепт дообучения и сравнивать его с обучением с нуля.
  • Проверять собственные гипотезы, проводить абляции и оценивать экономию вычислений.

Требования

Что мы ждём

  • Уверенное владение Python и PyTorch.
  • Знакомство с распределённым обучением.
  • Понимание глубокого обучения и устройства Transformer.
  • Умение читать статьи и воспроизводить их результаты.

Будет плюсом

  • Собственный исследовательский проект.
  • Опыт обучения языковых моделей, работы с MoE или дистилляцией.
  • Опыт изменения архитектур и переноса предобученных весов.