Вайти
на главную
getmatch•3 ч. назадПриоритетный откликВаше резюме и сопроводительное письмо уходят напрямую рекрутёру компании на почту, минуя общую очередь откликов на вакансию

Аналитик по оценке качества поиска, RAG и LLM

GPUБюджет на разметкуКоманда в управление

Навыки и технологии

СтатистикаPythonMySQL

Ключевая задача

Оценивать качество веб-поиска, RAG и агентов: строить надёжные метрики, калибровать LLM-судью и создавать golden-сеты для честного измерения.

Описание вакансии

Обязанности

  • Метрики, которым можно верить. nDCG, Recall@k и faithfulness — только начало. Нужно доказать, что +2 п.п. на бенчмарке — реальный рост, а не шум: бутстрап по вопросам, мощность, дисперсия между прогонами агента.
  • LLM-судьи с известной погрешностью. Судья — тоже модель: у него есть precision, recall и смещения по позиции, длине и self-preference. Вы откалибруете его против людей и решите, где хватит локальной быстрой модели, а где нужна фронтир-модель.
  • Golden-сеты, которые не протекают. Многохоповые вопросы в стиле BrowseComp с однозначным ответом и цепочкой доказательств, честное dev/hold-разбиение, защита от переобучения на бенчмарк.
  • Ручная разметка — там, где без неё нельзя.
  • Метрики для агента. Агент делает десятки шагов поиска. Как оценить пользу каждого запроса, поймать зацикливание и преждевременный стоп, построить кривую «точность от бюджета» и разложить потери по слоям: ретривал → извлечение фактов → рассуждение → ответ? Готовых решений в индустрии пока нет.

Требования

  • У вас математическое, физическое или инженерное образование.
  • 6+ лет в аналитике или DS, из них 3+ — оценка поиска, RAG или LLM.
  • Вы уже калибровали LLM-судью.
  • Статистика, Python и SQL — ваш родной язык.
  • Плюсом будет опыт с агентными бенчмарками (BrowseComp, MuSiQue, GAIA), свой датасет или статья по IR/NLP.

Условия

  • Задачи, которые в индустрии пока никто толком не решил.
  • GPU и бюджет на разметку.
  • Маленькую сильную команду в управление.