Матрица компетенций: GenAI / LLM Engineering
Матрица показывает, что нужно знать на каждом грейде, и открыта полностью. Как мы её составили и как считаем грейд — в методологии.
Hard skills
Skill Passport — Data Science и Machine Learning
Use case, ценность и рискОбъясняет понятие «граница автоматизации и ответственность» для «Use case, ценность и риск» на одном заданном примере.; Различает темы «baseline пользы и цена ошибки» и «сегменты и критерий остановки» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
Model selection и routingОбъясняет понятие «ограничения качества, задержки и формата модели» для «Model selection и routing» на одном заданном примере.; Различает темы «маршрутизация по SLO и данным» и «fallback и стоимость результата» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
Prompt и context engineeringОбъясняет понятие «иерархия инструкций и контекста» для «Prompt и context engineering» на одном заданном примере.; Различает темы «схема ответа, неопределённость и репрезентативность проверки» и «версионирование prompt и состояние» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
RAG, retrieval и groundingОбъясняет понятие «качество и права корпуса» для «RAG, retrieval и grounding» на одном заданном примере.; Различает темы «retrieval и reranking» и «поддержка утверждений источником» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
Agents, tools и workflow controlОбъясняет понятие «минимальные функции и права» для «Agents, tools и workflow control» на одном заданном примере.; Различает темы «подтверждение опасных действий и границы автономного цикла» и «идемпотентность и остановка» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
Evaluation, experiments и red teamingОбъясняет понятие «репрезентативный golden set» для «Evaluation, experiments и red teaming» на одном заданном примере.; Различает темы «раздельные метрики этапов» и «human review и adversarial tests» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
Safety, privacy, security и governanceОбъясняет понятие «минимизация и классификация данных» для «Safety, privacy, security и governance» на одном заданном примере.; Различает темы «prompt injection и trust boundaries» и «provenance и incident response» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
Inference, observability и economicsОбъясняет понятие «сквозная задержка и SLO» для «Inference, observability и economics» на одном заданном примере.; Различает темы «лимиты, fallback и rollback» и «безопасная наблюдаемость» по инструкции и входным данным.; Знает пределы доступа, критерий проверки и путь эскалации.
Soft skills
Skill Passport — Автономность и глубина
Автономность и масштаб задачОписывает задачи, которые выполнял по чёткой постановке от старшего коллеги или тимлида — конкретные тикеты с готовой декомпозицией. Роль в рассказе — исполнитель отдельных задач; не называет случая, где сам отвечал за результат целой фичи или модуля, а не за один тикет внутри неё.
Глубина технических решенийОписывает ситуацию выбора, но воспроизводит готовое решение (предложенное старшим коллегой, документацией или очевидное по шаблону) — либо называет только один рассмотренный вариант без реального сравнения, либо не может объяснить, почему выбран именно он, а не альтернатива.