Развитие и поддержка on-premise LLM-инфраструктуры на GPU-серверах с vLLM для внутренней экосистемы ИИ-сервисов компании.
Сейчас мы активно развиваем внутреннюю экосистему ИИ-сервисов (умные чат-боты, транскрибация, инструменты для разработчиков и инженеров). Наша LLM-инфраструктура работает on-premise: несколько GPU-серверов с vLLM, нагрузка растёт. Нам нужен автономны...