Когда пилотов больше трёх, каждый следующий без платформы дороже предыдущего. Я проектирую и строю AI‑платформы: единый инференс, управление моделями и промптами, мониторинг качества и безопасность данных. Этим я занимался последние годы в масштабе облачного провайдера.
Каждая команда зовёт модели по‑своему: разные ключи, разные подрядчики, никто не знает суммарную стоимость.
Промпты меняются на проде без тестов, регрессии замечают пользователи. Нужны evals и контроль версий.
Чувствительные данные уходят во внешние API без маскирования и журналирования — и это блокирует масштабирование.
Единая точка доступа к моделям: облачные API и локальные open source через vLLM. Квоты, биллинг по командам, отказоустойчивость.
Версионирование промптов, автоматические evals на золотых наборах, трассировка запросов, A/B‑сравнение моделей.
Guardrails, маскирование персональных данных, контроль прав на инструменты агентов, полное журналирование.
Пайплайны обучения, реестр моделей, мониторинг дрифта — если у вас есть и предиктивные задачи, не только генеративные.
Платформа строится от квартала и дольше, но я не прошу год веры авансом: каждый этап заканчивается работающей функцией, которой пользуются команды. Сначала единый инференс — он окупается быстрее всего. Потом evals и наблюдаемость. Потом безопасность и масштабирование.
Стек подбирается под вашу инфраструктуру и регуляторные требования: от полностью локального контура на open source до гибрида с облачными моделями.
Расскажите, что уже есть — пилоты, команды, инфраструктура. Предложу поэтапный план и с чего начать.