LLMOps & Agentic Infrastructure - AI06

Описание

Программа посвящена производственной инфраструктуре для LLM и агентов: serving‑стеку, экономике GPU, оркестрации и масштабированию, наблюдаемости (AgentOps, tracing, evals), безопасности и шлюзовому уровню (AI gateway).

Аудитория

Платформенные инженеры, SRE‑ и DevOps‑специалисты, команды ML‑платформ, архитекторы, отвечающие за стоимость, латентность и безопасность LLM‑сервисов.

Расписание

День 1. Стек инференса и экономика GPU.

Serving‑платформы (vLLM, SGLang) и кэширование префиксов через RadixAttention. Speculative decoding и связки draft‑ и oracle‑моделей. Multi‑LoRA serving и обслуживание десятков адаптеров на одном ускорителе. Маршрутизация между провайдерами и локальными моделями по стоимости и латентности.

День 2. Оркестрация и GPU‑native Kubernetes.

Контейнерные стеки и оптимизированные микросервисные сборки для foundation‑моделей. Автоскейлинг по LLM‑метрикам (KV‑cache utilization, длина очереди) вместо классических CPU/RAM. Serverless GPU как способ обработки пиковых нагрузок. Версионирование данных и автоматическая инвалидация векторов в RAG и GraphRAG.

День 3. Наблюдаемость и AgentOps.

Трассировка цепочек рассуждений и отладка мультиагентных графов. Evals‑as‑a‑Service и встраивание автоматических тестов в CI/CD с блокировкой деплоя при деградации метрик. Семантический мониторинг и обнаружение concept drift. Аналитика логов рассуждений как сырьё для последующего дообучения моделей.

День 4. Безопасность и AI gateway.

Централизованное управление ключами, квотами и rate limiting на уровне шлюза. Guardrails (Llama Guard, NeMo Guardrails) и фильтрация персональных данных в реальном времени. Sandboxing инструментов и runtime‑контроль выхода агентов за пределы разрешённых API. Версионирование промптов и весов, стратегии быстрого отката при обнаружении аномалий.