NIST AI Risk Management Framework (AI RMF) — это практическая рамка инженерии доверия к системам искусственного интеллекта. Её цель проста: сделать продукты на ИИ надёжными, проверяемыми и управляемыми на каждом этапе жизненного цикла — от идеи и данных до инференса и поддержки. В центре рамки — четыре функции Govern → Map → Measure → Manage, которые задают дисциплину процессов и артефактов для команд продукта, ML и эксплуатации.
Эта страница — прикладной конспект для тех, кто строит сервисы на больших моделях (LLM/GenAI) и мультимодальных системах. Ниже вы найдёте: разбор функций AI RMF, таблицы соответствия слоям стека и ролям, метрики «здоровья» сервиса, типовые риски и контролы, чек-листы на 30 дней и FAQ. Для общей картины держите под рукой обзорный AI-стек и эксплуатационную плоскость LLM-inference-стек; при работе с поиском знаний полезен конвейер RAG-пайплайна. Регуляторные связки рассматриваем со стороны EU AI Act. Наконец, многие практики из AI RMF естественно ложатся на современные продукты уровня LLM.
Зачем AI RMF вашей команде
- Предсказуемость и воспроизводимость. Чёткие роли, артефакты и процессы снижают риски регрессий и «магии» в проде.
- Единый язык для менеджеров, ML и SRE. Функции рамки объединяют цели бизнеса, качества и эксплуатации.
- Управляемая стоимость. Риск-ориентированные решения по данным, моделям и инференсу уменьшают «цену эпизода» и стабилизируют P95.
- Подготовка к требованиям клиентов и регуляторов. Документация и мониторинг по AI RMF ускоряют аудит и онбординг enterprise-заказчиков.
Архитектура AI RMF: четыре функции и как их применять
Govern (управляй)
Функция Govern задаёт «каркас ответственности»: политики, роли, артефакты, критерии принятия решений и отчётность.
*Что включает:*
- Политики ИИ (цели, границы, допустимые сценарии).
- Роли и ответственность: владелец модели, владелец данных, владелец риска, DRI по инцидентам.
- Артефакты: реестр моделей, карточки релизов, инструкции по использованию, план отката.
- Процедуры: канарейки, фичефлаги, пост-мортемы, ревизии рисков.
*Сигналы зрелости:* роли назначены, артефакты версионируются, релизы проходят обязательные гейты качества и безопасности.
Map (картируй)
Map — это постановка задачи и контекста применения ИИ: где, кем и как используется модель; кто затронут; каковы риски и пределы.
*Что включает:*
- Бизнес-назначение и пользовательские сценарии.
- Ограничения и «не для того» (out-of-scope).
- Карта данных: источники, лицензии, чувствительность, обновляемость.
- Заинтересованные стороны и права (операторы, пользователи, модераторы).
*Сигналы зрелости:* есть манифест данных, сформулированы «use-case/abuse-case», определены границы допустимого.
Measure (измеряй)
Measure — это набор метрик и методов оценки качества, безопасности, устойчивости и экономической эффективности.
*Что включает:*
- Эталонные наборы и «золотые кейсы».
- Метрики качества (точность/полезность), безопасности (токсичность/уязвимости), устойчивости (дрейф), эксплуатационные (TTFT, P95, неформат), экономические (цена эпизода).
- Процедуры A/B и канареек, пороги автo-отката.
*Сигналы зрелости:* все ключевые метрики живут в дешбордах, изменения проходят через экспериментальные процедуры.
Manage (управляй рисками)
Manage — это непрерывное управление рисками в проде: обнаружение, смягчение, коммуникация и обновления.
*Что включает:*
- Реестр рисков с владельцами и сроками пересмотра.
- Упреждающие и реактивные меры (фильтры, валидации, санкбоксы).
- Процедуры инцидентов и публикации патчей.
- Пост-рыночный мониторинг и отчёты.
*Сигналы зрелости:* риск-реестр актуален, инциденты разбираются, меры доводятся до релизов.
Как AI RMF ложится на стек ИИ (производственная призма)
| Слой стека | Govern | Map | Measure | Manage |
| Данные | Политика источников, лицензии, PII | Манифест данных, чувствительность | Качество/смещение/свежесть | Ревизии наборов, отладка дрейфа |
| Модель | Роли/версии, release-policy | Назначение/границы, контрпримеры | Эвалы качества/безопасности | Hotfix/rollback, план деградации |
| Инференс | SLO/SLA, лимиты | Варианты маршрутов (chat/long/offline) | TTFT, P95, неформат, цена эпизода | Кэш/квоты/ранние остановки |
| Оркестрация | Фичефлаги/канарейки | Топологии маршрутов | Наблюдаемость/трейсинг | Авто-откаты, ротация профилей |
| UX/Прозрачность | Политики уведомлений | Кто/когда информируется | Метрики удовлетворённости | Обратная связь/жалобы/эскалации |
Роли и ответственность: кто за что отвечает
| Роль | Область | Ключевые обязанности |
| Владелец модели | Модель | Карточка модели, эвалы, известные риски, релизы |
| Владелец данных | Данные | Источники/лицензии, чувствительность, обновления |
| Владелец риска | Управление | Риск-реестр, ревизии, отчётность |
| Продакт | Продукт | Use-/abuse-cases, приёмочные критерии |
| SRE/Платформа | Эксплуатация | SLO/SLA, трейсинг, планы деградации |
| Безопасность/Право | Комплаенс | Политики ввода/вывода, инциденты, согласования |
Метрики «здоровья» сервиса: что и зачем считать
| Метрика | Что измеряет | Почему важна | Управленческий рычаг |
| TTFT | Время до первого токена | UX и отмены | Тёплые пулы, короткий ввод, кэш префилла |
| P95 задержек | Длинный хвост | Стабильность под нагрузкой | Разделение очередей, лимиты, batching |
| Доля неформата | Невалидный JSON/таблицы | Прямая причина ретраев | Жёсткие схемы, пред-валидация, ретраи по правилам |
| Utility-скор | Прикладную полезность | Проверяет ценность изменений | Тюнинг шаблонов/ретривера, маршрутизация |
| Цена эпизода | Полную стоимость ответа | Основа FinOps | Сжатие контекста, квоты, квантизация, кэш |
Таблица: типовые риски LLM/GenAI и защитные меры (по AI RMF)
| Риск | Проявление | Где ловить | Меры (Govern/Map/Measure/Manage) |
| Галлюцинации | Уверенные, но неверные ответы | Продукт/поддержка | Контракты вывода; RAG; золотые наборы; цитатность; пост-валидация |
| Утечки/PII | Неуместная выдача/логирование | Данные/инференс | Политики ввода/маскирование; анонимизация логов; права доступа |
| Смещение/несправедливость | Систематические ошибки по группам | Эвалы | Стратификация, метрики fairness, ревизии данных |
| Устойчивость/атаки | Prompt-инъекции/отравление | Безопасность | Санкбоксы, фильтры, тесты на устойчивость, обновления |
| Экономика | Взрыв стоимости эпизода | Эксплуатация | Лимиты длины, кэш, профили, квантизация |
| SLA | Пики P95/TTFT | Платформа | Разделение очередей, горячие пулы, авто-откаты |
Практические сценарии внедрения AI RMF
1) Корпоративный ассистент (внутренний поиск + чат). Govern: роли, политика приватности; Map: перечень витрин и ограничений; Measure: utility на золотом наборе; Manage: RAG-санкбокс, ретраи по контрактам, эскалация к человеку.
2) B2B-функция в SaaS (генерация отчётов). Govern: SLO, лимиты длины; Map: чёткие границы использования; Measure: TTFT/P95/неформат; Manage: профиль heavy в отдельной очереди, план деградации.
3) Классификация/модерация контента. Govern: политика категорий; Map: чувствительность данных; Measure: precision/recall + fairness; Manage: обновление порогов, разбор ложных срабатываний.
4) Док-аналитика с RAG. Govern: источник и лицензии; Map: кто принимает решения; Measure: доля цитатности; Manage: контроль версий индекса и кэш эмбеддингов.
Связка AI RMF и нормативки ЕС
AI RMF — не закон, а инженерный стандарт. Он помогает доказать зрелость процессов и соответствует ожиданиям регуляторов/клиентов. В связке с EU AI Act:
- Govern ↔ роли/ответственность, документация и oversight.
- Map ↔ назначение/границы, категории риска.
- Measure ↔ эвалы качества/безопасности/устойчивости.
- Manage ↔ пост-рыночный мониторинг, инциденты, обновления.
Итог: построив процессы по AI RMF, вы ускоряете соответствие требованиям клиентов в ЕС и снижаете издержки аудитов.
Чек-лист внедрения AI RMF (первые 30 дней)
Неделя 1 (Govern/Map):
- Назначить владельцев модели/данных/рисков.
- Выпустить политики ввода/вывода и границы использования.
- Заполнить манифест данных (источники, лицензии, чувствительность).
Неделя 2 (Map/Measure):
- Сформировать «золотой набор» задач и кирки (golden cases).
- Определить метрики: TTFT, P95, неформат, utility, цена эпизода.
- Включить трейсинг и версионирование (модель/шаблоны/ретривер).
Неделя 3 (Measure/Manage):
- Ввести канарейки/фичефлаги, пороги автo-отката.
- Настроить кэш префилла и кэш эмбеддингов.
- Включить ранние остановки и лимиты длины.
Неделя 4 (Manage):
- Запустить риск-реестр и еженедельные ревизии.
- Оформить процедуры инцидентов и отчётности.
- Подготовить план деградации (fallback-режимы).
Примеры артефактов (минимальный комплект)
- Карточка модели: назначение, ограничения, версии, метрики до/после, известные риски.
- Release-notes: изменения, влияние на TTFT/P95/utility/цену эпизода.
- Data-manifest: источники, лицензии, даты обновления, ответственные.
- Риск-реестр: риск → меры → владелец → срок пересмотра.
- Отчёт пост-мониторинга: инциденты, решения, патчи, план следующей ревизии.
Таблица: контрольные точки релиза (гейты)
| Этап | Критерий «пропуска» | Артефакты |
| Pre-prod | Эвалы ≥ порога, неформат ≤ целевого | Карточка модели, отчёт эвелов |
| Канарейка | Δutility ≥ 0, P95/TTFT в пределах | Логи канареек, план отката |
| Прод | SLO стабилен 7–14 дней | Дешборды, отчёт соответствия |
| Эволюция | Регулярные улучшения без регрессий | Roadmap, протокол ревизии рисков |
Часто задаваемые вопросы (FAQ)
AI RMF — это только для high-risk сценариев? Нет. Рамка универсальна: помогает любому продукту на ИИ снизить риски и стабилизировать экономику.
Нужно ли «всё и сразу»? Начните с минимума: роли, манифест данных, метрики/дешборды, канарейки, риск-реестр. Затем наращивайте глубину.
Как доказать пользу рамки бизнесу? Покажите график «цены эпизода» и корреляцию с P95/отменами. Внедрение AI RMF почти всегда уменьшает расходы и повышает удержание.
Что делать стартапу без штатного комплаенса? Назначьте внутренних владельцев, ведите артефакты в репозитории, автоматизируйте канарейки и отчёты. Это дешевле, чем ретрофит в проде.
Как учесть мультимодальность? Те же принципы: манифест данных по каждому виду (текст/изображения/аудио), метрики на модальность, контракты вывода и журналы источников.
Словарь терминов
- AI RMF (NIST) — рамка управления рисками ИИ: Govern, Map, Measure, Manage.
- Золотой набор (golden set) — фиксированный пул задач для регрессионной оценки.
- Контракт вывода — строгая схема ответа (JSON/таблица) с пред-валидацией.
- TTFT/P95 — метрики задержек: время до первого токена и 95-й перцентиль.
- Цена эпизода — суммарная стоимость полезного ответа (ввод → генерация → инструменты → ретраи → пост-обработка).
- План деградации (fallback) — набор упрощённых режимов при сбоях/пиках.