ISO/IEC 23894 — стандарт по управлению рисками систем искусственного интеллекта. Его цель — сделать работу с ИИ предсказуемой и управляемой: задать общие принципы выявления, оценки и обработки рисков, определить роли и циклы контроля, встроить мониторинг и эскалации в жизненный цикл. В отличие от «бумажных» деклараций, 23894 ориентирован на практические процессы, которые легко пришить к вашему производственному стеку — от данных и обучения до инференса и поддержки.
Эта страница — инженерно-продуктовый конспект: как перевести 23894 на язык повседневной разработки и эксплуатации сервисов на больших моделях LLM и генеративного ИИ. Мы разберём роли и документы, процедуры оценки рисков, метрики «здоровья» (включая TTFT/P95 и «цену эпизода»), практику мониторинга и планы деградации. Для архитектурного контекста держите под рукой обзор AI-стека и слой исполнения LLM-inference.
Зачем ISO/IEC 23894 продуктовым и инженерным командам
- Единый язык рисков. Принципы и процессы, которые понимают менеджеры, ML-инженеры, SRE и безопасность.
- Привязка к реальности. Речь о конкретных шагах: как выявлять, измерять, смягчать и документировать.
- Ускорение контрактов и аудитов. Наличие ролей, артефактов и метрик снижает «трение» на предпроде и в пилотах.
- Экономика продукта. Управление рисками напрямую уменьшает операционные потери, ретраи и «длинный хвост» задержек.
Ключевая мысль: 23894 узаконивает хорошую инженерную практику — то, что и так нужно для надёжного ИИ-сервиса.
Что такое ISO/IEC 23894 простыми словами
Стандарт описывает, какие риски бывают у систем ИИ, как их организованно управлять и какие артефакты нужно вести, чтобы решения были воспроизводимыми и проверяемыми. Это «зонтик» над задачами данных, моделей и эксплуатации:
- Принципы: системность, контекстность, цикличность, документируемость.
- Процессы: идентификация → анализ → оценка → обработка → мониторинг → коммуникация и пересмотр.
- Роли: владельцы модели, данных, риска; SRE/платформа; безопасность/право; продакт-владелец.
- Артефакты: реестр рисков, карточка модели, отчёты об оценке, журналы инцидентов и релизов.
Важно: 23894 дружит и «стыкуется» с процессными рамками и нормативкой. Он хорошо ложится на системный стандарт ISO/IEC 42001 (AIMS), инженерную рамку NIST AI RMF и риск-ориентированный подход регламента EU AI Act.
Карта процессов 23894: от идеи до эксплуатации
| Этап | Вопрос | Выход |
| Идентификация | Что может пойти не так? | Список рисков, сценарии (use/abuse), источники |
| Анализ | Как устроен риск внутри? | Причины, последствия, предпосылки, зависимости |
| Оценка | Насколько это важно? | Матрица «вероятность × влияние», приоритет |
| Обработка | Что делаем? | План мер: избегание/снижение/перенос/принятие |
| Реализация | Кто и когда делает? | Ответственные, сроки, KPI контроля |
| Мониторинг | Что меняется? | Метрики, дешборды, триггеры, отчёты |
| Коммуникация | Кто должен знать и когда? | Каналы, периодичность, формат отчётности |
| Пересмотр | В чём мы ошиблись? | Обновлённые риски/меры, пост-мортемы, новые пороги |
Эти шаги не разовые — они «крутятся» по мере эволюции данных, моделей и инфраструктуры.
Типология рисков для LLM/GenAI (производственная оптика)
| Класс риска | Примеры проявлений | Где ловить | Инструменты/меры |
| Качество/достоверность | Галлюцинации, нецитатные ответы | Инференс/продукт | Контракты вывода, post-валидация, ретривер RAG |
| Устойчивость/производительность | Пики P95/TTFT, «длинный хвост» | Платформа | Профили, очереди, кэш префилла, лимиты |
| Безопасность/конфиденциальность | Prompt-инъекции, утечки PII | Безопасность/данные | Фильтры ввода, анонимизация логов, санкбоксы |
| Справедливость/смещения | Систематические ошибки по группам | Эвалы | Стратификация данных, fairness-метрики |
| Правовые/регуляторные | Непрозрачность, отсутствие маркировки | Продукт/право | Информирование/маркировка, карточки модели |
| Экономика/FinOps | Взрыв «цены эпизода», ретраи | Эксплуатация | Короткие промпты, кэш, квантизация квантизации |
Роли и ответственность (минимальный состав)
| Роль | Зона | Обязанности |
| Владелец модели | Качество/безопасность | Карточка модели, эвалы, релиз-ноуты, известные риски |
| Владелец данных | Источники/PII/лицензии | Data-manifest, очистка, обновления |
| Владелец риска | Процессы/артефакты | Риск-реестр, ревизии, отчёты |
| Продакт | Назначение/границы | Use/abuse-cases, критерии приёмки |
| SRE/Платформа | SLA/SLO/стоимость | TTFT/P95, «цена эпизода», профили и очереди |
| Безопасность/Право | Политики/инциденты | Политики ввода/вывода, инцидент-лог |
Как 23894 маппится на AI-стек
| Слой стека | Фокус управления рисками | Практики |
| Данные | Происхождение, лицензии, смещения | Data-manifest, дедуп, фильтры, стратификация |
| Модели | Ограничения, известные риски | Карточка модели, «золотой набор», сценарии деградации |
| Ретривер/RAG | Источники фактов, цитатность | Качественные эмбеддинги эмбеддингов, векторный индекс векторной БД, лог ссылок |
| Инференс | Задержки/стоимость/неформат | Контракты JSON, лимиты длины, ранние остановки |
| Оркестрация | Профили, очереди, канарейки | *Light/Standard/Heavy*, фичефлаги, авто-откаты |
| Наблюдаемость | Метрики/трейсинг/инциденты | TTFT, P95, доля неформата, «цена эпизода», инцидент-лог |
Метрики «здоровья» (как «измерять» риски)
| Метрика | Риск | Зачем | Рычаг |
| TTFT | Отказы/UX | Удержание, конверсия | Тёплые пулы, короткий ввод |
| P95 задержек | SLA/SLO | Пики/стабильность | Разделение очередей, лимиты |
| Доля неформата | Ретраи/ручной труд | Цена эпизода | Контракты вывода, пред-валидация |
| Utility-скор | «Польза» | Ценность релизов | Тюнинг шаблонов/ретривера |
| Цена эпизода | FinOps | Маржа | Кэш/квантизация/профили |
| Доля цитатности (RAG) | Достоверность | Объяснимость | Логи источников, перегенерация по фактам |
(Слои и механика поиска знаний — см. AI-стек и LLM-inference.)
Процедуры оценки рисков: минимальный рабочий набор
1) Идентификация. Соберите «карту рисков» по слоям: данные → модель → ретривер → инференс → оркестрация → UX. Источники — пост-мортемы, жалобы, метрики, экспертиза команды.
2) Анализ. Для каждого риска опишите: причины, триггеры, потенциальный ущерб, зоны влияния, «сигналы раннего предупреждения».
3) Оценка. Присвойте вероятность/влияние и приоритет. Для high-impact заведите отдельные гейты релиза.
4) Обработка. Выберите стратегию: избегать (меняем архитектуру), снижать (контроль/ограничители), переносить (страхование/контракт), принимать (под мониторинг).
5) Мониторинг. Определите метрики/алерты, периодичность ревизий, условия эскалаций. Все изменения фиксируйте в карточках релизов.
Таблица: примеры рисков и мер контроля
| Риск | Симптом | Меры |
| Галлюцинации | Уверенные, но неверные ответы | RAG с логом источников, пост-валидация контрактов, лимиты длины |
| Prompt-инъекции | Выход из роли, раскрытие ключей | Санкбоксы инструментов, фильтры ввода, список запрещённых действий |
| Утечки PII | «Длинный» контекст в логах | Маскирование/анонимизация логов, правила хранения |
| Взрыв стоимости | Длинные подсказки/ответы | Сокращение ввода, кэш префилла, квантизация квантизация |
| Пики P95 | Смешение профилей | Разделение очередей, *light/standard/heavy*, тёплые пулы |
| Неформат | Не-JSON/битые таблицы | Строгие схемы, пред-валидация, управляемые ретраи |
| Смещение | Систематические ошибки по группам | Стратификация данных, fairness-эвалы |
| Дрейф данных | Падение качества со временем | Регулярные пересборки/ревизии наборов, канарейки |
Документы и артефакты 23894 (что реально вести)
- Риск-реестр. Риск → мера → владелец → срок пересмотра → статус.
- Карточка модели. Назначение, границы, известные риски, метрики до/после, версии.
- Data-manifest. Источники/лицензии/чувствительность/обновления.
- Release-notes. Изменения в модели/ретривере/шаблонах, влияние на TTFT/P95/utility/цену.
- Инцидент-лог. Событие → последствия → решение → патч/коммуникация.
- План деградации. Fallback-профили, тайм-ауты, упрощённые ответы, ручная эскалация.
Артефакты версионируются «как код» и доступны всем ответственным.
Чек-листы внедрения 23894
Первые 30 дней (минимум)
- Назначены владельцы модели/данных/риска/SRE; утверждены границы использования.
- Заполнены risk-registry и data-manifest.
- Включены дешборды TTFT, P95, неформат, utility, цена эпизода.
- Введены контракты вывода и пред-валидация.
- Разделены очереди: chat / long / offline; добавлены профили *light/standard/heavy*.
Дни 31–60 (углубление)
- Настроены канарейки и пороги авто-отката.
- Включён кэш префилла/эмбеддингов; сокращены шаблоны ввода.
- Проведены стресс-тесты на prompt-инъекции и отказоустойчивость.
- Сформирован «золотой набор» utility-кейсів и fairness-наборы.
Дни 61–90 (операция)
- Регулярные ревизии риск-реестра; пост-мортемы инцидентов.
- Публикация карточек релизов; обновление планов деградации.
- Отчёты пост-мониторинга с трендами TTFT/P95/неформата/utility/цены.
Сопоставление 23894 с соседними рамками
| Задача | ISO/IEC 23894 | Соседняя рамка | Комментарий |
| Система менеджмента | Требует цикличности и ролей | ISO/IEC 42001 | 42001 формализует AIMS над практиками 23894 |
| Инженерия рисков | Процессы Govern/Map/Measure/Manage | NIST AI RMF | RMF — удобный операционный язык для тех же шагов |
| Нормативка ЕС | Риск-ориентированный подход | EU AI Act | 23894 помогает готовить артефакты и процессы для аудитов |
Профили инференса и риски
| Профиль | Риски | Контрмеры |
| Light | Потеря деталей, но дешёво | Короткие ответы, строгий JSON, высокий SLA |
| Standard | Баланс качества/цены | Динамический batching, кэш префилла |
| Heavy | Удар по P95/стоимости | Отдельная очередь, лимиты длины, ранние остановки |
Правило: не смешивайте профили — это ломает P95 и «цену эпизода».
Анти-паттерны и исправления
| Анти-паттерн | Симптом | Исправление |
| «Всё решит большая модель» | Дорого, нестабильно | Сократить ввод, RAG, контракты вывода |
| «Одна очередь на всё» | Пики задержек | Разнести chat/long/offline, профили |
| «Без логов и версий» | Нечем защищаться на аудите | Версионирование артефактов и трейсинг |
| «Свободный текст всегда» | Неформат, ретраи | Строгие схемы JSON, пред-валидация |
| «Нет планов деградации» | Срывы SLA | Fallback-режимы, лимиты и тайм-ауты |
Практические сценарии (как применить 23894)
1) Корпоративный ассистент с RAG. Риски: недостоверные ответы, утечки PII, пики P95. Меры: цитатность и лог источников, анонимизация логов, профили *light/standard*, лимиты длины. Метрики: TTFT/P95/цена эпизода/доля цитатности.
2) SaaS-генерация отчётов. Риски: неформат/ретраи, стоимость, дрейф данных. Меры: строгие схемы вывода, кэш префилла, план пересборок индекса, канарейки.
3) Модерация контента. Риски: fairness/ложные срабатывания. Меры: стратификация наборов, пороги, отчёты по группам, ручные ревью для пограничных случаев.
4) Агентные сценарии с инструментами. Риски: эскалация действий, prompt-инъекции. Меры: ограничение глубины планов, санкбоксы инструментов, трейсинг шагов, журналы.
Таблица «реестр рисков» (шаблон)
| ID | Риск | Вероятность | Влияние | Мера | Владелец | Срок пересмотра | Статус |
| R-01 | Неформат JSON | Средняя | Среднее | Схемы/валидация | SRE | 14 дней | В работе |
| R-02 | Пики P95 | Высокая | Высокое | Профили/очереди | Платформа | 7 дней | Контроль |
| R-03 | Галлюцинации | Средняя | Высокое | RAG/цитатность | Вл. модели | 30 дней | План |
| R-04 | Утечки PII | Низкая | Высокое | Маскирование | Безопасность | 30 дней | Контроль |
| R-05 | Рост стоимости | Средняя | Среднее | Кэш/квантизация | Продакт | 14 дней | В работе |
Часто задаваемые вопросы (FAQ)
Это «для корпораций» или применимо стартапам? Применимо всем. Начните с минимума: роли, risk-registry, метрики TTFT/P95/неформат/utility/цена эпизода, контракты вывода и профили.
Как связать 23894 с нашими релиз-циклами? Добавьте гейты: без обновлённых артефактов (карточка модели, риск-реестр) — релиз не пропускается. Канарейки и пороги авто-отката — часть «Manage».
Нужно ли вести «толстые отчёты»? Нет. Достаточно кратких, но полных артефактов: risk-registry, карточка модели, release-notes, отчёт пост-мониторинга. Важно, чтобы они были актуальны.
Что делать, если команда «не верит» в метрики? Сопоставьте цены эпизода и P95 с отменами заказов/жалобами. Экономика быстро убеждает.
Как избегать «бумажности»? Ведите артефакты в репозиториях, автоматизируйте сбор метрик/логов, интегрируйте гейты с CI/CD.
Как учитывать мультимодальность? Те же принципы: манифесты данных по модальностям, контракты вывода, лог источников, отдельные профили тяжёлых задач.
Словарь терминов
- Управление рисками ИИ (по 23894) — циклы и артефакты, снижающие неопределённость и ущерб от систем ИИ.
- Risk-registry (реестр рисков) — список рисков с мерами/владельцами/сроками.
- Карточка модели — назначение, границы, метрики, известные риски и версии.
- TTFT/P95 — эксплуатационные метрики задержек (время до первого токена; 95-й перцентиль).
- Доля неформата — процент невыполнения контракта вывода (JSON/таблица).
- Utility-скор — прикладная полезность на «золотом наборе» кейсов.
- Цена эпизода — полная стоимость полезного ответа.
- RAG — поиск фактов перед генерацией, с логом источников.
- Профили инференса — маршруты *light/standard/heavy* с разными SLO и бюджетами.