Зачем это нужно? Текущие нормативы не покрывают риски, связанные с моделями машинного обучения и большими данными. Стандарт закроет пробелы, особенно для госсектора и критической инфраструктуры. В итоге проекты станут предсказуемыми и защищенными от инцидентов.

Что именно разрабатывает ФСТЭК

ФСТЭК анонсировала стандарт на форуме BIS-2025. Первый замдиректора Виталий Лютиков сообщил, что проект выйдет на обсуждение до конца 2025 года. Документ будет методическим руководством по всем этапам жизненного цикла ИИ - от данных до эксплуатации. Он учтет угрозы, которых нет в классическом ПО, вроде отравления датасетов или adversarial-атак.

Существующий Приказ №117 ФСТЭК вступит в силу с марта 2026 года. Но он фокусируется на эксплуатации в госсекторе, а не на разработке. Эксперты отмечают, что без детальных мер по сбору и разметке данных риски растут. Новый стандарт унифицирует подходы, сделав безопасность обязательной нормой. Это особенно важно для моделей, работающих как черный ящик - их сложно тестировать стандартно.

Вот ключевые аспекты, которые охватит стандарт:

• Защита данных на этапе обучения: Проверка датасетов от отравления и обеспечение целостности.
• Безопасность моделей: Меры против инъекций промптов и эксплуатации галлюцинаций.
• Контроль на всех стадиях: От хранения до развертывания в продакшен.

Специфика угроз для ИИ-систем

ИИ отличается от обычного ПО своей непрозрачностью. Модели обучаются на огромных объемах данных, где малейшая ошибка приводит к катастрофе. Например, если датасет содержит вредоносные примеры, система начнет выдавать неверные решения в критических сценариях, как в медицине или финансах.

Эксперты из Positive Technologies подчеркивают: текущие стандарты игнорируют дата-центричность ИИ. Нет правил для безопасной разметки или хранения моделей. Стандарт ФСТЭК введет конкретные шаги - от проверки корректности данных до этических аспектов. Это снизит разрозненность в проектах и повысит зрелость безопасности. В итоге разработчики получат четкий чек-лист, чтобы избежать штрафов и инцидентов.

Типичные угрозы в деталях:

1. Отравление данных - злоумышленник внедряет ложные примеры в тренировочный набор, модель учится на ошибках.
2. Prompt injection - вредоносный ввод заставляет ИИ игнорировать правила.
3. Галлюцинации - модель генерирует вымышленные факты, что опасно в реальных приложениях.
4. Model stealing - кража архитектуры через запросы API.

Кто и как будет применять стандарт

Сначала стандарт станет обязательным для госорганов и критической инфраструктуры по Приказу №117. Но эксперты прогнозируют: он распространится на коммерцию как отраслевая норма. Разработчики ИИ для банков, медицины или транспорта обязаны будут следовать правилам. ФСТЭК обеспечит унификацию, чтобы проекты не отличались по уровню защиты.

Переход будет поэтапным: обсуждение в 2025, внедрение с 2026. Компании смогут сертифицировать системы, подтверждая compliance. Это повысит доверие - и к технологиям, и к разработчикам. Параллельно обсуждают сертификацию суверенных моделей ИИ во ФСТЭК и ФСБ. В итоге рынок получит прозрачные правила без излишней бюрократии.

Обязательные шаги для команд:

• Аудит датасетов на каждом этапе.
• Интеграция security в DevOps-пайплайн.
• Регулярное пентестирование моделей.

Взгляд в перспективу ИИ-безопасности

Стандарт ФСТЭК - шаг к зрелому регулированию ИИ в России. Он закроет пробелы в Приказе №117, но не все вопросы решит сразу. Осталось уточнить детали по этике и международным стандартам, чтобы российские системы конкурировали глобально.

В будущем ждем сертификацию моделей и интеграцию с другими нормами. Это даст разработчикам уверенность, а бизнесу - защиту от рисков. Пока проект на стадии обсуждения, стоит следить за обновлениями от ФСТЭК.