Изображение сгенерировано Шедеврумом
В России выстраивают систему оценки больших ИИ‑моделей: власти намерены проверять, насколько разработки соответствуют закону и традиционным духовно-нравственным ценностям. Как выяснили «Ведомости», механизм формируется при участии Минцифры и бизнеса. Проверку смогут проводить независимые испытательные лаборатории, прошедшие аккредитацию.
Отправной точкой стал закон об ИИ, принятый 26 июля. Он закрепляет два особых статуса для крупных моделей – суверенной и национальной. Их получение открывает доступ к господдержке, участию в госзакупках и работе с данными госсистем, а также дает приоритет в отдельных отраслях. При этом обязательной проверки всех моделей на рынке не будет: процедура рассчитана только на те разработки, которые претендуют на один из этих статусов.
Базовые правила регулирования готовит Минцифры, но сам закон носит рамочный характер. Детали предстоит прописать в подзаконных актах. Обсуждение шло в конце июля-начале августа на площадке АНО «Цифровая экономика». По данным источников издания, в подготовке норм участвуют Минцифры, ФСБ и ФСТЭК – это ведомства, отвечающие за информационную и технологическую безопасность. Уже подготовлен первый проект архитектуры будущих правил.
Ключевой вопрос – как именно оценивать соответствие моделям традиционным ценностям. Прописывать их отдельным актом не планируют: перечень уже зафиксирован в указе президента №809. Вместо этого совместно с бизнесом намерены создать специальные бенчмарки. Речь идет о тестовых наборах, с помощью которых будут проверять поведение моделей. Предполагается, что правкомиссия по цифровизации может инициировать создание испытательной лаборатории по предложению Минцифры.
Процедура проверки выстроена поэтапно. Разработчик подает в лабораторию заявление и пакет документов, в том числе описание архитектуры модели, сведения о создателях и механизмах фильтрации контента. Затем эксперты тестируют модель с помощью бенчмарков: смотрят, как она отвечает на разные запросы, и пытаются обойти внутренние ограничения через промпт‑инъекции – метод, при котором во входные данные внедряют вредоносные инструкции. По итогам лаборатория направляет в правкомиссию заключение о том, соответствует ли модель традиционным ценностям. Положительный вывод становится одним из шагов к присвоению статуса национальной или суверенной модели.
При этом проверять будут не в одной организации, а в нескольких аккредитованных лабораториях. Подобное решение согласовали участники обсуждений. Перед подачей в лабораторию разработчик должен самостоятельно протестировать модель по общей риск‑ориентированной методике и представить свои результаты. Аккредитованная структура оценит эти выводы и при необходимости проведет выборочную проверку устойчивости модели. Окончательное решение о присвоении статуса остается за Минцифры. Соответствие требованиям безопасности для госсистем отдельно проверят ФСБ и ФСТЭК с учетом действующих нормативных актов.
В Минцифры подчеркивают, что не собираются выстраивать систему контроля с нуля. У крупных IT‑компаний уже есть инструменты, ограничивающие запрещенные запросы и обеспечивающие соответствие ответов законодательству. Регулятор намерен опираться на накопленную рынком экспертизу. Сейчас пакет подзаконных актов проходит межведомственное согласование и дорабатывается с учетом предложений экспертов и бизнеса, поэтому окончательные контуры процедуры пока формируются.
Среди потенциальных площадок для проведения проверок называют Институт системного программирования РАН. По словам технического директора РТК‑ЦОД Алексея Забродина, институт обладает значительным опытом работы со сложными программными продуктами.
Эксперты выделяют и возможные риски. Управляющий партнер адвокатского бюро «Пропозитум» Дмитрий Галанцев считает главным риском оценочность критериев. Она может привести к их избирательному применению. Для снижения этой угрозы он предлагает схему, включающую аккредитующую структуру, несколько конкурирующих лабораторий и апелляционную коллегию вне отрасли. Эксперт центра ИИ «СКБ Контур» Дмитрий Иванков подчеркивает важность прозрачности: нужно четко фиксировать, какие классы запросов проверяются, сколько тестов используется, какие ответы считаются допустимыми, как учитывается неоднозначность и как организовано повторное тестирование после обновлений модели.