Побег из песочницы

Верховный комиссар ООН по правам человека Фолькер Тюрк заявил, что стремительное и неконтролируемое развитие искусственного интеллекта может нести смертельную опасность для всего человечества, — так он отреагировал на ряд инцидентов, связанных с выходом ИИ-агентов (автономная программа на базе LLM, способная к самообучению и самостоятельным действиям) из-под контроля разработчиков.

Напомним один из таких инцидентов: американская OpenAI (создатель ChatGPT) дала своим тестируемым ИИ-агентам задание, которое нельзя было выполнить без доступа в интернет. Программы начали втайне от разработчика общаться между собой — и нашли способ выйти во Всемирную сеть, после чего взломали платформу Hugging Face (сервис для запуска и развертывания моделей машинного и глубокого обучения). Это дало ИИ-агентам возможность бесконтрольно самообучаться и распределять роли и в итоге взломать сайты ряда американских компаний. Показательно, что в самой OpenAI не замечали никаких проблем вплоть до момента обращения пострадавших в ФБР.

В конце июля Институт безопасности искусственного интеллекта (AISI) сообщил о нарушениях во время тестов на поиск уязвимостей: одно из заданий запускалось 122 раза на нескольких моделях, и в 10 запусках ИИ-агенты нашли способ выйти за пределы тестовой среды и совершить 19 несанкционированных действий. При этом 17 из них были связаны с нейросетью Mythos 5 от другого ведущего мирового разработчика — компании Anthropic. Их модель регистрировала поддельные аккаунты на платформе для хранения кода GitHub, пытаясь внедрить вредоносный код в открытые проекты и обманом получить одобрение своих создателей.

Наконец, в августе модель Muse Spark компании Meta (признана экстремистской и запрещена в РФ) во время тестирования из-за ошибки в настройках тестовой среды получила доступ в интернет, но особых бед не натворила.

В начале сентября нобелевский лауреат Джеффри Хинтон, разработки которого в области глубокого обучения нейросетей (модель AlexNet) во многом стали основой стремительного прогресса в области искусственного интеллекта, призвал правительства стран мира запретить разработку сверхмощных ИИ-систем до тех пор, пока человечество не научится контролировать базовые модели. «Потеря контроля над ИИ, более умным, чем мы сами, была бы катастрофой и могла бы привести даже к исчезновению человечества», — заявил он.

Нейросети способны создать электронный сверхразум, продолжила мысль ученого на Восточном экономическом форуме (ВЭФ) заместитель начальника Экспертного управления Президента Российской Федерации Светлана Лукаш. «Вопрос, когда зародится сверхинтеллект. В ближайшее время, с нашими возможностями, нет, слава богу, — прокомментировала она ситуацию. — Но идет колоссальная гонка технологическая во всем мире, и это приближает появление мощных моделей».

В текущем году в мире прошло рекордное число мероприятий — свыше двух десятков конференций, форумов и прочего — по развитию ИИ и способам контроля над ним. И почти везде лейтмотивом звучало, что при выработке мер безопасности странам следует придерживаться неких общемировых принципов. Однако пока согласия в этом вопросе нет, и причиной тому — стремление США к гегемонии в сфере искусственного интеллекта.

Конкуренция мешает сотрудничеству

Сейчас в мире сформировались два подхода к развитию ИИ: открытый китайский и закрытый североамериканский. Речь идет о предоставлении доступа к технологиям, элементной базе и центрам хранения данных (ЦОД).

В июле в Шанхае прошла Всемирная конференция по ИИ под девизом «Партнерство в сфере искусственного интеллекта во имя светлого будущего», по итогам которой была создана Всемирная организация по сотрудничеству в области ИИ (WAICO), куда вошли 38 стран, включая Россию. В предстоящие пять лет Китай планирует предоставить 5000 квот на участие инженеров со всего мира в программах обучения, учредить центры сотрудничества с партнерами из АСЕАН, Лиги арабских государств, Африканского союза, СЕЛАК, БРИКС и ШОС. Восток призывает установить общие стандарты в области безопасности при разработке ИИ.

Китай готов делиться с миром технологиями искусственного интеллекта

Создание WAICO стало ответом на продвигаемую США с 2025 года инициативу Pax Silica («Кремниевый мир»), в которой участвуют 25 государств (Австралия, Аргентина, Армения, Бахрейн, Великобритания, Германия, Греция, Дания, Израиль, ОАЭ, Индия и др.). Формально она декларирует устранение ИТ-уязвимостей в технологических цепочках поставок компонентов, защиту критически важных технологий и создание безопасной цифровой инфраструктуры. Однако эксперты отмечают отсутствие четких механизмов контроля и правоприменения в сфере ИИ, а также то, что соглашение выгодно исключительно Соединенным Штатам.

Это мнение отчасти подтверждается тем, что в августе Госдепартамент США начал готовить ультиматум подписантам WAICO с требованием выбрать сторону в глобальной гонке. Несогласные (а таких около десятка, включая некоторые страны СНГ) будут исключены из Pax Silica. «Подписание декларации Pax Silica — это не просто членство, а обязательство… Его нельзя сохранять параллельно с участием в дублирующих инициативах, стремления которых противоречат нашим собственным», — говорится в черновом варианте документа Госдепа.

«США выбрали капиталистический путь развития и регулирования ИИ, когда у победителя будет все: в его руках останется и вся прибыль, и все передовые технологии, — заявил на ВЭФ директор Фуданьского университета Чанг Вэйвэй. — Мы же выступаем за то, чтобы каждый город в мире мог использовать искусственный интеллект». При этом эксперт уверен, что китайская открытая модель развития ИИ уже позволяет стране выигрывать конкуренцию у США, в том числе на уровне ресурсной базы. «Ключевые ресурсы: чипы, энергетика, инфраструктура и образование — сферы, где Китай еще пять лет назад отставал от Соединенных Штатов. Теперь страна не только не отстает, но даже лидирует, — пояснил Чанг Вэйвэй. — Сейчас у нас вырабатывается электричества больше, чем в Японии и США, вместе взятых. Еще недавно КНР была главным импортером микрочипов, а сейчас стала главным экспортером. Это трансформировало нашу экономику. США закрывают доступ к своим чипам, Китай же делает их доступными для других стран».

Мир далек от единого управления технологией ИИ из-за стремления Америки разделить мир и использовать большие модели как оружие, уверен президент Сети ООН по поиску решений в области устойчивого развития (SDSN) Джеффри Сакс. «СМИ и цифровые платформы общей капиталоемкостью около двух триллионов долларов уже сосредоточены в руках узкого круга лиц, которые фальсифицируют выборы и способствуют милитаризации искусственного интеллекта, — говорит он. — США превращают ИИ в своего рода оружие, и Кремниевая долина стала цифровым центром Пентагона, который общается с технологическими компаниями, чтобы нейросети стали полем битвы. Поэтому продолжаются военные действия, в том числе на Украине и в Иране, где Пентагон тестирует разные модели в боевых условиях».

Россия возьмет умом

Наша страна в этой гонке пока выглядит довольно скромно. Если Google, Amazon, Microsoft и Meta планируют вложить в развитие ИИ в 2026 году примерно 745 млрд долларов, то ведущие отечественные разработчики больших моделей Сбер (GigaChat) и «Яндекс» («Алиса AI») — совокупно 400 млрд рублей (из них 350 млрд — Сбер). Россия также серьезно отстает от других стран в производстве микрочипов и видеокарт.

«Да, у нас есть проблема с финансами и мощностями. Но зато у нас много электричества и холодной воды, — отмечает генеральный директор “А-Я эксперт”, разработчик систем ИИ, профессор международного НИИ проблем управления Роман Даушкин. — США же испытывают сложности со строительством новых ЦОД из-за дефицита энергии и воды».

Член правления «Яндекс Рус» Тигран Худавердян считает, что у России есть отличный интеллектуальный задел. «У нас много профессионалов мирового класса, умеющих обучать нейросети и создавать среду для них. За 20 лет сформировались институты, которые готовят уникальных специалистов. Сейчас из разных вузов и колледжей выпускается примерно 500 специалистов по ИИ в год. И они нарасхват во всем мире. Вопрос, как их удержать», — заключает эксперт.

Какой ИИ считать российским

Не отстать от конкурентов в сфере эффективности искусственного интеллекта с одной стороны и обеспечить его безопасность — с другой, к чему призывает ООН, — это вопрос регуляторики нейросетей, к которой в разных странах подходят по-разному. Например, в США и Китае нет единого законодательства, касающегося ИИ, — только набор правил и рекомендаций.

В нашей же стране в сентябре этого года вступил в силу федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации», который пока носит рамочный характер: необходимые подзаконные акты пока находятся в процессе подготовки.

«Если американская стратегия моделей ИИ — закрытая, а китайская — открытая, то мы при создании документа придерживались сбалансированной модели, — рассказывает заместитель председателя правительства Российской Федерации, руководитель аппарата правительства Дмитрий Григоренко. — В законе есть набор инструментов, позволяющих поддерживать создание ИИ. Нашим большим моделям нельзя не давать конкурировать с другими, нагружая их избыточными требованиями, но при этом нельзя допустить пробелов в безопасности и этике».

Закон разделил большие ИИ-модели на иностранные, национальные и суверенные. Вторые определяются как созданные отчасти с применением иностранных технологий, третьи должны включать исключительно отечественные базовые компоненты.

К суверенной модели предъявляются предельно жесткие требования: российский разработчик должен контролировать весь цикл от проектирования до обучения нейросети, иметь возможность определять и изменять ее характеристики на любой стадии жизненного цикла, так чтобы суметь воспроизвести модель с нуля, не завися от внешних поставщиков технологий. При этом обработка запросов и хранение данных должны быть в российских ЦОД, принадлежащих российским юрлицам. Предусматривается также «подтверждение соответствия законодательству РФ и традиционным российским духовно-нравственным ценностям».

К национальным моделям требования мягче: допускается контролируемое использование зарубежных компонентов, включая чужие большие языковые модели, если они распространяются на условиях открытой лицензии (то есть американские уже исключаются). Это означает, что дообученная в стране открытая модель (например, на базе зарубежного open-source-решения) может получить статус национальной. Но разработчиком все равно должно быть российское юридическое лицо, которое будет определять структуру, писать программное обеспечение, настраивать параметры (например, исторические и этические данные).

Роман Даушкин обращает внимание на то, что закон касается не отдельных ИИ-ассистентов (вопрос — ответ) или ИИ-агентов (анализ ответов на основе памяти), а больших ИИ-моделей, имеющих не менее миллиарда параметров — это внутренние настройки самой модели, которые формируются в процессе обучения и управляют процессом генерации ответа или решения. Количество параметров напрямую влияет на способность нейросети понимать сложные языковые закономерности, контекст и строить логические связи — например, в GPT-3 их 175 млрд.

«Пока рано говорить, какая из наших моделей будет сертифицирована как суверенная или национальная, — надо дождаться подзаконных актов, которые определят более четкие критерии, — объясняет Роман Даушкин. —Сбер уже позиционирует свой продукт как суверенный, но это скорее маркетинговый ход».

Директор по развитию технологий искусственного интеллекта «Яндекса» Александр Крайнов считает, что такие критерии будут определяться ведомствами на местах: подзаконные акты должны им это позволить. «Но уже сейчас можно сказать, что Сбер и “Яндекс” обладают суверенными ИИ-моделями», — констатирует он.

Суверенные получат больше

От того, какой признают модель — суверенной или национальной, будет зависеть степень доступа разработчика к мерам господдержки, а также к деятельности в разных сферах экономики и госуправления, то есть возможность получать прибыль. В частности, уже известно, что в налоговой или таможенной сферах сможет работать только суверенный ИИ, а степень допуска к финансам определит Центробанк.

«Не сомневаюсь, что суверенными моделями будут признаны нейросети “Яндекса” и Сбера, — рассуждает директор направления “Искусственный интеллект” АНО “Цифровая экономика” Евгений Осадчук. — Им будет отдан приоритет при использовании в органах власти, госкомпаниях, на объектах критической инфраструктуры, как то: водоснабжение, транспорт, электроснабжение, стратегические предприятия и прочее».

По словам Дмитрия Григоренко, отрасли и сферы, где смогут работать только суверенные ИИ, а где — национальные и иностранные модели, пока не определены. «Мы сейчас выходим с этим вопросом в министерства, чтобы они направили свои предложения», — говорит он.

Не определены и меры господдержки, которые, по идее, должны предлагаться разработчикам национальных ИИ-моделей, чтобы те доросли до суверенных. «Помощь ради помощи никому не нужна. Нам еще предстоит определить цели, на которые она будет направлена», — указывает Дмитрий Григоренко.

Честность — залог успеха

Первый заместитель председателя комитета Государственной думы по информационной политике, информационным технологиям и связи, председатель правления Регионального общественного центра интернет-технологий Антон Горелкин убежден, что в подзаконных актах должно быть заложено требование честности и непредвзятости ответов и решений суверенных моделей. «Чтобы не было как сейчас, когда ИИ говорит то, что хочет слышать пользователь. Именно честность позволит нашим моделям выйти на мировой рынок», — полагает депутат.

В России модели искусственного интеллекта законодательно разделены на три типа: иностранные, национальные и суверенные

По мнению генерального директора АО «Газпром-Медиа Холдинг» Александра Жарова, разработчики суверенных моделей должны соблюдать требования к маркировке ИИ-контента: это важно для правообладателей реального контента, которые сейчас недополучают прибыли. «На первом уровне — создания черновиков с помощью нейросети — маркировка, может, и не нужна, так же как и при создании фоновых изображений и звуков. А вот когда речь идет об образах и произведениях, обязательно надо маркировать, что это сделано при помощи искусственного интеллекта», — настаивает он.

А вот следует ли закладывать в подзаконные акты требование правообладателей платить авторам произведений, на основе которых обучают ИИ, — вопрос спорный. «В таком случае нашим крупным компаниям придется платить авторам по всему миру, что снизит их конкурентоспособность», — предупреждает Александр Жаров.

Более того, по словам директора по развитию технологий искусственного интеллекта «Т-Технологий» Алексея Шпильмана, сейчас уже непонятно, кто кому должен платить: ИИ-модели давно обучаются друг у друга, и определить, кто взял оригинал произведения, невозможно. «Во всем мире не знают, что с этим делать. Но решать проблему все равно нужно, потому что страдают многие, в том числе сами разработчики, — говорит эксперт. — Например, программист пишет код, в процессе посоветовался с моделью, потом смотрит — а его код уже кто-то использует».

В подзаконных актах также должно быть оговорено, доступ к каким данным могут получить суверенные ИИ-модели. Сейчас многие разработчики жалуются, что нейросети трудно обучать из-за закрытости информации госорганов, госкомпаний, медицинских и иных учреждений. В США, например, ограничения в этой сфере минимальные. «Здесь, с одной стороны, важно защитить персональные данные граждан, чтобы они не утекали в сеть, скажем из поликлиник или правоохранительных органов: большой вопрос, как и кому выдавать сведения из сферы безопасности, — поясняет Евгений Осадчук. — С другой стороны, это проблема самих компаний: одни умеют договариваться с ведомствами или госструктурами, другие — нет. Подзаконные акты должны внести ясность».