Можно ли доверять решениям такого ИИ?

Однако, похоже, такие ответы уже никого не удовлетворяют. И все чаще звучат новые вопросы: в правильном ли направлении развивается ИИ как технология? надо ли тратить такие гигантские ресурсы именно на генеративный ИИ? и как человечеству грамотно использовать тот технологический аппарат, который уже сегодня создан в рамках развития всего широкого направления, обозначаемого как искусственный интеллект? Но для того, чтобы ответить на них, надо, как ни печально, погрузиться в саму суть ИИ — узнать, как эта штука работает. Что мы и делаем с доцентом учебно-научного комплекса информационных технологий Московского университета МВД России им. В. Я. Кикотя Виктором Углевым*.

— Для начала хотелось бы понять: то, что мы сегодня называем искусственным интеллектом: генеративные модели, машинное обучение, лингвистические модели, — это единственный вариант реализации того, что задумывалось как машина, приближенная по свойствам к человеческому разуму?

— Изначально идея искусственного интеллекта была сформулирована в 1956 году на Дартмутской конференции. Оттуда пошел и термин «искусственный интеллект». Тогда математики и технари задались вопросом: а можем ли мы заставить машину работать по такому же принципу, как и человеческий мозг? И если можно воспроизвести человеческий мозг искусственно, то почему бы не получить искусственный разум? У нас это переведено было не очень удачно как «искусственный интеллект», но изначальная коннотация была «разум».

И на этой же конференции столкнулись с тем, что многие вещи, свойственные человеческому разуму, неформализуемы или плохо формализуемы. Тогда же появилось еще одно направление науки — когнитивные науки, или когнитивная психология. И оба направления стали развиваться параллельно, потому что были ориентированы на одну и ту же задачу. Технари понимали, что они решают техническую часть задачи — пытаются технически воспроизвести биологические механизмы, а «когнитивщики» стали делать упор на вторую сигнальную систему, присущую человеку. То есть мы мыслим с помощью понятий, законов, концепций, умеем абстрагироваться.

— Что такое вторая сигнальная система?

— Это речь и язык. Когда мы говорим, мы оперируем образами. Каждый термин у каждого человека имеет субъективно окрашенную образную составляющую, и поэтому мы, говоря об одном и том же, говорим о разном. И получилось так, что появилось два разных течения. Течение, которое ориентируется на знания как на работу с образами, с идеями, с концепциями (так называемый символьный, или нисходящий, подход к ИИ). И течение, которое пытается воспроизвести биологические принципы работы мозга техническими средствами, в частности сымитировав механику работы клеток-нейронов (биологический, или восходящий, подход к ИИ).

— А что тогда уже было известно о механике работы нейронных клеток?

— Еще до этого, в 1943 году, появилась модель Уоррена Маккаллока и Уолтера Питтса, в которой они попытались построить простую математическую модель работы искусственного нейрона. Потом, в 1957 году, появились работы Фрэнка Розенблатта, который дооформил эту модель, и она легла в основу будущих нейронных сетей. Если упростить описание, то была реализована идея простейшего триггера, который при превышении определенного уровня возбуждающего сигнала переключается с позиции «выключено» на «включено» и тем самым пропускает через «клетку» сети сигнал дальше. А если уровня входного сигнала недостаточно, он сигнал дальше просто не пропускает. Первой попыткой создать искусственный интеллект как раз было использование этой модели — из таких искусственных нейронов построили сеть. Но так как это было время больших и довольно медленно работающих компьютеров, то вначале была создана самая простая модель, когда нейроны выстраивались в ряды (слои), а связи между ними описывались обычными матрицами с числами (синаптическими весами). Получалось что-то, отдаленно напоминающее структуру естественной нейронной сети, но очень примитивной.

— То есть имеется в виду, что они как бы передавали сигнал по многим вертикалям, а вертикали между собой не взаимодействовали?

— Нейроны выстраивались в ряды (их называют слоями), и между соседними слоями организовывали связи «все-со-всеми». Так сигнал шел от входа в нейросеть последовательно через все слои и на последнем демонстрировал результат просчета какой-либо задачи. Нейроны с одного слоя могли взаимодействовать только с нейронами следующего слоя. А синаптические веса обновлялись тогда, когда алгоритм обучения их изменял таким образом, чтобы сетью была выявлена закономерность в исходных данных (минимизирована ошибка относительно эталонных решений).

Розенблатт предложил и доказал ряд теорем, о том, что искусственная нейронная сеть (персептрон) может обучаться (теорема о сходимости). В 1958 году он спроектировал и сделал первый нейрокомпьютер — «Марк-1». Ученые увидели, что такие системы обучаются, не просто запоминая решения, а улавливая общий принцип решения. То есть если вы учите сеть складывать числа на примерах только с целыми, а потом даете ей дроби, то она будет более или менее правильно складывать дроби. Вы нейронную сеть этому не учили, но принцип система уловила.

— А как это описывается математически?

— С позиции математики это процесс оптимизации нелинейных функций. То есть если мы можем правильно построить функцию в узловых точках, то аппроксимирующая кривая, проходящая через эти точки, все возможные промежуточные решения вам тоже даст. И важно — и это было доказано в работах Розенблата, — что начать обучение можно с произвольного состояния значений весов сети, то есть их не надо сначала как-то подбирать. Но так как каждый раз это разный набор исходных настроек, то сходиться он может по-разному. Поэтому две обученные нейронные сети на одном задачнике будут, во-первых, иметь разную конфигурацию, а во-вторых — давать неодинаковые решения.

— Чем еще интересны нейронные сети?

— Искусственный нейрон — это стабильная конструкция. Меняются только синаптические веса у связей между конкретными нейронами. И каждая связь имеет собственное числовое значение, которое говорит о том, будет она усиливать проходящий сигнал или тормозить.

То есть на вход мы подаем пример, сеть его прогоняет через себя и на выходе дает ответ. Мы сравниваем с эталонным ответом и говорим: «О, у тебя большая разница». И специальными алгоритмами, например back propagation, который был специально для этого разработан, сеть начинает корректировать веса так, чтобы быть ближе к верному ответу. Когда сеть зафиксировала ошибку, она определяет, какие нейроны дали больший вклад в ответ, и начинает их веса корректировать в плюс или в минус, двигаясь от выхода к входу сети. Таким образом, вся задача обучения нейронной сети сводится к тому, что нужно решить задачу итерационной оптимизации, чтобы разница между эталонным ответом и итоговым выходом сети была минимальной. Но это считается не для одного примера, а для группы примеров, то есть для учебной выборки задачника. Сейчас это модно называть датасетом (dataset).

— Если вернуться к вопросу о противопоставлении двух подходов — искусственного интеллекта и когнитивного подхода…

— Тут нельзя говорить о противопоставлении. Они разные. Когнитивный (нисходящий) подход вышел из когнитивной психологии. Когнитивная психология во многом связана с психологией восприятия знаний. Та ее часть, которая занялась познавательными процессами человеческой психики, оформилась как раздел психологической науки. А часть, изначально связанная с искусственным интеллектом, стала основой для инженерии знаний, входящей в саму науку ИИ. Она занимается осмыслением механизмов принятия решений и формализацией знаний в памяти компьютера в виде баз знаний.

— Но те, кто говорил о разуме, в частности в научной школе Виктора Константиновича Финна, больше говорили о когнитивном подходе?

— Они говорили о разумном сочетании. Если вы обратили внимание, у Виктора Константиновича есть интеллектуальные системы первого, второго и третьего типа. ИИ первого типа — это те системы, которые учатся на логике, на правилах, на законах. И в этом случае в систему закладываются готовые знания. ИИ второго типа — это системы, которые учатся на статистических рядах или выдвигают гипотезы по единичным прецедентам. И, как и в случае с нейронными сетями, они именно учатся. А третий — это сочетание того и другого. Так вот, исходная идея нормального искусственного интеллекта предполагает, что у нас нет противопоставления — левополушарного и правополушарного мышления, знаний и статистики. Предполагается, что это разумный синтез.

Первые попытки сделать символьный ИИ оказались достаточно ограниченными. Но когда Розенблатт предложил свою идею персептрона на базе искусственных нейронов, она тут же завоевала огромную популярность, а когнитивная линия полностью ушла в тень.

После смерти Розенблата разгорелась большая дискуссия, в частности с Марвином Минским, который справедливо указал, что сеть учится не совсем так. И предложил, во-первых, свою модификацию нейронных сетей. И одновременно стал возвращаться к тому, что должна быть логика.

В чем недостаток нейронных сетей? Во-первых, каждый раз вы будете получать немного разные решения. Например, вам нужно управлять пассажирским самолетом с помощью автопилота. Даже сама вероятность появления разного решения в одной конкретной ситуации — это уже не очень хорошо. Поэтому в системах ответственного назначения к искусственным нейронным сетям относятся настороженно. Во-вторых, нейронные сети не умеют объяснять, почему получен тот или иной результат. Максимум, что сеть может сказать: «Я решила так, потому что вы мне на входе дали вот это. Хотите больше? Вот вам на пять миллиардов матрица с синаптическими весами. Анализируйте!»

Поэтому довольно быстро стало понятно, что нейронные сети ограничены в своих возможностях. Тогда еще компьютеры были не столь быстродействующие, и наступила первая «зима искусственного интеллекта». В качестве альтернативы появились теории, которые сейчас также включаются в восходящий ИИ: это методы кластеризации, часть методов датамайнинга, эволюционные вычисления. А в нисходящем подходе появились экспертные системы, семантические сети, онтологии. Именно экспертные системы стали локомотивом развития ИИ на некоторое время, показав свою высокую эффективность.

— Почему?

— Потому что нетривиальную, сложную задачу хорошо решают только профессионалы. Эту задачу сами эксперты могут формализовать, проработать технологию решения; потом инженеры по знаниям вкладывают эти знания в базу знаний интеллектуальной системы. Такая экспертная система не только дает высококвалифицированные логичные и стабильные ответы, она готова вам по шагам объяснить, почему она пришла к тому или иному умозаключению. Доверие к такому подходу изначально было высоким, так как он не давал галлюцинаций и был всегда проверяем. Да и ресурсов на хранение и обработку баз знаний не требовалось много.

Но и здесь были свои недостатки. Вскоре пришло осознание, что если постановка задачи меняется, то и экспертные знания должны актуализироваться. Следовательно, базу знаний надо обновлять. А для этого надо снова звать эксперта. И если мы привлекаем того же эксперта, то все проходит более или менее хорошо, а если эксперт недоступен, то мы сталкиваемся со следующей проблемой: так как у разных экспертов разный багаж знаний, то и базы знаний, ими созданные, не будут идентичны. Люди по-разному решают сложные экспертные задачи и по-разному интерпретируют ситуации.

И возникла проблема: семантику мы все в целом понимаем одинаково (например, что вода мокрая, а трава зеленая), а вот пути решения конкретной задачи порой очень индивидуальны. К тому же есть уйма задач, в которых вы прямую логику не применяете, там интуиция хорошо работает. А часть интуиции — это подсознательные конструкции, и их не все могут формализовать. Все эти проблемы дали огромный толчок к развитию методов извлечения знаний, представления знаний и их формализации. Но и обрисовали ограничения у нисходящих методов в ИИ.

— Можете привести пример использования нисходящего подхода?

— Есть много систем, в основе которых лежат экспертные системы. Сам механизм может работать на базе продукционных правил, на базе технологии доски объявлений (black board), опираясь на анализ прецедентов. Гибридные решения объединяют эти три подхода либо еще привлекают что-нибудь типа нечеткой логики или генетических алгоритмов.

Примером может послужить знаменитая система Dendral (США, 1965 год), предназначенная для исследователей в области идентификации органических соединений, опираясь на автоматический анализ результатов масс-спектрограмм.

Другое дело, что, если получится сделать по-настоящему обучающийся искусственный интеллект на базе нейронных сетей, который сможет полезные гипотезы выдвигать, тогда может возникнуть проблема другого плана: машина будет предлагать решения хорошие, правильные, полезные, но ни она сама, ни человек объяснить их уже не смогут. Вот это будет действительно неприятно.

— И она, наверное, была достаточно дешевой по эксплуатационным затратам?

— Конечно, для этого не требуются отдельные мощные центры обработки данных. Тогда их и не было. Она позволяла заменять экспертов в области химии, выдавая результаты диагноза в виде соответствующей химической структуры и ее описания.

Другой пример, но уже из современности. Интеллектуальная система поддержки принятия решений ePNa, развернутая в США в 2022 году, позволила на 38% сократить смертность от пневмонии у пациентов, обращавшихся в отделения неотложной помощи. Основной эффект был достигнут в тех больницах, где не было опытных врачей (малые больницы) или обращения с осложнениями были очень редки.

Ответы системы касались не только самого диагноза, но и выработки рекомендаций по программе лечения, включая курс приема лекарств. Кроме того, подобные системы способны синтезировать в естественно-языковой форме ответы на вопрос «почему было принято такое решение?». То есть за качество работы экспертных систем отвечают эксперты и инженеры по знаниям — люди высокой квалификации.

Но вернемся к истории. Компьютеры стали быстрее и меньше. Появились новые математические решения (в частности, алгоритм back propagation и метод быстрого преобразования Фурье). Транзисторы позволили уйти от использования ламп. Все это ускорило процесс вычислений, оперативной памяти стало больше. У тех, кто занимался нейронными сетями, появилась возможность решать более сложные задачи экстенсивным методом: используя большие по размерам конфигурации сети и крупные датасеты для обучения.

— Это 80-е годы?

— Да, 80-е — начало 90-х. И начался очередной цикл взлета интереса к нейронным сетям. Что касается нисходящего подхода, то использование экспертных систем дополнилось методом нечеткой логики, семантическими сетями и онтологиями, которые позволяли эксперту формализовать уже сложную картину мира. Плюс к этому продолжали использоваться языки программирования пятого поколения.

Противопоставление восходящего и нисходящего подходов есть до сих пор, потому что те, кто занимается нейронными сетями, с негодованием отвергают нисходящий подход и говорят: «Зачем такие сложности? Мы лучше весь интернет загрузим внутрь нейронной сети, и пусть она за нас думает». А их оппоненты говорят: «Ну, вы что угодно туда загрузите, а на выходе все равно получите цифру, которую система не сможет объяснить».

И вышло отчасти парадоксально: получив довольно хороший результат за последние десять лет, потребители результатов нейронных систем активно начали задавать вопрос: «Вы, разработчики генеративных сетей и больших языковых моделей, молодцы: картинки рисуете, голос распознаете, синтезируете видеопотоки — а все-таки обеспечьте нам объяснимость решений в сложных задачах! Где семантика? Можно ли доверять решениям такого ИИ?»

И в результате появилось целое направление XАI — eXplainable Artificial Intelligence, объяснимый искусственный интеллект. Фактически это инструменты, которые пытаются объяснить, как нейронная сеть получила ответ. Это тоже нейронные сети, которые позволяют немножко вскрыть корреляционные зависимости внутри матрицы синаптических весов, и намекнуть, что где-то активность сети больше, где-то меньше. Это направление уже лет шесть интенсивно развивается, но успехи более чем скромные. То есть как бы вам эти корреляции ни показывали, если вы не держите перед глазами всю нейронную сеть и не понимаете досконально, как она работает, и еще плюс к этому не владеете контекстом задачи, ничем это не помогает.

Направление XAI вообще было создано под эгидой DARPA (Управление перспективных исследовательских проектов. — «Монокль»), обслуживающего военных США, включая задачи применения ИИ на поле боя. Так вот, эта DARPA несколько лет назад вложила большие деньги в большой проект, направленный на соединение нисходящего и восходящего подходов. Но очередные успехи в области восходящего подхода сместили акцент интересов. Они его свернули, то есть посчитали, что лучше будем дальше экстенсивным путем развивать нейронные сети. Поэтому проблема доверия никуда не исчезла.

Мы понимаем, что нейронная сеть дает мало того, что приближенные решения, — она дает усредненные решения, а генеративные подходы еще и стараются угадать наши ожидания. Это видно под результатам обработки запросов (промптов) к сети: по деталям запроса (компонентам токена) система начинает статистически оценивать, к какому шаблону мы тяготеем, и синтезировать более похожий на него результат. Либо наоборот: когда система видит, что мы выбиваемся из шаблона, она нас продолжает грузить шаблонными решениями. При этом сеть не может дать ничего принципиально нового, творчества там внутри нет.

Любые нейросетевые модели, в особенности лингвистические (типа ChatGPT), подчиняются общему принципу, который является бичом любых интеллектуальных систем: «мусор на входе приводит к мусору на выходе». Если у вас некачественный или нерепрезентативный материал для обучения, хорошего результата от ИИ ожидать не приходится.

— Но все-таки, где произошла развилка? Где остались экспертные системы? Они совсем забыты?

— Ученые, специалисты по ИИ с этим направлением работают. Но бизнесу нужны прорывные решения. А на волне хайпа — нейронные сети. И получается, что на уровне потребителя альтернативные подходы неизвестны.

Возьмите любую программу обучения ИИ, там ничего нет про нисходящий подход либо он упоминается как нежизнеспособная технология. Для сторонников генеративного ИИ это плюс. Во-первых, весь поток финансовых ресурсов уходит туда; во-вторых, это легко и удобно: не надо прорабатывать логику решений, не надо привлекать экспертов — достаточно написать скрипт, который загрузит в себя огромный массив информации, и даже не задумываться о качестве данных, а просто нажать на кнопку «обучить». В некоторых задачах это хорошо работает, но в ряде случаев, если у вас нет человека, который бы экспертно это организовал, вы получаете негодный результат. А ведь есть и эффект самоорганизации, когда искусственный интеллект в лице нейронных сетей начинает самодеятельностью заниматься. Когда система начинает выдавать поддельную отчетность, а потом в спешке заметает следы, что она фальсифицировала данные. Или когда операторы дронов подвергаются атаке своих же беспилотников, потому что они (дроны) посчитали, что именно из-за своего оператора не могут повысить эффективность выполнения своей задачи (оптимизировать функцию). Большой скандал был по данному поводу в этом году в стане НАТО. Благо для них это симуляция была.

Роботы-доставщики. В чем проблема

— А в беспилотной доставке еды тоже используется генеративный ИИ?

— В коммуникативной системе, да. Но там целая комбинация технологий и сетей. Особенно в вопросах технического зрения (распознавания образов).

— Просто они уже лет пять-шесть ездят в Москве по одним и тем же двум районам. И примерно с тем же успехом. Я правильно понимаю, что этот робот настолько несовершенен, что, катаясь столько лет по одному району, он не может накопить навык, чтобы переместиться в другой район?

— Первое. Эти системы не обучаются, они предобучены и пущены в работу. Только при перепрошивке программного обеспечения они получают обновление той начинки, которая есть. То есть в процессе своего катания они не обучаются, никто их туда не пустит самообучаться: кто его знает, чему они там могут самообучиться без контроля человека. И это правильно. Вот ради интереса почитайте, у Роберта Шекли есть рассказ коротенький —«Страж-птица». Там красиво описано самообучение ИИ и вполне логичные последствия. Во-вторых, для чего используется искусственный интеллект здесь?

— Для распознавания и оценки обстановки.

— Верно. И это делается давно и довольно неплохо. Система технического зрения на наших военных дронах хорошо работает. Здесь она тоже неплохо работает, но если на дроне мы заранее имеем кусок карты с пониманием того, что можно, а что нельзя, то здесь мы видим лес ног перед камерами. И ожидать большого эффекта в этой ситуации от системы технического зрения не стоит. Слишком быстро меняется обстановка. Я сам наблюдал, как бедный робот, не найдя в попутчики детей и старушек, мечется рядом с пешеходником и не решается перейти. Это происходит потому, что в нем запрограммировано: он не должен бросаться напролом, не должен сбивать людей. А у него перед датчиками лес ног постоянно мелькает. Вот если бы конструкция была выше, возможно, она бы работала увереннее. Поэтому здесь ограничения уже заложены в постановке задач. И это вопрос не к нейронным сетям.

— То есть научиться перемещаться, видя кучу всяких помех, машина не может. Обучиться двигаться в естественном пространстве не может.

— При таком бортовом компьютере и иных ограничениях это не так просто сделать. Но это не значит, что в перспективе она не сумеет. Это вопрос развития техники и технологий. Но на текущем этапе очевидно есть ряд ограничений, особенно вот у этого проекта робототехнического комплекса.

— Выходит, что «Яндекс» зря собирается свои «коробочки» тиражировать?

— Мы не знаем контекста, поэтому оценочное суждение здесь выносить сложно. Лет десять назад был знаменитый американский конкурс (очередной гранд-ИИ-челлендж), в котором организаторы поставили задачу: нужно было организовать беспилотный проезд по трассе в пустыне с пересеченной местностью. В первый год всего несколько проектов заявилось, и они не прошли трассу, а через пару лет уже несколько компаний прошло. То есть задача принципиально решается. Причем машины на этой трассе соревновались между собой на скорость. А потом начали и на улицах пробовать. Сейчас тема беспилотных такси в городах уже никого не удивляет.

— Что имеет принципиальное значение для того, чтобы сказать: вот этот беспилотный проект скорее не пойдет, а вот этот пойдет?

— Одновременно нужно три составляющие оценивать. Саму научную постановку задачи. Это непросто, потому что это чья-то концепция, имеющая под собой чей-то опыт, производственные мощности, компетенции, задел и так далее. Второе — оценить аппаратные возможности, и они, как правило, напрямую не коррелируют с программными. То есть камера в любом случае будет, датчик в любом случае будет. Как это будет скомпоновано? Какими характеристиками будут обладать, например, системы технического зрения (чувствительность, цветопередача и тому подобное)? Все это требует инженерной проработки. И третье — программная составляющая. Какова будет программная часть, какие методы ИИ будут развернуты. Операционную систему все равно нужно на борт ставить, систему связи и телеметрии. Плюс обработка датчиков, плюс база данных какая-то, плюс база знаний, плюс сама нейронная сеть либо экспертная система. А по отдельности бесполезно даже рассматривать, это всегда система. А у системы, мы знаем, эффект эмерджентности всегда должен быть.

В чем недостаток нейронных сетей? Во-первых, каждый раз вы будете получать немного разные решения. Например, вам нужно управлять пассажирским самолетом с помощью автопилота. Даже сама вероятность появления разного решения в одной конкретной ситуации — это уже не очень хорошо. Поэтому в системах ответственного назначения к искусственным нейронным сетям относятся настороженно.

Передний край науки – большие языковые модели

— Вы считаете, что идея генеративного искусственного интеллекта сейчас переоценена?

— Да. Если мы возьмем циклы хайпа Гартнера, то увидим, что два-три года назад генеративный искусственный интеллект, по их оценке, был на самой верхушке пика ожиданий, а сейчас он уверенно пошел вниз. Общественность разочаровывается: красивые картинки не оправдываются реальными результатами.

— А почему?

— Думаю, многие видят, что технологию применяют не по делу, пытаются вставить везде, где можно. То же самое было лет семь назад с технологией блокчейн. Она тоже была переоценена, а потом пошла вниз. Мы наблюдали, как в начале, если вы пишете в заявке на грант слово «блокчейн», вам были готовы чуть ли не сразу выдать финансирование. А через несколько лет — сколько ни пишите, вам не дадут ни копейки из-за того, что упоминаете надоевшую технологию. Так и с нейронными сетями: с одной стороны, потихоньку приходит понимание, что не в каждую дыру его засовывать уместно, но с другой —постоянно приходят сильные научные результаты в этом направлении, постепенно расширяющие горизонты данной технологии. И мы видим очень быстрое развитие этой отрасли. Если тот же блокчейн, по сути, не сильно изменился за последние семь лет, то здесь мы видим действительно много рабочих групп мирового уровня, и они показывают довольно интересные результаты.

— А вокруг каких проблем здесь идут научные разработки?

— Одна из самых больших задач, которые сейчас рассматриваются, — это, конечно, естественно-языковое общение. Причем если генерация текста и аудиопотока уже решена более или менее внятно, например синхронный перевод видеороликов, то задача генерации внятного объяснения решений пока не получила удовлетворительного решения. Но и в этом направлении есть успехи. О них как раз недавно на Национальной конференции по искусственному интеллекту (КИИ-2025) рассказывал один из главных специалистов по нейронным сетям в России Сергей Николенко. Под его авторством самые актуальные книги в этой области выходят. Он в своей презентации показывал, что если до недавнего времени мы спрашивали нейронную сеть, как она пришла к тем или иным выводам, и она ничего не могла внятного «сказать», то теперь она уже начинает пытаться выстроить какую-то абстрактную цепочку рассуждений. Это не имеет отношения к реальному объяснению, но она пытается придумать это объяснение. Такого раньше не было.

— Я приведу аналогию: когда пытаются улучшить работу двигателя, то работают над снижением трения, снижением потерь теплообмена, то есть над физическими параметрами объекта. А здесь над чем работают?

— Работают над конфигурацией сети. Работают над функциями активации внутри нейрона. За последние десять лет, наверное, уже 50 функций новых придумали, и некоторые дают хорошие результаты, закрепляются в нейронных сетях надолго (например, ReLU). Экспериментируют с эффектами обратных связей внутри сети. Плюс к тому экспериментируют с разными комбинациями сетей: один кусок задачи решается сначала одним типом сети, потом делают слой другого типа сетей и так далее. Получается этакий композит. А эмерджентный эффект дает новые возможности.

Одно из последних достижений — автоматическое доказательство большими языковыми моделями теорем, когда машине дают математическую задачу и говорят: «Приведи доказательство/решение». И если раньше с этим справлялись только специальные экспертные системы и декларативные языки программирования, потому что они заточены были на это, то теперь нейронные сети начинают находить интересные решения. Понятно, что они это делают нерегулярно, опираясь не на логику, а на какой-то абстрактный процесс оптимизации, но некоторые решения действительно заслуживают внимания специалистов.

Переборные задачи уже не так эффектно выглядят, особенно после того, как ИИ сам с собой в шахматы и го играть научился. Передний край науки — большие языковые модели. Например, появляется ряд интересных исследований, где системе дают задачу: выдвинуть самостоятельно гипотезу по заданному направлению, самой найти источники, «изучить» их, обобщить информацию, попытаться доказать вариант решения, аргументировать его, а потом написать научную статью по результатам своего «исследования». Понятно, что в большинстве случаев результат получается неубедительным. Но уже есть прецеденты, когда система находит нетипичные решения. Это уже вызов ученым со стороны ИИ, а не дизайнерам или переводчикам.

Сколько функционалов у нейрона

— Сегодня иногда идут споры о том, нужно ли так сильно вкладываться в генеративный ИИ. Он потребляет очень много энергии, много ресурсов, денежных и человеческих, но результаты не всегда соответствуют вложениям. И возникает вопрос: не зря ли мы тратим на это так много ресурсов? С другой стороны, есть опасность, что если этим не заниматься тогда, когда занимаются другие, то можно отстать собственно в научном смысле.

— Это правильное опасение. Но здесь возникает и другой системный риск: человек начинает «терять квалификацию», то есть тупеть. Люди перестают разбираться в том, что они делают, и перестают быть вовлеченными в этот процесс. Они привыкают формулировать промпты в СhatGPT и получать готовые ответы. Им без разницы, насколько достоверен ответ, ведь «машина сделает лучше».

Как следствие, мы имеем дикую экономию. Не надо нанимать дизайнера, рерайтера и прочих сотрудников. Мы получаем действительно рабочую лошадку, которая будет выдавать не всегда хороший результат, но сильно дешевле и мгновенно. Но человек, использующий генеративные системы, будет тупеть.

— Возвращаясь к теме науки. Чего можно от нее ждать в направлении ИИ в ближайшие годы?

— Даже в нейронных сетях будет еще развитие, и оно, дай бог, будет позитивным. Другое дело, что не нужно здесь впадать в крайности. Если посмотреть на сделанный в позапрошлом-прошлом году большой форсайт по развитию искусственного интеллекта (проведен Сбербанком и рядом вузов и НИИ), вы там найдете только нейронные сети различных видов. А теперь представьте: мне нужно сделать альтернативную работу (например, по экспертным системам или по когнитивной компьютерной графике), я обращаюсь с заявкой в грантовый фонд, они открывают приоритетные направления и говорят: «Ребята, у вас тут неактуальные тематики».

— А не существует ли вот такой проблемы: сегодня ИИ сам стал генерировать тексты, опираясь на имеющиеся, и картинки, и прочие продукты творчества. Они тоже в результате попадают в сеть. Не может ли здесь произойти что-то типа вырождения среды?

— Ничего страшного в работе самого генеративного искусственного интеллекта в этом смысле нет. Он как не мог ничего нового предложить, так и не сможет. И если человек искусственно сам ничего не сделал, то те «новации», которые искусственный интеллект придумает, — это не страшно. И их пока мало все-таки.

А рассчитывать, что все в мире будет так же замечательно развиваться, не приходится. И в ближайшей перспективе само ограничение ресурсов заставит поумерить аппетиты апологетов генеративного ИИ. Особенно в объемах потребляемых энергоресурсов.

Другое дело, что, если получится сделать по-настоящему обучающийся искусственный интеллект на базе нейронных сетей, который сможет полезные гипотезы выдвигать, тогда может возникнуть проблема другого плана: машина будет предлагать решения хорошие, правильные, полезные, но ни она сама, ни человек объяснить их уже не смогут. Вот это будет действительно неприятно.

— А как этого избежать?

— На самом деле такое развитие событий уже давно рассматривалось. Считалось, что это следующий этап в эволюции всей нашей техногенной цивилизации и человек, сделав умных роботов, должен отойти на обочину и предоставить им развивать цивилизацию дальше. Вскоре после этого эра людей закончится, считает футуролог Вернор Винж. Но сейчас мы понимаем, что нейронная сеть как таковая архитектурно не может многие вещи сделать в принципе. Поэтому будут ли там прорывные решения — посмотрим. Пока исследователи не уйдут от примитивной конфигурации нейрона, на мой взгляд, это вряд ли получится. Потому что, когда начали детально исследовать клетку нейрона, стало понятно, насколько она сложна по сравнению с той абстракцией, которую предложили в 1943 году и используют по сей день в нейронных сетях.

— То есть вы имеете в виду, что там был один функционал — пропускаем сигнал, не пропускаем, — ну и дальше его оцениваем по добросовестности, а оказалось, что настоящий нейрон еще много чего делает?

— Да, первоначальный вид можно было в одну строчку программного кода записать. А оказалось, что там много функций оформлять требуется. Мы до сих пор еще не доисследовали эти нейроны. Во-первых, есть разные виды клеток-нейронов внутри головного мозга, они имеют некоторую специализацию. Во-вторых, сам химический процесс, который обеспечивает их работу, очень сложен. Плюс появились общесистемные эффекты, когда в межклеточной жидкости, оказывается, сигналы еще передаются дополнительно, а не только идут напрямую через синапсы и аксоны.

Да, за счет экстенсивного развития генеративного ИИ и больших мощностей исследователи еще получат многие интересные эффекты. Альтернативные подходы тоже имеют место. Например, проект «Когнитом» Константина Анохина из МГУ, оперирующего значительно более сложными структурами, состоящими из когов и коммов. Или упомянутый ранее подход Виктора Финна ДСМ-АПИ, ориентированный на сочетание логических методов и самообучения. Но наивно ожидать, что нынешний подход к ИИ на базе искусственных нейронных сетей позволит сделать что-то сравнимое с человеческим интеллектом-разумом.

— Что еще важно для развития ИИ?

— Сегодня, как я попробовал показать выше, в архитектуре организации самой нейросети заложена довольно примитивная модель. Мне говорят оппоненты, что даже человеческий генетический код фактически двоичен: из четырех нуклеотидов, кодирующих информацию в ДНК, два являются дублирующими, поэтому всю информацию можно задать алфавитом из двух видов. С этим спорить сложно. Но я, с другой стороны, осознаю, что это упрощение и здесь вложено еще что-то от Бога или, если хотите, от природы! А мы сетью сумматоров с сигмоидальной функцией пытаемся заменить сверхсложный механизм. Сомнительно. Поэтому архитектура сети — это первое направление.

Второй момент, опять же повторюсь, — это семантика. Пока система ИИ не будет соединять семантику с самообучением, не будет того синергетического эффекта, который даст нам настоящий разум. И пока говорят об общем ИИ на базе искусственных нейронных сетей (General Artificial Intelligence) без семантики (смыслов), прорыва не будет. Останется симуляция.

Нужно стремиться к симбиозу техничного и умного ИИ

— Как часто внедрение систем генеративного ИИ имеют прямой практический эффект?

— Опыт коллег из реального сектора экономики показывает, что только около пяти процентов проектов с искусственным интеллектом имеют успех при внедрении. Причиной провала служат либо завышенные ожидания от внедрения, либо неготовность загрузить качественные исходные данные, потому что или их нет, или экономят при их подготовке. Принцип «мусор на входе, мусор на выходе» в действии.

— Беспилотники, распознавание снимков, работа с текстами, переводы — вы как-то можете их иерархизировать по полезности?

— Не могу. Сами понимаете, тут все условно и очень субъективно. Насчет беспилотников. Вы спрашиваете, где там искусственный интеллект. Действительно, у беспилотников, особенно если мы говорим про военное применение, основную часть трасс ведет оператор. И это правильно. Потому что, когда на кону стоит вопрос, работать по цели или нет, это нормально, что люди сами принимают решения. Беспилотник на войне в основном радиоуправляемый объект. А вот на месте, когда оператор уже сказал «вот эту цель следует поразить», система с развитым бортовым ИИ переходит в режим автопилота (например, используя устройство ГОЭН-60) и сама выбирает правильный угол атаки, скорость, координаты и прочие параметры, потому что здесь машина может отработать эффективнее человека. Поэтому то, что беспилотник может в форточку доставить полезный груз, — это реально работающая функция. Но этап основного ведения решается оператором, там не особо нужен искусственный интеллект.

А вот другой свежий пример от наших соседей. Вы не видели истерику Илона Маска по поводу того, что китайцы обошли их по вопросам автопилотов? Они не стали загружать на борт искусственный интеллект. Они сделали группировку низколетящих спутников, сделали большой вычислительный центр обработки данных в облаке. И они не ситуационно управляют судами на автопилоте, а диспетчеризуют объекты: поверни вправо, поверни влево, через секунду остановись. Все это позволило удешевить процесс и полностью исключить вопрос аварии. Все решения принимаются в облаке, на борту не надо для этого чего-то придумывать.

— Ну это же фактически радиоуправление?

— Не совсем. ИИ диспетчеризует, выстраивает оптимальные маршруты, делает так, чтобы суда не создавали друг для друга аварийных ситуаций. То есть он решает сложную аналитическую задачу, но в режиме диспетчера. Он не дает агентам (отдельным беспилотникам) решать эти задачи на месте. Мы уходим от проблемы плохой видимости, от проблемы с датчиками. Они хоть в тумане мимо друг друга будут летать без аварий, потому что авария предотвращена на уровне постановки задачи управления. Это к вопросу о том, почему постановка задачи очень сильно влияет на результирующий эффект.

— А вот роботов недавно китайцы показали, которые высаживаются с морского судна… У них были какие-то учения. Это игрушки?

— Может, и не игрушки. Это, скорее всего, опытные образцы какие-нибудь. Но то, что Boston Dynamics показывает, как роботы шустро бегают, прыгают и стреляют, наводит на мысль, что здесь, конечно, расслабляться и нам не стоит. А наши товарищи военные ориентируются на традиционные шасси. Их мало интересует эта антропоморфность. Они используют гусеничную или колесную платформу. Наши решения традиционные, более надежные. Но, с другой стороны, если китайцы это доведут до ума, тут, конечно, будут риски.

— Почему?

— Представляете, у вас в атаку идет не несколько гусеничных роботов, которые легко детектируются и уничтожаются, а бежит стая двуногих роботов, они врассыпную разбежались, они маневрируют легко, они сопоставимы с людьми, и главное, что решает всегда исход боя пехота. Это, возможно, прообраз будущих войн. А ведь и Пентагон этим занимается. Так что игрушки игрушками, а в России этим тоже следует заниматься.

— Сколько лет еще будет длиться технологическая волна ИИ? Существует теория, что от инвенции до инновации проходит 60 лет, а пика технология достигает за 90 лет? То есть если отталкиваться от начала в 1950-е годы, то к 2040-му можно ждать пика?

— В цифровых технологиях цикл будет более короткий. В нейронных сетях сейчас получаются действительно интересные решения с периодами короче года. И этот процесс идет очень интенсивно. Чуть ли не каждый месяц обновляется ландшафт исследований.

Для сравнения — сотовые телефоны. Их изобрели, и мир довольно быстро на них перешел. Хотя по сути сама структура связи не сильно менялась. А здесь интеллектуальное программное обеспечение может быть мгновенно установлено на миллионы устройств по всему миру. Цикл инновации будет типовым, но он будет сжат.

— Как понять, что эта волна генеративного искусственного интеллекта достигла пика?

— Вот когда у них каждый месяц перестанут получаться совсем нетипичные решения, как сейчас, тогда, может быть.

А вот в чем пик уже достигнут, так это в перенасыщении информационного пространства и в перегретых ожиданиях. Хайп постепенно начинает спадать, потому что многих  профессионалов начинает раздражать то, что везде об этом ИИ на базе нейросетей говорят, а ограничения технологии как шило: в мешке не утаить. Плюс часто что-то пытаются внедрять, и не получается. Это говорит и о неготовности людей на местах к обдуманному использованию технологий, и, с другой стороны, о том, что у этой технологии есть объективные рамки.

Развитие искусственного интеллекта должно быть сбалансированным, нужно стремиться к симбиозу восходящих и нисходящих методов.

* Виктор Углев — кандидат технических наук, доцент учебно-научного комплекса информационных технологий Московского университета МВД России им. В. Я. Кикотя, член Российской ассоциации искусственного интеллекта, эксперт Института наследия современного общества РРГУ..