В битвах вокруг ИИ победят корпорации

Что создают в OpenAI и стоит ли этого бояться? Об этом — в интервью с экспертом по междисциплинарным исследованиям и стратегической аналитике, бывшим топ-менеджером IBM, SGI и Cray Research Сергеем Кареловым.

Читать на monocle.ru

— Самая обсуждаемая тема в свете событий с OpenAI, — обнаружение специалистами компании у своей модели новой когнитивной способности самостоятельно находить информацию, которой нет в ее базе данных. Поясните, пожалуйста, что это может быть за модель и как у нее получилось выйти за пределы знаний, сформированных на стадии ее обучения?

— Да, основная причина, из-за которой начался весь этот бардак, заключается в том, что был совершен прорыв в исследованиях в сторону сильного искусственного интеллекта. А поскольку условия соглашения Microsoft и OpenAI были таковы, что в случае приближения к подобным результатам все предыдущие соглашения должны пересматриваться, то фактически OpenAI получала право забрать у Microsoft последние рычаги управления. Чтобы избежать этого, была разыграна многосерийная интрига с увольнением, а потом возвращением Сэма Альтмана. В результате чего совет директоров был кардинально обновлен в пользу интересов Microsoft.

Что же касается прорыва, то здесь мы можем только строить предположения. Есть информация, что в главном сегодняшнем проекте компании под кодовым названием Q* (читается Q-Star) велись исследования по трем направлениям.

Первое — это как раз про способность модели не просто искать информацию во внешней базе данных, в том же интернете или корпоративных базах, но и целенаправленно формулировать вопросы. Это означает, что она не привязана на сто процентов к базам, на которых строилось ее обучение, — а это очень неординарный результат. Дело в том, что все модели создаются схожим образом: учатся по нескольку месяцев на огромных объемах информации, выстраивая свои матрицы весов, свои внутренние представления об этой информации. Далее с ними начинают работать аналитики, задают им вопросы, просят высказаться по определенной теме, а модели в ответ обращаются к вот этой сформированной на этапе обучения матрице и на этой основе формулируют ответ. То есть теоретически модель не может выйти за пределы того, чему научилась на этапе обучения.

Новым лингвоботам Claude-2 и Bing дали возможность прямого обращения в сеть, это, конечно, сильно расширило возможности подобных систем, но эти обращения совершались исключительно на базе тех запросов, которые писали лингвоботам люди. Например, если их спрашивали, какие были группировки североамериканских индейцев за год до начала Гражданской войны в США, то боты искали в сети информацию о группировках индейцев и Гражданской войне в США, не понимая сути вопроса.

А вот тот прорыв, о котором мы говорим, связан с принципиально новой способностью модели. Она начала искать ответы в сети на собственные содержательные вопросы, чтобы лучше разобраться в теме: к примеру, что лежало в основе разделения индейцев на группировки — идеология, борьба за территорию и так далее.

Второе направление, которое получило сильный прогресс, — это системы, подобные AlphaZero, обыгрывающей чемпионов в шахматы. Они работают по другим принципам, осуществляют поиск по деревьям Монте-Карло (эвристический алгоритм поиска для некоторых видов процессов принятия решений, в первую очередь тех, которые используются в программном обеспечении, играющем в настольные игры. — «Монокль»). Интеграция поиска траектории токена по дереву Монте-Карло (как в AlphaZero) с традиционными для больших языковых моделей матрицами весов может быть особенно эффективна в таких областях, как программирование и математика, где есть простой способ определить правильность. И это может объяснять утечки о прорывном улучшении в проекте Q* способностей решения математических задач.

Третье направление — это комбинация Q-обучения и алгоритма A*.

Алгоритм A* — это способ нахождения кратчайшего пути от одной точки до другой на карте или в сети. Представьте, что вы ищете самый быстрый маршрут из одного города в другой. Алгоритм A* проверяет разные пути, оценивая, насколько они близки к цели и сколько еще предстоит пройти. Он выбирает путь, который, по его оценке, будет самым коротким. Этот алгоритм очень эффективен и используется во многих областях, например в компьютерных играх для нахождения пути персонажей или в GPS-навигаторах.

Q-обучение — это метод обучения без учителя в области искусственного интеллекта, который используется для обучения программ принимать решения. Представьте, что вы учите робота находить выход из лабиринта. Вместо того чтобы прямо говорить ему, куда идти, вы оцениваете его действия, давая баллы за хорошие шаги и снимая за плохие. Со временем робот учится выбирать пути, приводящие к большему количеству баллов. Это и есть Q-обучение — метод, помогающий программам самостоятельно учиться на своем опыте.

Насколько мне известно, синергия продвижения по всем этим трем направлениям способствовала критическому прорыву к сильному ИИ, когда модели переходят от простого перебора статистики к динамическим рассуждениям.

— Сохраняется ли возможность контролировать и модерировать настолько совершенные системы искусственного интеллекта?

— Вы знаете, такие понятия, как «контролировать» и «модерировать», сегодня уже не используются, они были в ходу десять лет назад. Даже ChatGPT представляет собой не просто большую языковую модель, как это обычно представляют журналисты, а несколько моделей, соединенных очень сложными алгоритмами. Эта система давно работает не в таком элементарном пинг-понге, как «вопрос — ответ». Там идет довольно сложный диалог с обеих сторон, используются десятки разных методик для генерации текста, чтобы была эффективной работа вот этого нечеловеческого разума. Это уже слишком сложный процесс, чтобы им вот так просто можно было управлять. Единственный действенный метод контроля над этой штукой, который остается у человека, —просто выключить компьютер из розетки. Хотя щелкнуть рубильником, может, тоже будет недостаточно. Все уже погружено в глобальную сеть, которая, по сути, превратилась в инфосферу Земли.

Система могла уже скопировать себя миллион раз на другие дата-центры, и вы даже не узнаете, что она может предпринять. Это, конечно, напоминает идиотские пугалки Голливуда, но надо признать, что сложность подобных коммуникаций заключается не в том смешном диалоге, который ведут сотни миллионов пользователей с чат-ботом GPT. Их будут использовать для нахождения новых формул какой-нибудь генетической корректировки или решения других сложных задач.

Что эта многоэтапная и многозвенная система при этом посчитает правильным и нужным сделать — большой вопрос. Она не имеет никаких моральных ограничений и может предпринять любой шаг, который может оказаться даже фатальным, если не для человечества, то по крайней мере для тех, кто перед ней ставил задачи.

— А в какой точке мы сейчас находимся: системы ИИ уже вырвались на свободу и получили полную независимость от человека или все же остаются возможности их сдерживать и направлять?

— Я вам приведу такой понятный пример. Контролировать трехлетнего ребенка достаточно просто, семилетнего уже сложнее, двенадцатилетнего еще сложнее, а шестнадцатилетнего зачастую просто невозможно. Поэтому когда ИИ имеет пространство возможностей, соразмерное трехлетнему ребёнку, — это один сценарий. Ребенок может закричать, побежать, расплакаться, обидеться, в любом случае в его арсенале лишь несколько десятков линий поведения. Взрослый ребенок может придумать весьма хитрую стратегию, в результате которой он просто вас обманет не сейчас, а через три дня или тридцать дней.

В случае с ребенком мы говорим, что да, увы, дети растут, мы уже не можем ими управлять, но главное — привить им правильные моральные качества, представления о добре и зле и понадеяться на то, что все это понимая и принимая, ребенок не нанесет вреда себе, нам и окружающим. Отношения с системами искусственного интеллекта становятся ровно такими же, как с ребенком, который растет, только не по годам, а по неделям. Но поскольку мы пока не знаем, каким образом можно вложить в него (и можно ли вообще это сделать) вот эти понятия добра и зла, то мы оказываемся в совершенно дикой ситуации. Она заключается в том, что этот наш «ребенок» — очень витиеватый инструмент с десятками тысяч степеней свободы, проконтролировать которые в принципе невозможно, и это все становится очень опасно.

— Если продолжить аналогию с детьми, сколько лет нашим сегодняшним самым совершенным системам искусственного интеллекта?

— Про детей это, конечно, художественная метафора. Но если ее продолжать, мое ощущение как эксперта, что ИИ, который мы имеем сегодня, еще вполне маленький ребенок, трех или, может, семи лет, но вся проблема в том, что он растет с колоссальной скоростью.

— Насколько быстро мы достигнем технологической сингулярности, к которой нас неизбежно ведут события с бурным развитием ИИ?

— Под сингулярностью мы подразумеваем точку, когда рост функции становится настолько быстрым, что будет невозможно предсказать ни то, как дальше будет меняться скорость роста, ни то, какие события произойдут при возрастании этой функции, когда сам ход развития некоего процесса становится чрезвычайно непредсказуем. Думаю, что мы уже вошли в эту зону и в ней плывем. Человечество уже не успевает реагировать на новые события, которые происходят в инфосфере.

— В технологической индустрии есть Илон Маск и другие влиятельные люди, которые призывают не выпускать на свободу ИИ или, по крайней мере, остановить его развитие на несколько лет. Насколько сегодня велико влияние сдерживающих факторов — со стороны общества, государства?

— Все государства начинают понимать опасность и пытаются что-то делать. Но делают с таким запаздыванием и с таким непониманием, что особо на это полагаться я бы не стал. Сейчас в основном идет борьба трех групп — это богатые технооптимисты, рьяные думеры и крупные корпорации. Мне кажется, среди этих акторов в итоге выиграют корпорации, потому как у них больше денег и влияния и до сих пор в мире они представляли собой самую значительную силу, мотивируемую предельно конкретной целевой функцией — максимизация своей прибыли.

Государствам совершенно точно нужно ускоряться в вопросах регулирования сферы ИИ и при этом принимать верные решения. Это значит, что они должны как минимум признать, что ситуация абсолютно критическая и качественное управление здесь должно быть очень высоким приоритетом.

Из государств в этой ситуации, пожалуй, выиграют более авторитарные режимы типа китайского, потому, что Китай действует более быстро, на упреждение принимая законы по ИИ и жестко отслеживая их выполнение.

Чертова дюжина умений

Невероятный хайп, царящий сегодня вокруг всего, что называют плохо осмысленным собирательным термином «искусственный интеллект», мешает задуматься над фундаментальными вопросами о родовых признаках интеллекта естественного. Но ведь не обозначив их, невозможно обсуждать предметно, как близко подошел ИИ, точнее один из разделов этого пучка технологий, а именно модели машинного обучения, к воспроизведению работы человеческого разума.

Крупнейший отечественный специалист в области теории информации, главный научный сотрудник ФИЦ «Информатика и управление» РАН Виктор Финн в интервью журналу «Стимул» сформулировал 13 характеристик идеального интеллекта.

  1. Выделение существенного в обозреваемых данных
  2. Порождение целеполагания, порождение последовательности «цель — план — действие».
  3. Отбор знаний, релевантный цели рассуждения.
  4. Способность к рассуждению, а именно к получению выводов из тех посылок, которые вы подобрали.
  5. Способность к аргументации и принятию решений на ее основе.
  6. Рефлексия, способность реагировать на свои знания, действия и их оценивать.
  7. Познавательное любопытство: ответ на вопрос «что такое?» или способность к распознаванию явлений окружающего мира.
  8. Способность к объяснению, ответ на вопрос «почему?».
  9. Реализация познавательной деятельности посредством синтеза познавательных процедур, образующих эвристику решения проблем. Это не одна познавательная процедура, как, например, дедукция (вывод из посылок истинных заключений или умозаключение по аналогии), а обычно результат действия комплекса познавательных процедур, когда достигается некоторое новое знание.
  10. Способность к обучению и использованию памяти.
  11. Рационализация идей и преобразование их в понятия. Человек часто мыслит не понятиями, а идеями, которые неуточняемы или еще не уточнены, поэтому эта способность обязательна для создания науки.
  12. Способность к интеграции знаний, объединение этих знаний, с тем чтобы создавать концепции и теории.
  13. Адаптация знаний при получении новых сведений из мира, или коррекция теории.

Легко увидеть, что пока то, что называется машинным обучением, реализует только две способности из перечисленных, а именно распознавание (ответ на вопрос «что такое?») и обучение и использование памяти.

«Из этой характеристики интеллектуальных способностей непосредственно вытекает, — говорит Виктор Финн, — что не все то, что может в процессе познавательной деятельности делать человек, может быть автоматизировано, что-то мы можем сделать только в интерактивном режиме, в партнерстве с человеком. В частности, способность к трансформации идей в понятия, интеграция знаний для образования теорий, адаптация знаний при их получении, рефлексия — все эти тонкие и важные мыслительные и познавательные деятельности мы можем реализовать только в интерактивном режиме “человек — машина”. То есть наиболее серьезные системы искусственного интеллекта должны быть партнерскими, человеко-машинными системами».

Отсюда вроде бы следует, что никакого сверхразума, работающего без участия человека и без управления со стороны человека, сделать нельзя. Но невозможно ли это в принципе или компьютерные алгоритмы со временем освоят еще несколько высших интеллектуальных функций, недоступных, признаемся, и многим живым людям, мы уверенно ответить не беремся.