Работать как мозг
Как обеспечить супервозможности для суперкомпьютеров
Игорь Каляев — научный руководитель направления Южного федерального университета, академик РАН, сопредседатель научных направлений Национального центра физики и математики «Искусственный интеллект и большие данные в технических, промышленных, природных и социальных системах» и «Национальный центр исследования архитектур суперкомпьютеров». Он рассказал, как связаны эти два направления и какие передовые исследования ведут ученые в рамках научной программы НЦФМ.
— Игорь Анатольевич, как взаимосвязаны суперкомпьютерные технологии и искусственный интеллект?
— Искусственный интеллект и суперкомпьютеры — две стороны одной медали, и одно без другого сегодня развиваться уже не может. Например, всем известная большая языковая модель ChatGPT-3 использует более 175 млрд варьируемых параметров, а для ее обучения было использовано около 420 Гб обучающих текстов. Для сравнения: все творения Шекспира «весят» всего 5,5 Мб, и если вы будете читать по одной странице текста в минуту 24 часа в сутки, то вам понадобится 400 лет, чтобы достичь уровня «образованности» GPT. Такие возможности ChatGPT достигаются в первую очередь за счет использования при его реализации специального суперкомпьютера Azure AI, содержащего 285 тыс. процессорных ядер, 10 тыс. графических процессоров и имеющего производительность 30 петафлопс. При этом очевидно, что «интеллект» ChatGPT основывается прежде всего на возможностях обработки гигантских массивов данных и не имеет ничего общего с естественным человеческим мозгом, который работает по совершенно другим принципам.
Вообще, можно смело утверждать, что большинство достижений в области ИИ напрямую связано с ростом производительности суперкомпьютеров. Например, появление в 1997 году суперкомпьютера Deep Blue с производительностью 1 терафлопс (1012 операций с плавающей запятой в секунду) позволило впервые обыграть чемпиона мира по шахматам. Появление суперкомпьютера с производительностью 1 петафлопс (1015 операций) совпадает с моментом создания программы Watson, которая победила в игре «Своя игра», а суперкомпьютера с производительностью 10 петафлопс — с моментом создания программы Alpha Go, которая обыграла чемпиона мира по игре в го, операций в которой больше, чем в шахматах, в 10125 раз. Соответственно, появление суперкомпьютера с производительностью в 30–100 петафлопс обеспечило возможность создания чат-ботов GPT.
С другой стороны, технологии ИИ могут существенно повысить эффективность использования современных суперкомпьютеров. Дело в том, что такие суперкомпьютеры имеют, как правило, сложную, гетерогенную архитектуру, включающую широкий спектр вычислительных ресурсов различного типа. Обеспечить эффективную загрузку этих ресурсов при решении прикладных задач становится все сложнее. При этом простое изменение вычислительного способа решения одной и той же задачи может привести к десятикратному уменьшению реальной производительности суперкомпьютера.
Это обстоятельство, наложенное на замедление закона Мура, ведет к общему снижению темпов развития суперкомпьютерных технологий: если до 2010 года этот рост был практически линейным, то затем начинает происходить его замедление и постепенный выход «на полку». И здесь нам могут помочь технологии ИИ, с помощью которых можно осуществлять оптимальное распределение гетерогенных ресурсов суперкомпьютера по поступающим задачам, прогнозируя эффективность решения прикладных задач на тех или иных ресурсах суперкомпьютера, осуществлять подстройку параметров вычислительного задания под архитектуру суперкомпьютера на основе накопленного опыта и т. д. Например, внедрение технологии интеллектуального мультиагентного диспетчирования гетерогенных вычислительных ресурсов в суперкомпьютерном центре «Политехнический», включающем в свой состав блоки CPU (центральные процессоры), GPU (графические процессоры), а также реконфигурируемые вычислительные блоки, позволило нам повысить эффективность использования вычислительных ресурсов на 15%.
Именно поэтому в рамках научной программы НЦФМ эти два направления развиваются в тесной взаимосвязи. С одной стороны, мы разрабатываем технологии ИИ, которые позволят на порядок повысить производительность суперкомпьютерных вычислений, а с другой стороны, разрабатываем новые архитектуры суперкомпьютеров, которые в том числе позволят существенно повысить скорость решения задач машинного обучения и ИИ.
Но при этом нужно понимать, что чем дальше ученые идут по пути создания ИИ на базе суперкомпьютерных технологий, тем дальше мы уходим от нашей конечной цели по созданию искусственного аналога человеческого мозга. Azure AI потребляет 10–12 ТВт электроэнергии, занимает огромный машинный зал, в то время как наш мозг потребляет всего 20 Вт, что сравнимо с обычной лампочкой, и занимает 1300 см3. Суперкомпьютеры с ИИ и мозг работают по совершенно различным принципам, и наши попытки создать системы искусственного интеллекта, которые заменили бы наш мозг с помощью стандартных компьютерных технологий, по-моему, это путь в никуда. Поэтому в рамках научной программы НЦФМ мы развиваем нейроморфные вычислительные системы.
— Расскажите подробнее о нейроморфных технологиях. В чем их суть и как они помогут при решении задач в сфере ИИ?
— Нейроморфные технологии — это технологии, которые основываются на принципах обработки информации, присущих человеческому мозгу. В рамках научной программы НЦФМ нами развивается проект создания интеллектуальных нейроморфных и нейрогибридных систем на основе новой электронной компонентной базы.Проект базируется на новойпарадигме в электронике, с развитием которой связывается прорыв в аппаратной реализации нейросетевых алгоритмов и мозгоподобных информационно-вычислительных систем, основанных на использовании мемристоров, то есть резисторов с памятью. Такие устройства обеспечивают возможности создания совершенно новых нейроморфных вычислительных систем, приближающихся по своим возможностям к человеческому мозгу.
Мемристор — это пассивный элемент, такой же, как резистор, но в отличии от обычного резистора, сопротивление которого постоянно, сопротивление мемристора может изменяться в зависимости от прошедшего через него электрического заряда. Поведение мемристора очень напоминает поведение синапса биологического нейрона: чем интенсивнее входной сигнал, тем выше пропускная способность синапса. Мемристор запоминает количество прошедшего через него заряда и сохраняет эту информацию в виде своего сопротивления, таким образом нейронная сеть подстраивается под те данные, на которых она была обучена. Такие свойства мемристора открывают большие перспективы реализации на его основе искусственных нейронных сетей.
Разрабатываемая технология станет основой для создания энергоэффективного и масштабируемого аппаратного обеспечения для реализации как алгоритмов машинного обучения, так и новых нейросетевых алгоритмов на основе импульсных нейронных сетей. Это позволит в среднесрочной перспективе перейти к созданию опытных образцов, в последующем — и к серийному выпуску специализированных аппаратных средств на базе архитектуры и принципов функционирования биологических нейронных сетей, обеспечивающих достижение качественно новых характеристик систем принятия решений и управления сложными объектами критической инфраструктуры. Такая технология может быть реализована на базе электронных технологий, которые есть в нашей стране, что открывает возможность локализации этих систем в России.
Создание таких мемристорных вычислителей позволит существенно поднять производительность в том числе суперкомпьютерных технологий и существенно снизить энергию, потребляемую при реализации импульсных нейронных сетей. По нашим подсчетам, можно получить выигрыш с точки зрения энергетических затрат где-то на два порядка.
— Какие еще возможности могут нам дать мемристорные устройства?
Современные суперкомпьютеры не всегда могут обеспечить нужный темп машинного обучения. И здесь могут помочь фотонные вычислители, которые позволяют существенно сократить время перемножения вектора на матрицу, а именно этот тип операций составляет львиную долю (до 90%) процессов машинного обучения. У российских ученых есть хорошие возможности не только не отстать от технического прогресса в этой очень перспективной области, но и занять лидирующие позиции. Первые прототипы таких устройств они рассчитывают получить в 2025 году.
ИИ и фотоника
— Поскольку мемристоры и живые нейроны работают на схожих принципах, то теоретически они могут «понимать» друг друга. Это открывает возможности перехода к гибридному интеллекту, то есть созданию нейрогибридных устройств, объединяющих в единое целое естественные и искусственные нейронные сети. Это, в свою очередь, открывает пути к реализации компактных и энергоэффективных адаптивных систем для нейропротезирования — замещения и восстановления утраченных функций мозга и нервной системы человека. То есть естественные нейронные сети, по каким-то причинам переставшие работать и выполнять свои функции, смогут быть заменены на искусственные нейронные сети, созданные на базе мемристоров. Нужно только предварительно обучить такую искусственную нейронную сеть для выполнения функций, которые реализовывала отмершая естественная нейронная сеть.
Как соединить искусственную и естественную нейронные сети друг с другом, чтобы они «понимали» друг друга, а также как обучить искусственную нейронную сеть выполнять те или иные функции естественной нейронной сети человеческого организма — это как раз те проблемы, которые мы хотим решить в рамках подпрограммы «Искусственный интеллект и большие данные в технических, промышленных, природных и социальных системах» научной программы НЦФМ. Задачи, безусловно, очень сложные и амбициозные, но, как говорится, дорогу осилит идущий.
