Искусственный интеллект: новая «весна»
Будут ли компьютеры мыслить как человек
Стремительное развитие и массовое внедрение технологий искусственного интеллекта, происходящее в последние годы, ставит перед учеными совершенно новые задачи по созданию гибридного интеллекта на основе симбиоза искусственных и биологических нейронных сетей. В качестве первоочередных в настоящее время рассматриваются задачи по созданию мозгоподобных самообучающихся спайковых нейросетей и адаптивных нейроинтерфейсов на основе мемристоров. «Вестник атомпрома» разбирается, что это за технологии, для чего они нужны и как они развиваются в России [1].
Четвертая промышленная революция, на пороге которой стоит человечество, предъявляет совершенно новые требования к аппаратному обеспечению технологий искусственного интеллекта (ИИ). Это обеспечение должно по своим возможностям приближаться к возможностям человеческого мозга, то есть естественного интеллекта. Таким образом, развитие технологий ИИ опирается на развитие нейроморфных вычислительных систем в соответствии с известным прогнозом в рамках международной дорожной карты технологий The Future of AI is Neuromorphic.
Кроме компактности и энергоэффективности, к новым аппаратным средствам ИИ предъявляются требования по совместимости как с существующей кремниевой технологией микроэлектроники, так и с живыми системами. Удовлетворение этих требований обеспечит массовое производство аппаратных систем ИИ и реализацию новых гибридных форм ИИ, причем требование совместимости с живыми системами подразумевает, что новые электронные системы должны не только по форме (как сейчас), но и по функциональности воспроизводить свойства элементов нервной системы и мозга.
ИИ: тупик или новые возможности?
В течение последних 50 лет мировая микроэлектроника развивалась в соответствии с законом Мура, который предсказывает экспоненциальное увеличение числа транзисторов на чипе, соответствующее увеличение скорости вычислений и снижение энергопотребления для каждого нового поколения технологий.
В настоящее время эта тенденция приблизилась к физическому пределу: дальнейшее увеличение числа транзисторов уже не приводит ни к увеличению тактовой частоты, ни к снижению энергопотребления. Узким местом является процесс обмена данными между центральным процессором и рабочей памятью вне кристалла, что делает цифровые процессоры на базе традиционной архитектуры фон Неймана крайне неэффективными с точки зрения энергопотребления и временных задержек.
При этом объем цифровых данных, требующих обработки, продолжает лавинообразно увеличиваться. Каждые два года создается больше данных, чем было создано за всю предыдущую историю. Неструктурированные данные составляют уже более 80% от общего объема ежедневно генерируемых данных.
Таким образом, потребности в обработке данных растут быстрее, чем возможности современных компьютеров. Очевидно, на данном этапе требуется разработка прорывных технологических решений. Исследования, ведущиеся сегодня в мировых научных центрах, выявили два основных направления решения этой проблемы: во-первых, совмещение вычислений и памяти в единых функциональных блоках и, во-вторых, переход от традиционных фоннеймановских архитектур к нейроморфным, воспроизводящим принципы хранения и обработки информации в нервной системе и мозге.
Новая парадигма
В основе новой, «постцифровой» парадигмы, с развитием которой связывается прорыв в аппаратной реализации нейроморфных информационно-вычислительных систем, лежит мозгоподобная электронная компонентная база (ЭКБ), представленная мемристорами (аналоговыми резистивными элементами с памятью) и мемристивными устройствами, которые имитируют функции элементов живой нервной системы (нейронов и синапсов). Многообразие возможных вычислительных архитектур обеспечивается универсальным характером мемристивного эффекта, поскольку он может быть реализован как в классических, так и в квантовых системах, как в различных искусственных материалах и структурах (неорганических, органических, молекулярных и т. д.), так и в живых системах.
Такие устройства могут не только хранить логическое значение, задаваемое проводимостью, но и позволяют менять его в том же физическом месте, реализуя новые не фоннеймановские парадигмы «вычислений в памяти». Кроме того, простая структура мемристора обеспечивает создание сверхплотных и в перспективе трехмерных массивов кроссбар, которые естественным образом (на основе законов Ома и Кирхгофа и в аналоговой форме) реализуют операции векторно-матричного умножения, лежащие в основе инференса в традиционных искусственных нейронных сетях с глубоким обучением и новых алгоритмов обучения спайковых нейронных сетей.
Справка
Архитектура фон Неймана — концепция построения компьютеров, предложенная в середине XX века и до сих пор остающаяся ключевой в вычислительной технике. Ее основными особенностями являются единое хранилище для программ и данных, а также последовательное выполнение команд. При этом большая часть энергии при выполнении задачи затрачивается не на само вычисление, а на постоянный перенос данных от памяти к процессору. Это также накладывает ограничения на скорость выполнения вычислений, которые в современных процессорах происходят по большей части последовательно, и это, несмотря на высокую тактовую частоту и даже наличие нескольких ядер, значительно ограничивает пропускную способность. Графические процессоры (видеокарты) благодаря большей параллельности вычисления показывают себя значительно лучше, но проблема тепловыделения и энергоэффективности актуальна и для них. Решить проблему узкого места архитектуры фон Неймана можно, перенеся вычисления непосредственно в память, как это происходит в биологических нейронных сетях.
Мемристор (англ. memristor = memory + resistor) был теоретически описан Леоном Чуа в 1971 году как недостающий пассивный элемент электрических схем, который связывает изменение магнитного потока и электрического заряда. В 1976 году Л. Чуа и С. Канг предложили обобщенное определение мемристора и мемристивных динамических систем, которые описываются общим уравнением, эквивалентным закону Ома и связывающим вход и выход системы, а также набором уравнений состояния, описывающих динамику параметров внутреннего состояния системы. Это определение является универсальным и описывает изменение сопротивления (эффект памяти) на основе различных явлений в неорганических и органических наноматериалах, а также в фотонных и сверхпроводниковых схемах.
Спайковые нейронные сети (СНС) отличаются от классических искусственных нейронных сетей тем, что стремятся использовать биологически реалистичные модели нейронов. Входом и выходом СНС являются не векторы числовых значений, а временные последовательности дискретных событий — спайков. Событийное представление данных позволяет выполнять вычисления асинхронно, задействуя только те фрагменты сети, которые непосредственно участвуют в обработке события. В настоящее время многие крупные компании разрабатывают специализированные нейроморфные процессоры для запуска и обучения СНС. Одним из преимуществ таких чипов является их высокая энергоэффективность по сравнению с традиционными процессорами с архитектурой фон Неймана.
Мозгоподобная ЭКБ, представленная мемристорами и мемристорными системами, даст возможность для своевременной диверсификации аппаратного обеспечения, которое в основном накладывает фундаментальные ограничения на каждом цикле развития ИИ, и позволит избежать очередной «зимы» ИИ.
Альтернативные нейроморфные технологии на новой ЭКБ только вступают в стадию зрелости, конкурируя с доминирующими сейчас цифровыми технологиями высокопроизводительных вычислений на основе чипов центрального процессорного устройства, графических ускорителей, тензорных ускорителей и т. д. Согласно международной дорожной карте мозгоинспирированных вычислительных чипов, создание мемристорных нейропроцессоров общего пользования ожидается уже в течение ближайших 5–10 лет.
Сравнение нейроморфных вычислительных систем на основе традиционной и новой элементной базы показывает, что уже сейчас существующие прототипы значительно (на порядки величины) опережают известные вычислительные системы на основе традиционной элементной базы по производительности и энергоэффективности без снижения точности.
Результаты всестороннего исследования и разнообразных применений мемристивных устройств стали за последние годы предметом многочисленных публикаций, которые свидетельствуют о важности и актуальности этого направления на мировом уровне, а также о необходимости реализации генерального плана (комплексных и междисциплинарных проектов) в области биоинспирированных систем, нацеленного на технологическое освоение новой элементной базы и создание прототипов информационно-вычислительных систем нового поколения.
На пути к нейрогибридным системам
Мемристоры — это очень простые устройства и в то же время очень умные и сложные нелинейные системы, обещающие широкий спектр применений: от микросхем памяти и нейроморфных вычислительных систем в памяти до адаптивных нейроинтерфейсов.
При всех успехах в развитии технологий ИИ и впечатляющем прогрессе в разработке специализированных вычислительных систем, реализующих нейросетевые алгоритмы, все больше внимания уделяется перспективам существенно более глубокой адаптации нейроморфных принципов, чем достигнуто на настоящий момент. Кроме того, что они не только по форме, но и по функциональности приближаются к принципам работы мозга, нейроморфные системы (в их узком понимании), реализуемые на базе мемристоров, обладают существенным потенциалом для достижения нового уровня когнитивных возможностей, в первую очередь за счет возможности эффективной обработки в реальном времени электрической активности биологических нейронных систем в составе так называемых био- или нейрогибридных систем.
Первые известные из литературы примеры, в которых мемристивные устройства и массивы были использованы для обработки биоэлектрической активности, либо только фиксируют сам факт коммуникации электронных и биологических систем через единичные мемристорные устройства, либо делают это в отрыве от самих живых систем. Однако существенный прогресс в создании мемристорных нейрогибридных систем уже достигнут: российскими учеными продемонстрирован первый в мире двунаправленный адаптивный нейроинтерфейс на основе передовых решений в области мемристорной электроники и нейроинженерии.
Со стороны живой системы впервые использована культура клеток нейронов гиппокампа на мультиэлектродной матрице с функциональными связями между группами нейронов, пространственно упорядоченными с помощью микрофлюидного чипа. Мемристорная сеть впервые используется не только для решения задачи нелинейной классификации пространственно-временного отклика клеточной культуры на электрические стимулы, но и для контроля ее функционального состояния. А именно: выходные сигналы мемристорной сети соответствуют разным стимулам и используются для адаптивного управления стимуляцией, что позволяет восстанавливать нарушенные функциональные связи в нейрональной культуре.
Большой интерес вызывают перспективы использования таких нейрогибридных технологий для задач нейрореабилитации, восстановления или реорганизации биологических нейрональных функций после развития патологического состояния. Крайне привлекательной как с точки зрения удобной экспериментальной модели, так и с точки зрения использования в реальной нейрогибридной технологии является перспектива создания клеточных культур, в высокой степени воспроизводящих архитектурные особенности мозга.
Таким образом, сочетание высокой энергоэффективности и уникальной масштабируемости мемристорных систем позволяет сделать решающий шаг от нейроморфных вычислительных систем к нейрогибридным системам на основе прямого (физиологического) и безопасного взаимодействия искусственных электронных систем и живых нейрональных систем.
Благодаря этому, мемристорные нейроморфные системы займут достойное место и в медицинских технологиях ИИ: обеспечат не только эффективное решение традиционных задач ИИ, связанных с обработкой и анализом биомедицинских данных, но и создание компактных и энергоэффективных адаптивных систем для замещения/восстановления утраченных или улучшения существующих функций мозга и нервной системы (нейропротезирования и инструментальной корректировки/поддержки/усиления когнитивных способностей человека).
[1] На основе материалов статьи: Михайлов А. Н. и др. На пути к реализации высокопроизводительных вычислений в памяти на основе мемристорной электронной компонентной базы / Михайлов А. Н., Грязнов Е. Г., Лукоянов В. И., Коряжкина М. Н., Борданов И. А., Щаников С. А., Тельминов О. А., Иванченко М. В., Казанцев В. Б. // Физмат. — 2023. — Т. 1. — № 1. — С. 42–64. — DOI: 10.56304/S0000000023010021.
(Исследование выполнено в рамках научной программы Национального центра физики и математики, направление № 9 «Искусственный интеллект и большие данные в технических, промышленных, природных и социальных системах»).
Комментарий
Сергей Щаников
Старший научный сотрудник ННГУ им. Н. И. Лобачевского:
—В данный момент исследования нейроморфных систем в России находятся на высоком уровне, сопоставимом с международным. Это та область, в которой у российских ученых есть хороший фундаментальный задел и глубокие знания как о принципах функционирования живых биологических систем, полученные в результате выполнения нейронаучных проектов, так и о технологиях микро- и наноэлектроники, нацеленных на создание новых видов электронной компонентной базы на основе мозгоподобных принципов хранения и обработки информации. Этот задел на новом междисциплинарном уровне удалось реализовать в рамках научной программы Национального центра физики и математики (НЦФМ, одним из соучредителей выступает госкорпорация «Росатом»).
В частности, ведутся исследования и уже получены новые научные результаты в области разработки мемристивных устройств, обладающих характеристиками, достаточными для практического применения, а также больших кроссбар-матриц, содержащих тысячи таких устройств. Это очень важный шаг, без которого невозможно дальнейшее движение. Параллельно этому в рамках программы НЦФМ развиваются технологии создания масштабируемых нейроморфных систем на базе мемристивных устройств, создаются новые модели спайковых нейронных сетей, а также прорабатываются задачи их применения для обработки сигналов различной природы в нейроинтерфейсах и многое другое. Высокий уровень результатов также подтверждается получением в этом году премии президента РФ профессором ННГУ Сусанной Гордлеевой за разработку моделей и технологий нейроморфного искусственного интеллекта на основе биофизических нейрон-астроцитарных сетевых моделей для мемристорной электроники. Сусанна Гордлеева также является участником программы НЦФМ, и ее идеи составляют существенный вклад в достижение поставленных целей.
Во многих странах есть свои программы или проекты по разработке нейроморфных технологий как в науке, так и в промышленности. США, Европа, Китай, Израиль, Россия и другие страны уже имеют свои нейроморфные процессоры, хоть и работающие на транзисторной технологии и по достаточно формальным алгоритмам импульсных нейронных сетей, тем не менее демонстрирующие значительные преимущества по энергопотреблению и быстродействию, а самое главное, позволяющие накапливать собственный опыт как в технологиях, так и в поиске новых задач и областей применения.
Поэтому и в России нейроморфные технологии имеют большие перспективы — уже сейчас можно прорабатывать вопросы их дальнейшего применения в области робототехники, например для создания самообучающихся робототехнических комплексов, в системах технического зрения различного назначения, для создания человеко-машинных интерфейсов и нейрогибридных систем. На самом деле область применения нейроморфных систем очень широкая и согласуется со всеми стратегическими направлениями развития страны, утвержденными президентом и правительством РФ.
По оценкам крупных аналитических агентств, мировой рынок нейроморфных систем в прошлом году составлял не менее 5 млрд долларов, а прогнозы оценивают в среднем пяти-, шестикратное увеличение к 2030 году. Учитывая, что это достаточно новая область науки и техники, то такие показатели — очень высокие. На российском рынке сейчас также есть крупные потребители, заинтересованные в подобных технологиях, например госкорпорация «Росатом», которая является основным заказчиком по проекту НЦФМ.
В целом везде, где сейчас применяется ИИ, нейроморфные системы будут востребованы, не говоря уже о тех задачах, которые могут быть решены только с их применением. Для российского рынка сейчас как никогда важно иметь отечественную технологию и полный цикл создания нейроморфных чипов, чтобы обеспечивать технологический суверенитет и развивать системы ИИ. Исследования, проводимые в рамках НЦФМ, подтверждают достижимость данной цели.
