Имитирующие мозг чипы применили для создания нейросети с памятью

В Университете Граца использовали нейроморфные чипы для создания нейросети с памятью

Фото: Tim Herman / Intel Corporation

Ученые Технологического университета Граца и Intel использовали нейроморфные чипы для создания искусственной нейронной сети, которая потребляет в 4-16 раз меньше энергии, чем нейросети на обычном вычислительном оборудовании. Такая сеть способна к долговременному запоминанию информации для поиска отношений между объектами. Результаты исследования опубликованы в журнале Nature Machine Intelligence.

Потребление энергии является основным препятствием для широкого применения искусственного интеллекта, использующего глубокие нейронные сети (ГНС). В то же время общее энергопотребление сложных нейронных сетей биологического мозга составляет всего 20 Вт. Для решения этой проблемы ученые создают нейроморфные чипы, которые имитируют работу биологических нейронов, генерирующих волны возбуждения — спайки или потенциал действия — несколько раз в секунду. Это отличает их от блоков типичной ГНС, которые производят сигналы гораздо чаще. С другой стороны, оставалось неясным, как с помощью спайковых нейроморфных чипов можно реализовать так называемую долгую краткосрочную память.

Материалы по теме:На новой волне.Технологии меняют мир до неузнаваемости. Каким он будет?12 ноября 2021Место притяжения.Как интернет-торговля сделает жизнь миллионов людей лучше и поможет экономить 7 декабря 2021

Читайте также:  В США оценили боевую авиацию находящегося с 1979 года под санкциями Ирана

Модуль долгой краткосрочной памяти (англ. Long short-term memory, LSTM) — это разновидность искусственных нейронных сетей, которая способна к долговременному запоминанию информации. Такие модули используются для создания реляционных сетей (англ. relation network) — структур нейронных сетей, которые определяют отношения между объектами, например, пространственные отношения на изображениях. Исследователи показали, что спайковые нейронные сети могут быть наделены свойствами LSTM, если воспроизвести характерную черту биологических нейронов: способность к генерации медленно меняющихся внутренних токов.

Так, медленная постгиперполяризация нейрона (sAHP), когда изменяется разность потенциалов между внутренней и внешней сторонами клеточной мембраны, происходит после прохождения спайка и блокирует повторное срабатывание нейронов. В нейробиологии это явление называют адаптацией частоты спайков (англ. spike frequency adaptation). Специалисты Института Аллена (США) показали, что значительное количество нейронов в неокортексе (более 30 процентов возбуждающих нейронов в лобной доле человека) проявляют адаптацию к частоте спайков, то есть это важное свойство биологического мозга.

Оказалось, что способные к sAHP нейроны не только снижают энергопотребление, но также представляют собой подходящую альтернативу LSTM-модулям, способную решать задачи обработки последовательностей и самообучаться. Такие нейроны позволяют создать сеть без разделения на блоки вычислений и рабочей памяти, то есть вычисления производятся в самой памяти, уменьшая задержку и потребление энергии.

Читайте также:  В НАСА собрались отключить системы зондов Voyager

В качестве примера ученые реализовали реляционную сеть RelNet на базе нейроморфного процессора Loihi от Intel, способного имитировать sAHP. Спайковая RelNet была распределена по 2308 нейроядрам на 22 чипах процессора, что позволило значительно повысить энергоэффективность по сравнению с графическими процессорами даже с учетом ограничения синаптических связей в нейроядрах Loihi. В будущем спайковое нейроморфное оборудование может открыть путь моделированию нейронных сетей мозга со значительно большей скоростью и с меньшими затратами энергии, чем это возможно в настоящее время.

Синдром отмены: Россия

Не жмись, лайкни!!!

ЧИТАЙТЕ ТАКЖЕ:

Яндекс.Метрика Рейтинг@Mail.ru
Подробнее в Технологии
В России рассказали о ремонте «Солнцепека» в полевых условиях

Командир ремонтной роты рассказал о ремонте ТОС-1А «Солнцепек» в полевых условияхФото: Павел Бедняков / РИА НовостиВ ходе специальной военной операции...

Российский корвет применил «Ответ» на учениях

Российский корвет «Гремящий» применил противолодочный комплекс «Ответ» на ученияхФото: Александр Гальперин / РИА НовостиЭкипаж корвета «Гремящий» Тихоокеанского флота (ТОФ) провел...

Раскрыты подробности модернизации «Адмирала Кузнецова»

Гендиректор ОСК Рахманов рассказал о новых комплексах для ТАВКР «Адмирал Кузнецов»Фото: Федосеев Лев / ТАССТяжелый авианесущий крейсер (ТАВКР) «Адмирал Кузнецов»...

Минобороны России показало пуск ракеты комплекса «Оса» в ходе спецоперации

Минобороны России показало работу ЗРК «Оса-АКМ» в ходе спецоперации на УкраинеМинистерство обороны России показало кадры боевой работы расчетов войскового зенитного...

Закрыть