В исследовании, опубликованном в Neurocomputing, ученые из Университета Суррея (Англия) показали, что имитация разреженной и структурированной нейронной сети мозга может значительно повысить производительность искусственных нейронных сетей (ИНС), используемых в генеративном и других современных моделях ИИ, таких как ChatGPT.
Метод, получивший название топографическое разреженное отображение (Topographical Sparse Mapping, TSM), переосмысливает работу систем искусственного интеллекта на самом фундаментальном уровне. В отличие от традиционных моделей глубокого обучения, которые соединяют каждый нейрон одного слоя со всеми нейронами следующего, расходуя энергию впустую, TSM соединяет каждый нейрон только с соседними или родственными, подобно тому, как зрительная система мозга эффективно организует информацию. Благодаря такому естественному подходу модель устраняет необходимость в огромном количестве ненужных соединений и вычислений.
Обучение многих популярных сегодня больших моделей ИИ может потреблять более миллиона киловатт-часов электроэнергии, что эквивалентно годовому потреблению более чем ста домов в США, и стоить десятки миллионов долларов. При таких темпах развития ИИ это просто невозможно. Наша работа показывает, что интеллектуальные системы можно создавать гораздо более эффективно, снижая энергопотребление без ущерба для производительности.
Усовершенствованный ИИ превзошел точность стандартных сетей на эталонных наборах данных. Поскольку этот подход позволяет избежать постоянной тонкой настройки и перекоммутации, система обучается быстрее, использует меньше памяти и потребляет менее одного процента энергии обычной модели ИИ.
В то время как текущая система применяет нейроморфное отображение к входному слою модели ИИ, его распространение на более глубокие слои, по мнению ученых, сделает сети еще более компактными и эффективными. Исследовательская группа также изучает возможности применения этого подхода в других областях, например в более реалистичных нейроморфных компьютерах, где повышение эффективности может иметь еще большее значение.
Ранее Наука Mail рассказывала, может ли ИИ различать добро и зло.
