Ученые улучшили алгоритм Daydreaming, созданный для сетей Хопфилда — одной из классических моделей ассоциативной памяти. Такие сети узнают знакомый образ даже по неполному или искаженному фрагменту. Исследование международной команды опубликовано в Journal of Statistical Mechanics: Theory and Experiment.
Обычная сеть Хопфилда быстро заполняет память ложными сочетаниями, похожими на смесь настоящих воспоминаний. Ранний алгоритм Daydreaming одновременно укреплял нужные образы и удалял случайные. Так разработчики имитировали работу мозга, который в течение дня получает информацию, а во сне закрепляет важное и отсеивает лишнее. Однако метод плохо справлялся с несбалансированными данными, типичными для реального мира.
Например, на очень светлых фотографиях большинство пикселей почти одинаковы. Общий фон начинает заглушать небольшие различия, по которым сеть должна распознать объект. Новая версия Centered Daydreaming сравнивает не абсолютные значения пикселей, а их отклонения от среднего. Благодаря этому алгоритм сосредоточивается на деталях, отличающих одно изображение от другого, и почти не теряет способность восстанавливать воспоминания даже при сильно смещенных данных.
Все изменения выполняются локально, только между связанными искусственными нейронами. Это ближе к работе биологического мозга, чем методы, которым нужно анализировать сеть целиком. Пока речь идет о простой исследовательской модели, а не о современных чат-ботах. Однако такой подход может помочь создавать более понятные и экономичные системы ИИ, способные лучше отделять полезный сигнал от повторяющегося фона.
Ранее Наука Mail рассказывала, зачем люди заводят романтическую переписку с нейросетями.