Искусственные нейронные сети учатся лучше, когда проводят время без обучения
Человеческому мозгу необходим сон для консолидации памяти. Во время сна мозг повторяет изученные днём паттерны, что помогает реорганизовать воспоминания и представить их наиболее эффективным способом. Сон способствует формированию семантической памяти и защищает от забывания старых воспоминаний.
Искусственные нейронные сети, хотя и превосходят человека в скорости вычислений, страдают от явления катастрофического забывания: при последовательном обучении новая информация перезаписывает старую.
В отличие от них, человеческий мозг учится непрерывно и интегрирует новые данные в существующие знания, причём лучше всего, когда новое обучение чередуется с периодами сна.
В исследовании, опубликованном 18 ноября 2022 года в PLOS Computational Biology, учёные использовали спайковые нейронные сети, которые имитируют естественные нейронные системы, передавая информацию в виде дискретных событий (спайков) в определённые моменты времени.
Ключевое открытие: когда спайковые сети обучались новой задаче, но с периодическими «офлайн-периодами», имитирующими сон, катастрофическое забывание смягчалось. Во время «сна» сети могли воспроизводить старые воспоминания, не используя явно старые тренировочные данные.
Механизм, аналогичный мозгу:
- В мозге воспоминания представлены паттернами синаптического веса (силы связи между нейронами).
- При обучении нейроны активируются в определённом порядке, что усиливает синапсы между ними.
- Во время сна изученные паттерны спайков спонтанно повторяются (реактивация или воспроизведение).
- Синаптическая пластичность, сохраняющаяся во сне, further усиливает паттерны синаптических весов, что помогает предотвратить забывание.
Применение этого подхода к искусственным нейронным сетям позволило им учиться непрерывно, как люди или животные.
Перспективы применения:
- Понимание обработки информации мозгом во сне может помочь усилить память у людей.
- Усиление ритмов сна (например, с помощью звуковой стимуляции) может улучшить обучение.
- Это особенно важно при неоптимальной памяти: при возрастном снижении или в таких состояниях, как болезнь Альцгеймера.