elastic weight consolidation
- упругое закрепление весов [ИНС], методика решения проблемы катастрофического забывания EWC
#
алгоритм обучения глубоких нейронных сетей, который позволяет ИНС приобретать новые навыки, сохраняя “память” о предыдущих задачах; алгоритм имитирует нейробиологический процесс под названием “синаптическая консолидация” и заключается в том, что наиболее важные веса в ИНС при выполнении некой задачи А искусственно делают более устойчивыми к изменению в процессе обучения на следующей, новой задаче Б. Технически это осуществляется следующим образом: каждому весу в ИНС (вес определяет, насколько данный нейрон значим для окончательного ответа нейросети) присваивается также параметр F, который определяет его значимость только в рамках данной задачи. Чем больше F для конкретного нейрона, тем сложнее будет изменить его вес при обучении новой задаче, таким образом нейросеть запоминает определённые навыки, если они были важны для выполнения предыдущей задачи.
Связные термины
catastrophic forgetting
