В лаборатории Google Research предложили новую методику обучения — Nested Learning, нацеленную на устранение одной из главных проблем современных ИИ‑систем — «катастрофического забывания». Это явление проявляется, когда при обучении на новых задачах модель утрачивает ранее усвоенные навыки и знания.

В Google отмечают, что идея вдохновлена нейробиологией и тем, как человеческий мозг хранит и обновляет воспоминания. Вместо полного перезаписывания «памяти» при освоении нового материала, Nested Learning позволяет выборочно обновлять знания на разных уровнях и с различной скоростью, напоминая механизмы нейропластичности. Подход объединяет традиционно раздельные компоненты — архитектуру модели и алгоритм оптимизации — в единую вложенную структуру.

Модель рассматривается как набор взаимосвязанных подзадач оптимизации, каждая из которых обновляется с собственной частотой — механизм, называемый в Google multi‑time‑scale updates. Это даёт системе возможность адаптироваться к новой информации без стирания прежних слоёв знаний. Для проверки концепции команда создала экспериментальную модель Hope — рекуррентную самообучающуюся систему, способную оптимизировать собственную память. В её основе лежит идея Continuum Memory Systems: память представлена не двумя жёстко разделёнными блоками (краткосрочной и долгосрочной), а набором слоёв, каждый из которых обновляется с разной скоростью.

Hope продемонстрировала отличные результаты в задачах долгосрочного запоминания — в том числе в тесте Needle‑in‑Haystack, где требуется найти крошечную деталь в огромном тексте. Модель также показала преимущество по точности и эффективности при генерации текста по сравнению с существующими системами. В Google подчёркивают, что принципы Nested Learning могут быть использованы при разработке будущих версий семейства моделей Gemini, но конкретные сроки внедрения пока не объявлены.