¿Es el Nested Learning el futuro?

Nested Learning es un nuevo enfoque del machine learning que ve los modelos como un conjunto de problemas de optimización anidados más pequeños, cada uno con su propio flujo de trabajo interno, para mitigar o incluso evitar por completo el problema del "olvido catastrófico", donde aprender nuevas tareas sacrifica la competencia en tareas antiguas.

En lo que respecta al aprendizaje continuo y la superación personal, el cerebro humano es la referencia. Se adapta mediante la neuroplasticidad: la notable capacidad de cambiar su estructura en respuesta a nuevas experiencias, recuerdos y aprendizaje. Sin esta capacidad, una persona se ve limitada al contexto inmediato (como la amnesia anterógrada). Observamos una limitación similar en los LLM actuales: su conocimiento se limita al contexto inmediato de su ventana de entrada o a la información estática que aprenden durante el preentrenamiento.

El enfoque simple, que consiste en actualizar continuamente los parámetros de un modelo con nuevos datos, suele conducir al olvido catastrófico (OC), donde el aprendizaje de nuevas tareas sacrifica la competencia en las tareas anteriores. Tradicionalmente, los investigadores combaten el OC mediante ajustes arquitectónicos o mejores reglas de optimización. Sin embargo, durante demasiado tiempo, hemos tratado la arquitectura del modelo (la estructura de la red) y el algoritmo de optimización (la regla de entrenamiento) como dos elementos separados, lo que nos impide lograr un sistema de aprendizaje verdaderamente unificado y eficiente.

En nuestro artículo, “ Aprendizaje Anidado: La Ilusión de las Arquitecturas de Aprendizaje Profundo ” (pdf en inglés) , publicado en NeurIPS 2025 , presentamos el Nested Learning (Aprendizaje Anidado) , que cierra esta brecha. El Aprendizaje Anidado trata un solo modelo de ML no como un proceso continuo, sino como un sistema de problemas de aprendizaje interconectados de múltiples niveles que se optimizan simultáneamente. Argumentamos que la arquitectura del modelo y las reglas utilizadas para entrenarlo (es decir, el algoritmo de optimización) son fundamentalmente los mismos conceptos; son simplemente diferentes "niveles" de optimización, cada uno con su propio flujo interno de información ("flujo de contexto") y tasa de actualización. Al reconocer esta estructura inherente, el Aprendizaje Anidado proporciona una nueva dimensión, previamente invisible, para diseñar una IA más capaz, lo que nos permite construir componentes de aprendizaje con mayor profundidad computacional, lo que en última instancia ayuda a resolver problemas como el olvido catastrófico.



La estructura uniforme y reutilizable, así como la actualización multitemporal en el cerebro, son componentes clave del aprendizaje continuo en humanos. El aprendizaje anidado permite actualizaciones multitemporales para cada componente del cerebro, a la vez que demuestra que arquitecturas conocidas como transformadores y módulos de memoria son, de hecho, capas lineales con diferentes frecuencias de actualización.

Fuente y más info en inglés: https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/


¿Y tú? ¿Crees que el Nested Learning es el futuro?

Yo lo poco he leído en este rato tiene buena pinta.

El Nested Learning parece prometedor, especialmente para abordar el problema del olvido catastrófico en el aprendizaje continuo. La idea de tratar los modelos como un sistema de problemas interconectados podría llevar a un avance significativo en la IA. Sin duda, vale la pena explorarlo más a fondo. ¿Alguien más tiene opiniones sobre su potencial?