Cómputo adaptativo
Una red dedica normalmente el mismo esfuerzo a cada entrada. Dos mecanismos de la biblioteca le permiten dedicar más allí donde el problema es difícil: una capa que elige su número de pasos y una estructura recurrente que razona a dos velocidades.
Un esfuerzo que sigue a la dificultad
Una pila fija de capas da la misma profundidad a una coma y a una demostración. Adaptar el cómputo a la entrada amplía las capacidades de un modelo pequeño: itera sobre los puntos difíciles y pasa rápidamente sobre lo demás.
Profundidad donde hace falta
El número de pasos se convierte en una magnitud que la red aprende, posición por posición o rompecabezas por rompecabezas.
Un coste que hay que justificar
Cada paso adicional se carga a la función de pérdida: la red solo lo conserva si la respuesta mejora.
Modelos pequeños que razonan más tiempo
Reutilizar los mismos pesos en varias pasadas da profundidad sin añadir parámetros.
ACT, una capa que elige su número de pasos
La capa implementa el tiempo de cómputo adaptativo, el método que Alex Graves publicó en 2016. Ocupa el lugar del feed-forward de un bloque transformer y lo aplica varias veces: en cada paso una unidad de parada indica cuán segura está la posición, los estados se promedian con esos pesos, y la posición se detiene cuando el total alcanza el umbral.
Esta capa es una implementación propia, escrita para Dlib y mantenida en Dlib-Transformer-extensions. Que sepamos, ninguna otra biblioteca C++ de aprendizaje profundo ofrece el tiempo de cómputo adaptativo como una capa lista para usar.
- Un argumento de plantilla convierte un bloque en un bloque adaptativo: cualquier red de Dlib puede servir de transición.
- Valores por defecto: 8 pasos como máximo, un umbral de parada de 0,99 y una penalización de reflexión de 0,01, todos ajustables.
- La pasada hacia atrás sigue los gradientes del artículo original, a través de cada paso realizado.
- La red de transición se entrena con sus propios solvers, y sus parámetros se cuentan con los del modelo.
- En cada pasada la capa informa del número medio de pasos y del coste de reflexión.
HRM, dos módulos que razonan a dos velocidades
El modelo de razonamiento jerárquico, publicado por Sapient Intelligence en 2025, acopla dos módulos recurrentes. El módulo de bajo nivel da varios pasos rápidos sobre los detalles; el módulo de alto nivel actualiza después el plan una vez, y el ciclo vuelve a empezar. La biblioteca ofrece esta estructura como una capa, y dos programas de ejemplo la entrenan con Sudoku-Extreme y con ARC-AGI como lo hace la publicación.
- N ciclos lentos de T pasos rápidos: N × T pasos de profundidad para los pesos de dos módulos pequeños.
- Un gradiente de un paso: solo se deriva el último paso de cada módulo, y la memoria no crece con el número de pasos.
- Un estado que se conserva de una pasada a la siguiente y se reinicia muestra por muestra: un rompecabezas resuelto cede su sitio a uno nuevo.
- La estructura de referencia de la publicación está a un argumento de plantilla de la estructura pre-norm de la biblioteca.
Cuatro criterios de parada
El ejemplo de ARC-AGI las compara con los mismos datos, la misma red y el mismo presupuesto.
| Opción | Criterio de decisión |
|---|---|
--halting external | Un logit de parada leído en la posición del identificador y entrenado hacia la exactitud de la respuesta: la disposición publicada y la opción por defecto. |
--halting none | Ninguna decisión: cada ejemplo recorre el número máximo de pasadas, cada una supervisada. |
--halting internal | La capa de cómputo adaptativo colocada alrededor del feed-forward de cada bloque, entrenada por su coste de reflexión. |
--halting both | Ambas: la capa adaptativa dentro de los módulos y la cabeza de parada fuera de ellos. |
Aportación de estos trabajos de I+D a la biblioteca
Cada pieza escrita para estos ejemplos sirve a los demás modelos del repositorio.
- Pérdida de parada
- Una capa de pérdida que evalúa los tokens y entrena el logit de parada hacia la exactitud de la respuesta completa.
- Solver Adam-atan2
- El optimizador de la configuración publicada, ofrecido junto a AdamW.
- Entropía cruzada stablemax
- La pérdida que la configuración publicada emplea en lugar de la entropía cruzada softmax.
- Media de los pesos
- Una media móvil exponencial que lee cada medida y que evita el colapso tardío con un conjunto de entrenamiento pequeño.
- Tabla de identificadores
- Una tabla de embeddings entrenada por descenso de signo disperso, una fila por rompecabezas.
Publicaciones y fuentes
Los dos métodos proceden de la investigación publicada; las implementaciones y los programas de ejemplo son nuestros.
Pruebe los ejemplos, o propónganos una vía que explorar
Los programas se compilan con la biblioteca y muestran sus ajustes y sus medidas.

