Calcul adaptatif

Un réseau consacre d'ordinaire le même effort à chaque entrée. Deux mécanismes de la bibliothèque lui permettent d'en consacrer davantage là où le problème est difficile : une couche qui choisit son nombre d'étapes, et une structure récurrente qui raisonne à deux vitesses.

Un effort qui suit la difficulté

Une pile de couches fixe accorde la même profondeur à une virgule et à une démonstration. Adapter le calcul à l'entrée étend les capacités d'un petit modèle : il itère sur les points difficiles et passe rapidement sur le reste.

La profondeur là où elle sert

Le nombre d'étapes devient une grandeur que le réseau apprend, position par position ou puzzle par puzzle.

Un coût à justifier

Chaque étape supplémentaire est facturée à la fonction de perte : le réseau ne la garde que si la réponse s'améliore.

De petits modèles qui raisonnent plus longtemps

Réutiliser les mêmes poids sur plusieurs passes donne de la profondeur sans ajouter de paramètres.

ACT, une couche qui choisit son nombre d'étapes

La couche met en œuvre le temps de calcul adaptatif, la méthode publiée par Alex Graves en 2016. Elle prend la place du feed-forward d'un bloc transformer et l'applique plusieurs fois : à chaque étape, une unité d'arrêt indique le degré de certitude de la position, les états sont moyennés avec ces poids, et la position s'arrête quand le total atteint le seuil.

La couche de calcul adaptatif autour du feed-forward d'un bloc.

Cette couche est une implémentation qui nous est propre, écrite pour Dlib et maintenue dans Dlib-Transformer-extensions. À notre connaissance, aucune autre bibliothèque C++ d'apprentissage profond ne propose le temps de calcul adaptatif sous la forme d'une couche prête à l'emploi.

  • Un argument de template transforme un bloc en bloc adaptatif : tout réseau Dlib peut servir de transition.
  • Valeurs par défaut : 8 étapes au plus, un seuil d'arrêt de 0,99 et une pénalité de réflexion de 0,01, tous réglables.
  • La passe arrière suit les gradients de l'article d'origine, à travers chaque étape effectuée.
  • Le réseau de transition est entraîné par ses propres solveurs, et ses paramètres sont comptés avec ceux du modèle.
  • La couche indique à chaque passe le nombre moyen d'étapes et le coût de réflexion.

HRM, deux modules qui raisonnent à deux vitesses

Le modèle de raisonnement hiérarchique, publié par Sapient Intelligence en 2025, couple deux modules récurrents. Le module de bas niveau effectue plusieurs étapes rapides sur les détails ; le module de haut niveau met ensuite le plan à jour une fois, et le cycle recommence. La bibliothèque fournit cette structure sous la forme d'une couche, et deux programmes d'exemple l'entraînent sur Sudoku-Extreme et sur ARC-AGI comme le fait la publication.

La couche hiérarchique, sa tête d'arrêt et le chemin du gradient.
  • N cycles lents de T étapes rapides : N × T étapes de profondeur pour les poids de deux petits modules.
  • Un gradient à une étape : seule la dernière étape de chaque module est dérivée, et la mémoire ne croît pas avec le nombre d'étapes.
  • Un état conservé d'une passe à la suivante et réinitialisé échantillon par échantillon : un puzzle résolu cède sa place à un nouveau.
  • La structure de référence de la publication est à un argument de template de la structure pre-norm de la bibliothèque.

Quatre critères d'arrêt

L'exemple ARC-AGI les compare sur les mêmes données, le même réseau et le même budget.

OptionCritère de décision
--halting externalUn logit d'arrêt lu à la position de l'identifiant et entraîné vers l'exactitude de la réponse : le dispositif de la publication, et le choix par défaut.
--halting noneAucune décision : chaque exemple effectue le nombre maximal de passes, chacune supervisée.
--halting internalLa couche de calcul adaptatif placée autour du feed-forward de chaque bloc, entraînée par son coût de réflexion.
--halting bothLes deux : la couche adaptative dans les modules et la tête d'arrêt à l'extérieur.

Apport de ces travaux R&D à la bibliothèque

Chaque élément écrit pour ces exemples sert aux autres modèles du dépôt.

Perte d'arrêt
Une couche de perte qui évalue les tokens et entraîne le logit d'arrêt vers l'exactitude de la réponse entière.
Solveur Adam-atan2
L'optimiseur de la configuration publiée, proposé à côté d'AdamW.
Entropie croisée stablemax
La perte que la configuration publiée emploie à la place de l'entropie croisée softmax.
Moyenne des poids
Une moyenne mobile exponentielle lue par chaque mesure, qui évite l'effondrement tardif sur un petit jeu d'entraînement.
Table d'identifiants
Une table de plongements entraînée par descente de signe creuse, une ligne par puzzle.

Essayez les exemples, ou proposez-nous une piste à explorer

Les programmes se compilent avec la bibliothèque et affichent leurs réglages et leurs mesures.