Calcolo adattivo
Una rete dedica di solito lo stesso sforzo a ogni ingresso. Due meccanismi della libreria le permettono di dedicarne di più dove il problema è difficile: un livello che sceglie il proprio numero di passi, e una struttura ricorrente che ragiona a due velocità.
Uno sforzo che segue la difficoltà
Una pila fissa di livelli dà la stessa profondità a una virgola e a una dimostrazione. Adattare il calcolo all'ingresso estende le capacità di un modello piccolo: itera sui punti difficili e passa rapidamente sul resto.
Profondità dove serve
Il numero di passi diventa una grandezza che la rete impara, posizione per posizione o rompicapo per rompicapo.
Un costo da giustificare
Ogni passo in più è addebitato alla funzione di perdita: la rete lo mantiene solo se la risposta migliora.
Modelli piccoli che ragionano più a lungo
Riutilizzare gli stessi pesi su più passate dà profondità senza aggiungere parametri.
ACT, un livello che sceglie il proprio numero di passi
Il livello realizza il tempo di calcolo adattivo, il metodo pubblicato da Alex Graves nel 2016. Prende il posto del feed-forward di un blocco transformer e lo applica più volte: a ogni passo un'unità di arresto indica quanto la posizione è sicura, gli stati sono mediati con questi pesi, e la posizione si ferma quando il totale raggiunge la soglia.
Questo livello è un'implementazione nostra, scritta per Dlib e mantenuta in Dlib-Transformer-extensions. Per quanto ne sappiamo, nessun'altra libreria C++ di apprendimento profondo offre il tempo di calcolo adattivo come livello pronto all'uso.
- Un argomento di template trasforma un blocco in un blocco adattivo: qualunque rete Dlib può fare da transizione.
- Valori predefiniti: 8 passi al massimo, una soglia di arresto di 0,99 e una penalità di riflessione di 0,01, tutti regolabili.
- Il passo all'indietro segue i gradienti dell'articolo originale, attraverso ogni passo eseguito.
- La rete di transizione è addestrata da solver propri, e i suoi parametri sono contati con quelli del modello.
- A ogni passata il livello riporta il numero medio di passi e il costo di riflessione.
HRM, due moduli che ragionano a due velocità
Il modello di ragionamento gerarchico, pubblicato da Sapient Intelligence nel 2025, accoppia due moduli ricorrenti. Il modulo di basso livello compie più passi rapidi sui dettagli; il modulo di alto livello aggiorna poi il piano una volta, e il ciclo ricomincia. La libreria fornisce questa struttura come livello, e due programmi di esempio la addestrano su Sudoku-Extreme e su ARC-AGI come fa la pubblicazione.
- N cicli lenti di T passi rapidi: N × T passi di profondità per i pesi di due piccoli moduli.
- Un gradiente a un passo: solo l'ultimo passo di ogni modulo è derivato, e la memoria non cresce con il numero di passi.
- Uno stato portato da una passata alla successiva e riavviato campione per campione: un rompicapo risolto cede il posto a uno nuovo.
- La struttura di riferimento della pubblicazione dista un argomento di template dalla struttura pre-norm della libreria.
Quattro criteri di arresto
L'esempio ARC-AGI li mette a confronto sugli stessi dati, sulla stessa rete e con lo stesso budget.
| Opzione | Criterio di decisione |
|---|---|
--halting external | Un logit di arresto letto alla posizione dell'identificatore e addestrato verso l'esattezza della risposta: la disposizione pubblicata, e la scelta predefinita. |
--halting none | Nessuna decisione: ogni esempio compie il numero massimo di passate, ciascuna supervisionata. |
--halting internal | Il livello di calcolo adattivo posto attorno al feed-forward di ogni blocco, addestrato dal suo costo di riflessione. |
--halting both | Entrambi: il livello adattivo nei moduli e la testa di arresto all'esterno. |
Apporto di questi lavori di R&S alla libreria
Ogni elemento scritto per questi esempi serve agli altri modelli del repository.
- Perdita di arresto
- Un livello di perdita che valuta i token e addestra il logit di arresto verso l'esattezza dell'intera risposta.
- Solver Adam-atan2
- L'ottimizzatore della configurazione pubblicata, offerto accanto ad AdamW.
- Entropia incrociata stablemax
- La perdita che la configurazione pubblicata usa al posto dell'entropia incrociata softmax.
- Media dei pesi
- Una media mobile esponenziale letta da ogni misura, che evita il crollo tardivo su un piccolo insieme di addestramento.
- Tabella di identificatori
- Una tabella di embedding addestrata per discesa di segno sparsa, una riga per rompicapo.
Pubblicazioni e fonti
I due metodi vengono dalla ricerca pubblicata; le implementazioni e i programmi di esempio sono nostri.
Provate gli esempi, o proponeteci una pista da esplorare
I programmi si compilano con la libreria e stampano le loro impostazioni e le loro misure.

