Adaptive Berechnung
Ein Netz verwendet gewöhnlich auf jede Eingabe denselben Aufwand. Zwei Mechanismen der Bibliothek lassen es dort mehr aufwenden, wo das Problem schwer ist: eine Schicht, die ihre Schrittzahl selbst wählt, und eine rekurrente Struktur, die in zwei Geschwindigkeiten schließt.
Aufwand, der der Schwierigkeit folgt
Ein fester Schichtenstapel gibt einem Komma und einem Beweis dieselbe Tiefe. Passt sich die Berechnung der Eingabe an, leistet ein kleines Modell mehr: Es iteriert über die schwierigen Stellen und geht rasch über den Rest hinweg.
Tiefe dort, wo sie nützt
Die Schrittzahl wird zu einer Größe, die das Netz lernt, Position für Position oder Rätsel für Rätsel.
Kosten, die sich rechtfertigen müssen
Jeder zusätzliche Schritt geht in die Verlustfunktion ein: Das Netz behält ihn nur, wenn die Antwort besser wird.
Kleine Modelle, die länger schließen
Dieselben Gewichte über mehrere Durchläufe zu nutzen, gibt Tiefe ohne zusätzliche Parameter.
ACT, eine Schicht, die ihre Schrittzahl wählt
Die Schicht setzt die adaptive Rechenzeit um, das Verfahren, das Alex Graves 2016 veröffentlicht hat. Sie tritt an die Stelle des Feed-Forward eines Transformer-Blocks und wendet ihn mehrfach an: In jedem Schritt gibt eine Halteeinheit an, wie sicher die Position ist, die Zustände werden mit diesen Gewichten gemittelt, und die Position hält an, sobald die Summe die Schwelle erreicht.
Diese Schicht ist eine eigene Implementierung, für Dlib geschrieben und in Dlib-Transformer-extensions gepflegt. Unseres Wissens bietet keine andere C++-Bibliothek für Deep Learning die adaptive Rechenzeit als einsatzfertige Schicht an.
- Ein Template-Argument macht aus einem Block einen adaptiven Block: Jedes Dlib-Netz kann als Übergang dienen.
- Standardwerte: höchstens 8 Schritte, eine Halteschwelle von 0,99 und eine Ponder-Strafe von 0,01, alle einstellbar.
- Der Rückwärtsdurchlauf folgt den Gradienten der Originalarbeit, durch jeden ausgeführten Schritt.
- Das Übergangsnetz wird von eigenen Solvern trainiert, und seine Parameter zählen zum Modell.
- Die Schicht meldet bei jedem Durchlauf die mittlere Schrittzahl und die Ponder-Kosten.
HRM, zwei Module, die in zwei Geschwindigkeiten schließen
Das Hierarchical Reasoning Model, 2025 von Sapient Intelligence veröffentlicht, koppelt zwei rekurrente Module. Das untere Modul führt mehrere schnelle Schritte an den Details aus; das obere Modul aktualisiert danach einmal den Plan, und der Zyklus beginnt von vorn. Die Bibliothek stellt diese Struktur als Schicht bereit, und zwei Beispielprogramme trainieren sie auf Sudoku-Extreme und auf ARC-AGI so, wie es die Veröffentlichung tut.
- N langsame Zyklen aus T schnellen Schritten: N × T Schritte Tiefe für die Gewichte zweier kleiner Module.
- Ein Ein-Schritt-Gradient: Nur der letzte Schritt jedes Moduls wird abgeleitet, der Speicher wächst nicht mit der Schrittzahl.
- Ein Zustand, der von einem Durchlauf zum nächsten mitgeführt und Probe für Probe zurückgesetzt wird: Ein gelöstes Rätsel macht einem neuen Platz.
- Die Referenzstruktur der Veröffentlichung ist ein Template-Argument von der Pre-Norm-Struktur der Bibliothek entfernt.
Vier Abbruchkriterien
Das ARC-AGI-Beispiel stellt sie auf denselben Daten, demselben Netz und demselben Budget nebeneinander.
| Option | Entscheidungskriterium |
|---|---|
--halting external | Ein Halte-Logit, an der Position des Bezeichners gelesen und darauf trainiert, ob die Antwort exakt ist: die veröffentlichte Anordnung und die Voreinstellung. |
--halting none | Keine Entscheidung: Jedes Beispiel durchläuft die maximale Zahl von Durchläufen, jeder davon überwacht. |
--halting internal | Die Schicht für adaptive Berechnung um den Feed-Forward jedes Blocks, trainiert über ihre Ponder-Kosten. |
--halting both | Beides: die adaptive Schicht in den Modulen und der Haltekopf außerhalb. |
Beitrag dieser F&E-Arbeiten zur Bibliothek
Jeder für diese Beispiele geschriebene Baustein steht den anderen Modellen des Repositorys zur Verfügung.
- Halteverlust
- Eine Verlustschicht, die die Tokens bewertet und das Halte-Logit auf die Exaktheit der ganzen Antwort trainiert.
- Solver Adam-atan2
- Der Optimierer der veröffentlichten Konfiguration, neben AdamW angeboten.
- Stablemax-Kreuzentropie
- Der Verlust, den die veröffentlichte Konfiguration anstelle der Softmax-Kreuzentropie verwendet.
- Mittelung der Gewichte
- Ein exponentiell gleitender Mittelwert, den jede Messung liest und der den späten Einbruch auf einem kleinen Trainingssatz verhindert.
- Bezeichnertabelle
- Eine Embedding-Tabelle, per dünn besetztem Vorzeichenabstieg trainiert, eine Zeile pro Rätsel.
Veröffentlichungen und Quellen
Beide Verfahren stammen aus veröffentlichter Forschung; die Implementierungen und die Beispielprogramme sind unsere.
Probieren Sie die Beispiele aus, oder schlagen Sie uns ein nächstes Thema vor
Die Programme werden mit der Bibliothek gebaut und geben ihre Einstellungen und Messwerte aus.

