適応的計算
ネットワークは通常、どの入力にも同じだけの労力をかけます。ライブラリの 2 つの機構は、問題が難しいところにより多くの計算をかけられるようにします。ステップ数を自分で選ぶ層と、2 つの速度で推論する再帰構造です。
難しさに応じた計算量
固定された層の積み重ねは、読点にも証明にも同じ深さを与えます。計算を入力に合わせれば、小さなモデルの能力が広がります。難しいところでは反復し、それ以外は素早く通過します。
必要なところに深さを
ステップ数は、位置ごと、パズルごとにネットワークが学習する量になります。
見合う価値が求められるコスト
追加のステップはすべて損失に加算されるため、ネットワークは答えが良くなる場合にだけそれを残します。
より長く推論する小さなモデル
同じ重みを複数のパスで使い回すことで、パラメーターを増やさずに深さが得られます。
ACT:ステップ数を自分で選ぶ層
この層は、Alex Graves が 2016 年に発表した手法、適応的計算時間を実装しています。transformer ブロックのフィードフォワードに代わって入り、それを複数回適用します。各ステップで停止ユニットがその位置の確信度を示し、状態はその重みで平均され、合計がしきい値に達した位置は停止します。
この層は、Dlib のために書かれ、Dlib-Transformer-extensions で保守されている私たち独自の実装です。私たちの知る限り、適応的計算時間をすぐに使える層として提供している C++ のディープラーニングライブラリは、ほかにありません。
- テンプレート引数 1 つで、ブロックが適応的ブロックになります。どの Dlib ネットワークも遷移ネットワークとして使えます。
- 既定値:最大 8 ステップ、停止しきい値 0.99、ポンダーペナルティ 0.01。いずれも調整できます。
- 逆伝播は、実行したすべてのステップを通じて、原論文の勾配に従います。
- 遷移ネットワークは専用のソルバーで学習され、そのパラメーターはモデルのパラメーター数に含まれます。
- 層は各パスで、平均ステップ数とポンダーコストを報告します。
HRM:2 つの速度で推論する 2 つのモジュール
階層的推論モデル(HRM)は、Sapient Intelligence が 2025 年に発表したもので、2 つの再帰モジュールを結合します。下位モジュールが細部について速いステップを何度か進め、次に上位モジュールが計画を 1 回更新し、このサイクルを繰り返します。ライブラリはこの構造を層として提供し、2 つの例題プログラムが、発表された研究と同じやり方で Sudoku-Extreme と ARC-AGI で学習します。
- T 回の速いステップからなる N 回の遅いサイクル:2 つの小さなモジュールの重みで、N × T ステップ分の深さが得られます。
- 1 ステップ勾配:各モジュールの最後のステップだけを微分するため、メモリはステップ数とともに増えません。
- 状態はパスからパスへ引き継がれ、サンプルごとにリセットされます。解けたパズルは新しいパズルに席を譲ります。
- 発表論文の参照構造は、ライブラリの pre-norm 構造とテンプレート引数 1 つの違いです。
4 つの停止基準
ARC-AGI の例題は、同じデータ、同じネットワーク、同じ予算のもとで、これらを並べて比較します。
| オプション | 判定の基準 |
|---|---|
--halting external | 識別子の位置で読み取る停止ロジットを、答えが完全に正しいかどうかに向けて学習します。発表論文の構成であり、既定の設定です。 |
--halting none | 判断なし:すべての例が最大回数のパスを実行し、各パスに教師信号を与えます。 |
--halting internal | 適応的計算の層を各ブロックのフィードフォワードのまわりに置き、ポンダーコストで学習します。 |
--halting both | 両方:モジュール内部の適応的な層と、外部の停止ヘッドを併用します。 |
この研究開発がライブラリにもたらした成果
これらの例題のために書かれた各部品は、リポジトリの他のモデルからも利用できます。
- 停止損失
- トークンを採点し、答え全体の正確さに向けて停止ロジットを学習する損失層。
- Adam-atan2 ソルバー
- 発表論文の構成で使われるオプティマイザー。AdamW と並んで提供されます。
- Stablemax 交差エントロピー
- 発表論文の構成が softmax 交差エントロピーの代わりに使う損失。
- 重みの平均
- すべての測定で参照する指数移動平均。小さな学習セットでの終盤の崩壊を防ぎます。
- 識別子テーブル
- 疎な符号降下法で学習する埋め込みテーブル。パズルごとに 1 行。
発表文献と出典
2 つの手法はいずれも発表された研究に基づきます。実装と例題プログラムは私たちのものです。

