自适应计算
网络通常对每个输入投入相同的计算量。核心库的两种机制让它在问题困难的地方投入更多:一个自行选择步数的层,以及一个以两种速度推理的循环结构。
计算量随难度而变
固定的层堆叠给一个逗号和一个证明同样的深度。让计算适应输入,能扩展小模型的能力:在难点上反复迭代,在其余部分快速通过。
把深度用在需要的地方
步数成为网络学习的一个量,逐位置或逐谜题地学习。
每一步都要物有所值
每多一步都会计入损失,因此只有当答案变好时,网络才会保留它。
让小模型推理得更久
在多次传递中复用同一组权重,不增加参数就能获得深度。
ACT:一个自行选择步数的层
这个层实现了自适应计算时间,即 Alex Graves 于 2016 年发表的方法。它取代 transformer 模块中的前馈部分,并多次应用它:每一步都有一个停止单元给出该位置的把握程度,各步状态按这些权重求平均,累计值一旦达到阈值,该位置即停止。
这个层是我们自己的实现,为 Dlib 而写,并在 Dlib-Transformer-extensions 中维护。据我们所知,目前没有其他 C++ 深度学习库把自适应计算时间作为开箱即用的层提供。
- 只需一个模板参数,就能把一个模块变成自适应模块:任何 Dlib 网络都可以充当转移网络。
- 默认值:最多 8 步,停止阈值 0.99,思考惩罚 0.01,均可调整。
- 反向传播遵循原论文的梯度,贯穿实际执行的每一步。
- 转移网络由自己的求解器训练,其参数计入模型的参数总数。
- 该层在每次传递时报告平均步数和思考代价。
HRM:以两种速度推理的两个模块
分层推理模型(HRM)由 Sapient Intelligence 于 2025 年发表,它把两个循环模块耦合在一起。低层模块在细节上快速走若干步;随后高层模块更新一次计划,循环再度开始。核心库把这一结构作为一个层提供,并有两个示例程序按照已发表工作的方式,在 Sudoku-Extreme 和 ARC-AGI 上训练它。
- N 个慢周期,每个包含 T 个快步:两个小模块的权重获得 N × T 步的深度。
- 单步梯度:只对每个模块的最后一步求导,因此内存不随步数增长。
- 状态从一次传递带到下一次,并逐样本重置,于是解完的谜题可以让位给新的谜题。
- 论文的参考结构与核心库的 pre-norm 结构之间,只差一个模板参数。
四种停止准则
ARC-AGI 示例在相同的数据、相同的网络和相同的预算下,把它们并排比较。
| 选项 | 判定依据 |
|---|---|
--halting external | 在标识符位置读取一个停止 logit,并以答案是否完全正确为目标训练它:这是论文中的做法,也是默认选项。 |
--halting none | 不做决定:每个样本都跑满最大传递次数,每次传递都受监督。 |
--halting internal | 把自适应计算层放在每个模块的前馈部分之外,由其思考代价训练。 |
--halting both | 两者并用:模块内部用自适应层,模块外部用停止头。 |
这些研发工作对核心库的贡献
为这些示例编写的每个部件,仓库中的其他模型都可以使用。
- 停止损失
- 一个损失层,它为词元打分,并以整个答案是否正确为目标训练停止 logit。
- Adam-atan2 求解器
- 论文配置所用的优化器,与 AdamW 并列提供。
- Stablemax 交叉熵
- 论文配置用来替代 softmax 交叉熵的损失函数。
- 权重平均
- 每次测量都读取的指数移动平均,可防止在小训练集上后期崩溃。
- 标识符表
- 以稀疏符号下降训练的嵌入表,每个谜题一行。
论文与来源
这两种方法都来自已发表的研究;实现和示例程序则是我们自己的。

