自适应计算

网络通常对每个输入投入相同的计算量。核心库的两种机制让它在问题困难的地方投入更多:一个自行选择步数的层,以及一个以两种速度推理的循环结构。

计算量随难度而变

固定的层堆叠给一个逗号和一个证明同样的深度。让计算适应输入,能扩展小模型的能力:在难点上反复迭代,在其余部分快速通过。

把深度用在需要的地方

步数成为网络学习的一个量,逐位置或逐谜题地学习。

每一步都要物有所值

每多一步都会计入损失,因此只有当答案变好时,网络才会保留它。

让小模型推理得更久

在多次传递中复用同一组权重,不增加参数就能获得深度。

ACT:一个自行选择步数的层

这个层实现了自适应计算时间,即 Alex Graves 于 2016 年发表的方法。它取代 transformer 模块中的前馈部分,并多次应用它:每一步都有一个停止单元给出该位置的把握程度,各步状态按这些权重求平均,累计值一旦达到阈值,该位置即停止。

包裹在模块前馈部分之外的自适应计算层。

这个层是我们自己的实现,为 Dlib 而写,并在 Dlib-Transformer-extensions 中维护。据我们所知,目前没有其他 C++ 深度学习库把自适应计算时间作为开箱即用的层提供。

  • 只需一个模板参数,就能把一个模块变成自适应模块:任何 Dlib 网络都可以充当转移网络。
  • 默认值:最多 8 步,停止阈值 0.99,思考惩罚 0.01,均可调整。
  • 反向传播遵循原论文的梯度,贯穿实际执行的每一步。
  • 转移网络由自己的求解器训练,其参数计入模型的参数总数。
  • 该层在每次传递时报告平均步数和思考代价。

HRM:以两种速度推理的两个模块

分层推理模型(HRM)由 Sapient Intelligence 于 2025 年发表,它把两个循环模块耦合在一起。低层模块在细节上快速走若干步;随后高层模块更新一次计划,循环再度开始。核心库把这一结构作为一个层提供,并有两个示例程序按照已发表工作的方式,在 Sudoku-Extreme 和 ARC-AGI 上训练它。

分层推理层、它的停止头,以及梯度的路径。
  • N 个慢周期,每个包含 T 个快步:两个小模块的权重获得 N × T 步的深度。
  • 单步梯度:只对每个模块的最后一步求导,因此内存不随步数增长。
  • 状态从一次传递带到下一次,并逐样本重置,于是解完的谜题可以让位给新的谜题。
  • 论文的参考结构与核心库的 pre-norm 结构之间,只差一个模板参数。

四种停止准则

ARC-AGI 示例在相同的数据、相同的网络和相同的预算下,把它们并排比较。

选项判定依据
--halting external在标识符位置读取一个停止 logit,并以答案是否完全正确为目标训练它:这是论文中的做法,也是默认选项。
--halting none不做决定:每个样本都跑满最大传递次数,每次传递都受监督。
--halting internal把自适应计算层放在每个模块的前馈部分之外,由其思考代价训练。
--halting both两者并用:模块内部用自适应层,模块外部用停止头。

这些研发工作对核心库的贡献

为这些示例编写的每个部件,仓库中的其他模型都可以使用。

停止损失
一个损失层,它为词元打分,并以整个答案是否正确为目标训练停止 logit。
Adam-atan2 求解器
论文配置所用的优化器,与 AdamW 并列提供。
Stablemax 交叉熵
论文配置用来替代 softmax 交叉熵的损失函数。
权重平均
每次测量都读取的指数移动平均,可防止在小训练集上后期崩溃。
标识符表
以稀疏符号下降训练的嵌入表,每个谜题一行。

试试这些示例,或者向我们建议下一个探索方向

这些程序随核心库一同构建,并输出它们的设置和测量结果。