Адаптивные вычисления
Обычно сеть тратит одинаковые усилия на любой вход. Два механизма библиотеки позволяют ей тратить больше там, где задача трудна: слой, который сам выбирает число шагов, и рекуррентная структура, которая рассуждает на двух скоростях.
Усилия по мере трудности
Фиксированный стек слоёв даёт запятой и доказательству одну и ту же глубину. Подстройка вычислений под вход расширяет возможности небольшой модели: она итерирует на трудных местах и быстро проходит остальное.
Глубина там, где она нужна
Число шагов становится величиной, которую сеть выучивает, позиция за позицией или головоломка за головоломкой.
Цена, которую нужно оправдать
Каждый лишний шаг добавляется к функции потерь, поэтому сеть оставляет его, только если ответ становится лучше.
Малые модели, которые рассуждают дольше
Повторное использование одних и тех же весов за несколько проходов даёт глубину без новых параметров.
ACT, слой, который сам выбирает число шагов
Слой реализует адаптивное время вычислений, метод, опубликованный Алексом Грейвсом в 2016 году. Он занимает место блока прямого распространения в блоке трансформера и применяет его несколько раз: на каждом шаге блок остановки сообщает, насколько позиция уверена, состояния усредняются с этими весами, и позиция останавливается, когда сумма достигает порога.
Этот слой является нашей собственной реализацией, написанной для Dlib и поддерживаемой в Dlib-Transformer-extensions. Насколько нам известно, ни одна другая библиотека глубокого обучения на C++ не предлагает адаптивное время вычислений в виде готового слоя.
- Один аргумент шаблона превращает блок в адаптивный: переходом может служить любая сеть Dlib.
- Значения по умолчанию: не более 8 шагов, порог остановки 0,99 и штраф за размышление 0,01; всё настраивается.
- Обратный проход следует градиентам исходной статьи, через каждый выполненный шаг.
- Сеть перехода обучается собственными оптимизаторами, а её параметры учитываются в размере модели.
- На каждом проходе слой сообщает среднее число шагов и стоимость размышления.
HRM, два модуля, рассуждающие на двух скоростях
Модель иерархического рассуждения, опубликованная Sapient Intelligence в 2025 году, связывает два рекуррентных модуля. Модуль нижнего уровня делает несколько быстрых шагов над деталями; затем модуль верхнего уровня один раз обновляет план, и цикл начинается снова. Библиотека предоставляет эту структуру в виде слоя, а два примера обучают её на Sudoku-Extreme и на ARC-AGI так же, как это делает публикация.
- N медленных циклов по T быстрых шагов: N × T шагов глубины на веса двух небольших модулей.
- Одношаговый градиент: дифференцируется только последний шаг каждого модуля, поэтому память не растёт с числом шагов.
- Состояние переносится от прохода к проходу и сбрасывается по отдельным примерам, так что решённая головоломка уступает место новой.
- Эталонная структура публикации отличается от структуры pre-norm библиотеки одним аргументом шаблона.
Четыре критерия остановки
Пример ARC-AGI ставит их рядом на одних и тех же данных, одной сети и одном бюджете.
| Параметр | Критерий решения |
|---|---|
--halting external | Логит остановки, читаемый на позиции идентификатора и обучаемый на то, точен ли ответ: схема из публикации и вариант по умолчанию. |
--halting none | Без решения: каждый пример проходит максимальное число проходов, и каждый из них контролируется. |
--halting internal | Слой адаптивных вычислений вокруг блока прямого распространения каждого блока, обучаемый стоимостью размышления. |
--halting both | И то и другое: адаптивный слой внутри модулей и голова остановки снаружи. |
Вклад этих НИОКР в библиотеку
Каждая часть, написанная для этих примеров, доступна остальным моделям репозитория.
- Функция потерь остановки
- Слой потерь, который оценивает токены и обучает логит остановки на точность всего ответа.
- Оптимизатор Adam-atan2
- Оптимизатор из опубликованной конфигурации, предлагаемый наряду с AdamW.
- Перекрёстная энтропия stablemax
- Функция потерь, которую опубликованная конфигурация использует вместо перекрёстной энтропии softmax.
- Усреднение весов
- Экспоненциальное скользящее среднее, которое читает каждое измерение и которое предотвращает поздний срыв на малом обучающем наборе.
- Таблица идентификаторов
- Таблица эмбеддингов, обучаемая разреженным знаковым спуском, по строке на головоломку.
Публикации и источники
Оба метода взяты из опубликованных исследований; реализации и примеры программ наши.
Попробуйте примеры или предложите, что исследовать дальше
Программы собираются вместе с библиотекой и выводят свои настройки и измерения.

