Исследования и результаты

Мы публикуем то, что измеряем, как мы это измерили и где метод перестаёт работать. Отчёты хранятся вместе с кодом, который они описывают.

Программное расширение памяти GPU

V²RAM управляет размещением блоков тензоров на уровень ниже исполнителя фреймворка, внутри объекта буфера. Блоки перемещаются между картой, закреплённой памятью хоста и хранилищем, отображённым в память, в пределах бюджета, и единственным ориентиром служит последовательность обращений, которую показывает сам запуск. Ни сеть, ни слои, ни цикл обучения не меняются.

Стоимость по сравнению с полным размещением на карте
КонфигурацияБюджетВсё на картеС V²RAMОтношение
Инференс, рабочий набор 200 МиБ128 MiB13,2 ms35,2 ms2,7×
Обучение, рабочий набор 1 186 МиБ128 MiB256,6 ms353,7 ms1,4×

Миллисекунды на шаг, медиана трёх запусков. Бюджет намеренно задан ниже рабочего набора.

Вместимость карты на 12 288 МиБ при бюджете 8 192 МиБ
ПакетРабочий наборПик на картеИтог
Без V²RAM6 028 MiB–Не запустилось: хосту не хватило памяти
16 028 MiB10 748 MiBВыполнено
27 709 MiB10 170 MiBВыполнено
410 984 MiB9 568 MiBВыполнено
817 506 MiB9 178 MiBВыполнено
1630 600 MiB (оценка)9 092 MiBОстановлено системой

Модель на 270 миллионов параметров с групповым вниманием по запросам и четырьмя экспертами на слой.

Поиск и замена персональных данных

Обнаружение делят между собой четыре механизма: сканеры, проверяющие контрольные цифры, словари на пяти языках, структурный SVM-разметчик и побайтовый трансформер на 116 791 параметр. Каждое значение заменяется меткой, которая несёт его в зашифрованном виде, с FF1 и AES-256.

Версия 1.0.11 достигает F1 0,946 на тестовом наборе, 0,919 при шестикратном шуме, 0,953 на целых документах и 0,951 на зарубежных местах; в таблицах приведены подробные измерения версии 1.0.5. На текстах, написанных вручную на пяти языках, F1 лежит между 0,886 и 0,907. В шестнадцати файлах, написанных для теста на пяти языках (Word, PowerPoint, PDF, CSV, исходный код, изображения), версия 1.0.11 оставляет читаемыми 2 из 1 223 значений, подлежащих защите, против 109 у предыдущей версии. На закрытой выборке реальных документов точность равна 0,859, полнота 0,912: примерно одно значение из одиннадцати остаётся читаемым, поэтому защищённый документ стоит перечитать перед тем, как им делиться. Детектор читает около 41 000 символов в секунду на двух ядрах.

Детектор целиком, точные границы, все категории (Pseudalis 1.0.5)
Тестовый наборТочностьПолнотаF1
Тест, пять языков0,9550,9350,945
Значения, не встречавшиеся в обучении0,9510,9350,943
Шестикратный шум0,9410,8970,918
Целые документы0,9610,9430,952
Только зарубежные места0,9600,9390,949
По языкамТочностьПолнотаF1
Французский0,9750,9650,970
Английский0,9710,9640,967
Итальянский0,9500,9260,938
Немецкий0,9490,9260,937
Испанский0,9280,8980,913
Вклад каждого компонента (Pseudalis 1.0.5)
СистемаF1 на тестовом наборе
Только правила0,840
Только SVM-разметчик0,749
Только побайтовый трансформер0,903
Детектор целиком0,945

Инференс на квантованных весах

Движки Albireo оставляют веса в отображении файла GGUF в память и умножают их в квантованном виде. Целочисленные ядра, кэш ключей и значений в 8 битах, черновые токены и слои, вычисляемые на карте, измерены каждый относительно эталона.

  • Ключи и значения в 8 битах дают тот же следующий токен, что и половинная точность, на 210 позициях текста, при средней дивергенции 6,5e-5.
  • Черновые токены переписывают функцию со скоростью 25,5 токена в секунду против 19,7 на двух ядрах и сохраняют распределение выборки.
  • Четыре ответа, написанные вместе, требуют на шаг на 32–40 % меньше времени, чем четыре отдельных.
  • На 24 потоках Intel Core Ultra 9 275HX процессорный движок читает подсказку со скоростью 216 токенов в секунду и пишет со скоростью 19,5 с Qwen3-VL 4B; с Qwen3 0.6B он читает быстрее 1 300 токенов в секунду и пишет быстрее 80.
Генерация, Qwen3-VL 4B в Q4_K_M
ДвижокТокенов в секунду
NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU56,8
Процессор, 24 потока23,6
Чтение подсказки в 512 токенов, Qwen3 0.6B, два ядра
ЯдраЦелые числаЧисла с плавающей точкой
AVX-VNNI230 токенов/с126 токенов/с
AVX2154 токенов/с125 токенов/с

Маршрутизация операций на NPU и встроенный GPU

Собранная со средой выполнения OpenVINO, библиотека предлагает каждую тензорную операцию устройствам инференса процессора. Хост и каждое устройство замеряются на нескольких вызовах, и самое быстрое получает эту форму. Машина без таких устройств работает точно так же, как раньше.

Шаг обучения небольшого трансформера, Intel Core Ultra 9 275HX
КонфигурацияВремя на шаг
Только хост, с Intel oneMKL97,4 ms
Автоматическая маршрутизация63,3 ms

Маршрутизация передаёт встроенному GPU softmax, функции активации, перекрёстную энтропию и свёртки: он вычисляет их в 2,2–6,9 раза быстрее хоста. NPU остаётся кандидатом для каждой операции: при размерах этого теста его постоянные затраты на вызов пока перевешивают его арифметику, и маршрутизация выбирает его, как только измерение покажет, что он быстрее всех.

Предсказание как сжатие

Обученная сеть представляет собой вероятностную модель того, что будет дальше, а арифметический кодер превращает её в код без потерь. Один пример строит всю цепочку: токенизатор и декодер, обученные в Dlib, квантованные веса, скомпилированные в программу, и арифметика, зафиксированная операция за операцией, чтобы декодер на другой машине воспроизвёл каждую вероятность.

enwik9, гигабайт текста английской Википедии из Large Text Compression Benchmark
Архив117 169 624 байта
Бит на байт0,937
Декомпрессор, включая токенизатор и сеть7 063 888 байт
Время в одну сторону, одно ядроОколо 25 часов
Сжатие с ядрами, выбранными по процессору24 ч 48 мин вместо 30 ч 18 мин

Иерархическое рассуждение и адаптивные вычисления

Два примера обучают модели иерархического рассуждения на Sudoku-Extreme и на головоломках ARC. Они приносят в библиотеку голову остановки, обучаемую вместе с сетью, оптимизатор Adam-atan2, функцию потерь stablemax и усреднение весов; всё это доступно остальным моделям репозитория.

Изображения: самообучение, раскрашивание и синтез

Наши более ранние работы с изображениями дали методы и модели, которые остаются опубликованными.

РаботаРезультат
BAREL, самообучение с последующим контролируемым метрическим обучением96,1 % на тесте LFW для распознавания лиц при обучающем наборе почти в 8 раз меньше, чем у первой модели ResNet в Dlib
Barlow Twins на CIFAR-10 с ResNet-5088,25 % точности на тесте после самообучения
Colorify, раскрашивание в высоком разрешенииСеть из 223 слоёв и около 41,7 миллиона параметров, обученная примерно на 900 000 изображений
FFgan, синтетические лицаЦветные лица в 162 пикселя от DCGAN, обученной более чем на 150 000 лиц

Вклад в Dlib

Dlib входит в число эталонных библиотек C++ с открытым кодом для машинного обучения и компьютерного зрения. Прежде чем публиковать собственные расширения, мы внесли в саму библиотеку код и обученные модели, сначала для лиц (распознавание, пол, возраст, синтез), затем для трансформеров.

В библиотеке

С августа 2024 года по октябрь 2025 года в Dlib было принято четырнадцать вкладов.

  • Слои для трансформеров: RMS-нормализация, эмбеддинги, линейный слой, нижнетреугольная маска, транспонирование, изменение формы, поплоскостное матричное произведение
  • Слой адаптивного времени вычислений и слой dropout с долей, заданной при компиляции
  • Токенизатор с кодированием пар байтов (BPE)
  • Примеры программ: сеть-трансформер, затем сеть с ротационными позиционными эмбеддингами и смесью экспертов
  • Загрузчик набора данных ARC-AGI
  • Исправление слоя reorg, на процессоре и на CUDA
В официальном репозитории моделей
МодельЗадачаРезультат
face_recognition_densenet_model_v1Распознавание лиц, DenseNet, обученная методом BAREL96,1 % на LFW при обучающем наборе почти в 8 раз меньше, чем у первой модели ResNet в Dlib
dnn_gender_classifier_v1Определение пола по лицуОколо 97,3 % на оценке LFW, обучение примерно на 200 000 лиц
dnn_age_predictor_v1Оценка возраста по лицу, ResNet-10Обучение примерно на 110 000 размеченных изображений
dcgan_162x162_synth_facesСинтетические лица, DCGANЦветные лица в 162 пикселя
highres_colorifyАвтоматическое раскрашивание, ResNet со структурой U-Net223 слоя и около 41,7 миллиона параметров, работает с видеокартой на 8 ГБ
res50_self_supervised_cifar_10Самообучение, Barlow Twins, ResNet-5088,25 % точности на тесте CIFAR-10
resnet34_stable_imagenet_1kКлассификация изображений, ResNet-3499,98 % top-1 на тестовой части Stable ImageNet-1K
vit-s-16_stable_imagenet_1kКлассификация изображений, Vision Transformer99,76 % top-1 на тестовой части Stable ImageNet-1K

Модели пола и возраста опубликованы Cydral Technology под лицензией Creative Commons Zero 1.0.

Публикации

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. Исследовательский отчёт, сентябрь 2026 г.
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. Исследовательский отчёт, ноябрь 2026 г.
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. Исследовательский отчёт, ноябрь 2026 г.
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. Публикация, апрель 2023 г.
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. Статья

Методика измерений

Для каждой цифры названы оборудование, модель и методика. Результаты сверяются с эталонными реализациями до того, как их называют, а ограничения метода записаны там же, где и его результаты.

Эта работа следует целям P16, программы France 2030, которую ведёт Inria ради суверенных библиотек ИИ.