Исследования и результаты
Мы публикуем то, что измеряем, как мы это измерили и где метод перестаёт работать. Отчёты хранятся вместе с кодом, который они описывают.
Программное расширение памяти GPU
V²RAM управляет размещением блоков тензоров на уровень ниже исполнителя фреймворка, внутри объекта буфера. Блоки перемещаются между картой, закреплённой памятью хоста и хранилищем, отображённым в память, в пределах бюджета, и единственным ориентиром служит последовательность обращений, которую показывает сам запуск. Ни сеть, ни слои, ни цикл обучения не меняются.
| Конфигурация | Бюджет | Всё на карте | С V²RAM | Отношение |
|---|---|---|---|---|
| Инференс, рабочий набор 200 МиБ | 128 MiB | 13,2 ms | 35,2 ms | 2,7× |
| Обучение, рабочий набор 1 186 МиБ | 128 MiB | 256,6 ms | 353,7 ms | 1,4× |
Миллисекунды на шаг, медиана трёх запусков. Бюджет намеренно задан ниже рабочего набора.
| Пакет | Рабочий набор | Пик на карте | Итог |
|---|---|---|---|
| Без V²RAM | 6 028 MiB | – | Не запустилось: хосту не хватило памяти |
| 1 | 6 028 MiB | 10 748 MiB | Выполнено |
| 2 | 7 709 MiB | 10 170 MiB | Выполнено |
| 4 | 10 984 MiB | 9 568 MiB | Выполнено |
| 8 | 17 506 MiB | 9 178 MiB | Выполнено |
| 16 | 30 600 MiB (оценка) | 9 092 MiB | Остановлено системой |
Модель на 270 миллионов параметров с групповым вниманием по запросам и четырьмя экспертами на слой.
Поиск и замена персональных данных
Обнаружение делят между собой четыре механизма: сканеры, проверяющие контрольные цифры, словари на пяти языках, структурный SVM-разметчик и побайтовый трансформер на 116 791 параметр. Каждое значение заменяется меткой, которая несёт его в зашифрованном виде, с FF1 и AES-256.
Версия 1.0.11 достигает F1 0,946 на тестовом наборе, 0,919 при шестикратном шуме, 0,953 на целых документах и 0,951 на зарубежных местах; в таблицах приведены подробные измерения версии 1.0.5. На текстах, написанных вручную на пяти языках, F1 лежит между 0,886 и 0,907. В шестнадцати файлах, написанных для теста на пяти языках (Word, PowerPoint, PDF, CSV, исходный код, изображения), версия 1.0.11 оставляет читаемыми 2 из 1 223 значений, подлежащих защите, против 109 у предыдущей версии. На закрытой выборке реальных документов точность равна 0,859, полнота 0,912: примерно одно значение из одиннадцати остаётся читаемым, поэтому защищённый документ стоит перечитать перед тем, как им делиться. Детектор читает около 41 000 символов в секунду на двух ядрах.
| Тестовый набор | Точность | Полнота | F1 |
|---|---|---|---|
| Тест, пять языков | 0,955 | 0,935 | 0,945 |
| Значения, не встречавшиеся в обучении | 0,951 | 0,935 | 0,943 |
| Шестикратный шум | 0,941 | 0,897 | 0,918 |
| Целые документы | 0,961 | 0,943 | 0,952 |
| Только зарубежные места | 0,960 | 0,939 | 0,949 |
| По языкам | Точность | Полнота | F1 |
|---|---|---|---|
| Французский | 0,975 | 0,965 | 0,970 |
| Английский | 0,971 | 0,964 | 0,967 |
| Итальянский | 0,950 | 0,926 | 0,938 |
| Немецкий | 0,949 | 0,926 | 0,937 |
| Испанский | 0,928 | 0,898 | 0,913 |
| Система | F1 на тестовом наборе |
|---|---|
| Только правила | 0,840 |
| Только SVM-разметчик | 0,749 |
| Только побайтовый трансформер | 0,903 |
| Детектор целиком | 0,945 |
Инференс на квантованных весах
Движки Albireo оставляют веса в отображении файла GGUF в память и умножают их в квантованном виде. Целочисленные ядра, кэш ключей и значений в 8 битах, черновые токены и слои, вычисляемые на карте, измерены каждый относительно эталона.
- Ключи и значения в 8 битах дают тот же следующий токен, что и половинная точность, на 210 позициях текста, при средней дивергенции 6,5e-5.
- Черновые токены переписывают функцию со скоростью 25,5 токена в секунду против 19,7 на двух ядрах и сохраняют распределение выборки.
- Четыре ответа, написанные вместе, требуют на шаг на 32–40 % меньше времени, чем четыре отдельных.
- На 24 потоках Intel Core Ultra 9 275HX процессорный движок читает подсказку со скоростью 216 токенов в секунду и пишет со скоростью 19,5 с Qwen3-VL 4B; с Qwen3 0.6B он читает быстрее 1 300 токенов в секунду и пишет быстрее 80.
| Движок | Токенов в секунду |
|---|---|
| NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU | 56,8 |
| Процессор, 24 потока | 23,6 |
| Ядра | Целые числа | Числа с плавающей точкой |
|---|---|---|
| AVX-VNNI | 230 токенов/с | 126 токенов/с |
| AVX2 | 154 токенов/с | 125 токенов/с |
Маршрутизация операций на NPU и встроенный GPU
Собранная со средой выполнения OpenVINO, библиотека предлагает каждую тензорную операцию устройствам инференса процессора. Хост и каждое устройство замеряются на нескольких вызовах, и самое быстрое получает эту форму. Машина без таких устройств работает точно так же, как раньше.
| Конфигурация | Время на шаг |
|---|---|
| Только хост, с Intel oneMKL | 97,4 ms |
| Автоматическая маршрутизация | 63,3 ms |
Маршрутизация передаёт встроенному GPU softmax, функции активации, перекрёстную энтропию и свёртки: он вычисляет их в 2,2–6,9 раза быстрее хоста. NPU остаётся кандидатом для каждой операции: при размерах этого теста его постоянные затраты на вызов пока перевешивают его арифметику, и маршрутизация выбирает его, как только измерение покажет, что он быстрее всех.
Предсказание как сжатие
Обученная сеть представляет собой вероятностную модель того, что будет дальше, а арифметический кодер превращает её в код без потерь. Один пример строит всю цепочку: токенизатор и декодер, обученные в Dlib, квантованные веса, скомпилированные в программу, и арифметика, зафиксированная операция за операцией, чтобы декодер на другой машине воспроизвёл каждую вероятность.
| Архив | 117 169 624 байта |
|---|---|
| Бит на байт | 0,937 |
| Декомпрессор, включая токенизатор и сеть | 7 063 888 байт |
| Время в одну сторону, одно ядро | Около 25 часов |
| Сжатие с ядрами, выбранными по процессору | 24 ч 48 мин вместо 30 ч 18 мин |
Иерархическое рассуждение и адаптивные вычисления
Два примера обучают модели иерархического рассуждения на Sudoku-Extreme и на головоломках ARC. Они приносят в библиотеку голову остановки, обучаемую вместе с сетью, оптимизатор Adam-atan2, функцию потерь stablemax и усреднение весов; всё это доступно остальным моделям репозитория.
Изображения: самообучение, раскрашивание и синтез
Наши более ранние работы с изображениями дали методы и модели, которые остаются опубликованными.
| Работа | Результат |
|---|---|
| BAREL, самообучение с последующим контролируемым метрическим обучением | 96,1 % на тесте LFW для распознавания лиц при обучающем наборе почти в 8 раз меньше, чем у первой модели ResNet в Dlib |
| Barlow Twins на CIFAR-10 с ResNet-50 | 88,25 % точности на тесте после самообучения |
| Colorify, раскрашивание в высоком разрешении | Сеть из 223 слоёв и около 41,7 миллиона параметров, обученная примерно на 900 000 изображений |
| FFgan, синтетические лица | Цветные лица в 162 пикселя от DCGAN, обученной более чем на 150 000 лиц |
Вклад в Dlib
Dlib входит в число эталонных библиотек C++ с открытым кодом для машинного обучения и компьютерного зрения. Прежде чем публиковать собственные расширения, мы внесли в саму библиотеку код и обученные модели, сначала для лиц (распознавание, пол, возраст, синтез), затем для трансформеров.
В библиотеке
С августа 2024 года по октябрь 2025 года в Dlib было принято четырнадцать вкладов.
- Слои для трансформеров: RMS-нормализация, эмбеддинги, линейный слой, нижнетреугольная маска, транспонирование, изменение формы, поплоскостное матричное произведение
- Слой адаптивного времени вычислений и слой dropout с долей, заданной при компиляции
- Токенизатор с кодированием пар байтов (BPE)
- Примеры программ: сеть-трансформер, затем сеть с ротационными позиционными эмбеддингами и смесью экспертов
- Загрузчик набора данных ARC-AGI
- Исправление слоя reorg, на процессоре и на CUDA
| Модель | Задача | Результат |
|---|---|---|
face_recognition_densenet_model_v1 | Распознавание лиц, DenseNet, обученная методом BAREL | 96,1 % на LFW при обучающем наборе почти в 8 раз меньше, чем у первой модели ResNet в Dlib |
dnn_gender_classifier_v1 | Определение пола по лицу | Около 97,3 % на оценке LFW, обучение примерно на 200 000 лиц |
dnn_age_predictor_v1 | Оценка возраста по лицу, ResNet-10 | Обучение примерно на 110 000 размеченных изображений |
dcgan_162x162_synth_faces | Синтетические лица, DCGAN | Цветные лица в 162 пикселя |
highres_colorify | Автоматическое раскрашивание, ResNet со структурой U-Net | 223 слоя и около 41,7 миллиона параметров, работает с видеокартой на 8 ГБ |
res50_self_supervised_cifar_10 | Самообучение, Barlow Twins, ResNet-50 | 88,25 % точности на тесте CIFAR-10 |
resnet34_stable_imagenet_1k | Классификация изображений, ResNet-34 | 99,98 % top-1 на тестовой части Stable ImageNet-1K |
vit-s-16_stable_imagenet_1k | Классификация изображений, Vision Transformer | 99,76 % top-1 на тестовой части Stable ImageNet-1K |
Модели пола и возраста опубликованы Cydral Technology под лицензией Creative Commons Zero 1.0.
Публикации
- Buffer-Level Residency Management for GPU Memory Extension
- Aldric Pierrain, Cydral Technology. Исследовательский отчёт, сентябрь 2026 г.
- Technical application architecture of Pseudalis Community
- Aldric Pierrain, Cydral Technology. Исследовательский отчёт, ноябрь 2026 г.
- Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
- Aldric Pierrain, Cydral Technology. Исследовательский отчёт, ноябрь 2026 г.
- BAREL: Backpropagation And Reinforcement-based Environment for Learning
- Aldric Pierrain, Cydral Technology. Публикация, апрель 2023 г.
- A Small Language Model Stack, Built in C++ on One Machine
- Aldric Pierrain, Cydral Technology. Статья
Методика измерений
Для каждой цифры названы оборудование, модель и методика. Результаты сверяются с эталонными реализациями до того, как их называют, а ограничения метода записаны там же, где и его результаты.
Эта работа следует целям P16, программы France 2030, которую ведёт Inria ради суверенных библиотек ИИ.