研究与结果

我们公开测量了什么、如何测量,以及方法的边界在哪里。报告与它所描述的代码放在一起。

以软件扩展 GPU 显存

V²RAM 在框架执行器之下一层、即缓冲区对象内部,管理张量数据块的驻留位置。数据块在预算约束下于显卡、锁页主机内存和内存映射存储之间移动,唯一的依据是运行过程中显现出的访问序列。网络、层和训练循环都无需改动。

与全部驻留在显卡上相比的开销
配置预算全驻留使用 V²RAM比值
推理,工作集 200 MiB128 MiB13.2 ms35.2 ms2.7×
训练,工作集 1,186 MiB128 MiB256.6 ms353.7 ms1.4×

每步毫秒数,取三次运行的中位数。预算被有意设得低于工作集。

12,288 MiB 显卡在 8,192 MiB 预算下的容量
批大小工作集显卡峰值结果
不使用 V²RAM6,028 MiB–未能启动:主机内存不足
16,028 MiB10,748 MiB运行完成
27,709 MiB10,170 MiB运行完成
410,984 MiB9,568 MiB运行完成
817,506 MiB9,178 MiB运行完成
1630,600 MiB (估算)9,092 MiB被系统终止

2.7 亿参数的模型,采用分组查询注意力,每层四个专家。

个人数据的检测与替换

四种机制共同完成检测:校验校验位的扫描器、五种语言的词表、结构化 SVM 标注器,以及一个 116,791 个参数的字节级 transformer。每个值都被替换为一个标签,标签中携带以 FF1 和 AES-256 加密后的值。

1.0.11 版在测试集上的 F1 达到 0.946,六倍噪声下为 0.919,完整文档上为 0.953,国外地点上为 0.951;表格给出的是 1.0.5 版的详细测量值。在五种语言的手写文本上,F1 介于 0.886 与 0.907 之间。在为测试编写的十六个五种语言的文件(Word、PowerPoint、PDF、CSV、源代码、图像)上,1.0.11 版在 1,223 个待保护的值中仅留下 2 个可读,而上一版为 109 个。在一份真实文档的私有样本上,精确率为 0.859,召回率为 0.912:大约每十一个值中有一个仍然可读,因此受保护的文档在分享前应当再读一遍。检测器在两个核心上每秒读取约 41,000 个字符。

完整检测器,精确片段,所有类别(Pseudalis 1.0.5)
测试集精确率召回率F1
测试集,五种语言0.9550.9350.945
训练中从未见过的值0.9510.9350.943
六倍噪声0.9410.8970.918
完整文档0.9610.9430.952
仅国外地点0.9600.9390.949
按语言精确率召回率F1
法语0.9750.9650.970
英语0.9710.9640.967
意大利语0.9500.9260.938
德语0.9490.9260.937
西班牙语0.9280.8980.913
各组件的贡献(Pseudalis 1.0.5)
系统测试集上的 F1
仅规则0.840
仅 SVM 标注器0.749
仅字节级 transformer0.903
完整检测器0.945

在量化权重上推理

Albireo 的引擎把权重留在 GGUF 文件的内存映射中,并以量化形式直接相乘。整数内核、8 位的键值缓存、草稿词元以及在显卡上计算的层,每一项都对照参考实现进行了测量。

  • 在一段文本的 210 个位置上,8 位键值与半精度给出相同的下一个词元,平均散度为 6.5e-5。
  • 草稿词元在两个核心上以每秒 25.5 个词元重写一个函数,而原先为 19.7,并保持采样分布不变。
  • 四个回答同时生成,每步耗时比四个单独生成少 32% 到 40%。
  • 在 Intel Core Ultra 9 275HX 的 24 个线程上,处理器引擎运行 Qwen3-VL 4B 时以每秒 216 个词元读取提示,以每秒 19.5 个词元写出回答;运行 Qwen3 0.6B 时读取速度超过每秒 1,300 个词元,写出速度超过每秒 80 个。
生成,Qwen3-VL 4B(Q4_K_M)
引擎每秒词元数
NVIDIA CUDA,GeForce RTX 5070 Ti Laptop GPU56.8
处理器,24 线程23.6
读取 512 个词元的提示,Qwen3 0.6B,两个核心
内核整数浮点
AVX-VNNI230 词元/秒126 词元/秒
AVX2154 词元/秒125 词元/秒

面向 NPU 和集成 GPU 的运算路由

核心库与 OpenVINO 运行时一同构建后,会把每个张量运算提供给处理器的推理设备。主机和每个设备都会在若干次调用上计时,最快者保留该形状。没有这些设备的机器,运行方式与之前完全相同。

小型 transformer 的训练步,Intel Core Ultra 9 275HX
配置每步耗时
仅主机,使用 Intel oneMKL97.4 ms
自动路由63.3 ms

路由把 softmax、激活函数、交叉熵和卷积交给集成 GPU,其计算速度是主机的 2.2 到 6.9 倍。NPU 始终是每项运算的候选设备:在本基准的规模下,它每次调用的固定开销仍高于其算术优势;一旦测量显示它最快,路由就会选用它。

预测即压缩

训练好的网络是关于“接下来是什么”的概率模型,算术编码器把它变成无损编码。一个示例构建了完整的链条:在 Dlib 中训练的分词器和解码器,量化后编译进程序的权重,以及逐个运算固定下来的算术,使另一台机器上的解码器能复现每一个概率。

enwik9,Large Text Compression Benchmark 所用的 1 GB 英文维基百科文本
归档117,169,624 字节
每字节比特数0.937
解压程序,含分词器和网络7,063,888 字节
单向耗时,单核约 25 小时
使用处理器所选内核进行压缩24 小时 48 分,而不是 30 小时 18 分

分层推理与自适应计算

两个示例程序在 Sudoku-Extreme 和 ARC 谜题上训练分层推理模型。它们为核心库带来了与网络联合训练的停止头、Adam-atan2 求解器、stablemax 损失和权重平均,仓库中的其他模型都可以使用。

图像:自监督、上色与合成

我们早期的图像工作产出了至今仍公开发布的方法和模型。

工作结果
BAREL,先自监督学习、再有监督度量学习在人脸识别基准 LFW 上达到 96.1%,训练集比 Dlib 第一个 ResNet 模型的小近 8 倍
在 CIFAR-10 上用 ResNet-50 训练 Barlow Twins自监督训练后测试准确率 88.25%
Colorify,高分辨率上色223 层、约 4,170 万参数的网络,在约 90 万张图像上训练
FFgan,合成人脸162 像素的彩色人脸,由在 15 万多张人脸上训练的 DCGAN 生成

对 Dlib 的贡献

Dlib 是机器学习和计算机视觉领域具有标杆意义的开源 C++ 库之一。在发布自己的扩展之前,我们已向这个库本身贡献了代码和训练好的模型,先是人脸方面(识别、性别、年龄、合成),然后是 transformer。

在库中

2024 年 8 月至 2025 年 10 月间,有十四项贡献被合并进 Dlib。

  • transformer 所需的层:RMS 归一化、嵌入、线性层、下三角掩码、转置、形状重排、逐平面矩阵乘积
  • 自适应计算时间层,以及丢弃率在编译期设定的 dropout 层
  • 字节对编码(BPE)分词器
  • 示例程序:一个 transformer 网络,以及一个带旋转位置编码和专家混合的网络
  • ARC-AGI 数据集加载器
  • 对 reorg 层的修复,涵盖处理器和 CUDA
在官方模型仓库中
模型任务结果
face_recognition_densenet_model_v1人脸识别,用 BAREL 方法训练的 DenseNetLFW 上 96.1 %,训练集比 Dlib 第一个 ResNet 模型的小近 8 倍
dnn_gender_classifier_v1由人脸判断性别LFW 评测约 97.3 %,在约 20 万张人脸上训练
dnn_age_predictor_v1由人脸估计年龄,ResNet-10在约 11 万张标注图像上训练
dcgan_162x162_synth_faces合成人脸,DCGAN162 像素的彩色人脸
highres_colorify自动上色,U-Net 结构的 ResNet223 层、约 4,170 万参数,8 GB 显卡即可使用
res50_self_supervised_cifar_10自监督学习,Barlow Twins,ResNet-50CIFAR-10 测试准确率 88.25 %
resnet34_stable_imagenet_1k图像分类,ResNet-34Stable ImageNet-1K 测试集 top-1 99.98 %
vit-s-16_stable_imagenet_1k图像分类,Vision TransformerStable ImageNet-1K 测试集 top-1 99.76 %

性别和年龄模型由 Cydral Technology 以 Creative Commons Zero 1.0 许可发布。

出版物

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. 研究报告,2026 年 9 月
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. 研究报告,2026 年 11 月
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. 研究报告,2026 年 11 月
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. 论文,2023 年 4 月
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. 文章

测量方法

每个数字都注明硬件、模型和测试方法。结果在陈述之前会与参考实现交叉核对,方法的局限与其结果写在同一处。

这项工作与 P16 的目标一致。P16 是由 Inria 主导的 France 2030 计划,面向主权 AI 软件库。