研究与结果
我们公开测量了什么、如何测量,以及方法的边界在哪里。报告与它所描述的代码放在一起。
以软件扩展 GPU 显存
V²RAM 在框架执行器之下一层、即缓冲区对象内部,管理张量数据块的驻留位置。数据块在预算约束下于显卡、锁页主机内存和内存映射存储之间移动,唯一的依据是运行过程中显现出的访问序列。网络、层和训练循环都无需改动。
| 配置 | 预算 | 全驻留 | 使用 V²RAM | 比值 |
|---|---|---|---|---|
| 推理,工作集 200 MiB | 128 MiB | 13.2 ms | 35.2 ms | 2.7× |
| 训练,工作集 1,186 MiB | 128 MiB | 256.6 ms | 353.7 ms | 1.4× |
每步毫秒数,取三次运行的中位数。预算被有意设得低于工作集。
| 批大小 | 工作集 | 显卡峰值 | 结果 |
|---|---|---|---|
| 不使用 V²RAM | 6,028 MiB | – | 未能启动:主机内存不足 |
| 1 | 6,028 MiB | 10,748 MiB | 运行完成 |
| 2 | 7,709 MiB | 10,170 MiB | 运行完成 |
| 4 | 10,984 MiB | 9,568 MiB | 运行完成 |
| 8 | 17,506 MiB | 9,178 MiB | 运行完成 |
| 16 | 30,600 MiB (估算) | 9,092 MiB | 被系统终止 |
2.7 亿参数的模型,采用分组查询注意力,每层四个专家。
个人数据的检测与替换
四种机制共同完成检测:校验校验位的扫描器、五种语言的词表、结构化 SVM 标注器,以及一个 116,791 个参数的字节级 transformer。每个值都被替换为一个标签,标签中携带以 FF1 和 AES-256 加密后的值。
1.0.11 版在测试集上的 F1 达到 0.946,六倍噪声下为 0.919,完整文档上为 0.953,国外地点上为 0.951;表格给出的是 1.0.5 版的详细测量值。在五种语言的手写文本上,F1 介于 0.886 与 0.907 之间。在为测试编写的十六个五种语言的文件(Word、PowerPoint、PDF、CSV、源代码、图像)上,1.0.11 版在 1,223 个待保护的值中仅留下 2 个可读,而上一版为 109 个。在一份真实文档的私有样本上,精确率为 0.859,召回率为 0.912:大约每十一个值中有一个仍然可读,因此受保护的文档在分享前应当再读一遍。检测器在两个核心上每秒读取约 41,000 个字符。
| 测试集 | 精确率 | 召回率 | F1 |
|---|---|---|---|
| 测试集,五种语言 | 0.955 | 0.935 | 0.945 |
| 训练中从未见过的值 | 0.951 | 0.935 | 0.943 |
| 六倍噪声 | 0.941 | 0.897 | 0.918 |
| 完整文档 | 0.961 | 0.943 | 0.952 |
| 仅国外地点 | 0.960 | 0.939 | 0.949 |
| 按语言 | 精确率 | 召回率 | F1 |
|---|---|---|---|
| 法语 | 0.975 | 0.965 | 0.970 |
| 英语 | 0.971 | 0.964 | 0.967 |
| 意大利语 | 0.950 | 0.926 | 0.938 |
| 德语 | 0.949 | 0.926 | 0.937 |
| 西班牙语 | 0.928 | 0.898 | 0.913 |
| 系统 | 测试集上的 F1 |
|---|---|
| 仅规则 | 0.840 |
| 仅 SVM 标注器 | 0.749 |
| 仅字节级 transformer | 0.903 |
| 完整检测器 | 0.945 |
在量化权重上推理
Albireo 的引擎把权重留在 GGUF 文件的内存映射中,并以量化形式直接相乘。整数内核、8 位的键值缓存、草稿词元以及在显卡上计算的层,每一项都对照参考实现进行了测量。
- 在一段文本的 210 个位置上,8 位键值与半精度给出相同的下一个词元,平均散度为 6.5e-5。
- 草稿词元在两个核心上以每秒 25.5 个词元重写一个函数,而原先为 19.7,并保持采样分布不变。
- 四个回答同时生成,每步耗时比四个单独生成少 32% 到 40%。
- 在 Intel Core Ultra 9 275HX 的 24 个线程上,处理器引擎运行 Qwen3-VL 4B 时以每秒 216 个词元读取提示,以每秒 19.5 个词元写出回答;运行 Qwen3 0.6B 时读取速度超过每秒 1,300 个词元,写出速度超过每秒 80 个。
| 引擎 | 每秒词元数 |
|---|---|
| NVIDIA CUDA,GeForce RTX 5070 Ti Laptop GPU | 56.8 |
| 处理器,24 线程 | 23.6 |
| 内核 | 整数 | 浮点 |
|---|---|---|
| AVX-VNNI | 230 词元/秒 | 126 词元/秒 |
| AVX2 | 154 词元/秒 | 125 词元/秒 |
面向 NPU 和集成 GPU 的运算路由
核心库与 OpenVINO 运行时一同构建后,会把每个张量运算提供给处理器的推理设备。主机和每个设备都会在若干次调用上计时,最快者保留该形状。没有这些设备的机器,运行方式与之前完全相同。
| 配置 | 每步耗时 |
|---|---|
| 仅主机,使用 Intel oneMKL | 97.4 ms |
| 自动路由 | 63.3 ms |
路由把 softmax、激活函数、交叉熵和卷积交给集成 GPU,其计算速度是主机的 2.2 到 6.9 倍。NPU 始终是每项运算的候选设备:在本基准的规模下,它每次调用的固定开销仍高于其算术优势;一旦测量显示它最快,路由就会选用它。
分层推理与自适应计算
两个示例程序在 Sudoku-Extreme 和 ARC 谜题上训练分层推理模型。它们为核心库带来了与网络联合训练的停止头、Adam-atan2 求解器、stablemax 损失和权重平均,仓库中的其他模型都可以使用。
| 工作 | 结果 |
|---|---|
| BAREL,先自监督学习、再有监督度量学习 | 在人脸识别基准 LFW 上达到 96.1%,训练集比 Dlib 第一个 ResNet 模型的小近 8 倍 |
| 在 CIFAR-10 上用 ResNet-50 训练 Barlow Twins | 自监督训练后测试准确率 88.25% |
| Colorify,高分辨率上色 | 223 层、约 4,170 万参数的网络,在约 90 万张图像上训练 |
| FFgan,合成人脸 | 162 像素的彩色人脸,由在 15 万多张人脸上训练的 DCGAN 生成 |
对 Dlib 的贡献
Dlib 是机器学习和计算机视觉领域具有标杆意义的开源 C++ 库之一。在发布自己的扩展之前,我们已向这个库本身贡献了代码和训练好的模型,先是人脸方面(识别、性别、年龄、合成),然后是 transformer。
在库中
2024 年 8 月至 2025 年 10 月间,有十四项贡献被合并进 Dlib。
- transformer 所需的层:RMS 归一化、嵌入、线性层、下三角掩码、转置、形状重排、逐平面矩阵乘积
- 自适应计算时间层,以及丢弃率在编译期设定的 dropout 层
- 字节对编码(BPE)分词器
- 示例程序:一个 transformer 网络,以及一个带旋转位置编码和专家混合的网络
- ARC-AGI 数据集加载器
- 对 reorg 层的修复,涵盖处理器和 CUDA
| 模型 | 任务 | 结果 |
|---|---|---|
face_recognition_densenet_model_v1 | 人脸识别,用 BAREL 方法训练的 DenseNet | LFW 上 96.1 %,训练集比 Dlib 第一个 ResNet 模型的小近 8 倍 |
dnn_gender_classifier_v1 | 由人脸判断性别 | LFW 评测约 97.3 %,在约 20 万张人脸上训练 |
dnn_age_predictor_v1 | 由人脸估计年龄,ResNet-10 | 在约 11 万张标注图像上训练 |
dcgan_162x162_synth_faces | 合成人脸,DCGAN | 162 像素的彩色人脸 |
highres_colorify | 自动上色,U-Net 结构的 ResNet | 223 层、约 4,170 万参数,8 GB 显卡即可使用 |
res50_self_supervised_cifar_10 | 自监督学习,Barlow Twins,ResNet-50 | CIFAR-10 测试准确率 88.25 % |
resnet34_stable_imagenet_1k | 图像分类,ResNet-34 | Stable ImageNet-1K 测试集 top-1 99.98 % |
vit-s-16_stable_imagenet_1k | 图像分类,Vision Transformer | Stable ImageNet-1K 测试集 top-1 99.76 % |
性别和年龄模型由 Cydral Technology 以 Creative Commons Zero 1.0 许可发布。
出版物
- Buffer-Level Residency Management for GPU Memory Extension
- Aldric Pierrain, Cydral Technology. 研究报告,2026 年 9 月
- Technical application architecture of Pseudalis Community
- Aldric Pierrain, Cydral Technology. 研究报告,2026 年 11 月
- Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
- Aldric Pierrain, Cydral Technology. 研究报告,2026 年 11 月
- BAREL: Backpropagation And Reinforcement-based Environment for Learning
- Aldric Pierrain, Cydral Technology. 论文,2023 年 4 月
- A Small Language Model Stack, Built in C++ on One Machine
- Aldric Pierrain, Cydral Technology. 文章
测量方法
每个数字都注明硬件、模型和测试方法。结果在陈述之前会与参考实现交叉核对,方法的局限与其结果写在同一处。
这项工作与 P16 的目标一致。P16 是由 Inria 主导的 France 2030 计划,面向主权 AI 软件库。