项目

我们的全部项目都建立在同一个库之上。产品和研究计划以它为基础;我们早期的图像工作则通向了它。

核心库:Dlib-Transformer-extensions

Dlib-Transformer-extensions 为 Dlib 增加了现代 transformer 建模能力。Dlib 是一个以接口简洁著称的 C++ 机器学习库。本库以标准 C++14 编写,并以 Boost Software License 1.0 发布。

该项目覆盖模型的整个生命周期,全程不离开 C++,不引入其他依赖,也不需要 Python 之类的额外运行环境。

  1. 加载

    从 GGUF 容器读取开放权重模型:llama、mistral、mixtral、gemma、qwen2、qwen3 和 granite 系列,量化权重在读取时即时反量化。

  2. 运行

    通过形状动态的运行时引擎、网页对话界面以及兼容 OpenAI 接口的端点提供服务。

  3. 转换

    生成静态类型的 Dlib 网络,其权重就是普通的可训练参数。

  4. 专门化

    继续训练、带提示掩码的微调,或挂接 LoRA 和 DoRA 适配器。

  5. 派生

    把教师模型蒸馏为另一种架构的更小学生模型,或剪掉整个模块再修复其余部分。

  6. 交付

    把训练好的模型编译进程序,或由已安装的服务提供。

核心库的覆盖范围

视觉与多模态

Vision Transformer 可作为图像骨干网络,也可作为图文模型的视觉塔,并支持端到端训练。

检索

嵌入模型为一个文档文件夹建立索引,并用最匹配的段落回答问题。

个人数据保护

规则加上小型学习识别器,在五种语言中找出个人数据;保留格式加密以可逆的方式替换它们。

扩展 GPU 显存

V²RAM 在显卡、主机内存和磁盘存储之间流式调度数据块,让比显卡更大的模型也能在其上训练。

NPU 与集成 GPU

每个张量运算都在实测最快的设备上执行:主机、Intel NPU,或通过 OpenVINO 使用的集成 GPU。

面向处理器的计算内核

AVX2、AVX-VNNI 和 AVX-512 VNNI 的代码路径在运行时根据处理器的能力选择。

显卡上的量化权重

CUDA 内核直接用保持 GGUF 格式的权重与激活值相乘,无需展开。

预测即压缩

训练好的网络加上算术编码器构成无损压缩器,任何处理器都能逐比特复现。

基于核心库的产品

Albireo 和 Pseudalis 把核心库变成两款开箱即用的 Windows 应用:推理引擎、本地服务、网页应用和签名更新。

  • 产品Albireo, Pseudalis
  • 服务推理引擎、本地 HTTPS 服务、网页应用、签名更新
  • 库Dlib-Transformer-extensions
  • 基础Dlib、标准 C++14
  • 硬件x86-64 处理器、Intel NPU 与 GPU、NVIDIA GPU

研究计划

GPU 显存扩展
在缓冲区对象内部、框架执行器之下管理张量的驻留位置。
自适应计算
在 Sudoku-Extreme 和 ARC 谜题上训练的分层推理模型,停止头与网络一同学习。
假名化
四种检测机制加上保留格式加密,在五种语言的合成文本和手写文本上实测。
核心库自己的模型
语料收集、分词器的训练与评测、预训练、指令微调和基准测试均已就绪,用于在这里构建一个小型语言模型。

早期的图像工作

在语言模型之前,我们发布过基于 Dlib 的图像项目:自动上色、合成人脸生成、自监督学习和人脸识别。它们仍可在 GitHub 上获取。

FFgan 生成的合成人脸