项目
我们的全部项目都建立在同一个库之上。产品和研究计划以它为基础;我们早期的图像工作则通向了它。
核心库:Dlib-Transformer-extensions
Dlib-Transformer-extensions 为 Dlib 增加了现代 transformer 建模能力。Dlib 是一个以接口简洁著称的 C++ 机器学习库。本库以标准 C++14 编写,并以 Boost Software License 1.0 发布。
该项目覆盖模型的整个生命周期,全程不离开 C++,不引入其他依赖,也不需要 Python 之类的额外运行环境。
加载
从 GGUF 容器读取开放权重模型:llama、mistral、mixtral、gemma、qwen2、qwen3 和 granite 系列,量化权重在读取时即时反量化。
运行
通过形状动态的运行时引擎、网页对话界面以及兼容 OpenAI 接口的端点提供服务。
转换
生成静态类型的 Dlib 网络,其权重就是普通的可训练参数。
专门化
继续训练、带提示掩码的微调,或挂接 LoRA 和 DoRA 适配器。
派生
把教师模型蒸馏为另一种架构的更小学生模型,或剪掉整个模块再修复其余部分。
交付
把训练好的模型编译进程序,或由已安装的服务提供。
核心库的覆盖范围
视觉与多模态
Vision Transformer 可作为图像骨干网络,也可作为图文模型的视觉塔,并支持端到端训练。
检索
嵌入模型为一个文档文件夹建立索引,并用最匹配的段落回答问题。
个人数据保护
规则加上小型学习识别器,在五种语言中找出个人数据;保留格式加密以可逆的方式替换它们。
扩展 GPU 显存
V²RAM 在显卡、主机内存和磁盘存储之间流式调度数据块,让比显卡更大的模型也能在其上训练。
NPU 与集成 GPU
每个张量运算都在实测最快的设备上执行:主机、Intel NPU,或通过 OpenVINO 使用的集成 GPU。
面向处理器的计算内核
AVX2、AVX-VNNI 和 AVX-512 VNNI 的代码路径在运行时根据处理器的能力选择。
显卡上的量化权重
CUDA 内核直接用保持 GGUF 格式的权重与激活值相乘,无需展开。
预测即压缩
训练好的网络加上算术编码器构成无损压缩器,任何处理器都能逐比特复现。
- 产品Albireo, Pseudalis
- 服务推理引擎、本地 HTTPS 服务、网页应用、签名更新
- 库Dlib-Transformer-extensions
- 基础Dlib、标准 C++14
- 硬件x86-64 处理器、Intel NPU 与 GPU、NVIDIA GPU
研究计划
- GPU 显存扩展
- 在缓冲区对象内部、框架执行器之下管理张量的驻留位置。
- 自适应计算
- 在 Sudoku-Extreme 和 ARC 谜题上训练的分层推理模型,停止头与网络一同学习。
- 假名化
- 四种检测机制加上保留格式加密,在五种语言的合成文本和手写文本上实测。
- 核心库自己的模型
- 语料收集、分词器的训练与评测、预训练、指令微调和基准测试均已就绪,用于在这里构建一个小型语言模型。
