- 56.8
- 笔记本 GPU 上每秒词元数,其处理器上为 23.6
- 22
- 签名目录中的模型数,来自 7 家发布方
- 5
- 个引擎:处理器、Intel NPU 与 GPU、NVIDIA GPU
- 0
- 账户、订阅或外发数据
Albireo 的优势
设计上即保密
服务只监听本地地址。只有在您开启转发时,问题、文档或图像才会离开电脑。
在您现有的硬件上依然高效
它的引擎用整数内核运行量化模型,并在电脑具备时利用 Intel NPU 与 GPU 或 NVIDIA 显卡。
几分钟即可投入使用
完整安装程序自带模型:安装一结束,Albireo 就能作答,即使没有联网。
兼容您的工具
本地接口遵循 OpenAI 接口:您的客户端库、编辑器和脚本无需修改即可使用。
助手的全部功能,尽在本地
- 对话
- 对话保存在浏览器中,提供无痕模式和跨对话搜索;会推理的模型在思考时会显示其推理过程。
- 文档
- Word、Excel、PowerPoint、OpenDocument、PDF、RTF、HTML、文本、CSV、Markdown 和源代码,在浏览器中读取,并可附加到消息或项目。
- 图像
- 能读图的模型接受 PNG 和 JPEG 图片,可以附加、粘贴或拖入问题。
- 项目
- 把对话与指令、文档归为一组,构成共享上下文,可按语义和关键词检索。
- 智能体模式
- 模型调用在页面内运行的工具:计算器、沙箱化的 JavaScript、文档的读取与搜索,每个回答最多 100 步。
- 网络访问
- 可选的维基百科搜索,以及公开网页和 PDF 文件的读取;每个新对话默认关闭。
- 朗读
- 每个回答都可以由 Albireo 自带的语音合成朗读,无需网络。
- 面向其他程序的接口
- 聊天补全、文本补全、嵌入、语音和模型列表均遵循 OpenAI 接口,支持流式输出和图像,并以 Swagger 页面提供文档。
- 离线模式
- 在没有网络的电脑上,服务不会发起任何连接:目录、模型和更新都来自通过磁盘带入的签名离线包。
- 转发到外部引擎
- 对话可以转发到外部引擎:任何兼容 OpenAI 的接口、Ollama 云或 Claude。其文本在离开电脑之前先由 Pseudalis 做假名化处理;本机或局域网中的引擎在离线时仍可使用。
Albireo 的模型目录
几乎所有以 GGUF 格式发布的开放权重语言模型,Albireo 都能运行,并覆盖当今两大主流结构:稠密模型,每个参数都参与每个词元的计算;专家混合模型,由路由器激活少数几个专家。下方目录列出了经过测试并提供下载的 22 个模型,每个都经哈希校验。
稠密模型
架构:llama、mistral、mistral3、granite、phi3、qwen2、qwen3 和 qwen3vl。
专家混合模型
架构:mixtral、granitemoe、qwen3moe 和 qwen3vlmoe。
| 模型 | 发布方 | 功能 | 读取 | 大小 | 许可证 | 官方来源 |
|---|---|---|---|---|---|---|
| Qwen3-VL 4B Instruct 默认 | Alibaba | 通用, 代码, 安全 | 文本, 图像 | 2.95 GB | Apache-2.0 | Hugging Face |
| Qwen3-VL 4B Thinking | Alibaba | 通用, 代码, 安全 | 文本, 图像 | 2.95 GB | Apache-2.0 | Hugging Face |
| Qwen3-VL 2B Thinking | Alibaba | 通用, 代码, 安全 | 文本, 图像 | 1.55 GB | Apache-2.0 | Hugging Face |
| Qwen3 Embedding 0.6B 默认 | Alibaba | 文档检索 | 文本 | 639.2 MB | Apache-2.0 | Hugging Face |
| Qwen3-VL 2B Instruct | Alibaba | 通用 | 文本, 图像 | 1.55 GB | Apache-2.0 | Hugging Face |
| Qwen3-VL 8B Instruct | Alibaba | 通用, 代码, 安全 | 文本, 图像 | 5.78 GB | Apache-2.0 | Hugging Face |
| Qwen3-VL 8B Thinking | Alibaba | 通用, 代码, 安全 | 文本, 图像 | 5.78 GB | Apache-2.0 | Hugging Face |
| EuroVLM 9B Preview | EuroLLM consortium | 通用 | 文本, 图像 | 6.42 GB | Apache-2.0 | Hugging Face |
| Phi-4-mini | Microsoft | 通用 | 文本 | 2.49 GB | MIT | Hugging Face |
| Ministral 3 3B | Mistral AI | 通用 | 文本, 图像 | 2.99 GB | Apache-2.0 | Hugging Face |
| Ministral 3 8B | Mistral AI | 通用 | 文本, 图像 | 6.06 GB | Apache-2.0 | Hugging Face |
| EuroLLM 9B Instruct | EuroLLM consortium | 通用 | 文本 | 5.58 GB | Apache-2.0 | Hugging Face |
| Granite 4.2 3B | IBM | 通用, 代码 | 文本 | 2.24 GB | Apache-2.0 | Hugging Face |
| Granite 4.2 8B | IBM | 通用, 代码 | 文本 | 5.35 GB | Apache-2.0 | Hugging Face |
| Qwen3-VL 30B A3B Thinking | Alibaba | 通用, 代码, 安全 | 文本, 图像 | 19.27 GB | Apache-2.0 | Hugging Face |
| Mistral Small 3.2 24B | Mistral AI | 通用 | 文本, 图像 | 15.21 GB | Apache-2.0 | Hugging Face |
| Qwen2.5 Coder 1.5B | Alibaba | 代码 | 文本 | 1.12 GB | Apache-2.0 | Hugging Face |
| Qwen2.5 Coder 7B | Alibaba | 代码 | 文本 | 4.68 GB | Apache-2.0 | Hugging Face |
| Devstral Small 2 | Mistral AI | 代码 | 文本, 图像 | 15.21 GB | Apache-2.0 | Hugging Face |
| CyberSecQwen 4B | athena129 (lablab.ai) | 安全 | 文本 | 2.50 GB | Apache-2.0 | Hugging Face |
| Foundation-Sec 1.1 8B | Cisco | 安全 | 文本 | 4.92 GB | Llama 3.1 Community License | Hugging Face |
| Foundation-Sec 8B Reasoning | Cisco | 安全 | 文本 | 4.92 GB | Llama 3.1 Community License | Hugging Face |
大小包含解码器及其图像编码器。每个模型沿用其发布方的许可证。
常见硬件上的速度:Albireo 的技术
Albireo 用自己的引擎运行模型,这个引擎专为已在使用的处理器和显卡而设计。下面每项技术的实测数据都写在产品的 README 中。
量化内核
权重以量化形式留在 GGUF 文件的内存映射中。整数内核一次计算 32 个乘积,而浮点向量一次只算 8 个。
读取提示:Qwen3-VL 4B 每秒 216 个词元,Qwen3 0.6B 每秒超过 1,300 个(Intel Core Ultra 9 275HX,24 线程);在两个核心上为每秒 230 个,浮点运算为 126 个(Qwen3 0.6B,AVX-VNNI)
草稿词元
当上下文足以预示后续内容时,回答每一步会写出多个词元,这是推测解码的一种形式。模型只保留它自己本来也会采样到的词元,因此回答保持采样分布不变。
重写代码时每秒 25.5 个词元,对比 19.7 个(Qwen3 0.6B,两个核心);24 线程上为 26.3 对比 23.6(Qwen3-VL 4B)
为每类处理器配备引擎
面向处理器的通用、AVX2 和 AVX-VNNI 引擎,通过 OpenVINO 使用的 Intel NPU 与集成 GPU,通过 CUDA 使用的 NVIDIA 图形处理器。服务会在本机上实测,并运行最快的那个。
写出回答:Qwen3 0.6B 使用处理器引擎时每秒 80.6 到 87.7 个词元(Intel Core Ultra 9 275HX,24 线程)
在 NVIDIA 显卡上计算的层
CUDA 引擎把权重以 GGUF 格式保留在显卡上,并在显卡上计算稠密模型的各层,生成词元时的注意力也包括在内。
每秒 56.8 个词元,对比 23.6 个(Qwen3-VL 4B,RTX 5070 Ti Laptop GPU 对比 24 线程)
V²RAM 扩展内存
核心库的设备扩展内存让权重副本可以超出显卡显存,进入主机内存或文件,并在使用之前提前取回。
紧凑的对话记忆
键和值以 8 位保存,并按页在开头文本相同的对话之间共享。
每组值 34 字节,对比 64 字节,且 210 个位置上的下一个词元完全相同
同时进行多个对话
所有客户端的请求在每次前向计算中一并处理,已完成请求的键和值会保留在缓存中,供下一轮使用。
四个回答同时生成时,每步耗时减少 32% 到 40%
Intel 处理器与 GPU 上的 OpenVINO 计算图
借助 OpenVINO,整个模型作为一张计算图在处理器或 Intel 集成 GPU 上计算,NPU 则承担矩阵乘积。计算图读取提示的第一遍更快;处理器引擎在后续各遍和写出回答时仍然更快。从托盘图标启动的引擎测速会为这台机器保留最佳选择。
首次读取提示:计算图每秒 260 个词元,处理器引擎为 216 个(Qwen3-VL 4B,Intel Core Ultra 9 275HX,24 线程)
| 引擎 | 运行于 |
|---|---|
cpu | 所有 x86-64 处理器 |
cpu-avx2 | 支持 AVX2、FMA 和 F16C 的处理器:Intel Haswell、AMD Zen 及更新型号 |
cpu-avxvnni | 支持 AVX-VNNI 的处理器:Alder Lake 起的 Intel Core、Sapphire Rapids 起的 Intel Xeon、AMD Zen 5 |
openvino | Intel 处理器的 NPU 与集成 GPU,通过 OpenVINO |
cuda | NVIDIA 图形处理器,通过 CUDA |
截图








Albireo 的适用人群与用途
数据必须留在内部的团队
法律、医疗、金融、公共机构和工业:针对内部文档的提问都留在组织内部。
开发者
为编辑器、脚本和测试提供兼容 OpenAI 的本地端点,目录中还有代码模型。
安全团队
网络安全专用模型、离线模式,以及面向隔离电脑的签名离线包。
集成商与软件厂商
一个可以嵌入、也可以用自有品牌分发的组件,采用宽松许可证。
规格
| 平台 | Windows 11, x64 |
|---|---|
| 程序 | 推理引擎、Windows 服务、网页应用、托盘图标和安装程序 |
| 模型格式 | 量化 GGUF:Q4_0 至 Q8_0、Q2_K 至 Q6_K 以及 IQ4_NL |
| 架构 | llama, mistral, mistral3, granite, granitemoe, phi3, qwen2, qwen3, qwen3moe, qwen3vl, qwen3vlmoe, mixtral |
| 图像编码器 | Qwen3-VL、LLaVA-NeXT(EuroVLM)和 Pixtral(Ministral 3、Devstral Small 2、Mistral Small 3.2) |
| Albireo 自带的模型 | Qwen3-VL-4B-Instruct 及其图像编码器(2.95 GB),以及 Qwen3-Embedding-0.6B(0.64 GB) |
| 目录 | 来自 7 家发布方的 22 个模型,均经签名并按哈希校验 |
| 上下文 | 每个模型训练时所用的上下文窗口 |
| 内存 | 默认安装的模型需要 8 GB |
| 本地接口 | https://localhost:8443,兼容 OpenAI 接口,以 Swagger 提供文档 |
| 对话格式 | ChatML、Mistral、Llama 3、Granite、Phi-4-mini 和 Foundation-Sec,均为原生实现 |
| 界面语言 | 英语、法语、德语、意大利语和西班牙语 |
| 更新 | 签名的更新源,安装程序按大小和 SHA-256 校验 |
| 许可证 | Boost Software License 1.0,Community Edition |
可以审计的安全性
- 仅限本地
- 服务监听 127.0.0.1,并拒绝主机名或来源不是本地的请求。
- 本机的证书颁发机构
- HTTPS 证书由在本机上以 ECDSA P-256 密钥创建的机构签发,并通过名称约束限定为 localhost。
- 由 Windows 保护的密钥
- 服务器私钥和转发密钥都用 DPAPI 加密,绝不以明文写入。
- 签名的供应链
- 更新源和模型目录以 ECDSA P-256 签名,每个下载的文件都按其 SHA-256 校验。
- 开放的接口
- 各路由遵循 OpenAI 接口并以 OpenAPI 描述,现有客户端库无需修改即可使用。
- 隔离的语音合成
- 合成器运行在独立的低完整性进程中,没有特权,且内存受限。
使用须知
- 价格与许可
- Albireo Community 免费,可用于个人和专业用途,采用 Boost Software License 1.0。每个模型沿用其发布方的许可证。
- 硬件
- 一台 8 GB 内存的 Windows 11 x64 电脑即可运行默认模型。显卡或 Intel NPU 能让它更快,但并非必需。
- 无网络使用
- 模型安装完成后,一切都可离线工作。隔离的电脑通过签名离线包获得目录、模型和更新。
- 您的数据
- 对话保存在本机的浏览器中。服务只在更新、下载您选择的模型,以及您开启的网络访问或转发时才连接外部。
- 更新
- 服务读取签名的更新源,并在安装前按大小和 SHA-256 校验每个安装程序。
安装
每个版本提供两个安装程序。完整安装程序带有 Albireo 自带的模型:安装一结束,助手无需联网即可作答。在线安装程序包含相同的程序但不含模型:服务在首次启动时下载默认模型。
安装向导会询问语言、许可协议、文件夹和选项。命令行可用于静默部署:
albireo-setup /silent [/dir <folder>] [/data-dir <folder>] [/models <folder>] [/port <port>] [/offline]
albireo-setup /uninstall [/silent] [/keep-data]
albireo-setup /models-dir <folder>
albireo-setup /service start|stop|restart
albireo-setup /lang en|fr|de|it|es与 Pseudalis 装在同一台电脑上
转发功能可以在每段文本发送之前对其做假名化处理,并在回答流式返回时把原值还原。替换对照表只留在服务的内存中,图像则从不离开电脑:由本地模型为它们生成描述。