我们的工作与 P16
P16 是由 Inria 主导、France 2030 支持的法国计划,致力于开发主权、开放、可互操作的 AI 软件库。我们的核心库和产品追求同样的目标,我们也打算争取它的支持。
P16 简介
P16 于 2024 年 9 月在法国国家人工智能战略框架内启动,名称取自 AI 加速战略的第 16 项措施。它的使命是通过覆盖数据与模型全周期的软件库,增强法国和欧洲的技术自主。Inria 通过其 AI 计划负责统筹,五年投入约 800 万欧元。
- 三项优先行动:数据的互操作性、数据的准备,以及模型的训练与执行。
- 作为数字公共品来开发、广泛分发并长期维护的软件库。
- 一条面向产业的技术转移路径,也涵盖可信 AI、节俭 AI 和嵌入式 AI 的研究。
- 按质量、成熟度、通用性以及对数字主权的意义来遴选软件组件。
我们的工作与 P16 目标的契合之处
每一行都把 P16 提出的一项目标与我们已经发布的成果对应起来。
| P16 的目标 | Cydral Technology 已发布的成果 |
|---|---|
| 主权且开放的软件库 | Dlib-Transformer-extensions,在法国以标准 C++14 编写,以 Boost Software License 1.0 发布,全程不依赖 Python 环境。 |
| 互操作性 | 模型从 GGUF 格式读取;本地接口遵循 OpenAI 接口并以 OpenAPI 描述;文档按其办公格式读写。 |
| 数据准备 | 字节对编码分词器、语料与数据集工具,以及 Pseudalis:在文档进入模型或提示之前去除其中的个人数据。 |
| 模型的训练与执行 | LoRA 和 DoRA 微调、蒸馏、剪枝,以及面向处理器、Intel NPU 与 GPU 和 NVIDIA 图形处理器的引擎。 |
| 节俭 AI | 量化权重、整数内核和以软件扩展的 GPU 显存:一个 40 亿参数的多模态模型能在 8 GB 内存的笔记本电脑上作答。 |
| 可信 AI | 本地执行、签名更新、符合 GDPR 第 25 条和第 32 条的可逆假名化,以及写明每种方法局限的报告。 |
| 嵌入式 AI | 运算路由到处理器的 NPU 和集成 GPU,模型可编译进单个程序。 |
| 向企业转移 | 两款可安装的产品 Albireo 和 Pseudalis,Community 版本免费,并可用其他品牌分发。 |
对照其遴选标准
软件质量
每种方法都有测试、可运行的示例和研究报告,并与代码放在一起。
成熟度
已发布的版本带有安装程序、签名的更新通道,以及按哈希校验的模型目录。
通用性
一个库覆盖模型的生命周期,从导入已发布的模型到蒸馏,适用于文本和图像。
主权
代码、模型和密钥都留在所有者掌控的机器上,每个组件都可以阅读、审计和自行托管。
资料来源
此处提及 P16 和 France 2030,是为了说明这些公共计划。这并不意味着 Inria 或法国政府对 Cydral Technology 的任何认可。