我们的工作与 P16

P16 是由 Inria 主导、France 2030 支持的法国计划,致力于开发主权、开放、可互操作的 AI 软件库。我们的核心库和产品追求同样的目标,我们也打算争取它的支持。

P16 简介

P16 于 2024 年 9 月在法国国家人工智能战略框架内启动,名称取自 AI 加速战略的第 16 项措施。它的使命是通过覆盖数据与模型全周期的软件库,增强法国和欧洲的技术自主。Inria 通过其 AI 计划负责统筹,五年投入约 800 万欧元。

  • 三项优先行动:数据的互操作性、数据的准备,以及模型的训练与执行。
  • 作为数字公共品来开发、广泛分发并长期维护的软件库。
  • 一条面向产业的技术转移路径,也涵盖可信 AI、节俭 AI 和嵌入式 AI 的研究。
  • 按质量、成熟度、通用性以及对数字主权的意义来遴选软件组件。

我们的工作与 P16 目标的契合之处

每一行都把 P16 提出的一项目标与我们已经发布的成果对应起来。

P16 的目标Cydral Technology 已发布的成果
主权且开放的软件库Dlib-Transformer-extensions,在法国以标准 C++14 编写,以 Boost Software License 1.0 发布,全程不依赖 Python 环境。
互操作性模型从 GGUF 格式读取;本地接口遵循 OpenAI 接口并以 OpenAPI 描述;文档按其办公格式读写。
数据准备字节对编码分词器、语料与数据集工具,以及 Pseudalis:在文档进入模型或提示之前去除其中的个人数据。
模型的训练与执行LoRA 和 DoRA 微调、蒸馏、剪枝,以及面向处理器、Intel NPU 与 GPU 和 NVIDIA 图形处理器的引擎。
节俭 AI量化权重、整数内核和以软件扩展的 GPU 显存:一个 40 亿参数的多模态模型能在 8 GB 内存的笔记本电脑上作答。
可信 AI本地执行、签名更新、符合 GDPR 第 25 条和第 32 条的可逆假名化,以及写明每种方法局限的报告。
嵌入式 AI运算路由到处理器的 NPU 和集成 GPU,模型可编译进单个程序。
向企业转移两款可安装的产品 Albireo 和 Pseudalis,Community 版本免费,并可用其他品牌分发。

对照其遴选标准

软件质量

每种方法都有测试、可运行的示例和研究报告,并与代码放在一起。

成熟度

已发布的版本带有安装程序、签名的更新通道,以及按哈希校验的模型目录。

通用性

一个库覆盖模型的生命周期,从导入已发布的模型到蒸馏,适用于文本和图像。

主权

代码、模型和密钥都留在所有者掌控的机器上,每个组件都可以阅读、审计和自行托管。

我们寻求的支持

Cydral Technology 目前不是 P16 的合作方,也没有获得任何公共资金。我们打算向该计划介绍这个库,并希望在那里获得工程支持、知名度,以及可能的资金。这将使这个库得到长期维护,并让更多欧洲企业用上它。

在此期间,也欢迎任何其他形式的支持:赞助一项功能、资助路线图,或分发产品。

资料来源

此处提及 P16 和 France 2030,是为了说明这些公共计划。这并不意味着 Inria 或法国政府对 Cydral Technology 的任何认可。