研究と結果
私たちは、何を測ったか、どう測ったか、そして手法がどこまで通用するかを公開します。レポートは、それが説明するコードと一緒に保管しています。
ソフトウェアによる GPU メモリの拡張
V²RAM は、フレームワークの実行器の一段下、バッファーオブジェクトの内部で、テンソルブロックの常駐場所を管理します。ブロックは予算の範囲内で、カード、ピン留めされたホストメモリ、メモリマップされたストアの間を移動し、その判断材料は実行中に現れるアクセスの順序だけです。ネットワークも、層も、学習ループも変更しません。
| 構成 | 予算 | 常駐 | V²RAM あり | 比率 |
|---|---|---|---|---|
| 推論、ワーキングセット 200 MiB | 128 MiB | 13.2 ms | 35.2 ms | 2.7× |
| 学習、ワーキングセット 1,186 MiB | 128 MiB | 256.6 ms | 353.7 ms | 1.4× |
1 ステップあたりのミリ秒、3 回の実行の中央値。予算は意図的にワーキングセットより小さく設定しています。
| バッチ | ワーキングセット | カード上のピーク | 結果 |
|---|---|---|---|
| V²RAM なし | 6,028 MiB | – | 開始できず:ホストのメモリ不足 |
| 1 | 6,028 MiB | 10,748 MiB | 実行完了 |
| 2 | 7,709 MiB | 10,170 MiB | 実行完了 |
| 4 | 10,984 MiB | 9,568 MiB | 実行完了 |
| 8 | 17,506 MiB | 9,178 MiB | 実行完了 |
| 16 | 30,600 MiB (推定) | 9,092 MiB | システムにより停止 |
グループ化クエリ注意機構と層ごとに 4 つのエキスパートを持つ、2 億 7,000 万パラメーターのモデル。
個人データの検出と置き換え
検出は 4 つの機構が分担します。チェックディジットを検証するスキャナー、5 言語の単語表、構造化 SVM タガー、そして 116,791 パラメーターのバイト単位 transformer です。それぞれの値は、FF1 と AES-256 による暗号化結果を内部に持つタグに置き換えられます。
バージョン 1.0.11 の F1 は、テストセットで 0.946、6 倍のノイズで 0.919、文書全体で 0.953、国外の地名で 0.951 です。表はバージョン 1.0.5 の詳細な測定値です。5 言語の手書きテキストでは、F1 は 0.886 から 0.907 の間です。テスト用に 5 言語で作成した 16 個のファイル(Word、PowerPoint、PDF、CSV、ソースコード、画像)では、バージョン 1.0.11 が読める状態で残した値は、保護すべき 1,223 個のうち 2 個です。前のバージョンでは 109 個でした。実文書の非公開サンプルでは、適合率 0.859、再現率 0.912 です。およそ 11 個に 1 個の値が読める状態で残るため、保護した文書は共有前に読み直す必要があります。検出器は 2 コアで毎秒約 41,000 文字を読みます。
| テストセット | 適合率 | 再現率 | F1 |
|---|---|---|---|
| テスト、5 言語 | 0.955 | 0.935 | 0.945 |
| 学習で一度も見ていない値 | 0.951 | 0.935 | 0.943 |
| 6 倍のノイズ | 0.941 | 0.897 | 0.918 |
| 文書全体 | 0.961 | 0.943 | 0.952 |
| 国外の地名のみ | 0.960 | 0.939 | 0.949 |
| 言語別 | 適合率 | 再現率 | F1 |
|---|---|---|---|
| フランス語 | 0.975 | 0.965 | 0.970 |
| 英語 | 0.971 | 0.964 | 0.967 |
| イタリア語 | 0.950 | 0.926 | 0.938 |
| ドイツ語 | 0.949 | 0.926 | 0.937 |
| スペイン語 | 0.928 | 0.898 | 0.913 |
| システム | テストセットでの F1 |
|---|---|
| ルールのみ | 0.840 |
| SVM タガーのみ | 0.749 |
| バイト単位 transformer のみ | 0.903 |
| 検出器全体 | 0.945 |
量子化された重みでの推論
Albireo のエンジンは、重みを GGUF ファイルのメモリマッピング上に置いたまま、量子化された形で乗算します。整数カーネル、8 ビットのキーとバリューのキャッシュ、ドラフトトークン、カード上で計算する層は、それぞれ参照実装と比較して測定しています。
- 8 ビットのキーとバリューは、あるテキストの 210 位置で半精度と同じ次トークンを与え、平均ダイバージェンスは 6.5e-5 です。
- ドラフトトークンにより、2 コアでの関数の書き直しが毎秒 19.7 トークンから 25.5 トークンになり、サンプリングの分布は保たれます。
- 4 つの回答を同時に書くと、4 つを別々に書く場合より 1 ステップあたりの時間が 32〜40% 短くなります。
- Intel Core Ultra 9 275HX の 24 スレッドでは、プロセッサーエンジンは Qwen3-VL 4B でプロンプトを毎秒 216 トークンで読み込み、毎秒 19.5 トークンで書き出します。Qwen3 0.6B では読み込みが毎秒 1,300 トークン超、書き出しが毎秒 80 トークン超です。
| エンジン | トークン/秒 |
|---|---|
| NVIDIA CUDA、GeForce RTX 5070 Ti Laptop GPU | 56.8 |
| プロセッサー、24 スレッド | 23.6 |
| カーネル | 整数 | 浮動小数点 |
|---|---|---|
| AVX-VNNI | 230 トークン/秒 | 126 トークン/秒 |
| AVX2 | 154 トークン/秒 | 125 トークン/秒 |
NPU と内蔵 GPU への演算の振り分け
OpenVINO ランタイムとともにビルドすると、ライブラリは各テンソル演算をプロセッサーの推論デバイスに提示します。ホストと各デバイスを数回の呼び出しで計時し、最も速いものがその形状を担当します。これらのデバイスがないマシンでは、これまでとまったく同じように動作します。
| 構成 | 1 ステップの時間 |
|---|---|
| ホストのみ、Intel oneMKL 使用 | 97.4 ms |
| 自動ルーティング | 63.3 ms |
ルーティングは、softmax、活性化関数、交差エントロピー、畳み込みを内蔵 GPU に任せ、内蔵 GPU はこれらをホストの 2.2〜6.9 倍の速さで計算します。NPU はすべての演算で候補であり続けます。このベンチマークの規模では呼び出しごとの固定コストがまだ演算性能を上回りますが、計測で最速と判定されればルーティングは NPU を選びます。
予測という圧縮
学習済みネットワークは「次に何が来るか」の確率モデルであり、算術符号化器がそれを可逆符号に変えます。ある例題プログラムがこの連鎖全体を構築します。Dlib で学習したトークナイザーとデコーダー、量子化してプログラムにコンパイルした重み、そして別のマシンのデコーダーがすべての確率を再現できるよう、演算ごとに固定した算術です。
| アーカイブ | 117,169,624 バイト |
|---|---|
| 1 バイトあたりのビット数 | 0.937 |
| 展開プログラム(トークナイザーとネットワークを含む) | 7,063,888 バイト |
| 片方向の所要時間、1 コア | 約 25 時間 |
| プロセッサーが選んだカーネルでの圧縮 | 30 時間 18 分が 24 時間 48 分に |
階層的推論と適応的計算
2 つの例題プログラムが、Sudoku-Extreme と ARC パズルで階層的推論モデルを学習します。これらはライブラリに、ネットワークと同時に学習する停止ヘッド、Adam-atan2 ソルバー、stablemax 損失、重みの平均をもたらし、いずれもリポジトリの他のモデルから利用できます。
| 仕事 | 結果 |
|---|---|
| BAREL:自己教師あり学習の後に教師あり距離学習 | 顔認識ベンチマーク LFW で 96.1%。学習セットは Dlib 最初の ResNet モデルの約 8 分の 1 |
| CIFAR-10 での Barlow Twins(ResNet-50) | 自己教師あり学習後のテスト精度 88.25% |
| Colorify:高解像度カラー化 | 223 層、約 4,170 万パラメーターのネットワークを約 90 万枚の画像で学習 |
| FFgan:合成顔 | 15 万枚以上の顔で学習した DCGAN による 162 ピクセルのカラー顔画像 |
Dlib への貢献
Dlib は、機械学習とコンピュータービジョンのための代表的なオープンソース C++ ライブラリの 1 つです。私たちは独自の拡張を公開する前に、ライブラリ本体にコードと学習済みモデルを提供してきました。最初は顔(認識、性別、年齢、合成)、次に transformer です。
ライブラリ本体
2024 年 8 月から 2025 年 10 月の間に、14 件の貢献が Dlib にマージされました。
- transformer 用の層:RMS 正規化、埋め込み、線形、下三角マスク、転置、形状変更、プレーン単位の行列積
- 適応的計算時間の層と、コンパイル時に率を設定する dropout 層
- バイトペア符号化(BPE)トークナイザー
- 例題プログラム:transformer ネットワーク、および回転位置埋め込みとエキスパート混合を備えたネットワーク
- ARC-AGI データセットのローダー
- reorg 層の修正(プロセッサーと CUDA)
| モデル | タスク | 結果 |
|---|---|---|
face_recognition_densenet_model_v1 | 顔認識:BAREL 手法で学習した DenseNet | LFW で 96.1 %。学習セットは Dlib 最初の ResNet モデルの約 8 分の 1 |
dnn_gender_classifier_v1 | 顔からの性別分類 | LFW 評価で約 97.3 %。約 20 万枚の顔で学習 |
dnn_age_predictor_v1 | 顔からの年齢推定:ResNet-10 | 約 11 万枚のラベル付き画像で学習 |
dcgan_162x162_synth_faces | 合成顔:DCGAN | 162 ピクセルのカラー顔画像 |
highres_colorify | 自動カラー化:U-Net 構造の ResNet | 223 層、約 4,170 万パラメーター。8 GB のグラフィックカードで利用可能 |
res50_self_supervised_cifar_10 | 自己教師あり学習:Barlow Twins、ResNet-50 | CIFAR-10 でテスト精度 88.25 % |
resnet34_stable_imagenet_1k | 画像分類:ResNet-34 | Stable ImageNet-1K のテスト分割で top-1 99.98 % |
vit-s-16_stable_imagenet_1k | 画像分類:Vision Transformer | Stable ImageNet-1K のテスト分割で top-1 99.76 % |
性別と年齢のモデルは、Cydral Technology が Creative Commons Zero 1.0 ライセンスで公開しています。
発表文献
- Buffer-Level Residency Management for GPU Memory Extension
- Aldric Pierrain, Cydral Technology. 研究レポート、2026 年 9 月
- Technical application architecture of Pseudalis Community
- Aldric Pierrain, Cydral Technology. 研究レポート、2026 年 11 月
- Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
- Aldric Pierrain, Cydral Technology. 研究レポート、2026 年 11 月
- BAREL: Backpropagation And Reinforcement-based Environment for Learning
- Aldric Pierrain, Cydral Technology. 論文、2023 年 4 月
- A Small Language Model Stack, Built in C++ on One Machine
- Aldric Pierrain, Cydral Technology. 記事
測定の方法
すべての数値に、ハードウェア、モデル、測定手順を明記します。結果は公表前に参照実装と照合し、手法の限界はその結果と同じ場所に書きます。
この仕事は、主権を守る AI ライブラリのために Inria が主導する France 2030 のプログラム、P16 の目標に沿っています。