研究と結果

私たちは、何を測ったか、どう測ったか、そして手法がどこまで通用するかを公開します。レポートは、それが説明するコードと一緒に保管しています。

ソフトウェアによる GPU メモリの拡張

V²RAM は、フレームワークの実行器の一段下、バッファーオブジェクトの内部で、テンソルブロックの常駐場所を管理します。ブロックは予算の範囲内で、カード、ピン留めされたホストメモリ、メモリマップされたストアの間を移動し、その判断材料は実行中に現れるアクセスの順序だけです。ネットワークも、層も、学習ループも変更しません。

すべてをカードに置いた場合に対するコスト
構成予算常駐V²RAM あり比率
推論、ワーキングセット 200 MiB128 MiB13.2 ms35.2 ms2.7×
学習、ワーキングセット 1,186 MiB128 MiB256.6 ms353.7 ms1.4×

1 ステップあたりのミリ秒、3 回の実行の中央値。予算は意図的にワーキングセットより小さく設定しています。

12,288 MiB のカード、予算 8,192 MiB での容量
バッチワーキングセットカード上のピーク結果
V²RAM なし6,028 MiB–開始できず:ホストのメモリ不足
16,028 MiB10,748 MiB実行完了
27,709 MiB10,170 MiB実行完了
410,984 MiB9,568 MiB実行完了
817,506 MiB9,178 MiB実行完了
1630,600 MiB (推定)9,092 MiBシステムにより停止

グループ化クエリ注意機構と層ごとに 4 つのエキスパートを持つ、2 億 7,000 万パラメーターのモデル。

個人データの検出と置き換え

検出は 4 つの機構が分担します。チェックディジットを検証するスキャナー、5 言語の単語表、構造化 SVM タガー、そして 116,791 パラメーターのバイト単位 transformer です。それぞれの値は、FF1 と AES-256 による暗号化結果を内部に持つタグに置き換えられます。

バージョン 1.0.11 の F1 は、テストセットで 0.946、6 倍のノイズで 0.919、文書全体で 0.953、国外の地名で 0.951 です。表はバージョン 1.0.5 の詳細な測定値です。5 言語の手書きテキストでは、F1 は 0.886 から 0.907 の間です。テスト用に 5 言語で作成した 16 個のファイル(Word、PowerPoint、PDF、CSV、ソースコード、画像)では、バージョン 1.0.11 が読める状態で残した値は、保護すべき 1,223 個のうち 2 個です。前のバージョンでは 109 個でした。実文書の非公開サンプルでは、適合率 0.859、再現率 0.912 です。およそ 11 個に 1 個の値が読める状態で残るため、保護した文書は共有前に読み直す必要があります。検出器は 2 コアで毎秒約 41,000 文字を読みます。

検出器全体、スパンの完全一致、全カテゴリ(Pseudalis 1.0.5)
テストセット適合率再現率F1
テスト、5 言語0.9550.9350.945
学習で一度も見ていない値0.9510.9350.943
6 倍のノイズ0.9410.8970.918
文書全体0.9610.9430.952
国外の地名のみ0.9600.9390.949
言語別適合率再現率F1
フランス語0.9750.9650.970
英語0.9710.9640.967
イタリア語0.9500.9260.938
ドイツ語0.9490.9260.937
スペイン語0.9280.8980.913
各コンポーネントの寄与(Pseudalis 1.0.5)
システムテストセットでの F1
ルールのみ0.840
SVM タガーのみ0.749
バイト単位 transformer のみ0.903
検出器全体0.945

量子化された重みでの推論

Albireo のエンジンは、重みを GGUF ファイルのメモリマッピング上に置いたまま、量子化された形で乗算します。整数カーネル、8 ビットのキーとバリューのキャッシュ、ドラフトトークン、カード上で計算する層は、それぞれ参照実装と比較して測定しています。

  • 8 ビットのキーとバリューは、あるテキストの 210 位置で半精度と同じ次トークンを与え、平均ダイバージェンスは 6.5e-5 です。
  • ドラフトトークンにより、2 コアでの関数の書き直しが毎秒 19.7 トークンから 25.5 トークンになり、サンプリングの分布は保たれます。
  • 4 つの回答を同時に書くと、4 つを別々に書く場合より 1 ステップあたりの時間が 32〜40% 短くなります。
  • Intel Core Ultra 9 275HX の 24 スレッドでは、プロセッサーエンジンは Qwen3-VL 4B でプロンプトを毎秒 216 トークンで読み込み、毎秒 19.5 トークンで書き出します。Qwen3 0.6B では読み込みが毎秒 1,300 トークン超、書き出しが毎秒 80 トークン超です。
生成、Qwen3-VL 4B(Q4_K_M)
エンジントークン/秒
NVIDIA CUDA、GeForce RTX 5070 Ti Laptop GPU56.8
プロセッサー、24 スレッド23.6
512 トークンのプロンプトの読み込み、Qwen3 0.6B、2 コア
カーネル整数浮動小数点
AVX-VNNI230 トークン/秒126 トークン/秒
AVX2154 トークン/秒125 トークン/秒

NPU と内蔵 GPU への演算の振り分け

OpenVINO ランタイムとともにビルドすると、ライブラリは各テンソル演算をプロセッサーの推論デバイスに提示します。ホストと各デバイスを数回の呼び出しで計時し、最も速いものがその形状を担当します。これらのデバイスがないマシンでは、これまでとまったく同じように動作します。

小さな transformer の学習ステップ、Intel Core Ultra 9 275HX
構成1 ステップの時間
ホストのみ、Intel oneMKL 使用97.4 ms
自動ルーティング63.3 ms

ルーティングは、softmax、活性化関数、交差エントロピー、畳み込みを内蔵 GPU に任せ、内蔵 GPU はこれらをホストの 2.2〜6.9 倍の速さで計算します。NPU はすべての演算で候補であり続けます。このベンチマークの規模では呼び出しごとの固定コストがまだ演算性能を上回りますが、計測で最速と判定されればルーティングは NPU を選びます。

予測という圧縮

学習済みネットワークは「次に何が来るか」の確率モデルであり、算術符号化器がそれを可逆符号に変えます。ある例題プログラムがこの連鎖全体を構築します。Dlib で学習したトークナイザーとデコーダー、量子化してプログラムにコンパイルした重み、そして別のマシンのデコーダーがすべての確率を再現できるよう、演算ごとに固定した算術です。

enwik9:Large Text Compression Benchmark で使われる、英語版ウィキペディアの 1 ギガバイトのテキスト
アーカイブ117,169,624 バイト
1 バイトあたりのビット数0.937
展開プログラム(トークナイザーとネットワークを含む)7,063,888 バイト
片方向の所要時間、1 コア約 25 時間
プロセッサーが選んだカーネルでの圧縮30 時間 18 分が 24 時間 48 分に

階層的推論と適応的計算

2 つの例題プログラムが、Sudoku-Extreme と ARC パズルで階層的推論モデルを学習します。これらはライブラリに、ネットワークと同時に学習する停止ヘッド、Adam-atan2 ソルバー、stablemax 損失、重みの平均をもたらし、いずれもリポジトリの他のモデルから利用できます。

画像:自己教師あり学習、カラー化、合成

画像に関する私たちのこれまでの仕事は、現在も公開されている手法とモデルを生みました。

仕事結果
BAREL:自己教師あり学習の後に教師あり距離学習顔認識ベンチマーク LFW で 96.1%。学習セットは Dlib 最初の ResNet モデルの約 8 分の 1
CIFAR-10 での Barlow Twins(ResNet-50)自己教師あり学習後のテスト精度 88.25%
Colorify:高解像度カラー化223 層、約 4,170 万パラメーターのネットワークを約 90 万枚の画像で学習
FFgan:合成顔15 万枚以上の顔で学習した DCGAN による 162 ピクセルのカラー顔画像

Dlib への貢献

Dlib は、機械学習とコンピュータービジョンのための代表的なオープンソース C++ ライブラリの 1 つです。私たちは独自の拡張を公開する前に、ライブラリ本体にコードと学習済みモデルを提供してきました。最初は顔(認識、性別、年齢、合成)、次に transformer です。

ライブラリ本体

2024 年 8 月から 2025 年 10 月の間に、14 件の貢献が Dlib にマージされました。

  • transformer 用の層:RMS 正規化、埋め込み、線形、下三角マスク、転置、形状変更、プレーン単位の行列積
  • 適応的計算時間の層と、コンパイル時に率を設定する dropout 層
  • バイトペア符号化(BPE)トークナイザー
  • 例題プログラム:transformer ネットワーク、および回転位置埋め込みとエキスパート混合を備えたネットワーク
  • ARC-AGI データセットのローダー
  • reorg 層の修正(プロセッサーと CUDA)
公式モデルリポジトリ
モデルタスク結果
face_recognition_densenet_model_v1顔認識:BAREL 手法で学習した DenseNetLFW で 96.1 %。学習セットは Dlib 最初の ResNet モデルの約 8 分の 1
dnn_gender_classifier_v1顔からの性別分類LFW 評価で約 97.3 %。約 20 万枚の顔で学習
dnn_age_predictor_v1顔からの年齢推定:ResNet-10約 11 万枚のラベル付き画像で学習
dcgan_162x162_synth_faces合成顔:DCGAN162 ピクセルのカラー顔画像
highres_colorify自動カラー化:U-Net 構造の ResNet223 層、約 4,170 万パラメーター。8 GB のグラフィックカードで利用可能
res50_self_supervised_cifar_10自己教師あり学習:Barlow Twins、ResNet-50CIFAR-10 でテスト精度 88.25 %
resnet34_stable_imagenet_1k画像分類:ResNet-34Stable ImageNet-1K のテスト分割で top-1 99.98 %
vit-s-16_stable_imagenet_1k画像分類:Vision TransformerStable ImageNet-1K のテスト分割で top-1 99.76 %

性別と年齢のモデルは、Cydral Technology が Creative Commons Zero 1.0 ライセンスで公開しています。

発表文献

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. 研究レポート、2026 年 9 月
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. 研究レポート、2026 年 11 月
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. 研究レポート、2026 年 11 月
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. 論文、2023 年 4 月
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. 記事

測定の方法

すべての数値に、ハードウェア、モデル、測定手順を明記します。結果は公表前に参照実装と照合し、手法の限界はその結果と同じ場所に書きます。

この仕事は、主権を守る AI ライブラリのために Inria が主導する France 2030 のプログラム、P16 の目標に沿っています。