Forschung und Ergebnisse
Wir veröffentlichen, was wir messen, wie wir es gemessen haben und wo die Methode endet. Die Berichte liegen bei dem Code, den sie beschreiben.
Softwareseitige Erweiterung des GPU-Speichers
V²RAM verwaltet die Residenz von Tensorblöcken eine Ebene unter dem Executor des Frameworks, im Pufferobjekt selbst. Die Blöcke bewegen sich innerhalb eines Budgets zwischen der Karte, dem gepinnten Host-Speicher und einem in den Speicher abgebildeten Ablageort, allein geleitet von der Folge der Zugriffe, die der Lauf offenbart. Kein Netz, keine Schicht und keine Trainingsschleife ändert sich.
| Konfiguration | Budget | Resident | Mit V²RAM | Verhältnis |
|---|---|---|---|---|
| Inferenz, Arbeitssatz von 200 MiB | 128 MiB | 13,2 ms | 35,2 ms | 2,7× |
| Training, Arbeitssatz von 1.186 MiB | 128 MiB | 256,6 ms | 353,7 ms | 1,4× |
Millisekunden pro Schritt, Median aus drei Läufen. Das Budget liegt absichtlich unter dem Arbeitssatz.
| Batch | Arbeitssatz | Spitze auf der Karte | Ausgang |
|---|---|---|---|
| Ohne V²RAM | 6.028 MiB | – | Nicht gestartet: Host ohne Speicher |
| 1 | 6.028 MiB | 10.748 MiB | Gelaufen |
| 2 | 7.709 MiB | 10.170 MiB | Gelaufen |
| 4 | 10.984 MiB | 9.568 MiB | Gelaufen |
| 8 | 17.506 MiB | 9.178 MiB | Gelaufen |
| 16 | 30.600 MiB (geschätzt) | 9.092 MiB | Vom System beendet |
Ein Modell mit 270 Millionen Parametern, Grouped-Query-Attention und vier Experten pro Schicht.
Erkennung und Ersetzung personenbezogener Daten
Vier Verfahren teilen sich die Erkennung: Scanner, die Prüfziffern verifizieren, Worttabellen in fünf Sprachen, ein struktureller SVM-Tagger und ein Transformer auf Byte-Ebene mit 116.791 Parametern. Jeder Wert wird durch ein Tag ersetzt, das seine Verschlüsselung unter FF1 und AES-256 trägt.
Version 1.0.11 erreicht einen F1 von 0,946 auf dem Testsatz, 0,919 bei sechsfachem Rauschen, 0,953 bei ganzen Dokumenten und 0,951 bei Orten im Ausland; die Tabellen zeigen die detaillierten Messwerte der Version 1.0.5. Bei von Hand geschriebenen Texten in den fünf Sprachen liegt der F1 zwischen 0,886 und 0,907. In sechzehn für den Test geschriebenen Dateien in den fünf Sprachen (Word, PowerPoint, PDF, CSV, Quellcode, Bilder) lässt Version 1.0.11 2 der 1.223 zu schützenden Werte lesbar, gegenüber 109 bei der vorherigen Version. Auf einer privaten Stichprobe echter Dokumente beträgt die Präzision 0,859 und die Trefferquote 0,912: Etwa jeder elfte Wert bleibt lesbar, weshalb ein geschütztes Dokument vor der Weitergabe noch einmal gelesen werden sollte. Der Detektor liest etwa 41.000 Zeichen pro Sekunde auf zwei Kernen.
| Testsatz | Präzision | Trefferquote | F1 |
|---|---|---|---|
| Test, fünf Sprachen | 0,955 | 0,935 | 0,945 |
| Im Training nie gesehene Werte | 0,951 | 0,935 | 0,943 |
| Sechsfaches Rauschen | 0,941 | 0,897 | 0,918 |
| Ganze Dokumente | 0,961 | 0,943 | 0,952 |
| Nur Orte im Ausland | 0,960 | 0,939 | 0,949 |
| Nach Sprache | Präzision | Trefferquote | F1 |
|---|---|---|---|
| Französisch | 0,975 | 0,965 | 0,970 |
| Englisch | 0,971 | 0,964 | 0,967 |
| Italienisch | 0,950 | 0,926 | 0,938 |
| Deutsch | 0,949 | 0,926 | 0,937 |
| Spanisch | 0,928 | 0,898 | 0,913 |
| System | F1 auf dem Testsatz |
|---|---|
| Regeln allein | 0,840 |
| SVM-Tagger allein | 0,749 |
| Byte-Transformer allein | 0,903 |
| Gesamter Detektor | 0,945 |
Inferenz auf quantisierten Gewichten
Die Engines von Albireo halten die Gewichte in der Speicherabbildung der GGUF-Datei und multiplizieren sie in ihrer quantisierten Form. Ganzzahlkerne, ein Cache der Schlüssel und Werte in 8 Bit, vorausschauendes Dekodieren und auf der Karte berechnete Schichten werden jeweils gegen eine Referenz gemessen.
- Schlüssel und Werte in 8 Bit liefern auf den 210 Positionen eines Textes dasselbe nächste Token wie halbe Genauigkeit, bei einer mittleren Divergenz von 6,5e-5.
- Vorausschauendes Dekodieren schreibt eine Funktion mit 25,5 Token pro Sekunde um, gegenüber 19,7 auf zwei Kernen, und erhält die Verteilung des Samplings.
- Vier gemeinsam geschriebene Antworten brauchen 32 bis 40 % weniger Zeit pro Schritt als vier einzelne.
- Auf den 24 Threads eines Intel Core Ultra 9 275HX liest die Prozessor-Engine einen Prompt mit 216 Token pro Sekunde und schreibt mit 19,5 bei Qwen3-VL 4B; bei Qwen3 0.6B liest sie mit mehr als 1.300 Token pro Sekunde und schreibt mit mehr als 80.
| Engine | Token pro Sekunde |
|---|---|
| NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU | 56,8 |
| Prozessor, 24 Threads | 23,6 |
| Kerne | Ganzzahlen | Gleitkomma |
|---|---|---|
| AVX-VNNI | 230 Token/s | 126 Token/s |
| AVX2 | 154 Token/s | 125 Token/s |
Routing der Operationen zur NPU und zur integrierten GPU
Mit der OpenVINO-Laufzeit gebaut, bietet die Bibliothek jede Tensoroperation den Inferenzgeräten des Prozessors an. Der Host und jedes Gerät werden über einige Aufrufe gemessen, und das schnellste behält diese Form. Eine Maschine ohne diese Geräte läuft genau wie zuvor.
| Konfiguration | Zeit pro Schritt |
|---|---|
| Host allein, mit Intel oneMKL | 97,4 ms |
| Automatisches Routing | 63,3 ms |
Das Routing übergibt Softmax, Aktivierungen, Kreuzentropie und Faltungen an die integrierte GPU, die sie 2,2- bis 6,9-mal schneller berechnet als der Host. Die NPU bleibt für jede Operation im Rennen: Bei den Größen dieses Benchmarks überwiegen ihre festen Kosten pro Aufruf noch ihren Rechenvorteil, und das Routing wählt sie, sobald eine Messung sie als schnellstes Gerät ausweist.
Vorhersage als Kompression
Ein trainiertes Netz ist ein Wahrscheinlichkeitsmodell dessen, was folgt, und ein arithmetischer Kodierer macht daraus einen verlustfreien Code. Ein Beispiel baut die ganze Kette: ein in Dlib trainierter Tokenizer und Decoder, quantisierte und in das Programm kompilierte Gewichte und eine Operation für Operation festgelegte Arithmetik, damit ein Decoder auf einer anderen Maschine jede Wahrscheinlichkeit reproduziert.
| Archiv | 117.169.624 Bytes |
|---|---|
| Bit pro Byte | 0,937 |
| Dekompressor, Tokenizer und Netz inbegriffen | 7.063.888 Bytes |
| Zeit pro Richtung, ein Kern | Etwa 25 Stunden |
| Kompression mit den vom Prozessor gewählten Kernen | 24 h 48 min statt 30 h 18 min |
Hierarchisches Reasoning und adaptive Berechnung
Zwei Beispielprogramme trainieren hierarchische Reasoning-Modelle auf Sudoku-Extreme und auf ARC-Rätseln. Sie bringen der Bibliothek einen gemeinsam mit dem Netz trainierten Haltekopf, den Solver Adam-atan2, einen Stablemax-Verlust und eine Mittelung der Gewichte, die jeweils auch den anderen Modellen des Repositorys zur Verfügung stehen.
Bilder: Selbstüberwachung, Kolorierung und Synthese
Unsere früheren Arbeiten zu Bildern haben Methoden und Modelle hervorgebracht, die weiterhin veröffentlicht sind.
| Arbeit | Ergebnis |
|---|---|
| BAREL, selbstüberwachtes Lernen gefolgt von überwachtem metrischem Lernen | 96,1 % auf dem LFW-Benchmark für Gesichtserkennung, mit einem fast 8-mal kleineren Trainingssatz als beim ersten ResNet-Modell von Dlib |
| Barlow Twins auf CIFAR-10 mit einem ResNet-50 | 88,25 % Testgenauigkeit nach selbstüberwachtem Training |
| Colorify, hochauflösende Kolorierung | Ein Netz mit 223 Schichten und etwa 41,7 Millionen Parametern, trainiert auf etwa 900.000 Bildern |
| FFgan, synthetische Gesichter | Farbige Gesichter mit 162 Pixeln aus einem DCGAN, trainiert auf über 150.000 Gesichtern |
Beiträge zu Dlib
Dlib ist eine der maßgeblichen quelloffenen C++-Bibliotheken für maschinelles Lernen und Computer Vision. Bevor wir eigene Erweiterungen veröffentlichten, haben wir Code und trainierte Modelle zur Bibliothek selbst beigetragen, zunächst für Gesichter (Erkennung, Geschlecht, Alter, Synthese), dann für Transformer.
In der Bibliothek
Vierzehn Beiträge wurden zwischen August 2024 und Oktober 2025 in Dlib aufgenommen.
- Schichten für Transformer: RMS-Normalisierung, Embeddings, lineare Schicht, untere Dreiecksmaske, Transposition, Umformung, ebenenweises Matrixprodukt
- Eine Schicht für adaptive Rechenzeit und eine Dropout-Schicht mit zur Kompilierzeit festgelegter Rate
- Ein Tokenizer mit Byte-Pair-Encoding
- Beispielprogramme: ein Transformer-Netz, dann eines mit rotierender Positionskodierung und Expertenmischung
- Ein Lader für den ARC-AGI-Datensatz
- Eine Korrektur der reorg-Schicht, auf dem Prozessor und unter CUDA
| Modell | Aufgabe | Ergebnis |
|---|---|---|
face_recognition_densenet_model_v1 | Gesichtserkennung, DenseNet, mit der BAREL-Methode trainiert | 96,1 % auf LFW, mit einem fast 8-mal kleineren Trainingssatz als beim ersten ResNet-Modell von Dlib |
dnn_gender_classifier_v1 | Geschlechtsklassifikation anhand eines Gesichts | Etwa 97,3 % in der LFW-Auswertung, trainiert mit etwa 200 000 Gesichtern |
dnn_age_predictor_v1 | Altersschätzung anhand eines Gesichts, ResNet-10 | Trainiert mit etwa 110 000 annotierten Bildern |
dcgan_162x162_synth_faces | Synthetische Gesichter, DCGAN | Farbige Gesichter mit 162 Pixeln |
highres_colorify | Automatische Kolorierung, ResNet mit U-Net-Struktur | 223 Schichten und etwa 41,7 Millionen Parameter, nutzbar mit einer Grafikkarte von 8 GB |
res50_self_supervised_cifar_10 | Selbstüberwachtes Lernen, Barlow Twins, ResNet-50 | 88,25 % Testgenauigkeit auf CIFAR-10 |
resnet34_stable_imagenet_1k | Bildklassifikation, ResNet-34 | 99,98 % Top-1 auf dem Testteil von Stable ImageNet-1K |
vit-s-16_stable_imagenet_1k | Bildklassifikation, Vision Transformer | 99,76 % Top-1 auf dem Testteil von Stable ImageNet-1K |
Die Modelle für Geschlecht und Alter veröffentlicht Cydral Technology unter der Lizenz Creative Commons Zero 1.0.
Veröffentlichungen
- Buffer-Level Residency Management for GPU Memory Extension
- Aldric Pierrain, Cydral Technology. Forschungsbericht, September 2026
- Technical application architecture of Pseudalis Community
- Aldric Pierrain, Cydral Technology. Forschungsbericht, November 2026
- Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
- Aldric Pierrain, Cydral Technology. Forschungsbericht, November 2026
- BAREL: Backpropagation And Reinforcement-based Environment for Learning
- Aldric Pierrain, Cydral Technology. Veröffentlichung, April 2023
- A Small Language Model Stack, Built in C++ on One Machine
- Aldric Pierrain, Cydral Technology. Artikel
Messmethode
Jede Zahl nennt ihre Hardware, ihr Modell und ihr Protokoll. Ergebnisse werden mit Referenzimplementierungen abgeglichen, bevor sie genannt werden, und die Grenzen einer Methode stehen an derselben Stelle wie ihre Ergebnisse.
Diese Arbeit verfolgt die Ziele von P16, dem von Inria geleiteten France-2030-Programm für souveräne KI-Bibliotheken.