Forschung und Ergebnisse

Wir veröffentlichen, was wir messen, wie wir es gemessen haben und wo die Methode endet. Die Berichte liegen bei dem Code, den sie beschreiben.

Softwareseitige Erweiterung des GPU-Speichers

V²RAM verwaltet die Residenz von Tensorblöcken eine Ebene unter dem Executor des Frameworks, im Pufferobjekt selbst. Die Blöcke bewegen sich innerhalb eines Budgets zwischen der Karte, dem gepinnten Host-Speicher und einem in den Speicher abgebildeten Ablageort, allein geleitet von der Folge der Zugriffe, die der Lauf offenbart. Kein Netz, keine Schicht und keine Trainingsschleife ändert sich.

Kosten gegenüber vollständiger Haltung auf der Karte
KonfigurationBudgetResidentMit V²RAMVerhältnis
Inferenz, Arbeitssatz von 200 MiB128 MiB13,2 ms35,2 ms2,7×
Training, Arbeitssatz von 1.186 MiB128 MiB256,6 ms353,7 ms1,4×

Millisekunden pro Schritt, Median aus drei Läufen. Das Budget liegt absichtlich unter dem Arbeitssatz.

Kapazität einer Karte mit 12.288 MiB bei einem Budget von 8.192 MiB
BatchArbeitssatzSpitze auf der KarteAusgang
Ohne V²RAM6.028 MiB–Nicht gestartet: Host ohne Speicher
16.028 MiB10.748 MiBGelaufen
27.709 MiB10.170 MiBGelaufen
410.984 MiB9.568 MiBGelaufen
817.506 MiB9.178 MiBGelaufen
1630.600 MiB (geschätzt)9.092 MiBVom System beendet

Ein Modell mit 270 Millionen Parametern, Grouped-Query-Attention und vier Experten pro Schicht.

Erkennung und Ersetzung personenbezogener Daten

Vier Verfahren teilen sich die Erkennung: Scanner, die Prüfziffern verifizieren, Worttabellen in fünf Sprachen, ein struktureller SVM-Tagger und ein Transformer auf Byte-Ebene mit 116.791 Parametern. Jeder Wert wird durch ein Tag ersetzt, das seine Verschlüsselung unter FF1 und AES-256 trägt.

Version 1.0.11 erreicht einen F1 von 0,946 auf dem Testsatz, 0,919 bei sechsfachem Rauschen, 0,953 bei ganzen Dokumenten und 0,951 bei Orten im Ausland; die Tabellen zeigen die detaillierten Messwerte der Version 1.0.5. Bei von Hand geschriebenen Texten in den fünf Sprachen liegt der F1 zwischen 0,886 und 0,907. In sechzehn für den Test geschriebenen Dateien in den fünf Sprachen (Word, PowerPoint, PDF, CSV, Quellcode, Bilder) lässt Version 1.0.11 2 der 1.223 zu schützenden Werte lesbar, gegenüber 109 bei der vorherigen Version. Auf einer privaten Stichprobe echter Dokumente beträgt die Präzision 0,859 und die Trefferquote 0,912: Etwa jeder elfte Wert bleibt lesbar, weshalb ein geschütztes Dokument vor der Weitergabe noch einmal gelesen werden sollte. Der Detektor liest etwa 41.000 Zeichen pro Sekunde auf zwei Kernen.

Gesamter Detektor, exakte Grenzen, alle Kategorien (Pseudalis 1.0.5)
TestsatzPräzisionTrefferquoteF1
Test, fünf Sprachen0,9550,9350,945
Im Training nie gesehene Werte0,9510,9350,943
Sechsfaches Rauschen0,9410,8970,918
Ganze Dokumente0,9610,9430,952
Nur Orte im Ausland0,9600,9390,949
Nach SprachePräzisionTrefferquoteF1
Französisch0,9750,9650,970
Englisch0,9710,9640,967
Italienisch0,9500,9260,938
Deutsch0,9490,9260,937
Spanisch0,9280,8980,913
Beitrag jeder Komponente (Pseudalis 1.0.5)
SystemF1 auf dem Testsatz
Regeln allein0,840
SVM-Tagger allein0,749
Byte-Transformer allein0,903
Gesamter Detektor0,945

Inferenz auf quantisierten Gewichten

Die Engines von Albireo halten die Gewichte in der Speicherabbildung der GGUF-Datei und multiplizieren sie in ihrer quantisierten Form. Ganzzahlkerne, ein Cache der Schlüssel und Werte in 8 Bit, vorausschauendes Dekodieren und auf der Karte berechnete Schichten werden jeweils gegen eine Referenz gemessen.

  • Schlüssel und Werte in 8 Bit liefern auf den 210 Positionen eines Textes dasselbe nächste Token wie halbe Genauigkeit, bei einer mittleren Divergenz von 6,5e-5.
  • Vorausschauendes Dekodieren schreibt eine Funktion mit 25,5 Token pro Sekunde um, gegenüber 19,7 auf zwei Kernen, und erhält die Verteilung des Samplings.
  • Vier gemeinsam geschriebene Antworten brauchen 32 bis 40 % weniger Zeit pro Schritt als vier einzelne.
  • Auf den 24 Threads eines Intel Core Ultra 9 275HX liest die Prozessor-Engine einen Prompt mit 216 Token pro Sekunde und schreibt mit 19,5 bei Qwen3-VL 4B; bei Qwen3 0.6B liest sie mit mehr als 1.300 Token pro Sekunde und schreibt mit mehr als 80.
Generierung, Qwen3-VL 4B in Q4_K_M
EngineToken pro Sekunde
NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU56,8
Prozessor, 24 Threads23,6
Lesen eines Prompts mit 512 Token, Qwen3 0.6B, zwei Kerne
KerneGanzzahlenGleitkomma
AVX-VNNI230 Token/s126 Token/s
AVX2154 Token/s125 Token/s

Routing der Operationen zur NPU und zur integrierten GPU

Mit der OpenVINO-Laufzeit gebaut, bietet die Bibliothek jede Tensoroperation den Inferenzgeräten des Prozessors an. Der Host und jedes Gerät werden über einige Aufrufe gemessen, und das schnellste behält diese Form. Eine Maschine ohne diese Geräte läuft genau wie zuvor.

Trainingsschritt eines kleinen Transformers, Intel Core Ultra 9 275HX
KonfigurationZeit pro Schritt
Host allein, mit Intel oneMKL97,4 ms
Automatisches Routing63,3 ms

Das Routing übergibt Softmax, Aktivierungen, Kreuzentropie und Faltungen an die integrierte GPU, die sie 2,2- bis 6,9-mal schneller berechnet als der Host. Die NPU bleibt für jede Operation im Rennen: Bei den Größen dieses Benchmarks überwiegen ihre festen Kosten pro Aufruf noch ihren Rechenvorteil, und das Routing wählt sie, sobald eine Messung sie als schnellstes Gerät ausweist.

Vorhersage als Kompression

Ein trainiertes Netz ist ein Wahrscheinlichkeitsmodell dessen, was folgt, und ein arithmetischer Kodierer macht daraus einen verlustfreien Code. Ein Beispiel baut die ganze Kette: ein in Dlib trainierter Tokenizer und Decoder, quantisierte und in das Programm kompilierte Gewichte und eine Operation für Operation festgelegte Arithmetik, damit ein Decoder auf einer anderen Maschine jede Wahrscheinlichkeit reproduziert.

enwik9, das Gigabyte englischen Wikipedia-Texts des Large Text Compression Benchmark
Archiv117.169.624 Bytes
Bit pro Byte0,937
Dekompressor, Tokenizer und Netz inbegriffen7.063.888 Bytes
Zeit pro Richtung, ein KernEtwa 25 Stunden
Kompression mit den vom Prozessor gewählten Kernen24 h 48 min statt 30 h 18 min

Hierarchisches Reasoning und adaptive Berechnung

Zwei Beispielprogramme trainieren hierarchische Reasoning-Modelle auf Sudoku-Extreme und auf ARC-Rätseln. Sie bringen der Bibliothek einen gemeinsam mit dem Netz trainierten Haltekopf, den Solver Adam-atan2, einen Stablemax-Verlust und eine Mittelung der Gewichte, die jeweils auch den anderen Modellen des Repositorys zur Verfügung stehen.

Bilder: Selbstüberwachung, Kolorierung und Synthese

Unsere früheren Arbeiten zu Bildern haben Methoden und Modelle hervorgebracht, die weiterhin veröffentlicht sind.

ArbeitErgebnis
BAREL, selbstüberwachtes Lernen gefolgt von überwachtem metrischem Lernen96,1 % auf dem LFW-Benchmark für Gesichtserkennung, mit einem fast 8-mal kleineren Trainingssatz als beim ersten ResNet-Modell von Dlib
Barlow Twins auf CIFAR-10 mit einem ResNet-5088,25 % Testgenauigkeit nach selbstüberwachtem Training
Colorify, hochauflösende KolorierungEin Netz mit 223 Schichten und etwa 41,7 Millionen Parametern, trainiert auf etwa 900.000 Bildern
FFgan, synthetische GesichterFarbige Gesichter mit 162 Pixeln aus einem DCGAN, trainiert auf über 150.000 Gesichtern

Beiträge zu Dlib

Dlib ist eine der maßgeblichen quelloffenen C++-Bibliotheken für maschinelles Lernen und Computer Vision. Bevor wir eigene Erweiterungen veröffentlichten, haben wir Code und trainierte Modelle zur Bibliothek selbst beigetragen, zunächst für Gesichter (Erkennung, Geschlecht, Alter, Synthese), dann für Transformer.

In der Bibliothek

Vierzehn Beiträge wurden zwischen August 2024 und Oktober 2025 in Dlib aufgenommen.

  • Schichten für Transformer: RMS-Normalisierung, Embeddings, lineare Schicht, untere Dreiecksmaske, Transposition, Umformung, ebenenweises Matrixprodukt
  • Eine Schicht für adaptive Rechenzeit und eine Dropout-Schicht mit zur Kompilierzeit festgelegter Rate
  • Ein Tokenizer mit Byte-Pair-Encoding
  • Beispielprogramme: ein Transformer-Netz, dann eines mit rotierender Positionskodierung und Expertenmischung
  • Ein Lader für den ARC-AGI-Datensatz
  • Eine Korrektur der reorg-Schicht, auf dem Prozessor und unter CUDA
Im offiziellen Modell-Repository
ModellAufgabeErgebnis
face_recognition_densenet_model_v1Gesichtserkennung, DenseNet, mit der BAREL-Methode trainiert96,1 % auf LFW, mit einem fast 8-mal kleineren Trainingssatz als beim ersten ResNet-Modell von Dlib
dnn_gender_classifier_v1Geschlechtsklassifikation anhand eines GesichtsEtwa 97,3 % in der LFW-Auswertung, trainiert mit etwa 200 000 Gesichtern
dnn_age_predictor_v1Altersschätzung anhand eines Gesichts, ResNet-10Trainiert mit etwa 110 000 annotierten Bildern
dcgan_162x162_synth_facesSynthetische Gesichter, DCGANFarbige Gesichter mit 162 Pixeln
highres_colorifyAutomatische Kolorierung, ResNet mit U-Net-Struktur223 Schichten und etwa 41,7 Millionen Parameter, nutzbar mit einer Grafikkarte von 8 GB
res50_self_supervised_cifar_10Selbstüberwachtes Lernen, Barlow Twins, ResNet-5088,25 % Testgenauigkeit auf CIFAR-10
resnet34_stable_imagenet_1kBildklassifikation, ResNet-3499,98 % Top-1 auf dem Testteil von Stable ImageNet-1K
vit-s-16_stable_imagenet_1kBildklassifikation, Vision Transformer99,76 % Top-1 auf dem Testteil von Stable ImageNet-1K

Die Modelle für Geschlecht und Alter veröffentlicht Cydral Technology unter der Lizenz Creative Commons Zero 1.0.

Veröffentlichungen

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. Forschungsbericht, September 2026
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. Forschungsbericht, November 2026
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. Forschungsbericht, November 2026
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. Veröffentlichung, April 2023
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. Artikel

Messmethode

Jede Zahl nennt ihre Hardware, ihr Modell und ihr Protokoll. Ergebnisse werden mit Referenzimplementierungen abgeglichen, bevor sie genannt werden, und die Grenzen einer Methode stehen an derselben Stelle wie ihre Ergebnisse.

Diese Arbeit verfolgt die Ziele von P16, dem von Inria geleiteten France-2030-Programm für souveräne KI-Bibliotheken.