Recherche et résultats

Nous publions ce que nous mesurons, comment nous l'avons mesuré et où la méthode s'arrête. Les rapports sont conservés avec le code qu'ils décrivent.

Extension logicielle de la mémoire GPU

V²RAM gère la résidence des blocs de tenseurs un niveau sous l'exécuteur du framework, dans l'objet tampon lui-même. Les blocs circulent entre la carte, la mémoire verrouillée de l'hôte et un stockage projeté en mémoire, dans la limite d'un budget, guidés par la seule séquence d'accès que l'exécution révèle. Aucun réseau, aucune couche, aucune boucle d'apprentissage ne change.

Coût par rapport à tout garder sur la carte
ConfigurationBudgetRésidentAvec V²RAMRapport
Inférence, jeu de travail de 200 MiB128 MiB13,2 ms35,2 ms2,7×
Apprentissage, jeu de travail de 1 186 MiB128 MiB256,6 ms353,7 ms1,4×

Millisecondes par pas, médiane de trois exécutions. Le budget est fixé à dessein sous le jeu de travail.

Capacité d'une carte de 12 288 MiB avec un budget de 8 192 MiB
LotJeu de travailPic sur la carteIssue
Sans V²RAM6 028 MiB–N'a pas démarré : hôte à court de mémoire
16 028 MiB10 748 MiBExécuté
27 709 MiB10 170 MiBExécuté
410 984 MiB9 568 MiBExécuté
817 506 MiB9 178 MiBExécuté
1630 600 MiB (estimé)9 092 MiBArrêté par le système

Un modèle de 270 millions de paramètres à attention par requêtes groupées et quatre experts par couche.

Détection et remplacement des données personnelles

Quatre dispositifs se partagent la détection : des scanners qui vérifient les clés de contrôle, des tables de mots en cinq langues, un étiqueteur SVM structurel et un transformer au niveau de l'octet de 116 791 paramètres. Chaque valeur est remplacée par une balise qui porte son chiffrement sous FF1 et AES-256.

La version 1.0.11 atteint un F1 de 0,946 sur le jeu de test, de 0,919 avec six fois plus de bruit, de 0,953 sur les documents entiers et de 0,951 sur les lieux à l'étranger ; les tableaux donnent les mesures détaillées de la version 1.0.5. Sur des textes rédigés à la main dans les cinq langues, le F1 se situe entre 0,886 et 0,907. Sur seize fichiers écrits pour l'essai dans les cinq langues (Word, PowerPoint, PDF, CSV, code source, images), la version 1.0.11 laisse lisibles 2 des 1 223 valeurs à protéger, contre 109 pour la version précédente. Sur un échantillon privé de documents réels, la précision est de 0,859 et le rappel de 0,912 : environ une valeur sur onze reste lisible, d'où la relecture recommandée d'un document protégé avant son partage. Le détecteur lit environ 41 000 caractères par seconde sur deux cœurs.

Détecteur complet, bornes exactes, toutes catégories (Pseudalis 1.0.5)
Jeu de testPrécisionRappelF1
Test, cinq langues0,9550,9350,945
Valeurs jamais vues à l'apprentissage0,9510,9350,943
Six fois plus de bruit0,9410,8970,918
Documents entiers0,9610,9430,952
Lieux à l'étranger seulement0,9600,9390,949
Par languePrécisionRappelF1
Français0,9750,9650,970
Anglais0,9710,9640,967
Italien0,9500,9260,938
Allemand0,9490,9260,937
Espagnol0,9280,8980,913
Apport de chaque composant (Pseudalis 1.0.5)
SystèmeF1 sur le jeu de test
Règles seules0,840
Étiqueteur SVM seul0,749
Transformer au niveau de l'octet seul0,903
Détecteur complet0,945

L'inférence sur des poids quantifiés

Les moteurs d'Albireo gardent les poids dans la projection en mémoire du fichier GGUF et les multiplient sous leur forme quantifiée. Les noyaux entiers, le cache des clés et des valeurs en 8 bits, le décodage préemptif et les couches calculées sur la carte sont chacun mesurés contre une référence.

  • Les clés et les valeurs en 8 bits donnent le même jeton suivant que la demi-précision sur les 210 positions d'un texte, avec une divergence moyenne de 6,5e-5.
  • Le décodage préemptif réécrit une fonction à 25,5 jetons par seconde contre 19,7 sur deux cœurs, et conserve la distribution de l'échantillonnage.
  • Quatre réponses écrites ensemble prennent 32 à 40 % de temps en moins par pas que quatre réponses séparées.
  • Sur les 24 fils d'un Intel Core Ultra 9 275HX, le moteur du processeur lit un prompt à 216 jetons par seconde et écrit à 19,5 avec Qwen3-VL 4B ; avec Qwen3 0.6B, il lit à plus de 1 300 jetons par seconde et écrit à plus de 80.
Génération, Qwen3-VL 4B en Q4_K_M
MoteurJetons par seconde
NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU56,8
Processeur, 24 fils23,6
Lecture d'un prompt de 512 jetons, Qwen3 0.6B, deux cœurs
NoyauxEntiersFlottants
AVX-VNNI230 jetons/s126 jetons/s
AVX2154 jetons/s125 jetons/s

Routage des opérations vers le NPU et le GPU intégré

Construite avec l'environnement d'exécution OpenVINO, la bibliothèque propose chaque opération sur les tenseurs aux périphériques d'inférence du processeur. L'hôte et chaque périphérique sont chronométrés sur quelques appels, et le plus rapide garde cette forme. Une machine sans ces périphériques fonctionne exactement comme avant.

Pas d'apprentissage d'un petit transformer, Intel Core Ultra 9 275HX
ConfigurationTemps par pas
Hôte seul, avec Intel oneMKL97,4 ms
Routage automatique63,3 ms

Le routage confie au GPU intégré softmax, les activations, l'entropie croisée et les convolutions, calculés 2,2 à 6,9 fois plus vite que sur l'hôte. Le NPU reste candidat à chaque opération : aux tailles de ce banc, son coût fixe par appel l'emporte encore sur son gain de calcul, et le routage le retient dès qu'une mesure le donne le plus rapide.

La prédiction comme compression

Un réseau entraîné est un modèle de probabilité de ce qui suit, et un codeur arithmétique en fait un code sans perte. Un exemple construit toute la chaîne : un tokeniseur et un décodeur entraînés sous Dlib, des poids quantifiés et compilés dans le programme, et une arithmétique fixée opération par opération pour qu'un décodeur sur une autre machine reproduise chaque probabilité.

enwik9, le gigaoctet de texte de la Wikipédia anglaise du Large Text Compression Benchmark
Archive117 169 624 octets
Bits par octet0,937
Décompresseur, tokeniseur et réseau compris7 063 888 octets
Temps par sens, un cœurEnviron 25 heures
Compression avec les noyaux choisis par le processeur24 h 48 min au lieu de 30 h 18 min

Raisonnement hiérarchique et calcul adaptatif

Deux programmes d'exemple entraînent des modèles de raisonnement hiérarchique sur Sudoku-Extreme et sur les puzzles ARC. Ils apportent à la bibliothèque une tête d'arrêt entraînée conjointement avec le réseau, le solveur Adam-atan2, une perte stablemax et une moyenne des poids, chacun disponible pour les autres modèles du dépôt.

Images : auto-supervision, colorisation et synthèse

Nos travaux antérieurs sur l'image ont produit des méthodes et des modèles qui restent publiés.

TravailRésultat
BAREL, apprentissage auto-supervisé suivi d'un apprentissage métrique supervisé96,1 % sur le banc LFW en reconnaissance faciale, avec un jeu d'apprentissage près de 8 fois plus petit que celui du premier modèle ResNet de Dlib
Barlow Twins sur CIFAR-10 avec un ResNet-5088,25 % d'exactitude en test après un apprentissage auto-supervisé
Colorify, colorisation haute résolutionUn réseau de 223 couches et d'environ 41,7 millions de paramètres entraîné sur environ 900 000 images
FFgan, visages synthétiquesDes visages en couleur de 162 pixels issus d'un DCGAN entraîné sur plus de 150 000 visages

Contributions à Dlib

Dlib est l'une des bibliothèques C++ open source de référence pour l'apprentissage automatique et la vision par ordinateur. Avant de publier nos propres extensions, nous avons contribué à la bibliothèque elle-même, en code et en modèles entraînés, d'abord pour le traitement des visages (reconnaissance, genre, âge, synthèse), puis pour les transformers.

Dans la bibliothèque

Quatorze contributions ont été intégrées à Dlib entre août 2024 et octobre 2025.

  • Des couches pour les transformers : normalisation RMS, embeddings, couche linéaire, masque triangulaire inférieur, transposition, redimensionnement, produit matriciel par plan
  • Une couche de temps de calcul adaptatif et une couche de dropout dont le taux est fixé à la compilation
  • Un tokenizer à encodage par paires d'octets
  • Des programmes d'exemple : un réseau transformer, puis un second avec encodage positionnel rotatif et mélange d'experts
  • Un chargeur pour le jeu de données ARC-AGI
  • Une correction de la couche reorg, sur processeur et sur CUDA
Dans le dépôt officiel de modèles
ModèleTâcheRésultat
face_recognition_densenet_model_v1Reconnaissance faciale, DenseNet entraîné avec la méthode BAREL96,1 % sur LFW, avec un jeu d'entraînement près de 8 fois plus petit que celui du premier modèle ResNet de Dlib
dnn_gender_classifier_v1Classification du genre à partir d'un visageEnviron 97,3 % sur l'évaluation LFW, entraîné sur environ 200 000 visages
dnn_age_predictor_v1Estimation de l'âge à partir d'un visage, ResNet-10Entraîné sur environ 110 000 images étiquetées
dcgan_162x162_synth_facesVisages de synthèse, DCGANVisages en couleurs de 162 pixels
highres_colorifyColorisation automatique, ResNet à structure U-Net223 couches et environ 41,7 millions de paramètres, utilisable avec une carte graphique de 8 Go
res50_self_supervised_cifar_10Apprentissage auto-supervisé, Barlow Twins, ResNet-5088,25 % de précision en test sur CIFAR-10
resnet34_stable_imagenet_1kClassification d'images, ResNet-3499,98 % en top-1 sur la partie test de Stable ImageNet-1K
vit-s-16_stable_imagenet_1kClassification d'images, Vision Transformer99,76 % en top-1 sur la partie test de Stable ImageNet-1K

Les modèles de genre et d'âge sont publiés par Cydral Technology sous la licence Creative Commons Zero 1.0.

Publications

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. Rapport de recherche, septembre 2026
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. Rapport de recherche, novembre 2026
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. Rapport de recherche, novembre 2026
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. Publication, avril 2023
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. Article

Méthode de mesure

Chaque chiffre nomme son matériel, son modèle et son protocole. Les résultats sont recoupés avec des implémentations de référence avant d'être énoncés, et les limites d'une méthode figurent au même endroit que ses résultats.

Ces travaux poursuivent les objectifs de P16, le programme France 2030 piloté par Inria pour des bibliothèques d'IA souveraines.