Ricerca e risultati
Pubblichiamo ciò che misuriamo, come lo abbiamo misurato e dove il metodo si ferma. I rapporti sono conservati con il codice che descrivono.
Estensione software della memoria GPU
V²RAM gestisce la residenza dei blocchi di tensori un livello sotto l'esecutore del framework, dentro l'oggetto buffer. I blocchi si spostano tra la scheda, la memoria bloccata dell'host e un archivio mappato in memoria, entro un budget, guidati dalla sola sequenza di accessi che l'esecuzione rivela. Nessuna rete, nessuno strato e nessun ciclo di addestramento cambia.
| Configurazione | Budget | Residente | Con V²RAM | Rapporto |
|---|---|---|---|---|
| Inferenza, insieme di lavoro di 200 MiB | 128 MiB | 13,2 ms | 35,2 ms | 2,7× |
| Addestramento, insieme di lavoro di 1.186 MiB | 128 MiB | 256,6 ms | 353,7 ms | 1,4× |
Millisecondi per passo, mediana di tre esecuzioni. Il budget è fissato di proposito sotto l'insieme di lavoro.
| Batch | Insieme di lavoro | Picco sulla scheda | Esito |
|---|---|---|---|
| Senza V²RAM | 6.028 MiB | – | Non avviato: host senza memoria |
| 1 | 6.028 MiB | 10.748 MiB | Eseguito |
| 2 | 7.709 MiB | 10.170 MiB | Eseguito |
| 4 | 10.984 MiB | 9.568 MiB | Eseguito |
| 8 | 17.506 MiB | 9.178 MiB | Eseguito |
| 16 | 30.600 MiB (stimato) | 9.092 MiB | Arrestato dal sistema |
Un modello da 270 milioni di parametri con attenzione a query raggruppate e quattro esperti per strato.
Rilevamento e sostituzione dei dati personali
Quattro dispositivi si dividono il rilevamento: scanner che verificano le cifre di controllo, tabelle di parole in cinque lingue, un etichettatore SVM strutturale e un transformer a livello di byte da 116.791 parametri. Ogni valore è sostituito da un tag che porta la sua cifratura sotto FF1 e AES-256.
La versione 1.0.11 raggiunge un F1 di 0,946 sull'insieme di test, 0,919 con sei volte il rumore, 0,953 sui documenti interi e 0,951 sui luoghi all'estero; le tabelle riportano le misure dettagliate della versione 1.0.5. Su testi scritti a mano nelle cinque lingue, l'F1 è compreso tra 0,886 e 0,907. Su sedici file scritti per la prova nelle cinque lingue (Word, PowerPoint, PDF, CSV, codice sorgente, immagini), la versione 1.0.11 lascia leggibili 2 dei 1.223 valori da proteggere, contro 109 per la versione precedente. Su un campione privato di documenti reali, la precisione è 0,859 e il richiamo 0,912: circa un valore su undici resta leggibile, ed è per questo che un documento protetto va riletto prima di condividerlo. Il rilevatore legge circa 41.000 caratteri al secondo su due core.
| Insieme di test | Precisione | Richiamo | F1 |
|---|---|---|---|
| Test, cinque lingue | 0,955 | 0,935 | 0,945 |
| Valori mai visti in addestramento | 0,951 | 0,935 | 0,943 |
| Sei volte il rumore | 0,941 | 0,897 | 0,918 |
| Documenti interi | 0,961 | 0,943 | 0,952 |
| Solo luoghi all'estero | 0,960 | 0,939 | 0,949 |
| Per lingua | Precisione | Richiamo | F1 |
|---|---|---|---|
| Francese | 0,975 | 0,965 | 0,970 |
| Inglese | 0,971 | 0,964 | 0,967 |
| Italiano | 0,950 | 0,926 | 0,938 |
| Tedesco | 0,949 | 0,926 | 0,937 |
| Spagnolo | 0,928 | 0,898 | 0,913 |
| Sistema | F1 sull'insieme di test |
|---|---|
| Sole regole | 0,840 |
| Solo etichettatore SVM | 0,749 |
| Solo transformer a livello di byte | 0,903 |
| Rilevatore completo | 0,945 |
L'inferenza su pesi quantizzati
I motori di Albireo tengono i pesi nella mappatura in memoria del file GGUF e li moltiplicano nella loro forma quantizzata. I nuclei interi, la cache di chiavi e valori a 8 bit, la decodifica anticipata e gli strati calcolati sulla scheda sono misurati ciascuno rispetto a un riferimento.
- Chiavi e valori a 8 bit danno lo stesso token successivo della mezza precisione sulle 210 posizioni di un testo, con una divergenza media di 6,5e-5.
- La decodifica anticipata riscrive una funzione a 25,5 token al secondo contro 19,7 su due core, e conserva la distribuzione del campionamento.
- Quattro risposte scritte insieme richiedono dal 32 al 40% di tempo in meno per passo rispetto a quattro separate.
- Sui 24 thread di un Intel Core Ultra 9 275HX, il motore del processore legge un prompt a 216 token al secondo e scrive a 19,5 con Qwen3-VL 4B; con Qwen3 0.6B legge a più di 1.300 token al secondo e scrive a più di 80.
| Motore | Token al secondo |
|---|---|
| NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU | 56,8 |
| Processore, 24 thread | 23,6 |
| Nuclei | Interi | Virgola mobile |
|---|---|---|
| AVX-VNNI | 230 token/s | 126 token/s |
| AVX2 | 154 token/s | 125 token/s |
Instradamento delle operazioni verso la NPU e la GPU integrata
Costruita con il runtime OpenVINO, la libreria propone ogni operazione sui tensori ai dispositivi di inferenza del processore. L'host e ogni dispositivo sono cronometrati su alcune chiamate, e il più veloce tiene quella forma. Una macchina senza questi dispositivi funziona esattamente come prima.
| Configurazione | Tempo per passo |
|---|---|
| Solo host, con Intel oneMKL | 97,4 ms |
| Instradamento automatico | 63,3 ms |
L'instradamento affida alla GPU integrata softmax, attivazioni, entropia incrociata e convoluzioni, calcolate da 2,2 a 6,9 volte più velocemente che sull'host. La NPU resta candidata a ogni operazione: alle dimensioni di questo banco il suo costo fisso per chiamata supera ancora il vantaggio del suo calcolo, e l'instradamento la sceglie non appena una misura la indica come la più veloce.
La predizione come compressione
Una rete addestrata è un modello di probabilità di ciò che segue, e un codificatore aritmetico ne fa un codice senza perdita. Un esempio costruisce l'intera catena: un tokenizer e un decodificatore addestrati in Dlib, pesi quantizzati e compilati nel programma, e un'aritmetica fissata operazione per operazione perché un decodificatore su un'altra macchina riproduca ogni probabilità.
| Archivio | 117.169.624 byte |
|---|---|
| Bit per byte | 0,937 |
| Decompressore, tokenizer e rete compresi | 7.063.888 byte |
| Tempo per direzione, un core | Circa 25 ore |
| Compressione con i nuclei scelti dal processore | 24 h 48 min invece di 30 h 18 min |
Ragionamento gerarchico e calcolo adattivo
Due programmi di esempio addestrano modelli di ragionamento gerarchico su Sudoku-Extreme e sui rompicapi ARC. Portano nella libreria una testa di arresto addestrata insieme alla rete, il risolutore Adam-atan2, una perdita stablemax e una media dei pesi, ciascuno disponibile per gli altri modelli del repository.
Immagini: auto-supervisione, colorazione e sintesi
I nostri lavori precedenti sulle immagini hanno prodotto metodi e modelli che restano pubblicati.
| Lavoro | Risultato |
|---|---|
| BAREL, apprendimento auto-supervisionato seguito da apprendimento metrico supervisionato | 96,1% sul banco LFW per il riconoscimento facciale, con un insieme di addestramento quasi 8 volte più piccolo di quello del primo modello ResNet di Dlib |
| Barlow Twins su CIFAR-10 con una ResNet-50 | 88,25% di accuratezza in test dopo un addestramento auto-supervisionato |
| Colorify, colorazione ad alta risoluzione | Una rete di 223 strati e circa 41,7 milioni di parametri addestrata su circa 900.000 immagini |
| FFgan, volti sintetici | Volti a colori di 162 pixel da una DCGAN addestrata su oltre 150.000 volti |
Contributi a Dlib
Dlib è una delle librerie C++ open source di riferimento per l'apprendimento automatico e la visione artificiale. Prima di pubblicare le nostre estensioni, abbiamo contribuito alla libreria stessa con codice e modelli addestrati, prima per i volti (riconoscimento, genere, età, sintesi), poi per i transformer.
Nella libreria
Quattordici contributi sono stati integrati in Dlib tra agosto 2024 e ottobre 2025.
- Livelli per i transformer: normalizzazione RMS, embedding, livello lineare, maschera triangolare inferiore, trasposizione, ridimensionamento, prodotto matriciale per piano
- Un livello di tempo di calcolo adattivo e un livello di dropout con tasso fissato in compilazione
- Un tokenizer con codifica a coppie di byte
- Programmi di esempio: una rete transformer, poi una con codifica posizionale rotativa e miscela di esperti
- Un caricatore per il dataset ARC-AGI
- Una correzione del livello reorg, su processore e su CUDA
| Modello | Compito | Risultato |
|---|---|---|
face_recognition_densenet_model_v1 | Riconoscimento facciale, DenseNet addestrata con il metodo BAREL | 96,1 % su LFW, con un insieme di addestramento quasi 8 volte più piccolo di quello del primo modello ResNet di Dlib |
dnn_gender_classifier_v1 | Classificazione del genere da un volto | Circa 97,3 % nella valutazione LFW, addestrato su circa 200 000 volti |
dnn_age_predictor_v1 | Stima dell'età da un volto, ResNet-10 | Addestrato su circa 110 000 immagini etichettate |
dcgan_162x162_synth_faces | Volti sintetici, DCGAN | Volti a colori di 162 pixel |
highres_colorify | Colorazione automatica, ResNet con struttura U-Net | 223 livelli e circa 41,7 milioni di parametri, utilizzabile con una scheda grafica da 8 GB |
res50_self_supervised_cifar_10 | Apprendimento auto-supervisionato, Barlow Twins, ResNet-50 | 88,25 % di accuratezza in test su CIFAR-10 |
resnet34_stable_imagenet_1k | Classificazione di immagini, ResNet-34 | 99,98 % top-1 sulla parte di test di Stable ImageNet-1K |
vit-s-16_stable_imagenet_1k | Classificazione di immagini, Vision Transformer | 99,76 % top-1 sulla parte di test di Stable ImageNet-1K |
I modelli di genere e di età sono pubblicati da Cydral Technology sotto la licenza Creative Commons Zero 1.0.
Pubblicazioni
- Buffer-Level Residency Management for GPU Memory Extension
- Aldric Pierrain, Cydral Technology. Rapporto di ricerca, settembre 2026
- Technical application architecture of Pseudalis Community
- Aldric Pierrain, Cydral Technology. Rapporto di ricerca, novembre 2026
- Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
- Aldric Pierrain, Cydral Technology. Rapporto di ricerca, novembre 2026
- BAREL: Backpropagation And Reinforcement-based Environment for Learning
- Aldric Pierrain, Cydral Technology. Pubblicazione, aprile 2023
- A Small Language Model Stack, Built in C++ on One Machine
- Aldric Pierrain, Cydral Technology. Articolo
Metodo di misura
Ogni cifra nomina il suo hardware, il suo modello e il suo protocollo. I risultati sono confrontati con implementazioni di riferimento prima di essere enunciati, e i limiti di un metodo sono scritti nello stesso punto dei suoi risultati.
Questo lavoro persegue gli obiettivi di P16, il programma France 2030 guidato da Inria per librerie di IA sovrane.