Ricerca e risultati

Pubblichiamo ciò che misuriamo, come lo abbiamo misurato e dove il metodo si ferma. I rapporti sono conservati con il codice che descrivono.

Estensione software della memoria GPU

V²RAM gestisce la residenza dei blocchi di tensori un livello sotto l'esecutore del framework, dentro l'oggetto buffer. I blocchi si spostano tra la scheda, la memoria bloccata dell'host e un archivio mappato in memoria, entro un budget, guidati dalla sola sequenza di accessi che l'esecuzione rivela. Nessuna rete, nessuno strato e nessun ciclo di addestramento cambia.

Costo rispetto a tenere tutto sulla scheda
ConfigurazioneBudgetResidenteCon V²RAMRapporto
Inferenza, insieme di lavoro di 200 MiB128 MiB13,2 ms35,2 ms2,7×
Addestramento, insieme di lavoro di 1.186 MiB128 MiB256,6 ms353,7 ms1,4×

Millisecondi per passo, mediana di tre esecuzioni. Il budget è fissato di proposito sotto l'insieme di lavoro.

Capacità di una scheda da 12.288 MiB con un budget di 8.192 MiB
BatchInsieme di lavoroPicco sulla schedaEsito
Senza V²RAM6.028 MiB–Non avviato: host senza memoria
16.028 MiB10.748 MiBEseguito
27.709 MiB10.170 MiBEseguito
410.984 MiB9.568 MiBEseguito
817.506 MiB9.178 MiBEseguito
1630.600 MiB (stimato)9.092 MiBArrestato dal sistema

Un modello da 270 milioni di parametri con attenzione a query raggruppate e quattro esperti per strato.

Rilevamento e sostituzione dei dati personali

Quattro dispositivi si dividono il rilevamento: scanner che verificano le cifre di controllo, tabelle di parole in cinque lingue, un etichettatore SVM strutturale e un transformer a livello di byte da 116.791 parametri. Ogni valore è sostituito da un tag che porta la sua cifratura sotto FF1 e AES-256.

La versione 1.0.11 raggiunge un F1 di 0,946 sull'insieme di test, 0,919 con sei volte il rumore, 0,953 sui documenti interi e 0,951 sui luoghi all'estero; le tabelle riportano le misure dettagliate della versione 1.0.5. Su testi scritti a mano nelle cinque lingue, l'F1 è compreso tra 0,886 e 0,907. Su sedici file scritti per la prova nelle cinque lingue (Word, PowerPoint, PDF, CSV, codice sorgente, immagini), la versione 1.0.11 lascia leggibili 2 dei 1.223 valori da proteggere, contro 109 per la versione precedente. Su un campione privato di documenti reali, la precisione è 0,859 e il richiamo 0,912: circa un valore su undici resta leggibile, ed è per questo che un documento protetto va riletto prima di condividerlo. Il rilevatore legge circa 41.000 caratteri al secondo su due core.

Rilevatore completo, confini esatti, tutte le categorie (Pseudalis 1.0.5)
Insieme di testPrecisioneRichiamoF1
Test, cinque lingue0,9550,9350,945
Valori mai visti in addestramento0,9510,9350,943
Sei volte il rumore0,9410,8970,918
Documenti interi0,9610,9430,952
Solo luoghi all'estero0,9600,9390,949
Per linguaPrecisioneRichiamoF1
Francese0,9750,9650,970
Inglese0,9710,9640,967
Italiano0,9500,9260,938
Tedesco0,9490,9260,937
Spagnolo0,9280,8980,913
Apporto di ogni componente (Pseudalis 1.0.5)
SistemaF1 sull'insieme di test
Sole regole0,840
Solo etichettatore SVM0,749
Solo transformer a livello di byte0,903
Rilevatore completo0,945

L'inferenza su pesi quantizzati

I motori di Albireo tengono i pesi nella mappatura in memoria del file GGUF e li moltiplicano nella loro forma quantizzata. I nuclei interi, la cache di chiavi e valori a 8 bit, la decodifica anticipata e gli strati calcolati sulla scheda sono misurati ciascuno rispetto a un riferimento.

  • Chiavi e valori a 8 bit danno lo stesso token successivo della mezza precisione sulle 210 posizioni di un testo, con una divergenza media di 6,5e-5.
  • La decodifica anticipata riscrive una funzione a 25,5 token al secondo contro 19,7 su due core, e conserva la distribuzione del campionamento.
  • Quattro risposte scritte insieme richiedono dal 32 al 40% di tempo in meno per passo rispetto a quattro separate.
  • Sui 24 thread di un Intel Core Ultra 9 275HX, il motore del processore legge un prompt a 216 token al secondo e scrive a 19,5 con Qwen3-VL 4B; con Qwen3 0.6B legge a più di 1.300 token al secondo e scrive a più di 80.
Generazione, Qwen3-VL 4B in Q4_K_M
MotoreToken al secondo
NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU56,8
Processore, 24 thread23,6
Lettura di un prompt di 512 token, Qwen3 0.6B, due core
NucleiInteriVirgola mobile
AVX-VNNI230 token/s126 token/s
AVX2154 token/s125 token/s

Instradamento delle operazioni verso la NPU e la GPU integrata

Costruita con il runtime OpenVINO, la libreria propone ogni operazione sui tensori ai dispositivi di inferenza del processore. L'host e ogni dispositivo sono cronometrati su alcune chiamate, e il più veloce tiene quella forma. Una macchina senza questi dispositivi funziona esattamente come prima.

Passo di addestramento di un piccolo transformer, Intel Core Ultra 9 275HX
ConfigurazioneTempo per passo
Solo host, con Intel oneMKL97,4 ms
Instradamento automatico63,3 ms

L'instradamento affida alla GPU integrata softmax, attivazioni, entropia incrociata e convoluzioni, calcolate da 2,2 a 6,9 volte più velocemente che sull'host. La NPU resta candidata a ogni operazione: alle dimensioni di questo banco il suo costo fisso per chiamata supera ancora il vantaggio del suo calcolo, e l'instradamento la sceglie non appena una misura la indica come la più veloce.

La predizione come compressione

Una rete addestrata è un modello di probabilità di ciò che segue, e un codificatore aritmetico ne fa un codice senza perdita. Un esempio costruisce l'intera catena: un tokenizer e un decodificatore addestrati in Dlib, pesi quantizzati e compilati nel programma, e un'aritmetica fissata operazione per operazione perché un decodificatore su un'altra macchina riproduca ogni probabilità.

enwik9, il gigabyte di testo della Wikipedia inglese del Large Text Compression Benchmark
Archivio117.169.624 byte
Bit per byte0,937
Decompressore, tokenizer e rete compresi7.063.888 byte
Tempo per direzione, un coreCirca 25 ore
Compressione con i nuclei scelti dal processore24 h 48 min invece di 30 h 18 min

Ragionamento gerarchico e calcolo adattivo

Due programmi di esempio addestrano modelli di ragionamento gerarchico su Sudoku-Extreme e sui rompicapi ARC. Portano nella libreria una testa di arresto addestrata insieme alla rete, il risolutore Adam-atan2, una perdita stablemax e una media dei pesi, ciascuno disponibile per gli altri modelli del repository.

Immagini: auto-supervisione, colorazione e sintesi

I nostri lavori precedenti sulle immagini hanno prodotto metodi e modelli che restano pubblicati.

LavoroRisultato
BAREL, apprendimento auto-supervisionato seguito da apprendimento metrico supervisionato96,1% sul banco LFW per il riconoscimento facciale, con un insieme di addestramento quasi 8 volte più piccolo di quello del primo modello ResNet di Dlib
Barlow Twins su CIFAR-10 con una ResNet-5088,25% di accuratezza in test dopo un addestramento auto-supervisionato
Colorify, colorazione ad alta risoluzioneUna rete di 223 strati e circa 41,7 milioni di parametri addestrata su circa 900.000 immagini
FFgan, volti sinteticiVolti a colori di 162 pixel da una DCGAN addestrata su oltre 150.000 volti

Contributi a Dlib

Dlib è una delle librerie C++ open source di riferimento per l'apprendimento automatico e la visione artificiale. Prima di pubblicare le nostre estensioni, abbiamo contribuito alla libreria stessa con codice e modelli addestrati, prima per i volti (riconoscimento, genere, età, sintesi), poi per i transformer.

Nella libreria

Quattordici contributi sono stati integrati in Dlib tra agosto 2024 e ottobre 2025.

  • Livelli per i transformer: normalizzazione RMS, embedding, livello lineare, maschera triangolare inferiore, trasposizione, ridimensionamento, prodotto matriciale per piano
  • Un livello di tempo di calcolo adattivo e un livello di dropout con tasso fissato in compilazione
  • Un tokenizer con codifica a coppie di byte
  • Programmi di esempio: una rete transformer, poi una con codifica posizionale rotativa e miscela di esperti
  • Un caricatore per il dataset ARC-AGI
  • Una correzione del livello reorg, su processore e su CUDA
Nel repository ufficiale dei modelli
ModelloCompitoRisultato
face_recognition_densenet_model_v1Riconoscimento facciale, DenseNet addestrata con il metodo BAREL96,1 % su LFW, con un insieme di addestramento quasi 8 volte più piccolo di quello del primo modello ResNet di Dlib
dnn_gender_classifier_v1Classificazione del genere da un voltoCirca 97,3 % nella valutazione LFW, addestrato su circa 200 000 volti
dnn_age_predictor_v1Stima dell'età da un volto, ResNet-10Addestrato su circa 110 000 immagini etichettate
dcgan_162x162_synth_facesVolti sintetici, DCGANVolti a colori di 162 pixel
highres_colorifyColorazione automatica, ResNet con struttura U-Net223 livelli e circa 41,7 milioni di parametri, utilizzabile con una scheda grafica da 8 GB
res50_self_supervised_cifar_10Apprendimento auto-supervisionato, Barlow Twins, ResNet-5088,25 % di accuratezza in test su CIFAR-10
resnet34_stable_imagenet_1kClassificazione di immagini, ResNet-3499,98 % top-1 sulla parte di test di Stable ImageNet-1K
vit-s-16_stable_imagenet_1kClassificazione di immagini, Vision Transformer99,76 % top-1 sulla parte di test di Stable ImageNet-1K

I modelli di genere e di età sono pubblicati da Cydral Technology sotto la licenza Creative Commons Zero 1.0.

Pubblicazioni

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. Rapporto di ricerca, settembre 2026
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. Rapporto di ricerca, novembre 2026
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. Rapporto di ricerca, novembre 2026
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. Pubblicazione, aprile 2023
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. Articolo

Metodo di misura

Ogni cifra nomina il suo hardware, il suo modello e il suo protocollo. I risultati sono confrontati con implementazioni di riferimento prima di essere enunciati, e i limiti di un metodo sono scritti nello stesso punto dei suoi risultati.

Questo lavoro persegue gli obiettivi di P16, il programma France 2030 guidato da Inria per librerie di IA sovrane.