Investigación y resultados

Publicamos lo que medimos, cómo lo hemos medido y dónde se detiene el método. Los informes se conservan con el código que describen.

Ampliación por software de la memoria de GPU

V²RAM gestiona la residencia de los bloques de tensores un nivel por debajo del ejecutor del framework, dentro del propio objeto búfer. Los bloques se mueven entre la tarjeta, la memoria fijada del anfitrión y un almacén proyectado en memoria, dentro de un presupuesto, guiados solo por la secuencia de accesos que la ejecución revela. Ninguna red, capa ni bucle de entrenamiento cambia.

Coste frente a mantenerlo todo en la tarjeta
ConfiguraciónPresupuestoResidenteCon V²RAMRelación
Inferencia, conjunto de trabajo de 200 MiB128 MiB13,2 ms35,2 ms2,7×
Entrenamiento, conjunto de trabajo de 1186 MiB128 MiB256,6 ms353,7 ms1,4×

Milisegundos por paso, mediana de tres ejecuciones. El presupuesto se fija a propósito por debajo del conjunto de trabajo.

Capacidad de una tarjeta de 12 288 MiB con un presupuesto de 8192 MiB
LoteConjunto de trabajoPico en la tarjetaResultado
Sin V²RAM6028 MiB–No arrancó: anfitrión sin memoria
16028 MiB10 748 MiBEjecutado
27709 MiB10 170 MiBEjecutado
410 984 MiB9568 MiBEjecutado
817 506 MiB9178 MiBEjecutado
1630 600 MiB (estimado)9092 MiBDetenido por el sistema

Un modelo de 270 millones de parámetros con atención de consultas agrupadas y cuatro expertos por capa.

Detección y sustitución de los datos personales

Cuatro dispositivos se reparten la detección: escáneres que verifican los dígitos de control, tablas de palabras en cinco idiomas, un etiquetador SVM estructural y un transformer a nivel de byte de 116 791 parámetros. Cada valor se sustituye por una etiqueta que lleva su cifrado bajo FF1 y AES-256.

La versión 1.0.11 alcanza un F1 de 0,946 en el conjunto de prueba, 0,919 con seis veces más ruido, 0,953 en documentos enteros y 0,951 en lugares del extranjero; las tablas recogen las medidas detalladas de la versión 1.0.5. En textos escritos a mano en los cinco idiomas, el F1 se sitúa entre 0,886 y 0,907. En dieciséis archivos escritos para la prueba en los cinco idiomas (Word, PowerPoint, PDF, CSV, código fuente, imágenes), la versión 1.0.11 deja legibles 2 de los 1223 valores que proteger, frente a 109 con la versión anterior. En una muestra privada de documentos reales, la precisión es de 0,859 y la exhaustividad de 0,912: aproximadamente un valor de cada once queda legible, por lo que conviene releer un documento protegido antes de compartirlo. El detector lee unos 41 000 caracteres por segundo con dos núcleos.

Detector completo, límites exactos, todas las categorías (Pseudalis 1.0.5)
Conjunto de pruebaPrecisiónExhaustividadF1
Prueba, cinco idiomas0,9550,9350,945
Valores nunca vistos en el entrenamiento0,9510,9350,943
Seis veces más ruido0,9410,8970,918
Documentos enteros0,9610,9430,952
Solo lugares del extranjero0,9600,9390,949
Por idiomaPrecisiónExhaustividadF1
Francés0,9750,9650,970
Inglés0,9710,9640,967
Italiano0,9500,9260,938
Alemán0,9490,9260,937
Español0,9280,8980,913
Aportación de cada componente (Pseudalis 1.0.5)
SistemaF1 en el conjunto de prueba
Solo reglas0,840
Solo etiquetador SVM0,749
Solo transformer a nivel de byte0,903
Detector completo0,945

La inferencia con pesos cuantizados

Los motores de Albireo mantienen los pesos en la proyección en memoria del archivo GGUF y los multiplican en su forma cuantizada. Los núcleos enteros, la caché de claves y valores en 8 bits, la decodificación anticipada y las capas calculadas en la tarjeta se miden cada uno frente a una referencia.

  • Las claves y los valores en 8 bits dan el mismo token siguiente que la media precisión en las 210 posiciones de un texto, con una divergencia media de 6,5e-5.
  • La decodificación anticipada reescribe una función a 25,5 tokens por segundo frente a 19,7 con dos núcleos, y conserva la distribución del muestreo.
  • Cuatro respuestas escritas a la vez tardan entre un 32 y un 40 % menos por paso que cuatro separadas.
  • Con los 24 hilos de un Intel Core Ultra 9 275HX, el motor del procesador lee un prompt a 216 tokens por segundo y escribe a 19,5 con Qwen3-VL 4B; con Qwen3 0.6B lee a más de 1300 tokens por segundo y escribe a más de 80.
Generación, Qwen3-VL 4B en Q4_K_M
MotorTokens por segundo
NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU56,8
Procesador, 24 hilos23,6
Lectura de un prompt de 512 tokens, Qwen3 0.6B, dos núcleos
NúcleosEnterosComa flotante
AVX-VNNI230 tokens/s126 tokens/s
AVX2154 tokens/s125 tokens/s

Encaminamiento de las operaciones hacia la NPU y la GPU integrada

Construida con el entorno de ejecución OpenVINO, la biblioteca ofrece cada operación con tensores a los dispositivos de inferencia del procesador. El anfitrión y cada dispositivo se cronometran en unas pocas llamadas, y el más rápido conserva esa forma. Una máquina sin estos dispositivos funciona exactamente como antes.

Paso de entrenamiento de un pequeño transformer, Intel Core Ultra 9 275HX
ConfiguraciónTiempo por paso
Solo el anfitrión, con Intel oneMKL97,4 ms
Encaminamiento automático63,3 ms

El enrutamiento confía a la GPU integrada softmax, las activaciones, la entropía cruzada y las convoluciones, calculadas entre 2,2 y 6,9 veces más rápido que en el anfitrión. La NPU sigue siendo candidata para cada operación: con los tamaños de este banco, su coste fijo por llamada aún supera la ventaja de su cálculo, y el enrutamiento la elige en cuanto una medida la da como la más rápida.

La predicción como compresión

Una red entrenada es un modelo de probabilidad de lo que sigue, y un codificador aritmético lo convierte en un código sin pérdida. Un ejemplo construye toda la cadena: un tokenizador y un decodificador entrenados en Dlib, pesos cuantizados y compilados en el programa, y una aritmética fijada operación por operación para que un decodificador en otra máquina reproduzca cada probabilidad.

enwik9, el gigabyte de texto de la Wikipedia inglesa del Large Text Compression Benchmark
Archivo comprimido117 169 624 bytes
Bits por byte0,937
Descompresor, tokenizador y red incluidos7 063 888 bytes
Tiempo por sentido, un núcleoUnas 25 horas
Compresión con los núcleos elegidos por el procesador24 h 48 min en lugar de 30 h 18 min

Razonamiento jerárquico y cómputo adaptativo

Dos programas de ejemplo entrenan modelos de razonamiento jerárquico con Sudoku-Extreme y con los rompecabezas ARC. Aportan a la biblioteca una cabeza de parada entrenada junto con la red, el optimizador Adam-atan2, una pérdida stablemax y un promedio de los pesos, cada uno disponible para los demás modelos del repositorio.

Imágenes: autosupervisión, coloración y síntesis

Nuestros trabajos anteriores sobre imágenes produjeron métodos y modelos que siguen publicados.

TrabajoResultado
BAREL, aprendizaje autosupervisado seguido de aprendizaje métrico supervisado96,1 % en el banco LFW de reconocimiento facial, con un conjunto de entrenamiento casi 8 veces menor que el del primer modelo ResNet de Dlib
Barlow Twins en CIFAR-10 con una ResNet-5088,25 % de exactitud en prueba tras un entrenamiento autosupervisado
Colorify, coloración de alta resoluciónUna red de 223 capas y unos 41,7 millones de parámetros entrenada con unas 900 000 imágenes
FFgan, rostros sintéticosRostros en color de 162 píxeles de una DCGAN entrenada con más de 150 000 rostros

Contribuciones a Dlib

Dlib es una de las bibliotecas C++ de código abierto de referencia para el aprendizaje automático y la visión por computador. Antes de publicar nuestras propias extensiones, contribuimos a la propia biblioteca con código y modelos entrenados, primero para los rostros (reconocimiento, género, edad, síntesis) y después para los transformers.

En la biblioteca

Catorce contribuciones se integraron en Dlib entre agosto de 2024 y octubre de 2025.

  • Capas para transformers: normalización RMS, embeddings, capa lineal, máscara triangular inferior, transposición, redimensionado, producto matricial por plano
  • Una capa de tiempo de cómputo adaptativo y una capa de dropout con la tasa fijada en compilación
  • Un tokenizador de codificación por pares de bytes
  • Programas de ejemplo: una red transformer, y después otra con codificación posicional rotatoria y mezcla de expertos
  • Un cargador para el conjunto de datos ARC-AGI
  • Una corrección de la capa reorg, en procesador y en CUDA
En el repositorio oficial de modelos
ModeloTareaResultado
face_recognition_densenet_model_v1Reconocimiento facial, DenseNet entrenada con el método BAREL96,1 % en LFW, con un conjunto de entrenamiento casi 8 veces menor que el del primer modelo ResNet de Dlib
dnn_gender_classifier_v1Clasificación del género a partir de un rostroEn torno al 97,3 % en la evaluación LFW, entrenado con unos 200 000 rostros
dnn_age_predictor_v1Estimación de la edad a partir de un rostro, ResNet-10Entrenado con unas 110 000 imágenes etiquetadas
dcgan_162x162_synth_facesRostros sintéticos, DCGANRostros en color de 162 píxeles
highres_colorifyColoración automática, ResNet con estructura U-Net223 capas y unos 41,7 millones de parámetros, utilizable con una tarjeta gráfica de 8 GB
res50_self_supervised_cifar_10Aprendizaje autosupervisado, Barlow Twins, ResNet-5088,25 % de exactitud en prueba en CIFAR-10
resnet34_stable_imagenet_1kClasificación de imágenes, ResNet-3499,98 % top-1 en la parte de prueba de Stable ImageNet-1K
vit-s-16_stable_imagenet_1kClasificación de imágenes, Vision Transformer99,76 % top-1 en la parte de prueba de Stable ImageNet-1K

Los modelos de género y de edad los publica Cydral Technology bajo la licencia Creative Commons Zero 1.0.

Publicaciones

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. Informe de investigación, septiembre de 2026
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. Informe de investigación, noviembre de 2026
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. Informe de investigación, noviembre de 2026
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. Publicación, abril de 2023
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. Artículo

Método de medida

Cada cifra nombra su hardware, su modelo y su protocolo. Los resultados se contrastan con implementaciones de referencia antes de enunciarse, y los límites de un método figuran en el mismo lugar que sus resultados.

Este trabajo persigue los objetivos de P16, el programa France 2030 dirigido por Inria para bibliotecas de IA soberanas.