Projets

Tous nos projets reposent sur une même bibliothèque. Les produits et les programmes de recherche s'appuient sur elle ; nos travaux antérieurs sur l'image y ont conduit.

La bibliothèque : Dlib-Transformer-extensions

Dlib-Transformer-extensions ajoute la modélisation moderne par transformers à Dlib, une bibliothèque C++ d'apprentissage automatique appréciée pour la netteté de ses interfaces. Elle est écrite en C++14 standard et publiée sous la Boost Software License 1.0.

Le projet couvre toute la vie d'un modèle sans quitter le C++, sans autre dépendance ni environnement complémentaire tel que Python.

  1. Charger

    Lire un modèle à poids ouverts dans un conteneur GGUF : les familles llama, mistral, mixtral, gemma, qwen2, qwen3 et granite, les poids quantifiés étant déquantifiés à la volée.

  2. Exécuter

    Le servir par un moteur d'exécution aux dimensions dynamiques, une interface web de discussion et un point d'accès compatible avec l'interface OpenAI.

  3. Convertir

    Générer un réseau Dlib typé statiquement, dont les poids sont des paramètres entraînables ordinaires.

  4. Spécialiser

    Poursuivre l'apprentissage, affiner avec masquage du prompt, ou greffer des adaptateurs LoRA et DoRA.

  5. Dériver

    Distiller un maître dans un élève plus petit d'une autre architecture, ou retirer des blocs entiers et réparer le reste.

  6. Livrer

    Compiler le modèle entraîné dans un programme, ou le servir depuis un service installé.

Périmètre de la bibliothèque

Vision et multimodalité

Des Vision Transformers comme épine dorsale d'images ou comme tour de vision d'un modèle qui lit texte et images, entraînable de bout en bout.

Recherche documentaire

Des modèles d'embeddings indexent un dossier de documents et répondent à une question par le passage qui lui correspond.

Protection des données personnelles

Des règles et de petits modèles de reconnaissance trouvent les données personnelles en cinq langues ; un chiffrement préservant le format les remplace de façon réversible.

Mémoire GPU étendue

V²RAM fait circuler les blocs entre la carte, la mémoire de l'hôte et un stockage sur disque, si bien qu'un modèle plus grand que la carte s'y entraîne.

NPU et GPU intégré

Chaque opération sur les tenseurs s'exécute sur le périphérique mesuré comme le plus rapide : l'hôte, le NPU d'Intel ou le GPU intégré, par OpenVINO.

Noyaux propres au processeur

Les chemins de code pour AVX2, AVX-VNNI et AVX-512 VNNI sont choisis à l'exécution d'après ce qu'offre le processeur.

Poids quantifiés sur la carte

Des noyaux CUDA multiplient les activations par des poids gardés dans leurs formats GGUF, sans les développer.

La prédiction comme compression

Un réseau entraîné et un codeur arithmétique forment un compresseur sans perte que tout processeur reproduit bit pour bit.

Les produits construits sur la bibliothèque

Albireo et Pseudalis font de la bibliothèque deux applications Windows prêtes à l'emploi : moteurs d'inférence, service local, application web et mises à jour signées.

  • ProduitsAlbireo, Pseudalis
  • ServicesMoteurs d'inférence, service HTTPS local, applications web, mises à jour signées
  • BibliothèqueDlib-Transformer-extensions
  • SocleDlib, C++14 standard
  • MatérielProcesseurs x86-64, NPU et GPU Intel, GPU NVIDIA

Programmes de recherche

Extension de la mémoire GPU
Gérer la résidence des tenseurs dans l'objet tampon lui-même, sous l'exécuteur du framework.
Calcul adaptatif
Des modèles de raisonnement hiérarchique entraînés sur Sudoku-Extreme et sur les puzzles ARC, avec une tête d'arrêt apprise avec le réseau.
Pseudonymisation
Quatre dispositifs de détection et un chiffrement préservant le format, mesurés sur des textes synthétiques et rédigés à la main en cinq langues.
Un modèle propre à la bibliothèque
La collecte de corpus, l'apprentissage et la mesure du tokeniseur, le pré-entraînement, l'affinage par instructions et l'évaluation sont en place pour un petit modèle de langage construit ici.

Travaux antérieurs sur l'image

Avant les modèles de langage, nous avons publié des projets d'image construits sur Dlib : colorisation automatique, génération de visages synthétiques, apprentissage auto-supervisé et reconnaissance faciale. Ils restent disponibles sur GitHub.

Des visages synthétiques générés par FFgan