Projets
Tous nos projets reposent sur une même bibliothèque. Les produits et les programmes de recherche s'appuient sur elle ; nos travaux antérieurs sur l'image y ont conduit.
La bibliothèque : Dlib-Transformer-extensions
Dlib-Transformer-extensions ajoute la modélisation moderne par transformers à Dlib, une bibliothèque C++ d'apprentissage automatique appréciée pour la netteté de ses interfaces. Elle est écrite en C++14 standard et publiée sous la Boost Software License 1.0.
Le projet couvre toute la vie d'un modèle sans quitter le C++, sans autre dépendance ni environnement complémentaire tel que Python.
Charger
Lire un modèle à poids ouverts dans un conteneur GGUF : les familles llama, mistral, mixtral, gemma, qwen2, qwen3 et granite, les poids quantifiés étant déquantifiés à la volée.
Exécuter
Le servir par un moteur d'exécution aux dimensions dynamiques, une interface web de discussion et un point d'accès compatible avec l'interface OpenAI.
Convertir
Générer un réseau Dlib typé statiquement, dont les poids sont des paramètres entraînables ordinaires.
Spécialiser
Poursuivre l'apprentissage, affiner avec masquage du prompt, ou greffer des adaptateurs LoRA et DoRA.
Dériver
Distiller un maître dans un élève plus petit d'une autre architecture, ou retirer des blocs entiers et réparer le reste.
Livrer
Compiler le modèle entraîné dans un programme, ou le servir depuis un service installé.
Périmètre de la bibliothèque
Vision et multimodalité
Des Vision Transformers comme épine dorsale d'images ou comme tour de vision d'un modèle qui lit texte et images, entraînable de bout en bout.
Recherche documentaire
Des modèles d'embeddings indexent un dossier de documents et répondent à une question par le passage qui lui correspond.
Protection des données personnelles
Des règles et de petits modèles de reconnaissance trouvent les données personnelles en cinq langues ; un chiffrement préservant le format les remplace de façon réversible.
Mémoire GPU étendue
V²RAM fait circuler les blocs entre la carte, la mémoire de l'hôte et un stockage sur disque, si bien qu'un modèle plus grand que la carte s'y entraîne.
NPU et GPU intégré
Chaque opération sur les tenseurs s'exécute sur le périphérique mesuré comme le plus rapide : l'hôte, le NPU d'Intel ou le GPU intégré, par OpenVINO.
Noyaux propres au processeur
Les chemins de code pour AVX2, AVX-VNNI et AVX-512 VNNI sont choisis à l'exécution d'après ce qu'offre le processeur.
Poids quantifiés sur la carte
Des noyaux CUDA multiplient les activations par des poids gardés dans leurs formats GGUF, sans les développer.
La prédiction comme compression
Un réseau entraîné et un codeur arithmétique forment un compresseur sans perte que tout processeur reproduit bit pour bit.
Les produits construits sur la bibliothèque
Albireo et Pseudalis font de la bibliothèque deux applications Windows prêtes à l'emploi : moteurs d'inférence, service local, application web et mises à jour signées.
- ProduitsAlbireo, Pseudalis
- ServicesMoteurs d'inférence, service HTTPS local, applications web, mises à jour signées
- BibliothèqueDlib-Transformer-extensions
- SocleDlib, C++14 standard
- MatérielProcesseurs x86-64, NPU et GPU Intel, GPU NVIDIA
Programmes de recherche
- Extension de la mémoire GPU
- Gérer la résidence des tenseurs dans l'objet tampon lui-même, sous l'exécuteur du framework.
- Calcul adaptatif
- Des modèles de raisonnement hiérarchique entraînés sur Sudoku-Extreme et sur les puzzles ARC, avec une tête d'arrêt apprise avec le réseau.
- Pseudonymisation
- Quatre dispositifs de détection et un chiffrement préservant le format, mesurés sur des textes synthétiques et rédigés à la main en cinq langues.
- Un modèle propre à la bibliothèque
- La collecte de corpus, l'apprentissage et la mesure du tokeniseur, le pré-entraînement, l'affinage par instructions et l'évaluation sont en place pour un petit modèle de langage construit ici.
Travaux antérieurs sur l'image
Avant les modèles de langage, nous avons publié des projets d'image construits sur Dlib : colorisation automatique, génération de visages synthétiques, apprentissage auto-supervisé et reconnaissance faciale. Ils restent disponibles sur GitHub.
