Proyectos
Todos nuestros proyectos se apoyan en una misma biblioteca. Los productos y los programas de investigación se basan en ella; nuestros trabajos anteriores sobre imágenes condujeron a ella.
La biblioteca: Dlib-Transformer-extensions
Dlib-Transformer-extensions añade el modelado moderno con transformers a Dlib, una biblioteca C++ de aprendizaje automático apreciada por la claridad de sus interfaces. Está escrita en C++14 estándar y publicada bajo la Boost Software License 1.0.
El proyecto cubre toda la vida de un modelo sin salir de C++, sin otras dependencias ni entornos adicionales como Python.
Cargar
Leer un modelo de pesos abiertos de un contenedor GGUF: las familias llama, mistral, mixtral, gemma, qwen2, qwen3 y granite, con los pesos cuantizados descuantizados al vuelo.
Ejecutar
Servirlo mediante un motor de ejecución de formas dinámicas, una interfaz web de conversación y un punto de acceso compatible con la interfaz de OpenAI.
Convertir
Generar una red Dlib de tipos estáticos cuyos pesos son parámetros entrenables ordinarios.
Especializar
Continuar el entrenamiento, ajustar con enmascarado del prompt o acoplar adaptadores LoRA y DoRA.
Derivar
Destilar un maestro en un alumno más pequeño de otra arquitectura, o retirar bloques enteros y reparar el resto.
Entregar
Compilar el modelo entrenado en un programa, o servirlo desde un servicio instalado.
Alcance de la biblioteca
Visión y multimodalidad
Vision Transformers como columna vertebral de imágenes o como torre de visión de un modelo que lee texto e imágenes, entrenable de extremo a extremo.
Búsqueda documental
Modelos de embeddings indexan una carpeta de documentos y responden a una pregunta con el pasaje que le corresponde.
Protección de datos personales
Reglas y pequeños reconocedores aprendidos encuentran los datos personales en cinco idiomas; un cifrado que conserva el formato los sustituye de forma reversible.
Memoria de GPU ampliada
V²RAM mueve los bloques entre la tarjeta, la memoria del anfitrión y un almacén en disco, de modo que un modelo mayor que la tarjeta se entrena en ella.
NPU y GPU integrada
Cada operación con tensores se ejecuta en el dispositivo medido como más rápido: el anfitrión, la NPU de Intel o la GPU integrada, mediante OpenVINO.
Núcleos propios del procesador
Los caminos de código para AVX2, AVX-VNNI y AVX-512 VNNI se eligen en ejecución según lo que ofrece el procesador.
Pesos cuantizados en la tarjeta
Núcleos CUDA multiplican las activaciones por pesos mantenidos en sus formatos GGUF, sin expandirlos.
La predicción como compresión
Una red entrenada y un codificador aritmético forman un compresor sin pérdida que cualquier procesador reproduce bit a bit.
Los productos construidos sobre la biblioteca
Albireo y Pseudalis convierten la biblioteca en dos aplicaciones para Windows listas para usar: motores de inferencia, servicio local, aplicación web y actualizaciones firmadas.
- ProductosAlbireo, Pseudalis
- ServiciosMotores de inferencia, servicio HTTPS local, aplicaciones web, actualizaciones firmadas
- BibliotecaDlib-Transformer-extensions
- BaseDlib, C++14 estándar
- HardwareProcesadores x86-64, NPU y GPU de Intel, GPU de NVIDIA
Programas de investigación
- Ampliación de la memoria de GPU
- Gestionar la residencia de los tensores dentro del propio objeto búfer, por debajo del ejecutor del framework.
- Cómputo adaptativo
- Modelos de razonamiento jerárquico entrenados con Sudoku-Extreme y con los rompecabezas ARC, con una cabeza de parada aprendida junto con la red.
- Seudonimización
- Cuatro dispositivos de detección y un cifrado que conserva el formato, medidos con textos sintéticos y escritos a mano en cinco idiomas.
- Un modelo propio de la biblioteca
- La recopilación de corpus, el entrenamiento y la medición del tokenizador, el preentrenamiento, el ajuste por instrucciones y la evaluación están listos para un pequeño modelo de lenguaje construido aquí.
Trabajos anteriores sobre imágenes
Antes de los modelos de lenguaje, publicamos proyectos de imagen construidos sobre Dlib: coloración automática, generación de rostros sintéticos, aprendizaje autosupervisado y reconocimiento facial. Siguen disponibles en GitHub.
