Proyectos

Todos nuestros proyectos se apoyan en una misma biblioteca. Los productos y los programas de investigación se basan en ella; nuestros trabajos anteriores sobre imágenes condujeron a ella.

La biblioteca: Dlib-Transformer-extensions

Dlib-Transformer-extensions añade el modelado moderno con transformers a Dlib, una biblioteca C++ de aprendizaje automático apreciada por la claridad de sus interfaces. Está escrita en C++14 estándar y publicada bajo la Boost Software License 1.0.

El proyecto cubre toda la vida de un modelo sin salir de C++, sin otras dependencias ni entornos adicionales como Python.

  1. Cargar

    Leer un modelo de pesos abiertos de un contenedor GGUF: las familias llama, mistral, mixtral, gemma, qwen2, qwen3 y granite, con los pesos cuantizados descuantizados al vuelo.

  2. Ejecutar

    Servirlo mediante un motor de ejecución de formas dinámicas, una interfaz web de conversación y un punto de acceso compatible con la interfaz de OpenAI.

  3. Convertir

    Generar una red Dlib de tipos estáticos cuyos pesos son parámetros entrenables ordinarios.

  4. Especializar

    Continuar el entrenamiento, ajustar con enmascarado del prompt o acoplar adaptadores LoRA y DoRA.

  5. Derivar

    Destilar un maestro en un alumno más pequeño de otra arquitectura, o retirar bloques enteros y reparar el resto.

  6. Entregar

    Compilar el modelo entrenado en un programa, o servirlo desde un servicio instalado.

Alcance de la biblioteca

Visión y multimodalidad

Vision Transformers como columna vertebral de imágenes o como torre de visión de un modelo que lee texto e imágenes, entrenable de extremo a extremo.

Búsqueda documental

Modelos de embeddings indexan una carpeta de documentos y responden a una pregunta con el pasaje que le corresponde.

Protección de datos personales

Reglas y pequeños reconocedores aprendidos encuentran los datos personales en cinco idiomas; un cifrado que conserva el formato los sustituye de forma reversible.

Memoria de GPU ampliada

V²RAM mueve los bloques entre la tarjeta, la memoria del anfitrión y un almacén en disco, de modo que un modelo mayor que la tarjeta se entrena en ella.

NPU y GPU integrada

Cada operación con tensores se ejecuta en el dispositivo medido como más rápido: el anfitrión, la NPU de Intel o la GPU integrada, mediante OpenVINO.

Núcleos propios del procesador

Los caminos de código para AVX2, AVX-VNNI y AVX-512 VNNI se eligen en ejecución según lo que ofrece el procesador.

Pesos cuantizados en la tarjeta

Núcleos CUDA multiplican las activaciones por pesos mantenidos en sus formatos GGUF, sin expandirlos.

La predicción como compresión

Una red entrenada y un codificador aritmético forman un compresor sin pérdida que cualquier procesador reproduce bit a bit.

Los productos construidos sobre la biblioteca

Albireo y Pseudalis convierten la biblioteca en dos aplicaciones para Windows listas para usar: motores de inferencia, servicio local, aplicación web y actualizaciones firmadas.

  • ProductosAlbireo, Pseudalis
  • ServiciosMotores de inferencia, servicio HTTPS local, aplicaciones web, actualizaciones firmadas
  • BibliotecaDlib-Transformer-extensions
  • BaseDlib, C++14 estándar
  • HardwareProcesadores x86-64, NPU y GPU de Intel, GPU de NVIDIA

Programas de investigación

Ampliación de la memoria de GPU
Gestionar la residencia de los tensores dentro del propio objeto búfer, por debajo del ejecutor del framework.
Cómputo adaptativo
Modelos de razonamiento jerárquico entrenados con Sudoku-Extreme y con los rompecabezas ARC, con una cabeza de parada aprendida junto con la red.
Seudonimización
Cuatro dispositivos de detección y un cifrado que conserva el formato, medidos con textos sintéticos y escritos a mano en cinco idiomas.
Un modelo propio de la biblioteca
La recopilación de corpus, el entrenamiento y la medición del tokenizador, el preentrenamiento, el ajuste por instrucciones y la evaluación están listos para un pequeño modelo de lenguaje construido aquí.

Trabajos anteriores sobre imágenes

Antes de los modelos de lenguaje, publicamos proyectos de imagen construidos sobre Dlib: coloración automática, generación de rostros sintéticos, aprendizaje autosupervisado y reconocimiento facial. Siguen disponibles en GitHub.

Rostros sintéticos generados por FFgan