Проекты

Все наши проекты опираются на одну библиотеку. Продукты и исследовательские программы строятся на ней, а наши более ранние работы с изображениями к ней привели.

Библиотека: Dlib-Transformer-extensions

Dlib-Transformer-extensions добавляет современное моделирование на трансформерах в Dlib, библиотеку машинного обучения на C++, которую ценят за ясные интерфейсы. Она написана на стандартном C++14 и публикуется под лицензией Boost Software License 1.0.

Проект охватывает всю жизнь модели, не выходя из C++, без сторонних зависимостей и без дополнительной среды, такой как Python.

  1. Загрузить

    Прочитать модель с открытыми весами из контейнера GGUF: семейства llama, mistral, mixtral, gemma, qwen2, qwen3 и granite, с деквантованием весов на лету.

  2. Запустить

    Обслуживать её через движок выполнения с динамическими формами, веб-интерфейс чата и конечную точку, совместимую с интерфейсом OpenAI.

  3. Преобразовать

    Сгенерировать статически типизированную сеть Dlib, веса которой являются обычными обучаемыми параметрами.

  4. Специализировать

    Продолжить обучение, дообучить с маскированием подсказки или подключить адаптеры LoRA и DoRA.

  5. Произвести

    Дистиллировать учителя в меньшего ученика другой архитектуры или удалить целые блоки и восстановить остальное.

  6. Поставить

    Скомпилировать обученную модель в программу или обслуживать её из установленной службы.

Возможности библиотеки

Зрение и мультимодальность

Vision Transformer как основа для изображений или как зрительная башня модели, читающей текст и изображения, с обучением от начала до конца.

Поиск

Модели эмбеддингов индексируют папку документов и отвечают на вопрос подходящим фрагментом.

Защита персональных данных

Правила и небольшие обученные распознаватели находят персональные данные на пяти языках; шифрование с сохранением формата обратимо заменяет их.

Расширенная память GPU

V²RAM перемещает блоки между картой, памятью хоста и дисковым хранилищем, так что модель больше карты обучается на ней.

NPU и встроенный GPU

Каждая тензорная операция выполняется на устройстве, которое по замерам оказалось быстрее: хост, Intel NPU или встроенный GPU через OpenVINO.

Ядра под конкретный процессор

Пути кода для AVX2, AVX-VNNI и AVX-512 VNNI выбираются во время выполнения по возможностям процессора.

Квантованные веса на карте

Ядра CUDA умножают активации на веса, хранящиеся в форматах GGUF, не разворачивая их.

Предсказание как сжатие

Обученная сеть и арифметический кодер образуют компрессор без потерь, который любой процессор воспроизводит бит в бит.

Продукты на основе библиотеки

Albireo и Pseudalis превращают библиотеку в два готовых к работе приложения для Windows: движки инференса, локальная служба, веб-приложение и подписанные обновления.

  • ПродуктыAlbireo, Pseudalis
  • СлужбыДвижки инференса, локальная служба HTTPS, веб-приложения, подписанные обновления
  • БиблиотекаDlib-Transformer-extensions
  • ОсноваDlib, стандартный C++14
  • ОборудованиеПроцессоры x86-64, NPU и GPU Intel, GPU NVIDIA

Исследовательские программы

Расширение памяти GPU
Управление размещением тензоров внутри объекта буфера, ниже исполнителя фреймворка.
Адаптивные вычисления
Модели иерархического рассуждения, обученные на Sudoku-Extreme и головоломках ARC, с головой остановки, обучаемой вместе с сетью.
Псевдонимизация
Четыре механизма обнаружения и шифрование с сохранением формата, измеренные на синтетических и написанных вручную текстах на пяти языках.
Собственная модель библиотеки
Сбор корпуса, обучение и измерение токенизатора, предобучение, настройка на инструкциях и тестирование готовы для небольшой языковой модели, создаваемой здесь.

Более ранние работы с изображениями

До языковых моделей мы публиковали проекты по изображениям на основе Dlib: автоматическое раскрашивание, генерацию синтетических лиц, самообучение и распознавание лиц. Они по-прежнему доступны на GitHub.

Синтетические лица, созданные FFgan