Dlib-Transformer-extensions

Библиотека, на которую опирается всё, что мы публикуем. Этот временный форк Dlib, библиотеки машинного обучения на C++ с открытым кодом, служит местом, где каждый механизм проектируется, показывается на запускаемом примере, измеряется и стабилизируется, прежде чем его предлагают самой Dlib.

  • C++14
  • Boost Software License 1.0
  • Без Python в цепочке
  • CUDA и OpenVINO
24
примеров программ, по одному на механизм
14
вкладов, уже принятых в Dlib
12
архитектур моделей, читаемых из файлов GGUF
0
зависимостей от Python в цепочке

Временный форк, по замыслу

Dlib движется в темпе эталонной библиотеки: каждое дополнение должно быть общим, протестированным и документированным. Языковые модели движутся быстрее. Форк даёт каждому механизму время созреть, а затем возвращает его в основной проект: четырнадцать вкладов уже приняты в Dlib, а продукты построены на том, что форк стабилизировал.

От форка к Dlib и к продуктам.

Одна библиотека на всю жизнь модели

Модель с открытыми весами входит через свой файл GGUF и становится обычной сетью Dlib; наша собственная модель начинается с корпуса. Дальше обе идут одним путём: специализация, производные модели, поставка. Второй движок запускает любую поддерживаемую модель без перекомпиляции.

Жизнь модели и пример программы для каждого этапа.

Архитектура, слой за слоем

Расширения расположены между Dlib и службами продуктов. Каждое семейство компонентов работает само по себе: токенизатор без среды выполнения, зрительная башня без языковой модели, расширение памяти под любой сетью Dlib.

От оборудования до продуктов.

Cygnus, целевая архитектура

Cygnus — семейство небольших языковых моделей на архитектуре, к которой стремится библиотека: групповое внимание по запросам с ротационным позиционным кодированием и кэшем ключей и значений, и подслой прямого распространения со смесью экспертов и разреженной маршрутизацией. При инференсе на каждый токен работает лишь часть параметров.

Один блок архитектуры Cygnus.

Модели с открытыми весами: импорт и проверка

Импорт читает опубликованную модель в шесть этапов и выдаёт тип сети Dlib вместе с токенизатором. Затем каждая позиция тестовой подсказки сравнивается с динамической средой выполнения и с внешней эталонной реализацией: импортированная модель вычисляет то же, что выпустил её издатель.

Шесть этапов импорта и то, для чего используется импортированная сеть.

Память и устройства: управление ниже уровня сети

Два механизма действуют под слоями, не меняя ни сеть, ни цикл обучения. V²RAM решает, где находится каждый блок тензоров, при бюджете меньше модели. Маршрутизация по устройствам замеряет каждую операцию на хосте, на NPU и на встроенном GPU и оставляет самый быстрый вариант.

Размещение тензоров и маршрутизация операций.

Примеров: 24, по одному на механизм

К каждому механизму библиотеки прилагается программа, которая его собирает, запускает и проверяет: документация, которая всегда остаётся актуальной.

Первые модели

Посимвольная модель, затем канонический трансформер, обученный до побайтового воспроизведения своего корпуса.

slm_basic_train_ex slm_advanced_train_ex slm_enwiki_train_ex

Варианты внимания и прямого распространения

Групповое внимание по запросам, адаптивное время вычислений, объединённый слой внимания с кэшем ключей и значений, смесь экспертов.

slm_advanced_gqa_train_ex slm_advanced_gqa_kvc_train_ex slm_transformer_configs_ex

Серия Cygnus

Базовое предобучение на корпусе, затем настройка на инструкциях и интерактивный чат.

slm_cygnus_foundation_ex slm_cygnus_instruct_ex

Модели с открытыми весами

Импорт GGUF и динамическая среда выполнения, дообучение LoRA и DoRA с численной проверкой, дистилляция, эмбеддинги и поиск по документам.

slm_gguf_import_ex slm_gguf_runtime_ex slm_lora_finetune_ex slm_lora_adapter_check_ex slm_distill_ex slm_embed_ex

Зрение

Зрительная башня мультимодальной модели, классификатор, обученный с нуля на CIFAR-10, самообучение с Barlow Twins.

slm_vision_tower_ex slm_vit_classify_ex slm_vit_ssl_ex

Память и устройства

Сеть больше видеокарты и операции, направляемые на NPU и встроенный GPU.

slm_extended_memory_ex slm_npu_offload_ex

Рассуждение и приложения

Иерархическое рассуждение на Sudoku-Extreme и ARC-AGI, анонимизация документов, сжатие без потерь через предсказание.

slm_hrm_sudoku_ex slm_hrm_arc_puzzle_ex slm_document_anonymizer_ex slm_predictive_compressor_ex slm_tok_predictive_compressor_ex

Текущие работы по расширению возможностей библиотеки

QLoRA
Хранить замороженную основу квантованной в памяти во время дообучения.
Оптимизация по предпочтениям
DPO, где замороженный эталон получается из той же сети с нейтрализованными адаптерами.
Смесь экспертов на статическом пути
Сделать такие модели обучаемыми и преобразуемыми, как любые другие.
Собственная модель библиотеки
Небольшая языковая модель с топологией и словарём, выбранными здесь.

Используйте библиотеку или участвуйте в её развитии

Код открыт под разрешительной лицензией. Вклад в код, спонсорство и партнёрство двигают библиотеку вперёд.