Projekte

Alle unsere Projekte beruhen auf einer Bibliothek. Die Produkte und die Forschungsprogramme bauen auf ihr auf; unsere früheren Arbeiten zu Bildern haben zu ihr geführt.

Die Bibliothek: Dlib-Transformer-extensions

Dlib-Transformer-extensions ergänzt Dlib, eine für ihre klaren Schnittstellen geschätzte C++-Bibliothek für maschinelles Lernen, um moderne Transformer-Modellierung. Sie ist in Standard-C++14 geschrieben und unter der Boost Software License 1.0 veröffentlicht.

Das Projekt deckt das ganze Leben eines Modells ab, ohne C++ zu verlassen, ohne weitere Abhängigkeit und ohne zusätzliche Laufzeitumgebung wie Python.

  1. Laden

    Ein Modell mit offenen Gewichten aus einem GGUF-Container lesen: die Familien llama, mistral, mixtral, gemma, qwen2, qwen3 und granite, wobei quantisierte Gewichte beim Lesen dequantisiert werden.

  2. Ausführen

    Es über eine formdynamische Laufzeit, eine Web-Chat-Oberfläche und einen mit der OpenAI-Schnittstelle kompatiblen Endpunkt bereitstellen.

  3. Umwandeln

    Ein statisch typisiertes Dlib-Netz erzeugen, dessen Gewichte gewöhnliche trainierbare Parameter sind.

  4. Spezialisieren

    Das Training fortsetzen, mit Prompt-Maskierung feinabstimmen oder LoRA- und DoRA-Adapter anbringen.

  5. Ableiten

    Einen Lehrer in einen kleineren Schüler anderer Architektur destillieren oder ganze Blöcke entfernen und den Rest reparieren.

  6. Ausliefern

    Das trainierte Modell in ein Programm kompilieren oder aus einem installierten Dienst bereitstellen.

Umfang der Bibliothek

Sehen und Multimodalität

Vision Transformer als Bild-Backbone oder als Vision-Turm eines Modells, das Text und Bilder liest, durchgehend trainierbar.

Dokumentensuche

Embedding-Modelle indexieren einen Ordner mit Dokumenten und beantworten eine Frage mit der passenden Textstelle.

Schutz personenbezogener Daten

Regeln und kleine gelernte Erkenner finden personenbezogene Daten in fünf Sprachen; formaterhaltende Verschlüsselung ersetzt sie umkehrbar.

Erweiterter GPU-Speicher

V²RAM bewegt Blöcke zwischen Karte, Host-Speicher und einem Plattenspeicher, sodass ein Modell, das größer ist als die Karte, darauf trainiert.

NPU und integrierte GPU

Jede Tensoroperation läuft auf dem Gerät, das als schnellstes gemessen wurde: Host, Intel-NPU oder integrierte GPU über OpenVINO.

Prozessorspezifische Kerne

Codepfade für AVX2, AVX-VNNI und AVX-512 VNNI werden zur Laufzeit nach dem gewählt, was der Prozessor bietet.

Quantisierte Gewichte auf der Karte

CUDA-Kerne multiplizieren Aktivierungen mit Gewichten in ihren GGUF-Formaten, ohne sie zu entpacken.

Vorhersage als Kompression

Ein trainiertes Netz und ein arithmetischer Kodierer bilden einen verlustfreien Kompressor, den jeder Prozessor Bit für Bit reproduziert.

Produkte auf Basis der Bibliothek

Albireo und Pseudalis machen aus der Bibliothek zwei einsatzbereite Windows-Anwendungen: Inferenz-Engines, lokaler Dienst, Webanwendung und signierte Updates.

  • ProdukteAlbireo, Pseudalis
  • DiensteInferenz-Engines, lokaler HTTPS-Dienst, Webanwendungen, signierte Updates
  • BibliothekDlib-Transformer-extensions
  • FundamentDlib, Standard-C++14
  • Hardwarex86-64-Prozessoren, NPU und GPU von Intel, GPU von NVIDIA

Forschungsprogramme

Erweiterung des GPU-Speichers
Die Residenz von Tensoren im Pufferobjekt selbst verwalten, unterhalb des Executors des Frameworks.
Adaptive Berechnung
Hierarchische Reasoning-Modelle, trainiert auf Sudoku-Extreme und ARC-Rätseln, mit einem Haltekopf, der mit dem Netz gelernt wird.
Pseudonymisierung
Vier Erkennungsverfahren und formaterhaltende Verschlüsselung, gemessen an synthetischen und von Hand geschriebenen Texten in fünf Sprachen.
Ein eigenes Modell der Bibliothek
Korpussammlung, Training und Messung des Tokenizers, Vortraining, Instruktionsabstimmung und Benchmarking stehen für ein hier gebautes kleines Sprachmodell bereit.

Frühere Arbeiten zu Bildern

Vor den Sprachmodellen haben wir Bildprojekte auf Basis von Dlib veröffentlicht: automatische Kolorierung, Erzeugung synthetischer Gesichter, selbstüberwachtes Lernen und Gesichtserkennung. Sie bleiben auf GitHub verfügbar.

Von FFgan erzeugte synthetische Gesichter