Projekte
Alle unsere Projekte beruhen auf einer Bibliothek. Die Produkte und die Forschungsprogramme bauen auf ihr auf; unsere früheren Arbeiten zu Bildern haben zu ihr geführt.
Die Bibliothek: Dlib-Transformer-extensions
Dlib-Transformer-extensions ergänzt Dlib, eine für ihre klaren Schnittstellen geschätzte C++-Bibliothek für maschinelles Lernen, um moderne Transformer-Modellierung. Sie ist in Standard-C++14 geschrieben und unter der Boost Software License 1.0 veröffentlicht.
Das Projekt deckt das ganze Leben eines Modells ab, ohne C++ zu verlassen, ohne weitere Abhängigkeit und ohne zusätzliche Laufzeitumgebung wie Python.
Laden
Ein Modell mit offenen Gewichten aus einem GGUF-Container lesen: die Familien llama, mistral, mixtral, gemma, qwen2, qwen3 und granite, wobei quantisierte Gewichte beim Lesen dequantisiert werden.
Ausführen
Es über eine formdynamische Laufzeit, eine Web-Chat-Oberfläche und einen mit der OpenAI-Schnittstelle kompatiblen Endpunkt bereitstellen.
Umwandeln
Ein statisch typisiertes Dlib-Netz erzeugen, dessen Gewichte gewöhnliche trainierbare Parameter sind.
Spezialisieren
Das Training fortsetzen, mit Prompt-Maskierung feinabstimmen oder LoRA- und DoRA-Adapter anbringen.
Ableiten
Einen Lehrer in einen kleineren Schüler anderer Architektur destillieren oder ganze Blöcke entfernen und den Rest reparieren.
Ausliefern
Das trainierte Modell in ein Programm kompilieren oder aus einem installierten Dienst bereitstellen.
Umfang der Bibliothek
Sehen und Multimodalität
Vision Transformer als Bild-Backbone oder als Vision-Turm eines Modells, das Text und Bilder liest, durchgehend trainierbar.
Dokumentensuche
Embedding-Modelle indexieren einen Ordner mit Dokumenten und beantworten eine Frage mit der passenden Textstelle.
Schutz personenbezogener Daten
Regeln und kleine gelernte Erkenner finden personenbezogene Daten in fünf Sprachen; formaterhaltende Verschlüsselung ersetzt sie umkehrbar.
Erweiterter GPU-Speicher
V²RAM bewegt Blöcke zwischen Karte, Host-Speicher und einem Plattenspeicher, sodass ein Modell, das größer ist als die Karte, darauf trainiert.
NPU und integrierte GPU
Jede Tensoroperation läuft auf dem Gerät, das als schnellstes gemessen wurde: Host, Intel-NPU oder integrierte GPU über OpenVINO.
Prozessorspezifische Kerne
Codepfade für AVX2, AVX-VNNI und AVX-512 VNNI werden zur Laufzeit nach dem gewählt, was der Prozessor bietet.
Quantisierte Gewichte auf der Karte
CUDA-Kerne multiplizieren Aktivierungen mit Gewichten in ihren GGUF-Formaten, ohne sie zu entpacken.
Vorhersage als Kompression
Ein trainiertes Netz und ein arithmetischer Kodierer bilden einen verlustfreien Kompressor, den jeder Prozessor Bit für Bit reproduziert.
Produkte auf Basis der Bibliothek
Albireo und Pseudalis machen aus der Bibliothek zwei einsatzbereite Windows-Anwendungen: Inferenz-Engines, lokaler Dienst, Webanwendung und signierte Updates.
- ProdukteAlbireo, Pseudalis
- DiensteInferenz-Engines, lokaler HTTPS-Dienst, Webanwendungen, signierte Updates
- BibliothekDlib-Transformer-extensions
- FundamentDlib, Standard-C++14
- Hardwarex86-64-Prozessoren, NPU und GPU von Intel, GPU von NVIDIA
Forschungsprogramme
- Erweiterung des GPU-Speichers
- Die Residenz von Tensoren im Pufferobjekt selbst verwalten, unterhalb des Executors des Frameworks.
- Adaptive Berechnung
- Hierarchische Reasoning-Modelle, trainiert auf Sudoku-Extreme und ARC-Rätseln, mit einem Haltekopf, der mit dem Netz gelernt wird.
- Pseudonymisierung
- Vier Erkennungsverfahren und formaterhaltende Verschlüsselung, gemessen an synthetischen und von Hand geschriebenen Texten in fünf Sprachen.
- Ein eigenes Modell der Bibliothek
- Korpussammlung, Training und Messung des Tokenizers, Vortraining, Instruktionsabstimmung und Benchmarking stehen für ein hier gebautes kleines Sprachmodell bereit.
Frühere Arbeiten zu Bildern
Vor den Sprachmodellen haben wir Bildprojekte auf Basis von Dlib veröffentlicht: automatische Kolorierung, Erzeugung synthetischer Gesichter, selbstüberwachtes Lernen und Gesichtserkennung. Sie bleiben auf GitHub verfügbar.
