Dlib-Transformer-extensions
私たちが公開するすべてが、このライブラリの上に成り立っています。オープンソースの C++ 機械学習ライブラリ Dlib の一時的なフォークであり、各機構はここで設計され、実行できる例題で示され、測定され、安定してから Dlib 本体に提案されます。
- C++14
- Boost Software License 1.0
- Python を一切使わない
- CUDA と OpenVINO
- 24
- 例題プログラム、機構ごとに 1 つ
- 14
- Dlib にマージ済みの貢献
- 12
- GGUF ファイルから読めるモデルアーキテクチャ
- 0
- Python への依存
24 の例題、機構ごとに 1 つ
ライブラリの各機構には、それを構築し、実行し、検証するプログラムが付いています。常に最新の状態に保たれるドキュメントです。
最初のモデル
文字単位のモデル、次に標準的な transformer。コーパスをバイト単位で再現できるまで学習します。
slm_basic_train_ex slm_advanced_train_ex slm_enwiki_train_ex
注意機構とフィードフォワードの変種
グループ化クエリ注意機構、適応的計算時間、キー・バリューキャッシュ付きの融合注意層、エキスパート混合。
slm_advanced_gqa_train_ex slm_advanced_gqa_kvc_train_ex slm_transformer_configs_ex
Cygnus シリーズ
コーパスでの基盤事前学習、次に指示チューニングと対話型チャット。
slm_cygnus_foundation_ex slm_cygnus_instruct_ex
オープンウェイトモデル
GGUF インポートと動的ランタイム、数値検証付きの LoRA と DoRA のファインチューニング、蒸留、埋め込みと文書検索。
slm_gguf_import_ex slm_gguf_runtime_ex slm_lora_finetune_ex slm_lora_adapter_check_ex slm_distill_ex slm_embed_ex
ビジョン
マルチモーダルモデルのビジョンタワー、CIFAR-10 でゼロから学習した分類器、Barlow Twins による自己教師あり学習。
slm_vision_tower_ex slm_vit_classify_ex slm_vit_ssl_ex
メモリとデバイス
グラフィックカードより大きなネットワーク、そして NPU と内蔵 GPU に振り分けられる演算。
slm_extended_memory_ex slm_npu_offload_ex
推論と応用
Sudoku-Extreme と ARC-AGI での階層的推論、文書の匿名化、予測による可逆圧縮。
slm_hrm_sudoku_ex slm_hrm_arc_puzzle_ex slm_document_anonymizer_ex slm_predictive_compressor_ex slm_tok_predictive_compressor_ex
進行中の取り組み:ライブラリの能力拡張
- QLoRA
- ファインチューニング中、凍結したベースモデルをメモリ上で量子化したまま保持します。
- 選好最適化
- DPO。凍結した参照モデルは、アダプターを無効にした同じネットワークから得ます。
- 静的パスでのエキスパート混合
- これらのモデルを、他のモデルと同じように学習・変換できるようにします。
- ライブラリ独自のモデル
- ここで選んだトポロジーと語彙による小型言語モデル。
このライブラリを使う、あるいは開発に貢献する
コードは寛容なライセンスで公開されています。コントリビューション、スポンサーシップ、パートナーシップのいずれもが、このライブラリを前に進めます。





