Dlib-Transformer-extensions

私たちが公開するすべてが、このライブラリの上に成り立っています。オープンソースの C++ 機械学習ライブラリ Dlib の一時的なフォークであり、各機構はここで設計され、実行できる例題で示され、測定され、安定してから Dlib 本体に提案されます。

  • C++14
  • Boost Software License 1.0
  • Python を一切使わない
  • CUDA と OpenVINO
24
例題プログラム、機構ごとに 1 つ
14
Dlib にマージ済みの貢献
12
GGUF ファイルから読めるモデルアーキテクチャ
0
Python への依存

あえて一時的なフォークに

Dlib は基準となるライブラリの歩調で進みます。追加されるものはすべて、汎用的で、テストされ、文書化されていなければなりません。言語モデルの進歩はそれより速く進みます。フォークは各機構に成熟のための余地を与え、その後アップストリームに返します。すでに 14 件の貢献が Dlib にマージされ、製品はフォークが安定させたものの上に作られています。

フォークから Dlib へ、そして製品へ。

モデルのライフサイクル全体を 1 つのライブラリで

オープンウェイトモデルは GGUF ファイルから入り、通常の Dlib ネットワークになります。私たち自身のモデルはコーパスから始まります。その後はどちらも同じ道をたどります。特化、派生、提供です。もう 1 つのエンジンは、対応するどのモデルも再コンパイルなしで動かします。

モデルのライフサイクルと、各段階の例題プログラム。

アーキテクチャを層ごとに

拡張部分は、Dlib と製品のサービスの間に位置します。各コンポーネント群は単独で使えます。ランタイムなしのトークナイザー、言語モデルなしのビジョンタワー、任意の Dlib ネットワークの下で働くメモリ拡張です。

ハードウェアから製品まで。

Cygnus:目標とするアーキテクチャ

Cygnus は、ライブラリが目標とするアーキテクチャの上に作られた小型言語モデルのファミリーです。回転位置エンコーディングとキー・バリューキャッシュを備えたグループ化クエリ注意機構と、疎なルーティングによるエキスパート混合のフィードフォワード副層からなります。推論時には、各トークンに対してパラメーターの一部だけが働きます。

Cygnus アーキテクチャの 1 ブロック。

オープンウェイトモデルをインポートして検証

インポートは公開モデルを 6 段階で読み、トークナイザー付きの Dlib ネットワーク型を生成します。次に、テスト用プロンプトのすべての位置を、動的ランタイムおよび外部の参照実装と比較します。インポートしたモデルは、提供元が公開したものと同じ計算をします。

インポートの 6 段階と、インポートしたネットワークの用途。

メモリとデバイスは、ネットワークの下で管理

2 つの機構が層の下で働き、ネットワークにも学習ループにも変更は要りません。V²RAM は、モデルより小さい予算のもとで、テンソルの各ブロックをどこに置くかを決めます。デバイスルーティングは、各演算をホスト、NPU、内蔵 GPU で計時し、最も速いものを選びます。

テンソルの常駐場所と演算のルーティング。

24 の例題、機構ごとに 1 つ

ライブラリの各機構には、それを構築し、実行し、検証するプログラムが付いています。常に最新の状態に保たれるドキュメントです。

最初のモデル

文字単位のモデル、次に標準的な transformer。コーパスをバイト単位で再現できるまで学習します。

slm_basic_train_ex slm_advanced_train_ex slm_enwiki_train_ex

注意機構とフィードフォワードの変種

グループ化クエリ注意機構、適応的計算時間、キー・バリューキャッシュ付きの融合注意層、エキスパート混合。

slm_advanced_gqa_train_ex slm_advanced_gqa_kvc_train_ex slm_transformer_configs_ex

Cygnus シリーズ

コーパスでの基盤事前学習、次に指示チューニングと対話型チャット。

slm_cygnus_foundation_ex slm_cygnus_instruct_ex

オープンウェイトモデル

GGUF インポートと動的ランタイム、数値検証付きの LoRA と DoRA のファインチューニング、蒸留、埋め込みと文書検索。

slm_gguf_import_ex slm_gguf_runtime_ex slm_lora_finetune_ex slm_lora_adapter_check_ex slm_distill_ex slm_embed_ex

ビジョン

マルチモーダルモデルのビジョンタワー、CIFAR-10 でゼロから学習した分類器、Barlow Twins による自己教師あり学習。

slm_vision_tower_ex slm_vit_classify_ex slm_vit_ssl_ex

メモリとデバイス

グラフィックカードより大きなネットワーク、そして NPU と内蔵 GPU に振り分けられる演算。

slm_extended_memory_ex slm_npu_offload_ex

推論と応用

Sudoku-Extreme と ARC-AGI での階層的推論、文書の匿名化、予測による可逆圧縮。

slm_hrm_sudoku_ex slm_hrm_arc_puzzle_ex slm_document_anonymizer_ex slm_predictive_compressor_ex slm_tok_predictive_compressor_ex

進行中の取り組み:ライブラリの能力拡張

QLoRA
ファインチューニング中、凍結したベースモデルをメモリ上で量子化したまま保持します。
選好最適化
DPO。凍結した参照モデルは、アダプターを無効にした同じネットワークから得ます。
静的パスでのエキスパート混合
これらのモデルを、他のモデルと同じように学習・変換できるようにします。
ライブラリ独自のモデル
ここで選んだトポロジーと語彙による小型言語モデル。

このライブラリを使う、あるいは開発に貢献する

コードは寛容なライセンスで公開されています。コントリビューション、スポンサーシップ、パートナーシップのいずれもが、このライブラリを前に進めます。