プロジェクト

私たちのすべてのプロジェクトは、1 つのライブラリの上に成り立っています。製品と研究プログラムはこのライブラリを土台とし、画像に関するこれまでの仕事がこのライブラリへとつながりました。

ライブラリ:Dlib-Transformer-extensions

Dlib-Transformer-extensions は、明快なインターフェースで評価される C++ 機械学習ライブラリ Dlib に、現代的な transformer モデリングを加えます。標準 C++14 で書かれ、Boost Software License 1.0 で公開されています。

このプロジェクトは、C++ を離れることなく、ほかの依存関係も Python のような追加の実行環境もなしに、モデルのライフサイクル全体を扱います。

  1. 読み込む

    GGUF コンテナからオープンウェイトモデルを読み込みます。llama、mistral、mixtral、gemma、qwen2、qwen3、granite の各ファミリーに対応し、量子化された重みはその場で逆量子化します。

  2. 実行する

    形状が動的なランタイムエンジン、ウェブチャット画面、OpenAI インターフェース互換のエンドポイントで提供します。

  3. 変換する

    重みが通常の学習可能パラメーターである、静的に型付けされた Dlib ネットワークを生成します。

  4. 特化させる

    学習の継続、プロンプトマスク付きのファインチューニング、LoRA と DoRA アダプターの追加ができます。

  5. 派生させる

    教師モデルを別アーキテクチャの小さな生徒モデルに蒸留するか、ブロック単位で刈り込んで残りを修復します。

  6. 届ける

    学習済みモデルをプログラムにコンパイルするか、インストール済みのサービスから提供します。

ライブラリの対象範囲

ビジョンとマルチモーダル

Vision Transformer を画像のバックボーンとして、またはテキストと画像を読むモデルのビジョンタワーとして使い、エンドツーエンドで学習できます。

検索

埋め込みモデルが文書フォルダーに索引を付け、質問に最も合う一節で答えます。

個人データの保護

ルールと小さな学習済み認識器が 5 言語で個人データを見つけ、フォーマット保持暗号が可逆的に置き換えます。

GPU メモリの拡張

V²RAM がカード、ホストメモリ、ディスクストアの間でブロックを流し、カードより大きなモデルをそのカードで学習できるようにします。

NPU と内蔵 GPU

各テンソル演算は、実測で最も速いデバイスで実行されます。ホスト、Intel NPU、または OpenVINO 経由の内蔵 GPU です。

プロセッサー別のカーネル

AVX2、AVX-VNNI、AVX-512 VNNI のコードパスを、プロセッサーの機能に応じて実行時に選択します。

カード上の量子化された重み

CUDA カーネルが、GGUF 形式のまま保持した重みを展開せずに活性値と掛け合わせます。

予測という圧縮

学習済みネットワークと算術符号化器が、どのプロセッサーでもビット単位で再現できる可逆圧縮器になります。

ライブラリの上に作られた製品

Albireo と Pseudalis は、ライブラリをすぐに使える 2 つの Windows アプリケーションにします。推論エンジン、ローカルサービス、ウェブアプリケーション、署名付きアップデートを備えています。

  • 製品Albireo, Pseudalis
  • サービス推論エンジン、ローカル HTTPS サービス、ウェブアプリケーション、署名付きアップデート
  • ライブラリDlib-Transformer-extensions
  • 基盤Dlib、標準 C++14
  • ハードウェアx86-64 プロセッサー、Intel の NPU と GPU、NVIDIA GPU

研究プログラム

GPU メモリの拡張
フレームワークの実行器より下、バッファーオブジェクトの内部でテンソルの常駐場所を管理します。
適応的計算
Sudoku-Extreme と ARC パズルで学習した階層的推論モデル。停止ヘッドをネットワークと一緒に学習します。
仮名化
4 つの検出機構とフォーマット保持暗号を、5 言語の合成テキストと手書きテキストで実測しています。
ライブラリ独自のモデル
ここで構築する小型言語モデルのために、コーパス収集、トークナイザーの学習と測定、事前学習、指示チューニング、ベンチマークが整っています。

画像に関するこれまでの仕事

言語モデルの前に、私たちは Dlib 上に構築した画像プロジェクトを公開しました。自動カラー化、合成顔の生成、自己教師あり学習、顔認識です。いずれも GitHub で引き続き利用できます。

FFgan が生成した合成顔