今後の予定

次の製品は、モデルの実行に加えて、モデルの学習を Albireo にもたらします。

準備中

Albireo の学習拡張機能

この拡張機能により、組織は Albireo で独自のモデルを学習できるようになります。既存モデルのファインチューニングにも、ゼロからの学習にも対応し、2 つのモードがあります。

リリース日は未定です。最初のパートナーのニーズに応じて、対象範囲が変わる可能性があります。

教師ありモード

学習の実行を Albireo から準備、開始、追跡します。1 つの拠点のデータを使います。

連合学習モード

複数のコンピューターが、それぞれのデータで同じモデルを学習します。移動するのはモデルの更新分で、データはその場にとどまります。

ライブラリがすでに備える構成要素

  • 各モデルのチャットテンプレートを通じた、プロンプトマスク付きの教師ありファインチューニング。
  • 注意機構とフィードフォワードの経路に付ける LoRA と DoRA アダプター。重みに統合し直せます。
  • 記録したロジットを使い、教師モデルを別アーキテクチャの生徒モデルに蒸留。
  • 公開モデルの深さ方向の刈り込み。残ったブロックは蒸留で修復します。
  • V²RAM:ワーキングセットがカードのメモリを超えるモデルの学習。
  • 学習の演算をプロセッサーの内蔵 GPU に振り分けるルーティング。

ロードマップのその他の項目

QLoRA
ファインチューニング中、凍結したベースモデルをメモリ上で量子化したまま保持します。
選好最適化
DPO。凍結した参照モデルは、アダプターを無効にした同じネットワークから得ます。
静的パスでのエキスパート混合
これらのモデルを、他のモデルと同じように学習・変換できるようにします。
ライブラリ独自のモデル
ここで選んだトポロジーと語彙による小型言語モデル。

この拡張を一緒に定義しましょう

学習させたいモデルと、データの保管場所をお聞かせください。この開発へのご支援も歓迎します。