In Vorbereitung

Das nächste Produkt ergänzt Albireo um das Training von Modellen, zusätzlich zu ihrer Ausführung.

In Vorbereitung

Eine Trainingserweiterung für Albireo

Mit der Erweiterung trainiert eine Organisation ihre eigenen Modelle mit Albireo, durch Feinabstimmung eines vorhandenen Modells oder von Grund auf, in zwei Modi.

Es ist kein Veröffentlichungsdatum angekündigt. Der Umfang kann sich mit den Bedürfnissen der ersten Partner ändern.

Überwacht

Trainingsläufe werden aus Albireo vorbereitet, gestartet und verfolgt, auf den Daten eines Standorts.

Föderiert

Mehrere Computer trainieren dasselbe Modell auf ihren eigenen Daten. Die Aktualisierungen des Modells reisen; die Daten bleiben, wo sie sind.

Bereits vorhandene Bausteine der Bibliothek

  • Überwachte Feinabstimmung mit Prompt-Maskierung über die Chat-Vorlage jedes Modells.
  • LoRA- und DoRA-Adapter auf den Attention- und Feed-Forward-Pfaden, anschließend in die Gewichte zurückgeführt.
  • Destillation eines Lehrers in einen Schüler anderer Architektur aus aufgezeichneten Logits.
  • Tiefenbeschnitt eines veröffentlichten Modells, wobei die verbleibenden Blöcke durch Destillation repariert werden.
  • V²RAM, um ein Modell zu trainieren, dessen Arbeitssatz den Speicher der Karte übersteigt.
  • Routing der Trainingsoperationen zur integrierten GPU des Prozessors.

Weitere Vorhaben der Roadmap

QLoRA
Die eingefrorene Basis während der Feinabstimmung quantisiert im Speicher halten.
Präferenzoptimierung
DPO mit der eingefrorenen Referenz aus demselben Netz, dessen Adapter neutralisiert sind.
Expertenmischung auf dem statischen Pfad
Diese Modelle wie alle anderen trainierbar und umwandelbar machen.
Ein eigenes Modell der Bibliothek
Ein kleines Sprachmodell auf einer hier gewählten Topologie und einem hier gewählten Vokabular.

Definieren Sie diese Erweiterung mit uns

Teilen Sie uns mit, welche Modelle Sie trainieren möchten und wo Ihre Daten liegen, oder unterstützen Sie diese Entwicklung.