आगे आने वाला

अगला उत्पाद Albireo में मॉडल चलाने के साथ-साथ उन्हें प्रशिक्षित करने की क्षमता जोड़ता है।

तैयारी में

Albireo के लिए प्रशिक्षण का विस्तार

यह विस्तार किसी संगठन को Albireo से अपने मॉडल प्रशिक्षित करने देगा, किसी मौजूदा मॉडल को फ़ाइन-ट्यून करके या शून्य से, दो मोड में।

रिलीज़ की कोई तारीख़ घोषित नहीं है। पहले साझेदारों की ज़रूरतों के अनुसार दायरा बदल सकता है।

सुपरवाइज़्ड

प्रशिक्षण के रन Albireo से तैयार, शुरू और ट्रैक किए जाते हैं, एक ही साइट के डेटा पर।

फ़ेडरेटेड

कई कंप्यूटर अपने-अपने डेटा पर एक ही मॉडल को प्रशिक्षित करते हैं। मॉडल के अपडेट यात्रा करते हैं; डेटा जहाँ है वहीं रहता है।

लाइब्रेरी में पहले से मौजूद घटक

  • प्रॉम्प्ट मास्किंग के साथ सुपरवाइज़्ड फ़ाइन-ट्यूनिंग, हर मॉडल के चैट टेम्पलेट के ज़रिए।
  • अटेंशन और फ़ीड-फ़ॉरवर्ड पथों पर LoRA और DoRA अडैप्टर, जिन्हें वापस वेट में मिलाया जा सकता है।
  • रिकॉर्ड किए गए लॉजिट से, एक टीचर का किसी दूसरे आर्किटेक्चर के स्टूडेंट में डिस्टिलेशन।
  • किसी प्रकाशित मॉडल की डेप्थ प्रूनिंग, जिसमें बचे हुए ब्लॉक डिस्टिलेशन से सुधारे जाते हैं।
  • V²RAM, ऐसे मॉडल के प्रशिक्षण के लिए जिसका वर्किंग सेट कार्ड की मेमोरी से बड़ा है।
  • प्रशिक्षण के ऑपरेशन को प्रोसेसर के इंटीग्रेटेड GPU की ओर भेजना।

रोडमैप के अन्य काम

QLoRA
फ़ाइन-ट्यूनिंग के दौरान फ़्रीज़ किए गए बेस को मेमोरी में क्वांटाइज़्ड रखना।
प्रेफ़रेंस ऑप्टिमाइज़ेशन
DPO, जिसमें फ़्रीज़ किया गया संदर्भ उसी नेटवर्क से मिलता है, उसके अडैप्टर निष्क्रिय करके।
स्टैटिक पथ पर मिक्सचर ऑफ़ एक्सपर्ट्स
इन मॉडलों को किसी भी दूसरे मॉडल की तरह प्रशिक्षण योग्य और परिवर्तनीय बनाना।
लाइब्रेरी का अपना मॉडल
यहाँ चुनी गई टोपोलॉजी और शब्दावली पर एक छोटा भाषा मॉडल।

इस एक्सटेंशन को हमारे साथ परिभाषित करें

हमें बताएँ कि आप कौन-से मॉडल प्रशिक्षित करना चाहते हैं और आपका डेटा कहाँ रहता है, या इस विकास में सहयोग दें।