Dlib-Transformer-extensions
वह लाइब्रेरी जिस पर हमारा हर प्रकाशन टिका है। ओपन-सोर्स C++ मशीन लर्निंग लाइब्रेरी Dlib का यह अस्थायी फ़ोर्क वह जगह है जहाँ हर व्यवस्था डिज़ाइन की जाती है, चलाए जा सकने वाले उदाहरण से दिखाई जाती है, मापी और स्थिर की जाती है, और उसके बाद ही स्वयं Dlib को प्रस्तावित की जाती है।
- C++14
- Boost Software License 1.0
- शृंखला में कहीं Python नहीं
- CUDA और OpenVINO
- 24
- उदाहरण प्रोग्राम, हर व्यवस्था के लिए एक
- 14
- योगदान, जो Dlib में पहले ही मर्ज हो चुके हैं
- 12
- मॉडल आर्किटेक्चर, GGUF फ़ाइलों से पढ़े गए
- 0
- Python निर्भरता, पूरी शृंखला में
सोच-समझकर बनाया गया अस्थायी फ़ोर्क
Dlib एक संदर्भ लाइब्रेरी की गति से चलती है: हर नया जोड़ सामान्य, परखा हुआ और प्रलेखित होना चाहिए। भाषा मॉडल इससे तेज़ चलते हैं। फ़ोर्क हर व्यवस्था को पकने की जगह देता है, फिर उसे अपस्ट्रीम लौटा देता है: चौदह योगदान पहले ही Dlib में मर्ज हो चुके हैं, और उत्पाद उसी पर बने हैं जिसे फ़ोर्क ने स्थिर किया है।
मॉडल के पूरे जीवन के लिए एक ही लाइब्रेरी
ओपन-वेट मॉडल अपनी GGUF फ़ाइल के ज़रिए प्रवेश करता है और एक सामान्य Dlib नेटवर्क बन जाता है; हमारा अपना मॉडल एक कॉर्पस से शुरू होता है। इसके बाद दोनों एक ही राह चलते हैं: विशेषज्ञ बनाना, व्युत्पन्न करना, पहुँचाना। एक दूसरा इंजन किसी भी समर्थित मॉडल को दोबारा कंपाइल किए बिना चलाता है।
Cygnus, लक्षित आर्किटेक्चर
Cygnus छोटे भाषा मॉडलों का वह परिवार है जो उस आर्किटेक्चर पर बना है जिसे लाइब्रेरी अपना लक्ष्य मानती है: रोटरी पोज़िशन एन्कोडिंग और की-वैल्यू कैश के साथ ग्रुप्ड क्वेरी अटेंशन, और स्पार्स रूटिंग वाली मिक्सचर-ऑफ़-एक्सपर्ट्स फ़ीड-फ़ॉरवर्ड उप-लेयर। इन्फ़रेंस के समय हर टोकन के लिए पैरामीटरों का केवल एक अंश काम करता है।
ओपन-वेट मॉडल: इम्पोर्ट किए गए और जाँचे गए
इम्पोर्ट किसी प्रकाशित मॉडल को छह चरणों में पढ़ता है और उसके टोकनाइज़र के साथ एक Dlib नेटवर्क टाइप बनाता है। फिर परीक्षण प्रॉम्प्ट की हर स्थिति की तुलना डायनेमिक रनटाइम और एक बाहरी संदर्भ इम्प्लीमेंटेशन से की जाती है: इम्पोर्ट किया गया मॉडल वही गणना करता है जो उसके प्रकाशक ने जारी की थी।
मेमोरी और डिवाइस, नेटवर्क के नीचे प्रबंधित
दो व्यवस्थाएँ लेयरों के नीचे काम करती हैं, नेटवर्क या ट्रेनिंग लूप में कोई बदलाव किए बिना। V²RAM तय करता है कि टेंसरों का हर ब्लॉक कहाँ रहे, मॉडल से छोटे बजट के भीतर। डिवाइस रूटिंग हर ऑपरेशन का समय होस्ट, NPU और इंटीग्रेटेड GPU पर नापती है, और सबसे तेज़ को चुनती है।
24 उदाहरण, हर व्यवस्था के लिए एक
लाइब्रेरी की हर व्यवस्था के साथ एक प्रोग्राम आता है जो उसे बनाता, चलाता और जाँचता है: ऐसा दस्तावेज़ीकरण जो हमेशा अद्यतन रहता है।
पहले मॉडल
एक कैरेक्टर-स्तरीय मॉडल, फिर मानक ट्रांसफ़ॉर्मर, जिसे तब तक प्रशिक्षित किया जाता है जब तक वह अपने कॉर्पस को बाइट-दर-बाइट न दोहरा दे।
slm_basic_train_ex slm_advanced_train_ex slm_enwiki_train_ex
अटेंशन और फ़ीड-फ़ॉरवर्ड के रूप
ग्रुप्ड क्वेरी अटेंशन, एडैप्टिव कम्प्यूटेशन टाइम, की-वैल्यू कैश के साथ फ़्यूज़्ड अटेंशन लेयर, मिक्सचर ऑफ़ एक्सपर्ट्स।
slm_advanced_gqa_train_ex slm_advanced_gqa_kvc_train_ex slm_transformer_configs_ex
Cygnus शृंखला
एक कॉर्पस पर फ़ाउंडेशन प्री-ट्रेनिंग, फिर इंस्ट्रक्शन ट्यूनिंग और एक इंटरैक्टिव चैट।
slm_cygnus_foundation_ex slm_cygnus_instruct_ex
ओपन-वेट मॉडल
GGUF इम्पोर्ट और डायनेमिक रनटाइम, संख्यात्मक जाँच के साथ LoRA और DoRA फ़ाइन-ट्यूनिंग, डिस्टिलेशन, एम्बेडिंग और दस्तावेज़ खोज।
slm_gguf_import_ex slm_gguf_runtime_ex slm_lora_finetune_ex slm_lora_adapter_check_ex slm_distill_ex slm_embed_ex
विज़न
मल्टीमोडल मॉडल का विज़न टावर, CIFAR-10 पर शून्य से प्रशिक्षित क्लासिफ़ायर, Barlow Twins के साथ सेल्फ़-सुपरवाइज़्ड प्रशिक्षण।
slm_vision_tower_ex slm_vit_classify_ex slm_vit_ssl_ex
मेमोरी और डिवाइस
ग्राफ़िक्स कार्ड से बड़ा नेटवर्क, और NPU तथा इंटीग्रेटेड GPU की ओर भेजे गए ऑपरेशन।
slm_extended_memory_ex slm_npu_offload_ex
तर्क और अनुप्रयोग
Sudoku-Extreme और ARC-AGI पर पदानुक्रमित तर्क, दस्तावेज़ों का अनामीकरण, पूर्वानुमान से लॉसलेस संपीड़न।
slm_hrm_sudoku_ex slm_hrm_arc_puzzle_ex slm_document_anonymizer_ex slm_predictive_compressor_ex slm_tok_predictive_compressor_ex
जारी काम: लाइब्रेरी की क्षमताओं का विस्तार
- QLoRA
- फ़ाइन-ट्यूनिंग के दौरान फ़्रीज़ किए गए बेस को मेमोरी में क्वांटाइज़्ड रखना।
- प्रेफ़रेंस ऑप्टिमाइज़ेशन
- DPO, जिसमें फ़्रीज़ किया गया संदर्भ उसी नेटवर्क से मिलता है, उसके अडैप्टर निष्क्रिय करके।
- स्टैटिक पथ पर मिक्सचर ऑफ़ एक्सपर्ट्स
- इन मॉडलों को किसी भी दूसरे मॉडल की तरह प्रशिक्षण योग्य और परिवर्तनीय बनाना।
- लाइब्रेरी का अपना मॉडल
- यहाँ चुनी गई टोपोलॉजी और शब्दावली पर एक छोटा भाषा मॉडल।
लाइब्रेरी का उपयोग करें, या उसके विकास में योगदान दें
कोड एक उदार लाइसेंस के अंतर्गत सार्वजनिक है। योगदान, प्रायोजन और साझेदारी, सब इस लाइब्रेरी को आगे बढ़ाते हैं।





