परियोजनाएँ
हमारी सभी परियोजनाएँ एक ही लाइब्रेरी पर टिकी हैं। उत्पाद और शोध कार्यक्रम उसी पर बने हैं; चित्रों पर हमारा पहले का काम उसी तक ले आया।
लाइब्रेरी: Dlib-Transformer-extensions
Dlib-Transformer-extensions, Dlib में आधुनिक ट्रांसफ़ॉर्मर मॉडलिंग जोड़ती है। Dlib एक C++ मशीन लर्निंग लाइब्रेरी है, जिसे उसके साफ़ इंटरफ़ेस के लिए सराहा जाता है। यह मानक C++14 में लिखी गई है और Boost Software License 1.0 के अंतर्गत प्रकाशित है।
यह परियोजना मॉडल के पूरे जीवन-चक्र को सँभालती है, C++ से बाहर गए बिना, किसी अन्य निर्भरता के बिना और Python जैसे किसी अतिरिक्त परिवेश के बिना।
लोड करें
GGUF कंटेनर से ओपन-वेट मॉडल पढ़ें: llama, mistral, mixtral, gemma, qwen2, qwen3 और granite परिवार, जिनके क्वांटाइज़्ड वेट चलते-चलते डीक्वांटाइज़ होते हैं।
चलाएँ
उसे डायनेमिक-शेप रनटाइम इंजन, वेब चैट इंटरफ़ेस और OpenAI इंटरफ़ेस से संगत एंडपॉइंट के ज़रिए सर्व करें।
बदलें
स्टैटिक टाइप वाला Dlib नेटवर्क बनाएँ, जिसके वेट सामान्य प्रशिक्षण योग्य पैरामीटर हैं।
विशेषज्ञ बनाएँ
प्रशिक्षण जारी रखें, प्रॉम्प्ट मास्किंग के साथ फ़ाइन-ट्यून करें, या LoRA और DoRA अडैप्टर जोड़ें।
व्युत्पन्न करें
एक टीचर को किसी दूसरे आर्किटेक्चर के छोटे स्टूडेंट में डिस्टिल करें, या पूरे ब्लॉक हटाकर शेष को सुधारें।
पहुँचाएँ
प्रशिक्षित मॉडल को किसी प्रोग्राम में कंपाइल करें, या इंस्टॉल की गई सेवा से सर्व करें।
लाइब्रेरी का दायरा
विज़न और मल्टीमोडैलिटी
Vision Transformer, इमेज बैकबोन के रूप में या टेक्स्ट और चित्र पढ़ने वाले मॉडल के विज़न टावर के रूप में, एंड-टू-एंड प्रशिक्षण के साथ।
खोज
एम्बेडिंग मॉडल दस्तावेज़ों के फ़ोल्डर को इंडेक्स करते हैं और प्रश्न का उत्तर उससे मेल खाते अंश से देते हैं।
व्यक्तिगत डेटा की सुरक्षा
नियम और छोटे प्रशिक्षित रिकग्नाइज़र पाँच भाषाओं में व्यक्तिगत डेटा खोजते हैं; फ़ॉर्मेट-संरक्षित एन्क्रिप्शन उसे ऐसे बदलता है कि वापस लाया जा सके।
विस्तारित GPU मेमोरी
V²RAM ब्लॉकों को कार्ड, होस्ट मेमोरी और डिस्क स्टोर के बीच प्रवाहित करता है, ताकि कार्ड से बड़ा मॉडल भी उसी पर प्रशिक्षित हो सके।
NPU और इंटीग्रेटेड GPU
हर टेंसर ऑपरेशन उस डिवाइस पर चलता है जो माप में सबसे तेज़ निकला: होस्ट, Intel NPU या OpenVINO के ज़रिए इंटीग्रेटेड GPU।
प्रोसेसर-विशिष्ट कर्नेल
AVX2, AVX-VNNI और AVX-512 VNNI के कोड पथ रन टाइम पर प्रोसेसर की क्षमता के अनुसार चुने जाते हैं।
कार्ड पर क्वांटाइज़्ड वेट
CUDA कर्नेल, GGUF फ़ॉर्मेट में रखे वेट को बिना फैलाए एक्टिवेशन से गुणा करते हैं।
पूर्वानुमान ही संपीड़न
एक प्रशिक्षित नेटवर्क और एक अरिथमेटिक कोडर मिलकर ऐसा लॉसलेस कंप्रेसर बनाते हैं जिसे कोई भी प्रोसेसर बिट-दर-बिट दोहराता है।
लाइब्रेरी पर बने उत्पाद
Albireo और Pseudalis लाइब्रेरी को तुरंत उपयोग के लिए तैयार दो Windows एप्लिकेशन में बदलते हैं: इन्फ़रेंस इंजन, स्थानीय सेवा, वेब एप्लिकेशन और हस्ताक्षरित अपडेट।
- उत्पादAlbireo, Pseudalis
- सेवाएँइन्फ़रेंस इंजन, स्थानीय HTTPS सेवा, वेब एप्लिकेशन, हस्ताक्षरित अपडेट
- लाइब्रेरीDlib-Transformer-extensions
- आधारDlib, मानक C++14
- हार्डवेयरx86-64 प्रोसेसर, Intel NPU और GPU, NVIDIA GPU
शोध कार्यक्रम
- GPU मेमोरी का विस्तार
- बफ़र ऑब्जेक्ट के भीतर, फ़्रेमवर्क एक्ज़ीक्यूटर के नीचे, टेंसरों के ठिकाने का प्रबंधन।
- अनुकूली गणना
- Sudoku-Extreme और ARC पहेलियों पर प्रशिक्षित पदानुक्रमित तर्क मॉडल, जिनका हॉल्टिंग हेड नेटवर्क के साथ सीखा जाता है।
- स्यूडोनिमाइज़ेशन
- पहचान की चार व्यवस्थाएँ और फ़ॉर्मेट-संरक्षित एन्क्रिप्शन, पाँच भाषाओं के सिंथेटिक और हाथ से लिखे पाठों पर मापी गईं।
- लाइब्रेरी का अपना मॉडल
- यहाँ बनाए जा रहे एक छोटे भाषा मॉडल के लिए कॉर्पस संग्रह, टोकनाइज़र का प्रशिक्षण और माप, प्री-ट्रेनिंग, इंस्ट्रक्शन ट्यूनिंग और बेंचमार्किंग तैयार हैं।
चित्रों पर पहले का काम
भाषा मॉडल से पहले, हमने Dlib पर बनी चित्र-परियोजनाएँ प्रकाशित कीं: स्वचालित रंगीकरण, सिंथेटिक चेहरों का निर्माण, सेल्फ़-सुपरवाइज़्ड लर्निंग और चेहरे की पहचान। वे GitHub पर अब भी उपलब्ध हैं।
