शोध और परिणाम
हम प्रकाशित करते हैं कि हमने क्या मापा, कैसे मापा और विधि कहाँ रुक जाती है। रिपोर्टें उसी कोड के साथ रखी जाती हैं जिसका वे वर्णन करती हैं।
सॉफ़्टवेयर से GPU मेमोरी का विस्तार
V²RAM टेंसर ब्लॉकों के ठिकाने को फ़्रेमवर्क एक्ज़ीक्यूटर से एक स्तर नीचे, बफ़र ऑब्जेक्ट के भीतर सँभालता है। ब्लॉक एक बजट के अंदर कार्ड, पिन की गई होस्ट मेमोरी और मेमोरी-मैप्ड स्टोर के बीच चलते हैं, और इसका एकमात्र आधार वह एक्सेस-क्रम है जो रन के दौरान सामने आता है। कोई नेटवर्क, लेयर या ट्रेनिंग लूप नहीं बदलता।
| कॉन्फ़िगरेशन | बजट | पूरा कार्ड पर | V²RAM के साथ | अनुपात |
|---|---|---|---|---|
| इन्फ़रेंस, 200 MiB का वर्किंग सेट | 128 MiB | 13.2 ms | 35.2 ms | 2.7× |
| प्रशिक्षण, 1,186 MiB का वर्किंग सेट | 128 MiB | 256.6 ms | 353.7 ms | 1.4× |
प्रति स्टेप मिलीसेकंड, तीन रन का माध्यिका मान। बजट जान-बूझकर वर्किंग सेट से कम रखा गया है।
| बैच | वर्किंग सेट | कार्ड पर अधिकतम | नतीजा |
|---|---|---|---|
| V²RAM के बिना | 6,028 MiB | – | शुरू नहीं हुआ: होस्ट की मेमोरी कम पड़ी |
| 1 | 6,028 MiB | 10,748 MiB | चला |
| 2 | 7,709 MiB | 10,170 MiB | चला |
| 4 | 10,984 MiB | 9,568 MiB | चला |
| 8 | 17,506 MiB | 9,178 MiB | चला |
| 16 | 30,600 MiB (अनुमानित) | 9,092 MiB | सिस्टम ने रोक दिया |
27 करोड़ पैरामीटर का मॉडल, ग्रुप्ड-क्वेरी अटेंशन और हर लेयर में चार एक्सपर्ट के साथ।
व्यक्तिगत डेटा की पहचान और प्रतिस्थापन
पहचान का काम चार व्यवस्थाएँ बाँटती हैं: चेक डिजिट जाँचने वाले स्कैनर, पाँच भाषाओं की शब्द-तालिकाएँ, एक स्ट्रक्चरल SVM टैगर और 116,791 पैरामीटर का बाइट-स्तरीय ट्रांसफ़ॉर्मर। हर मान की जगह एक टैग आता है, जिसमें FF1 और AES-256 से एन्क्रिप्ट किया गया वही मान रहता है।
संस्करण 1.0.11 परीक्षण सेट पर 0.946, छह गुना शोर पर 0.919, पूरे दस्तावेज़ों पर 0.953 और विदेश के स्थानों पर 0.951 का F1 पाता है; तालिकाएँ संस्करण 1.0.5 के विस्तृत माप देती हैं। पाँचों भाषाओं के हाथ से लिखे पाठों पर F1, 0.886 और 0.907 के बीच रहता है। परीक्षण के लिए पाँचों भाषाओं में लिखी गई सोलह फ़ाइलों (Word, PowerPoint, PDF, CSV, सोर्स कोड, इमेज) पर, संस्करण 1.0.11 सुरक्षित किए जाने वाले 1,223 मानों में से 2 को पढ़ने योग्य छोड़ता है, जबकि पिछला संस्करण 109 छोड़ता था। वास्तविक दस्तावेज़ों के एक निजी नमूने पर प्रिसिज़न 0.859 और रिकॉल 0.912 है: लगभग ग्यारह में से एक मान पढ़ने योग्य रह जाता है, इसलिए सुरक्षित किए गए दस्तावेज़ को साझा करने से पहले दोबारा पढ़ लेना चाहिए। डिटेक्टर दो कोर पर लगभग 41,000 अक्षर प्रति सेकंड पढ़ता है।
| परीक्षण सेट | प्रिसिज़न | रिकॉल | F1 |
|---|---|---|---|
| परीक्षण, पाँच भाषाएँ | 0.955 | 0.935 | 0.945 |
| प्रशिक्षण में कभी न देखे गए मान | 0.951 | 0.935 | 0.943 |
| छह गुना शोर | 0.941 | 0.897 | 0.918 |
| पूरे दस्तावेज़ | 0.961 | 0.943 | 0.952 |
| केवल विदेश के स्थान | 0.960 | 0.939 | 0.949 |
| भाषा के अनुसार | प्रिसिज़न | रिकॉल | F1 |
|---|---|---|---|
| फ़्रेंच | 0.975 | 0.965 | 0.970 |
| अंग्रेज़ी | 0.971 | 0.964 | 0.967 |
| इतालवी | 0.950 | 0.926 | 0.938 |
| जर्मन | 0.949 | 0.926 | 0.937 |
| स्पेनिश | 0.928 | 0.898 | 0.913 |
| सिस्टम | परीक्षण सेट पर F1 |
|---|---|
| केवल नियम | 0.840 |
| केवल SVM टैगर | 0.749 |
| केवल बाइट-स्तरीय ट्रांसफ़ॉर्मर | 0.903 |
| पूरा डिटेक्टर | 0.945 |
क्वांटाइज़्ड वेट पर इन्फ़रेंस
Albireo के इंजन वेट को GGUF फ़ाइल की मेमोरी मैपिंग में ही रखते हैं और उन्हें क्वांटाइज़्ड रूप में ही गुणा करते हैं। इंटीजर कर्नेल, 8 बिट का की-वैल्यू कैश, ड्राफ़्ट टोकन और कार्ड पर गणना की गई लेयर, हर एक को एक संदर्भ के मुक़ाबले मापा गया है।
- 8 बिट की कुंजियाँ और मान, एक पाठ की 210 स्थितियों पर हाफ़ प्रिसिज़न जैसा ही अगला टोकन देते हैं, औसत डाइवर्जेंस 6.5e-5 के साथ।
- ड्राफ़्ट टोकन दो कोर पर एक फ़ंक्शन को 19.7 के मुक़ाबले 25.5 टोकन प्रति सेकंड की गति से दोबारा लिखते हैं, और सैंपलिंग का वितरण बनाए रखते हैं।
- एक साथ लिखे गए चार उत्तर, चार अलग-अलग उत्तरों की तुलना में प्रति स्टेप 32 से 40% कम समय लेते हैं।
- Intel Core Ultra 9 275HX के 24 थ्रेड पर, प्रोसेसर इंजन Qwen3-VL 4B के साथ प्रॉम्प्ट को 216 टोकन प्रति सेकंड की गति से पढ़ता है और 19.5 की गति से लिखता है; Qwen3 0.6B के साथ वह 1,300 टोकन प्रति सेकंड से अधिक की गति से पढ़ता है और 80 से अधिक की गति से लिखता है।
| इंजन | टोकन प्रति सेकंड |
|---|---|
| NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU | 56.8 |
| प्रोसेसर, 24 थ्रेड | 23.6 |
| कर्नेल | इंटीजर | फ़्लोट |
|---|---|---|
| AVX-VNNI | 230 टोकन/से | 126 टोकन/से |
| AVX2 | 154 टोकन/से | 125 टोकन/से |
NPU और इंटीग्रेटेड GPU की ओर ऑपरेशन की रूटिंग
OpenVINO रनटाइम के साथ बनाई गई लाइब्रेरी हर टेंसर ऑपरेशन को प्रोसेसर के इन्फ़रेंस डिवाइसों के सामने रखती है। होस्ट और हर डिवाइस का समय कुछ कॉल पर नापा जाता है, और सबसे तेज़ उस शेप को सँभालता है। जिस मशीन में ये डिवाइस नहीं हैं, वह ठीक पहले जैसी चलती है।
| कॉन्फ़िगरेशन | प्रति स्टेप समय |
|---|---|
| केवल होस्ट, Intel oneMKL के साथ | 97.4 ms |
| स्वचालित रूटिंग | 63.3 ms |
रूटिंग softmax, एक्टिवेशन, क्रॉस एन्ट्रॉपी और कन्वोल्यूशन को इंटीग्रेटेड GPU को सौंपती है, जो इनकी गणना होस्ट से 2.2 से 6.9 गुना तेज़ करता है। NPU हर ऑपरेशन के लिए उम्मीदवार बना रहता है: इस बेंचमार्क के आकारों पर हर कॉल की उसकी तय लागत अभी उसकी गणना-क्षमता पर भारी पड़ती है, और जैसे ही कोई माप उसे सबसे तेज़ दिखाता है, रूटिंग उसे चुन लेती है।
पूर्वानुमान ही संपीड़न
एक प्रशिक्षित नेटवर्क इस बात का प्रायिकता मॉडल है कि आगे क्या आएगा, और एक अरिथमेटिक कोडर उसे लॉसलेस कोड में बदल देता है। एक उदाहरण पूरी शृंखला बनाता है: Dlib में प्रशिक्षित टोकनाइज़र और डिकोडर, क्वांटाइज़ करके प्रोग्राम में कंपाइल किए गए वेट, और ऑपरेशन-दर-ऑपरेशन तय की गई गणना, ताकि दूसरी मशीन पर चलता डिकोडर हर प्रायिकता को दोहरा सके।
| आर्काइव | 117,169,624 बाइट |
|---|---|
| बिट प्रति बाइट | 0.937 |
| डीकंप्रेसर, टोकनाइज़र और नेटवर्क सहित | 7,063,888 बाइट |
| एक दिशा का समय, एक कोर | लगभग 25 घंटे |
| प्रोसेसर द्वारा चुने गए कर्नेल के साथ संपीड़न | 30 घं 18 मि के बजाय 24 घं 48 मि |
पदानुक्रमित तर्क और अनुकूली गणना
दो उदाहरण प्रोग्राम Sudoku-Extreme और ARC पहेलियों पर पदानुक्रमित तर्क मॉडल प्रशिक्षित करते हैं। वे लाइब्रेरी में नेटवर्क के साथ प्रशिक्षित हॉल्टिंग हेड, Adam-atan2 सॉल्वर, stablemax लॉस और वेट का औसत लाते हैं, और ये सब रिपॉज़िटरी के दूसरे मॉडलों के लिए भी उपलब्ध हैं।
चित्र: सेल्फ़-सुपरविज़न, रंगीकरण और सिंथेसिस
चित्रों पर हमारे पहले के काम से ऐसी विधियाँ और मॉडल निकले जो आज भी प्रकाशित हैं।
| काम | परिणाम |
|---|---|
| BAREL, सेल्फ़-सुपरवाइज़्ड लर्निंग और उसके बाद सुपरवाइज़्ड मेट्रिक लर्निंग | चेहरे की पहचान के LFW बेंचमार्क पर 96.1%, Dlib के पहले ResNet मॉडल से लगभग 8 गुना छोटे ट्रेनिंग सेट के साथ |
| CIFAR-10 पर ResNet-50 के साथ Barlow Twins | सेल्फ़-सुपरवाइज़्ड प्रशिक्षण के बाद 88.25% टेस्ट एक्यूरेसी |
| Colorify, हाई-रिज़ॉल्यूशन रंगीकरण | 223 लेयर और लगभग 4.17 करोड़ पैरामीटर का नेटवर्क, लगभग 9 लाख चित्रों पर प्रशिक्षित |
| FFgan, सिंथेटिक चेहरे | 162 पिक्सेल के रंगीन चेहरे, 1.5 लाख से अधिक चेहरों पर प्रशिक्षित DCGAN से |
Dlib में योगदान
Dlib मशीन लर्निंग और कंप्यूटर विज़न की प्रमुख ओपन-सोर्स C++ लाइब्रेरियों में से एक है। अपने एक्सटेंशन प्रकाशित करने से पहले, हमने स्वयं इस लाइब्रेरी में कोड और प्रशिक्षित मॉडल का योगदान दिया, पहले चेहरों के लिए (पहचान, लिंग, आयु, सिंथेसिस), फिर ट्रांसफ़ॉर्मर के लिए।
लाइब्रेरी में
अगस्त 2024 से अक्टूबर 2025 के बीच चौदह योगदान Dlib में मर्ज किए गए।
- ट्रांसफ़ॉर्मर के लिए लेयर: RMS नॉर्मलाइज़ेशन, एम्बेडिंग, लीनियर, लोअर ट्राएंगुलर मास्क, ट्रांसपोज़िशन, रीशेपिंग, प्लेन-वाइज़ मैट्रिक्स गुणन
- एक एडैप्टिव कम्प्यूटेशन टाइम लेयर और कंपाइल टाइम पर तय दर वाली dropout लेयर
- एक बाइट-पेयर एन्कोडिंग (BPE) टोकनाइज़र
- उदाहरण प्रोग्राम: एक ट्रांसफ़ॉर्मर नेटवर्क, फिर रोटरी पोज़िशन एम्बेडिंग और मिक्सचर ऑफ़ एक्सपर्ट्स वाला नेटवर्क
- ARC-AGI डेटासेट का लोडर
- reorg लेयर का सुधार, प्रोसेसर और CUDA दोनों पर
| मॉडल | कार्य | परिणाम |
|---|---|---|
face_recognition_densenet_model_v1 | चेहरे की पहचान, BAREL विधि से प्रशिक्षित DenseNet | LFW पर 96.1 %, Dlib के पहले ResNet मॉडल से लगभग 8 गुना छोटे ट्रेनिंग सेट के साथ |
dnn_gender_classifier_v1 | चेहरे से लिंग का वर्गीकरण | LFW मूल्यांकन पर लगभग 97.3 %, लगभग 2 लाख चेहरों पर प्रशिक्षित |
dnn_age_predictor_v1 | चेहरे से आयु का अनुमान, ResNet-10 | लगभग 1.1 लाख लेबल किए गए चित्रों पर प्रशिक्षित |
dcgan_162x162_synth_faces | सिंथेटिक चेहरे, DCGAN | 162 पिक्सेल के रंगीन चेहरे |
highres_colorify | स्वचालित रंगीकरण, U-Net संरचना वाला ResNet | 223 लेयर और लगभग 4.17 करोड़ पैरामीटर, 8 GB के ग्राफ़िक्स कार्ड पर उपयोग योग्य |
res50_self_supervised_cifar_10 | सेल्फ़-सुपरवाइज़्ड लर्निंग, Barlow Twins, ResNet-50 | CIFAR-10 पर 88.25 % टेस्ट एक्यूरेसी |
resnet34_stable_imagenet_1k | इमेज क्लासिफ़िकेशन, ResNet-34 | Stable ImageNet-1K के टेस्ट भाग पर 99.98 % top-1 |
vit-s-16_stable_imagenet_1k | इमेज क्लासिफ़िकेशन, Vision Transformer | Stable ImageNet-1K के टेस्ट भाग पर 99.76 % top-1 |
लिंग और आयु के मॉडल Cydral Technology द्वारा Creative Commons Zero 1.0 लाइसेंस के अंतर्गत प्रकाशित हैं।
प्रकाशन
- Buffer-Level Residency Management for GPU Memory Extension
- Aldric Pierrain, Cydral Technology. शोध रिपोर्ट, सितंबर 2026
- Technical application architecture of Pseudalis Community
- Aldric Pierrain, Cydral Technology. शोध रिपोर्ट, नवंबर 2026
- Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
- Aldric Pierrain, Cydral Technology. शोध रिपोर्ट, नवंबर 2026
- BAREL: Backpropagation And Reinforcement-based Environment for Learning
- Aldric Pierrain, Cydral Technology. प्रकाशन, अप्रैल 2023
- A Small Language Model Stack, Built in C++ on One Machine
- Aldric Pierrain, Cydral Technology. लेख
मापन की विधि
हर आँकड़े के साथ उसका हार्डवेयर, मॉडल और प्रोटोकॉल बताया जाता है। परिणाम बताने से पहले उन्हें संदर्भ इम्प्लीमेंटेशन से मिलाया जाता है, और किसी विधि की सीमाएँ वहीं लिखी जाती हैं जहाँ उसके परिणाम।
यह काम P16 के उद्देश्यों पर चलता है। P16, France 2030 का वह कार्यक्रम है जिसे Inria संप्रभु AI लाइब्रेरियों के लिए चलाता है।