शोध और परिणाम

हम प्रकाशित करते हैं कि हमने क्या मापा, कैसे मापा और विधि कहाँ रुक जाती है। रिपोर्टें उसी कोड के साथ रखी जाती हैं जिसका वे वर्णन करती हैं।

सॉफ़्टवेयर से GPU मेमोरी का विस्तार

V²RAM टेंसर ब्लॉकों के ठिकाने को फ़्रेमवर्क एक्ज़ीक्यूटर से एक स्तर नीचे, बफ़र ऑब्जेक्ट के भीतर सँभालता है। ब्लॉक एक बजट के अंदर कार्ड, पिन की गई होस्ट मेमोरी और मेमोरी-मैप्ड स्टोर के बीच चलते हैं, और इसका एकमात्र आधार वह एक्सेस-क्रम है जो रन के दौरान सामने आता है। कोई नेटवर्क, लेयर या ट्रेनिंग लूप नहीं बदलता।

सब कुछ कार्ड पर रखने की तुलना में लागत
कॉन्फ़िगरेशनबजटपूरा कार्ड परV²RAM के साथअनुपात
इन्फ़रेंस, 200 MiB का वर्किंग सेट128 MiB13.2 ms35.2 ms2.7×
प्रशिक्षण, 1,186 MiB का वर्किंग सेट128 MiB256.6 ms353.7 ms1.4×

प्रति स्टेप मिलीसेकंड, तीन रन का माध्यिका मान। बजट जान-बूझकर वर्किंग सेट से कम रखा गया है।

8,192 MiB के बजट के साथ 12,288 MiB के कार्ड की क्षमता
बैचवर्किंग सेटकार्ड पर अधिकतमनतीजा
V²RAM के बिना6,028 MiB–शुरू नहीं हुआ: होस्ट की मेमोरी कम पड़ी
16,028 MiB10,748 MiBचला
27,709 MiB10,170 MiBचला
410,984 MiB9,568 MiBचला
817,506 MiB9,178 MiBचला
1630,600 MiB (अनुमानित)9,092 MiBसिस्टम ने रोक दिया

27 करोड़ पैरामीटर का मॉडल, ग्रुप्ड-क्वेरी अटेंशन और हर लेयर में चार एक्सपर्ट के साथ।

व्यक्तिगत डेटा की पहचान और प्रतिस्थापन

पहचान का काम चार व्यवस्थाएँ बाँटती हैं: चेक डिजिट जाँचने वाले स्कैनर, पाँच भाषाओं की शब्द-तालिकाएँ, एक स्ट्रक्चरल SVM टैगर और 116,791 पैरामीटर का बाइट-स्तरीय ट्रांसफ़ॉर्मर। हर मान की जगह एक टैग आता है, जिसमें FF1 और AES-256 से एन्क्रिप्ट किया गया वही मान रहता है।

संस्करण 1.0.11 परीक्षण सेट पर 0.946, छह गुना शोर पर 0.919, पूरे दस्तावेज़ों पर 0.953 और विदेश के स्थानों पर 0.951 का F1 पाता है; तालिकाएँ संस्करण 1.0.5 के विस्तृत माप देती हैं। पाँचों भाषाओं के हाथ से लिखे पाठों पर F1, 0.886 और 0.907 के बीच रहता है। परीक्षण के लिए पाँचों भाषाओं में लिखी गई सोलह फ़ाइलों (Word, PowerPoint, PDF, CSV, सोर्स कोड, इमेज) पर, संस्करण 1.0.11 सुरक्षित किए जाने वाले 1,223 मानों में से 2 को पढ़ने योग्य छोड़ता है, जबकि पिछला संस्करण 109 छोड़ता था। वास्तविक दस्तावेज़ों के एक निजी नमूने पर प्रिसिज़न 0.859 और रिकॉल 0.912 है: लगभग ग्यारह में से एक मान पढ़ने योग्य रह जाता है, इसलिए सुरक्षित किए गए दस्तावेज़ को साझा करने से पहले दोबारा पढ़ लेना चाहिए। डिटेक्टर दो कोर पर लगभग 41,000 अक्षर प्रति सेकंड पढ़ता है।

पूरा डिटेक्टर, सटीक स्पैन, हर श्रेणी (Pseudalis 1.0.5)
परीक्षण सेटप्रिसिज़नरिकॉलF1
परीक्षण, पाँच भाषाएँ0.9550.9350.945
प्रशिक्षण में कभी न देखे गए मान0.9510.9350.943
छह गुना शोर0.9410.8970.918
पूरे दस्तावेज़0.9610.9430.952
केवल विदेश के स्थान0.9600.9390.949
भाषा के अनुसारप्रिसिज़नरिकॉलF1
फ़्रेंच0.9750.9650.970
अंग्रेज़ी0.9710.9640.967
इतालवी0.9500.9260.938
जर्मन0.9490.9260.937
स्पेनिश0.9280.8980.913
हर घटक का योगदान (Pseudalis 1.0.5)
सिस्टमपरीक्षण सेट पर F1
केवल नियम0.840
केवल SVM टैगर0.749
केवल बाइट-स्तरीय ट्रांसफ़ॉर्मर0.903
पूरा डिटेक्टर0.945

क्वांटाइज़्ड वेट पर इन्फ़रेंस

Albireo के इंजन वेट को GGUF फ़ाइल की मेमोरी मैपिंग में ही रखते हैं और उन्हें क्वांटाइज़्ड रूप में ही गुणा करते हैं। इंटीजर कर्नेल, 8 बिट का की-वैल्यू कैश, ड्राफ़्ट टोकन और कार्ड पर गणना की गई लेयर, हर एक को एक संदर्भ के मुक़ाबले मापा गया है।

  • 8 बिट की कुंजियाँ और मान, एक पाठ की 210 स्थितियों पर हाफ़ प्रिसिज़न जैसा ही अगला टोकन देते हैं, औसत डाइवर्जेंस 6.5e-5 के साथ।
  • ड्राफ़्ट टोकन दो कोर पर एक फ़ंक्शन को 19.7 के मुक़ाबले 25.5 टोकन प्रति सेकंड की गति से दोबारा लिखते हैं, और सैंपलिंग का वितरण बनाए रखते हैं।
  • एक साथ लिखे गए चार उत्तर, चार अलग-अलग उत्तरों की तुलना में प्रति स्टेप 32 से 40% कम समय लेते हैं।
  • Intel Core Ultra 9 275HX के 24 थ्रेड पर, प्रोसेसर इंजन Qwen3-VL 4B के साथ प्रॉम्प्ट को 216 टोकन प्रति सेकंड की गति से पढ़ता है और 19.5 की गति से लिखता है; Qwen3 0.6B के साथ वह 1,300 टोकन प्रति सेकंड से अधिक की गति से पढ़ता है और 80 से अधिक की गति से लिखता है।
जनरेशन, Qwen3-VL 4B, Q4_K_M में
इंजनटोकन प्रति सेकंड
NVIDIA CUDA, GeForce RTX 5070 Ti Laptop GPU56.8
प्रोसेसर, 24 थ्रेड23.6
512 टोकन का प्रॉम्प्ट पढ़ना, Qwen3 0.6B, दो कोर
कर्नेलइंटीजरफ़्लोट
AVX-VNNI230 टोकन/से126 टोकन/से
AVX2154 टोकन/से125 टोकन/से

NPU और इंटीग्रेटेड GPU की ओर ऑपरेशन की रूटिंग

OpenVINO रनटाइम के साथ बनाई गई लाइब्रेरी हर टेंसर ऑपरेशन को प्रोसेसर के इन्फ़रेंस डिवाइसों के सामने रखती है। होस्ट और हर डिवाइस का समय कुछ कॉल पर नापा जाता है, और सबसे तेज़ उस शेप को सँभालता है। जिस मशीन में ये डिवाइस नहीं हैं, वह ठीक पहले जैसी चलती है।

एक छोटे ट्रांसफ़ॉर्मर का ट्रेनिंग स्टेप, Intel Core Ultra 9 275HX
कॉन्फ़िगरेशनप्रति स्टेप समय
केवल होस्ट, Intel oneMKL के साथ97.4 ms
स्वचालित रूटिंग63.3 ms

रूटिंग softmax, एक्टिवेशन, क्रॉस एन्ट्रॉपी और कन्वोल्यूशन को इंटीग्रेटेड GPU को सौंपती है, जो इनकी गणना होस्ट से 2.2 से 6.9 गुना तेज़ करता है। NPU हर ऑपरेशन के लिए उम्मीदवार बना रहता है: इस बेंचमार्क के आकारों पर हर कॉल की उसकी तय लागत अभी उसकी गणना-क्षमता पर भारी पड़ती है, और जैसे ही कोई माप उसे सबसे तेज़ दिखाता है, रूटिंग उसे चुन लेती है।

पूर्वानुमान ही संपीड़न

एक प्रशिक्षित नेटवर्क इस बात का प्रायिकता मॉडल है कि आगे क्या आएगा, और एक अरिथमेटिक कोडर उसे लॉसलेस कोड में बदल देता है। एक उदाहरण पूरी शृंखला बनाता है: Dlib में प्रशिक्षित टोकनाइज़र और डिकोडर, क्वांटाइज़ करके प्रोग्राम में कंपाइल किए गए वेट, और ऑपरेशन-दर-ऑपरेशन तय की गई गणना, ताकि दूसरी मशीन पर चलता डिकोडर हर प्रायिकता को दोहरा सके।

enwik9, Large Text Compression Benchmark का, अंग्रेज़ी विकिपीडिया के पाठ का एक गीगाबाइट
आर्काइव117,169,624 बाइट
बिट प्रति बाइट0.937
डीकंप्रेसर, टोकनाइज़र और नेटवर्क सहित7,063,888 बाइट
एक दिशा का समय, एक कोरलगभग 25 घंटे
प्रोसेसर द्वारा चुने गए कर्नेल के साथ संपीड़न30 घं 18 मि के बजाय 24 घं 48 मि

पदानुक्रमित तर्क और अनुकूली गणना

दो उदाहरण प्रोग्राम Sudoku-Extreme और ARC पहेलियों पर पदानुक्रमित तर्क मॉडल प्रशिक्षित करते हैं। वे लाइब्रेरी में नेटवर्क के साथ प्रशिक्षित हॉल्टिंग हेड, Adam-atan2 सॉल्वर, stablemax लॉस और वेट का औसत लाते हैं, और ये सब रिपॉज़िटरी के दूसरे मॉडलों के लिए भी उपलब्ध हैं।

चित्र: सेल्फ़-सुपरविज़न, रंगीकरण और सिंथेसिस

चित्रों पर हमारे पहले के काम से ऐसी विधियाँ और मॉडल निकले जो आज भी प्रकाशित हैं।

कामपरिणाम
BAREL, सेल्फ़-सुपरवाइज़्ड लर्निंग और उसके बाद सुपरवाइज़्ड मेट्रिक लर्निंगचेहरे की पहचान के LFW बेंचमार्क पर 96.1%, Dlib के पहले ResNet मॉडल से लगभग 8 गुना छोटे ट्रेनिंग सेट के साथ
CIFAR-10 पर ResNet-50 के साथ Barlow Twinsसेल्फ़-सुपरवाइज़्ड प्रशिक्षण के बाद 88.25% टेस्ट एक्यूरेसी
Colorify, हाई-रिज़ॉल्यूशन रंगीकरण223 लेयर और लगभग 4.17 करोड़ पैरामीटर का नेटवर्क, लगभग 9 लाख चित्रों पर प्रशिक्षित
FFgan, सिंथेटिक चेहरे162 पिक्सेल के रंगीन चेहरे, 1.5 लाख से अधिक चेहरों पर प्रशिक्षित DCGAN से

Dlib में योगदान

Dlib मशीन लर्निंग और कंप्यूटर विज़न की प्रमुख ओपन-सोर्स C++ लाइब्रेरियों में से एक है। अपने एक्सटेंशन प्रकाशित करने से पहले, हमने स्वयं इस लाइब्रेरी में कोड और प्रशिक्षित मॉडल का योगदान दिया, पहले चेहरों के लिए (पहचान, लिंग, आयु, सिंथेसिस), फिर ट्रांसफ़ॉर्मर के लिए।

लाइब्रेरी में

अगस्त 2024 से अक्टूबर 2025 के बीच चौदह योगदान Dlib में मर्ज किए गए।

  • ट्रांसफ़ॉर्मर के लिए लेयर: RMS नॉर्मलाइज़ेशन, एम्बेडिंग, लीनियर, लोअर ट्राएंगुलर मास्क, ट्रांसपोज़िशन, रीशेपिंग, प्लेन-वाइज़ मैट्रिक्स गुणन
  • एक एडैप्टिव कम्प्यूटेशन टाइम लेयर और कंपाइल टाइम पर तय दर वाली dropout लेयर
  • एक बाइट-पेयर एन्कोडिंग (BPE) टोकनाइज़र
  • उदाहरण प्रोग्राम: एक ट्रांसफ़ॉर्मर नेटवर्क, फिर रोटरी पोज़िशन एम्बेडिंग और मिक्सचर ऑफ़ एक्सपर्ट्स वाला नेटवर्क
  • ARC-AGI डेटासेट का लोडर
  • reorg लेयर का सुधार, प्रोसेसर और CUDA दोनों पर
आधिकारिक मॉडल रिपॉज़िटरी में
मॉडलकार्यपरिणाम
face_recognition_densenet_model_v1चेहरे की पहचान, BAREL विधि से प्रशिक्षित DenseNetLFW पर 96.1 %, Dlib के पहले ResNet मॉडल से लगभग 8 गुना छोटे ट्रेनिंग सेट के साथ
dnn_gender_classifier_v1चेहरे से लिंग का वर्गीकरणLFW मूल्यांकन पर लगभग 97.3 %, लगभग 2 लाख चेहरों पर प्रशिक्षित
dnn_age_predictor_v1चेहरे से आयु का अनुमान, ResNet-10लगभग 1.1 लाख लेबल किए गए चित्रों पर प्रशिक्षित
dcgan_162x162_synth_facesसिंथेटिक चेहरे, DCGAN162 पिक्सेल के रंगीन चेहरे
highres_colorifyस्वचालित रंगीकरण, U-Net संरचना वाला ResNet223 लेयर और लगभग 4.17 करोड़ पैरामीटर, 8 GB के ग्राफ़िक्स कार्ड पर उपयोग योग्य
res50_self_supervised_cifar_10सेल्फ़-सुपरवाइज़्ड लर्निंग, Barlow Twins, ResNet-50CIFAR-10 पर 88.25 % टेस्ट एक्यूरेसी
resnet34_stable_imagenet_1kइमेज क्लासिफ़िकेशन, ResNet-34Stable ImageNet-1K के टेस्ट भाग पर 99.98 % top-1
vit-s-16_stable_imagenet_1kइमेज क्लासिफ़िकेशन, Vision TransformerStable ImageNet-1K के टेस्ट भाग पर 99.76 % top-1

लिंग और आयु के मॉडल Cydral Technology द्वारा Creative Commons Zero 1.0 लाइसेंस के अंतर्गत प्रकाशित हैं।

प्रकाशन

Buffer-Level Residency Management for GPU Memory Extension
Aldric Pierrain, Cydral Technology. शोध रिपोर्ट, सितंबर 2026
Technical application architecture of Pseudalis Community
Aldric Pierrain, Cydral Technology. शोध रिपोर्ट, नवंबर 2026
Onward to the Hutter Prize: a token-level transformer compresses enwik9 to 117 MB on one CPU core
Aldric Pierrain, Cydral Technology. शोध रिपोर्ट, नवंबर 2026
BAREL: Backpropagation And Reinforcement-based Environment for Learning
Aldric Pierrain, Cydral Technology. प्रकाशन, अप्रैल 2023
A Small Language Model Stack, Built in C++ on One Machine
Aldric Pierrain, Cydral Technology. लेख

मापन की विधि

हर आँकड़े के साथ उसका हार्डवेयर, मॉडल और प्रोटोकॉल बताया जाता है। परिणाम बताने से पहले उन्हें संदर्भ इम्प्लीमेंटेशन से मिलाया जाता है, और किसी विधि की सीमाएँ वहीं लिखी जाती हैं जहाँ उसके परिणाम।

यह काम P16 के उद्देश्यों पर चलता है। P16, France 2030 का वह कार्यक्रम है जिसे Inria संप्रभु AI लाइब्रेरियों के लिए चलाता है।