अनुकूली गणना

एक नेटवर्क आम तौर पर हर इनपुट पर बराबर मेहनत करता है। लाइब्रेरी की दो व्यवस्थाएँ उसे वहाँ अधिक मेहनत करने देती हैं जहाँ समस्या कठिन है: एक लेयर जो अपने स्टेप की संख्या स्वयं चुनती है, और एक रिकरेंट संरचना जो दो गतियों पर तर्क करती है।

मेहनत, जो कठिनाई के अनुसार चलती है

लेयरों का एक तय ढेर एक अल्पविराम और एक प्रमाण को बराबर गहराई देता है। गणना को इनपुट के अनुसार ढालना एक छोटे मॉडल की क्षमता बढ़ाता है: कठिन हिस्सों पर वह बार-बार लौटता है, और बाक़ी से तेज़ी से गुज़र जाता है।

गहराई वहाँ, जहाँ ज़रूरत है

स्टेप की संख्या एक ऐसी मात्रा बन जाती है जिसे नेटवर्क सीखता है, स्थिति-दर-स्थिति या पहेली-दर-पहेली।

एक लागत जिसे सार्थक होना पड़ता है

हर अतिरिक्त स्टेप लॉस में जुड़ता है, इसलिए नेटवर्क उसे तभी रखता है जब उत्तर बेहतर हो।

छोटे मॉडल जो देर तक तर्क करते हैं

एक ही वेट को कई पास में दोबारा इस्तेमाल करने से पैरामीटर बढ़ाए बिना गहराई मिलती है।

ACT, एक लेयर जो अपने स्टेप की संख्या चुनती है

यह लेयर एडैप्टिव कम्प्यूटेशन टाइम को लागू करती है, वह विधि जिसे Alex Graves ने 2016 में प्रकाशित किया था। यह ट्रांसफ़ॉर्मर ब्लॉक के फ़ीड-फ़ॉरवर्ड की जगह लेती है और उसे कई बार लगाती है: हर स्टेप पर एक हॉल्टिंग यूनिट बताती है कि स्थिति कितनी आश्वस्त है, अवस्थाओं का औसत इन्हीं भारों से निकाला जाता है, और जैसे ही कुल योग सीमा तक पहुँचता है, वह स्थिति रुक जाती है।

ब्लॉक के फ़ीड-फ़ॉरवर्ड के चारों ओर अनुकूली गणना की लेयर।

यह लेयर हमारा अपना इम्प्लीमेंटेशन है, जो Dlib के लिए लिखा गया और Dlib-Transformer-extensions में सँभाला जाता है। हमारी जानकारी में, कोई दूसरी C++ डीप लर्निंग लाइब्रेरी एडैप्टिव कम्प्यूटेशन टाइम को तैयार लेयर के रूप में नहीं देती।

  • एक टेम्पलेट आर्ग्युमेंट किसी ब्लॉक को अनुकूली ब्लॉक बना देता है: कोई भी Dlib नेटवर्क ट्रांज़िशन का काम कर सकता है।
  • डिफ़ॉल्ट मान: अधिकतम 8 स्टेप, 0.99 की हॉल्टिंग सीमा और 0.01 की पॉन्डर पेनल्टी, सब बदले जा सकते हैं।
  • बैकवर्ड पास मूल शोध-पत्र के ग्रेडिएंट का पालन करता है, उठाए गए हर स्टेप से होकर।
  • ट्रांज़िशन नेटवर्क अपने ही सॉल्वर से प्रशिक्षित होता है, और उसके पैरामीटर मॉडल के साथ गिने जाते हैं।
  • लेयर हर पास पर स्टेप की औसत संख्या और पॉन्डर लागत बताती है।

HRM, दो मॉड्यूल जो दो गतियों पर तर्क करते हैं

पदानुक्रमित तर्क मॉडल (HRM), जिसे Sapient Intelligence ने 2025 में प्रकाशित किया, दो रिकरेंट मॉड्यूल को जोड़ता है। निचले स्तर का मॉड्यूल ब्योरों पर कई तेज़ स्टेप लेता है; फिर ऊपरी स्तर का मॉड्यूल योजना को एक बार अपडेट करता है, और चक्र फिर शुरू होता है। लाइब्रेरी इस संरचना को एक लेयर के रूप में देती है, और दो उदाहरण प्रोग्राम इसे Sudoku-Extreme और ARC-AGI पर उसी तरह प्रशिक्षित करते हैं जैसे प्रकाशित काम करता है।

पदानुक्रमित लेयर, उसका हॉल्टिंग हेड और ग्रेडिएंट का रास्ता।
  • T तेज़ स्टेप के N धीमे चक्र: दो छोटे मॉड्यूल के वेट से N × T स्टेप की गहराई।
  • एक-स्टेप ग्रेडिएंट: हर मॉड्यूल के केवल अंतिम स्टेप का अवकलन होता है, इसलिए मेमोरी स्टेप की संख्या के साथ नहीं बढ़ती।
  • एक अवस्था जो एक पास से अगले पास तक चलती है और नमूना-दर-नमूना फिर शुरू होती है, ताकि हल हो चुकी पहेली नई पहेली को जगह दे।
  • प्रकाशन की संदर्भ संरचना, लाइब्रेरी की pre-norm संरचना से बस एक टेम्पलेट आर्ग्युमेंट दूर है।

रुकने की चार कसौटियाँ

ARC-AGI उदाहरण इन्हें एक ही डेटा, एक ही नेटवर्क और एक ही बजट पर साथ-साथ रखता है।

विकल्पनिर्णय की कसौटी
--halting externalपहचानकर्ता की स्थिति पर पढ़ा गया हॉल्टिंग लॉजिट, जिसे इस ओर प्रशिक्षित किया जाता है कि उत्तर बिल्कुल सही है या नहीं: प्रकाशित व्यवस्था, और डिफ़ॉल्ट।
--halting noneकोई निर्णय नहीं: हर उदाहरण अधिकतम संख्या में पास चलाता है, और हर पास सुपरवाइज़ होता है।
--halting internalअनुकूली गणना की लेयर, हर ब्लॉक के फ़ीड-फ़ॉरवर्ड के चारों ओर रखी गई और अपनी पॉन्डर लागत से प्रशिक्षित।
--halting bothदोनों: मॉड्यूल के भीतर अनुकूली लेयर और उनके बाहर हॉल्टिंग हेड।

इस अनुसंधान एवं विकास कार्य का लाइब्रेरी में योगदान

इन उदाहरणों के लिए लिखा गया हर हिस्सा रिपॉज़िटरी के दूसरे मॉडलों के लिए उपलब्ध है।

हॉल्टिंग लॉस
एक लॉस लेयर जो टोकन का मूल्यांकन करती है और हॉल्टिंग लॉजिट को पूरे उत्तर की सटीकता की ओर प्रशिक्षित करती है।
Adam-atan2 सॉल्वर
प्रकाशित कॉन्फ़िगरेशन का ऑप्टिमाइज़र, AdamW के साथ-साथ उपलब्ध।
Stablemax क्रॉस-एन्ट्रॉपी
वह लॉस जिसे प्रकाशित कॉन्फ़िगरेशन softmax क्रॉस-एन्ट्रॉपी की जगह इस्तेमाल करता है।
वेट का औसत
एक एक्सपोनेंशियल मूविंग एवरेज जिसे हर माप पढ़ता है, और जो छोटे ट्रेनिंग सेट पर देर से होने वाली गिरावट को रोकता है।
पहचानकर्ता तालिका
स्पार्स साइन डिसेंट से प्रशिक्षित एक एम्बेडिंग तालिका, हर पहेली के लिए एक पंक्ति।

प्रकाशन और स्रोत

दोनों विधियाँ प्रकाशित शोध से आती हैं; इम्प्लीमेंटेशन और उदाहरण प्रोग्राम हमारे हैं।

उदाहरण आज़माएँ, या हमें सुझाएँ कि आगे क्या खोजा जाए

प्रोग्राम लाइब्रेरी के साथ बनते हैं और अपनी सेटिंग तथा अपने माप दिखाते हैं।