Recurrent मॉडल टोकनों को एक-के-बाद-एक चलाते हैं — दूर के रिश्ते धुँधलाते जाते हैं, और कुछ भी समानांतर नहीं चलता। मुख्य विचार: सिर्फ़ attention, कोई recurrence नहीं — हर टोकन एक ही क़दम में बाक़ी सबकी ओर ध्यान देता है, और पूरा अनुक्रम समानांतर में प्रशिक्षित होता है। वह आर्किटेक्चर जिस पर उसके बाद का लगभग हर बड़ा भाषा-मॉडल खड़ा हुआ।
सामग्री और टाइपोग्राफ़ी
वे हिस्से जिनसे गद्य बनता है। हर एक टोकनों का सिर्फ़ semantic टियर बरतता है — पैलेट बदल दीजिए, सब अपने-आप पीछे-पीछे चलेंगे।
§1.1Callout
पाँच वेरिएंट; title वेरिएंट के डिफ़ॉल्ट लेबल की जगह ले लेता है (Note / Intuition / Warning / Important / Abstract — वही डिफ़ॉल्ट जो quote-सिंटैक्स बरतती है, labels से स्थानीयकरण-योग्य)। इसी मार्कअप की quote-सिंटैक्स और raw-HTML वर्तनियाँ kitchen-sink दिखाता है।
§1.2Chip
स्थिति और श्रेणियों के लिए इनलाइन बैज, उन्हीं चार वेरिएंटों में जो PaperCard के टैग और HubCard के chip साझा करते हैं: स्थिर बीटा शोध नया — या विषय-पैलेटों के लिए अपनी टोन के साथ: कस्टम टोन
§1.3Grid
एक ग्रिड, तीन खालें (plain, card, cmp)। कार्ड:
पहले टोकन। import का क्रम अनुबंध का हिस्सा है: टोकन, फिर सामग्री-परत, फिर साइट का chrome।
सिर्फ़ semantic परत। कंपोनेंट नंगे रंग कभी नहीं छूते — पैलेट बदलिए, सब साथ चलेंगे।
और तुलना वाली खाल, पहले/बाद के पैनलों के लिए बनी:
रक्षक के बिना — खुला छूटा ** दो नंगे तारांकन बनकर production तक पहुँच जाता है।
रक्षक के साथ — बिल्ड file:line:column पर गिरता है, चिह्न के नीचे caret के साथ।
§1.4Steps
खड़ी पटरी पर एक markdown-सूची:
- दोनों submodule और
file:डिपेंडेंसी जोड़िए। - अपनी ग्लोबल स्टाइलशीट में
tokens.css,base.cssऔर (विकी के लिए)browse.cssimport कीजिए। astro.configमेंsiteMarkdown()जोड़िए।- टियर-1 पैलेट को अपने पहचान-पिगमेंटों से override कीजिए।
§1.5Stats
- टोकन-टियर
- 2
- कंपोनेंट
- 24
- प्रोब viewport
- 4
- बिल्ड-स्टेप
- 0
§1.6PaperCard
सर्वेक्षणों का बोझ ढोने वाला — उपनाम, पूरा शीर्षक, प्रकाशन-टैग, लेखक-मेटा, लिंक, और दो समर्पित slot:
गहरे विश्लेषण वाले शीर्षक के नीचे, एक पंक्ति की आसान-भाषा टिप्पणी (.speak) यंत्र-रचना से पहले बता देती है कि यह हिस्सा करता क्या है:
Attention एक नरम lookup-टेबल है: हर टोकन पूछता है "मेरे मतलब का कौन है?" और जवाबों का भारित घोल पा जाता है।
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook — वह वजह जिससे गणित की ज़मीनों को अपना अलग काग़ज़ी रंग मिला।
- W3C, Web Content Accessibility Guidelines 2.2 — AA कंट्रास्ट की वह कसौटी जिस पर टोकनों का ऑडिट होता है।