Recurrente modellen verwerken tokens één voor één — afhankelijkheden over lange afstand vervagen, en niets loopt parallel. Kernidee: alleen attention, geen recurrentie — elk token kijkt in één stap naar elk ander token, en de hele reeks traint parallel. De architectuur waarop vrijwel elk groot taalmodel sindsdien voortbouwt.
Inhoud & typografie
De onderdelen waar lopende tekst uit wordt opgebouwd. Elk ervan consumeert alleen de semantische laag van de tokens — geef het palet een andere huid en ze volgen allemaal.
§1.1Callout
Vijf varianten; title vervangt het standaardlabel van de variant (Note / Intuition / Warning / Important / Abstract — dezelfde standaardwaarden als de citaatsyntaxis gebruikt, lokaliseerbaar via labels). De staalkaart toont de citaatsyntaxis- en rauwe-HTML-schrijfwijzen van dezelfde markup.
§1.2Chip
Inline badges voor status en categorieën, in de vier varianten die PaperCard-tags en HubCard-chips delen: stabiel bèta onderzoek nieuw — of een eigen tint voor themapaletten: eigen tint
§1.3Grid
Eén raster, drie huiden (plain, card, cmp). Kaarten:
Tokens eerst. De importvolgorde hoort bij het contract: tokens, dan de inhoudslaag, dan de chrome van de site.
Alleen de semantische laag. Componenten raken nooit een rauwe kleur aan — geef het palet een andere huid en ze volgen allemaal.
En de vergelijkingshuid, gemaakt voor voor/na-panelen:
Zonder poortwachter — een niet-gesloten ** gaat als twee letterlijke sterretjes naar productie.
Met poortwachter — de build faalt op bestand:regel:kolom, met een dakje onder de markering.
§1.4Steps
Een markdown-lijst op een verticale rail:
- Voeg de twee submodules en de
file:-dependencies toe. - Importeer
tokens.css,base.cssen (voor een wiki)browse.cssin je globale stylesheet. - Sluit
siteMarkdown()aan inastro.config. - Overschrijf het palet van laag één met je identiteitspigmenten.
§1.5Stats
- tokenlagen
- 2
- componenten
- 24
- probe-viewports
- 4
- buildstappen
- 0
§1.6PaperCard
Het werkpaard voor literatuuroverzichten — alias, volledige titel, venue-tags, auteursregel, links en twee eigen slots:
Onder een verdiepingskop vertelt een éénregelige uitleg in gewone taal (.speak) wat een module doet, nog vóór het mechanisme:
Attention is een zachte opzoektabel: elk token vraagt "wie is er relevant voor mij?" en krijgt een gewogen mengsel van de antwoorden terug.
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook — de reden dat de wiskundegronden hun eigen papiertint krijgen.
- W3C, Web Content Accessibility Guidelines 2.2 — de AA-contrastlat waaraan de tokens worden getoetst.