Rekurrente Modelle verarbeiten Token eines nach dem anderen – weitreichende Abhängigkeiten verblassen, und nichts läuft parallel. Kernidee: Attention allein, keine Rekurrenz – jedes Token schaut in einem einzigen Schritt auf jedes andere, und die ganze Sequenz trainiert parallel. Die Architektur, auf der seither fast jedes große Sprachmodell aufbaut.
Inhalt & Typografie
Die Bausteine, aus denen Fließtext entsteht. Jeder konsumiert ausschließlich die semantische Stufe der Tokens – tausche die Palette, und alle ziehen mit.
§1.1Callout
Fünf Varianten; title ersetzt das Standardlabel der Variante (Note / Intuition / Warning / Important / Abstract – dieselben Defaults wie in der Quote-Syntax, lokalisierbar über labels). Das volle Programm zeigt die Quote-Syntax- und Roh-HTML-Schreibweisen desselben Markups.
§1.2Chip
Inline-Abzeichen für Status und Kategorien, in den vier Varianten, die sich PaperCard-Tags und HubCard-Chips teilen: stabil Beta Forschung neu – oder mit eigenem Farbton für Themenpaletten: eigener Farbton
§1.3Grid
Ein Raster, drei Häute (plain, card, cmp). Die Karten:
Tokens zuerst. Die Importreihenfolge ist Teil des Vertrags: Tokens, dann die Inhaltsschicht, dann das Chrome der Site.
Nur die semantische Schicht. Komponenten fassen nie rohe Farben an – tausche die Palette, und alle ziehen mit.
Und die Vergleichshaut, gemacht für Vorher-nachher-Tafeln:
Ohne Wächter – ein unverschlossenes ** geht als zwei wörtliche Sternchen in Produktion.
Mit Wächter – der Build scheitert mit Datei, Zeile und Spalte, ein Caret zeigt unter die Marke.
§1.4Steps
Eine Markdown-Liste auf senkrechter Leiste:
- Füge die beiden Submodule und die
file:-Abhängigkeiten hinzu. - Importiere
tokens.css,base.cssund (für ein Wiki)browse.cssim globalen Stylesheet. - Verdrahte
siteMarkdown()in derastro.config. - Überschreibe die Palette der ersten Stufe mit deinen Identitätspigmenten.
§1.5Stats
- Token-Stufen
- 2
- Komponenten
- 24
- Probe-Viewports
- 4
- Build-Schritte
- 0
§1.6PaperCard
Das Arbeitspferd für Literaturübersichten – Alias, voller Titel, Venue-Tags, Autoren-Meta, Links und zwei eigene Slots:
Unter einer Tiefgang-Überschrift sagt eine einzeilige Klartext-Glosse (.speak) dem Leser, was ein Modul tut, bevor der Mechanismus kommt:
Attention ist eine weiche Nachschlagetabelle: Jedes Token fragt „wer ist für mich relevant?“ und bekommt eine gewichtete Mischung der Antworten.
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook – der Grund, warum die Mathegründe ihren eigenen Papierton bekommen.
- W3C, Web Content Accessibility Guidelines 2.2 – die AA-Kontrastlatte, gegen die die Tokens geprüft sind.