Рекурентні моделі обробляють токени один за одним: далекі залежності згасають, і ніщо не паралелиться. Ключова ідея: сама лише увага, без рекурентності — кожен токен за один крок дивиться на кожен інший, і вся послідовність тренується паралельно. Архітектура, на якій відтоді стоїть майже кожна велика мовна модель.
Вміст і типографіка
Деталі, з яких складається текст. Кожна споживає лише семантичний рівень токенів: перефарбуйте палітру — і всі вони підуть слідом.
§1.1Callout
П’ять варіантів; title замінює типовий підпис варіанта (Note / Intuition / Warning / Important / Abstract — ті самі, що й у синтаксису цитат, локалізуються через labels). Демонстраційний стенд показує ту саму розмітку в написанні через цитати та через сирий HTML.
§1.2Chip
Рядкові значки для статусів і категорій — у чотирьох варіантах, спільних для тегів PaperCard і чипів HubCard: стабільно бета дослідження нове — або з власним тоном для тематичних палітр: власний тон
§1.3Grid
Одна сітка, три подоби (plain, card, cmp). Картки:
Спершу токени. Порядок імпорту — частина контракту: токени, далі шар вмісту, потім оздоблення сайту.
Лише семантичний рівень. Компоненти не торкаються сирих кольорів: перефарбуйте палітру — і всі вони підуть слідом.
І порівняльна подоба, зроблена для панелей «до/після»:
Без контролю — незакритий ** їде у продакшн двома буквальними зірочками.
З контролем — збірка падає з адресою файл:рядок:стовпчик і кареткою під маркером.
§1.4Steps
Markdown-список на вертикальній доріжці:
- Додайте два підмодулі та залежності
file:. - Імпортуйте
tokens.css,base.cssі — для вікі —browse.cssу глобальну таблицю стилів. - Під’єднайте
siteMarkdown()вastro.config. - Перевизначте палітру першого рівня власними пігментами ідентичності.
§1.5Stats
- рівні токенів
- 2
- компоненти
- 24
- ширини зонда
- 4
- кроків збірки
- 0
§1.6PaperCard
Робоча конячка оглядів літератури — коротка назва, повний заголовок, теги місця публікації, автори, посилання та два власні слоти:
Під заголовком глибокого розбору однорядкове пояснення простими словами (.speak) каже читачеві, що модуль робить, перш ніж пояснювати механізм:
Увага — це м’яка таблиця пошуку: кожен токен питає «хто мені зараз доречний?» і отримує зважену суміш відповідей.
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook — причина, чому тло формул дістало власний тон паперу.
- W3C, Web Content Accessibility Guidelines 2.2 — планка контрасту AA, на яку звірено токени.