Рекуррентные модели обрабатывают токены строго по одному — дальние зависимости затухают, и ничего не параллелится. Ключевая идея: одно лишь внимание, без рекуррентности — каждый токен смотрит на каждый за один шаг, и вся последовательность обучается параллельно. Архитектура, на которой с тех пор построена почти каждая большая языковая модель.
Контент и типографика
Детали, из которых собирается проза. Каждая потребляет только семантический уровень токенов — перекрасьте палитру, и все они последуют.
§1.1Callout
Пять вариантов; title замещает подпись варианта по умолчанию (Note / Intuition / Warning / Important / Abstract — те же умолчания, что у цитатного синтаксиса; локализуются через labels). На странице «Всё и сразу» показаны цитатное и сырое HTML-написания той же разметки.
§1.2Chip
Строчные бейджи для статусов и категорий в четырёх вариантах, общих для тегов PaperCard и чипов HubCard: стабильно бета исследование новое — либо собственный тон для тематических палитр: свой тон
§1.3Grid
Одна сетка, три обличья (plain, card, cmp). Карточки:
Сначала токены. Порядок импорта — часть контракта: токены, затем слой контента, затем обвязка сайта.
Только семантический уровень. Компоненты не трогают сырых цветов — перекрасьте палитру, и все они последуют.
И сравнительное обличье, придуманное для панелей «до и после»:
Без контроля — незакрытая ** уезжает в продакшен двумя буквальными звёздочками.
С контролем — сборка падает с адресом файл:строка:столбец и кареткой под маркером.
§1.4Steps
Markdown-список на вертикальном рельсе:
- Добавьте оба подмодуля и зависимости
file:. - Импортируйте
tokens.css,base.cssи — для вики —browse.cssв глобальную таблицу стилей. - Впишите
siteMarkdown()вastro.config. - Переопределите палитру первого уровня своими фирменными пигментами.
§1.5Stats
- уровня токенов
- 2
- компонента
- 24
- вьюпорта зонда
- 4
- шагов сборки
- 0
§1.6PaperCard
Рабочая лошадка обзоров литературы — псевдоним, полное название, теги площадок, авторская строка, ссылки и два выделенных слота:
Под заголовком глубокого разбора однострочная глосса простыми словами (.speak) говорит читателю, что модуль делает, прежде чем показывать механизм:
Внимание — это мягкая таблица поиска: каждый токен спрашивает «кто здесь важен для меня?» и получает взвешенную смесь ответов.
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Кнут, The TeXbook — причина, по которой фон формул получил собственный тон бумаги.
- W3C, Web Content Accessibility Guidelines 2.2 — планка контраста AA, по которой аудируются токены.