再帰型モデルはトークンを一つずつ処理します——長距離の依存は薄れ、何も並列化できません。 キーアイデア:アテンションのみ、再帰なし——全トークンが一段で互いを参照し、系列全体を並列に学習できます。 以後のほぼすべての大規模言語モデルが、この構造の上に建っています。
コンテンツと組版
本文を組み立てる部品たちです。どれもトークンの意味層だけを消費します——パレットを着せ替えれば、全部がそれに従います。
§1.1Callout
バリアントは五つ。title はバリアント既定のラベル(Note / Intuition / Warning / Important / Abstract——引用構文と同じ既定で、labels でローカライズできます)を置き換えます。同じマークアップの引用構文版と生 HTML 版は全部入りデモに。
§1.2Chip
ステータスやカテゴリのためのインラインバッジ。PaperCard のタグと HubCard のチップが共有する四つのバリアントで:安定 ベータ 研究 新着——トピック用パレットにはカスタムトーンも:カスタムトーン
§1.3Grid
ひとつのグリッドに三つの皮(plain、card、cmp)。まずカード:
トークンが先。 インポートの順序は契約の一部です:トークン、本文レイヤー、サイトのクロームの順。
意味層だけ。 コンポーネントは生の色に触れません——パレットを着せ替えれば全部が従います。
そして before/after のパネルのための比較スキン:
ガードなし——閉じ忘れた ** が、二つの生アスタリスクのまま本番に出ます。
ガードあり——ビルドが file:line:column で落ち、マーカーの下にキャレットが付きます。
§1.4Steps
markdown のリストを縦のレールに:
- サブモジュールを二つ足し、
file:依存を書く。 - グローバルスタイルシートに
tokens.css、base.css、(wiki なら)browse.cssをインポートする。 siteMarkdown()をastro.configに配線する。- 第一層パレットを自分のアイデンティティ顔料で上書きする。
§1.5Stats
- トークンの層
- 2
- コンポーネント
- 24
- プローブのビューポート
- 4
- ビルド手順
- 0
§1.6PaperCard
サーベイの主力——別名、正式タイトル、会議タグ、著者メタ、リンク、そして専用スロット二つ:
深掘りの見出しの下では、一行の平文グロス(.speak)が、仕組みの説明に入る前に「このモジュールが何をするのか」を先に伝えます:
アテンションは柔らかい参照表です。各トークンが「自分に関係あるのは誰?」と尋ね、答えの重み付き混合を受け取ります。
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook——数式の地に専用の紙色が与えられている理由。
- W3C, Web Content Accessibility Guidelines 2.2——トークンが監査で照らされる AA コントラスト基準。