Model rekuren memproses token satu demi satu — dependensi jarak jauh memudar, dan tak ada yang bisa diparalelkan. Ide kunci: cukup atensi, tanpa rekurensi — setiap token memperhatikan semua token lain dalam satu langkah, dan seluruh sekuens dilatih paralel. Arsitektur yang menjadi fondasi hampir setiap model bahasa besar sesudahnya.
Konten & tipografi
Kepingan-kepingan penyusun tubuh tulisan. Masing-masing hanya mengonsumsi tingkat semantik token — ganti kulit paletnya dan semuanya ikut.
§1.1Callout
Lima varian; title menggantikan label bawaan variannya (Note / Intuition / Warning / Important / Abstract — bawaan yang sama dengan yang dipakai sintaks kutip, dapat dilokalkan lewat labels). Halaman serba ada memperlihatkan ejaan sintaks-kutip dan HTML-mentah dari markup yang sama.
§1.2Chip
Lencana sebaris untuk status dan kategori, dalam empat varian yang sama dengan tag PaperCard dan chip HubCard: stabil beta riset baru — atau rona kustom untuk palet topik: rona kustom
§1.3Grid
Satu kisi, tiga kulit (plain, card, cmp). Kartu:
Token duluan. Urutan impor adalah bagian dari kontrak: token, lalu lapisan konten, lalu chrome situs.
Hanya lapisan semantik. Komponen tak pernah menyentuh warna mentah — ganti kulit paletnya dan semuanya ikut.
Dan kulit pembanding, dibuat untuk panel sebelum/sesudah:
Tanpa penjaga — ** yang tak tertutup terkirim ke produksi sebagai dua asterisk mentah.
Dengan penjaga — build gagal pada berkas:baris:kolom dengan tanda sisipan di bawah penandanya.
§1.4Steps
Daftar markdown di atas rel vertikal:
- Tambahkan kedua submodule dan dependensi
file:-nya. - Impor
tokens.css,base.css, dan (untuk wiki)browse.cssdi stylesheet global Anda. - Sambungkan
siteMarkdown()keastro.config. - Timpa palet tingkat satu dengan pigmen identitas Anda.
§1.5Stats
- tingkat token
- 2
- komponen
- 24
- viewport probe
- 4
- langkah build
- 0
§1.6PaperCard
Kuda beban untuk survei literatur — alias, judul lengkap, tag venue, meta penulis, tautan, dan dua slot khusus:
Di bawah judul bahasan mendalam, satu baris bahasa awam (.speak) memberi tahu pembaca apa yang dilakukan sebuah modul sebelum mekanismenya:
Atensi adalah tabel pencarian yang lunak: setiap token bertanya "siapa yang relevan bagiku?" dan menerima campuran berbobot dari jawaban-jawabannya.
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook — alasan dasar matematika mendapat rona kertasnya sendiri.
- W3C, Web Content Accessibility Guidelines 2.2 — ambang kontras AA yang menjadi tolok audit token.