Mô hình hồi tiếp xử lý token nối đuôi nhau — phụ thuộc tầm xa nhạt dần, và chẳng có gì chạy song song được. Ý then chốt: chỉ dùng attention, bỏ hẳn hồi tiếp — mọi token nhìn thấy mọi token khác trong một bước, và cả chuỗi huấn luyện song song. Kiến trúc mà gần như mọi mô hình ngôn ngữ lớn về sau đều xây trên nó.
Nội dung & typography
Những thành phần dựng nên phần văn xuôi. Mỗi cái chỉ tiêu thụ tầng ngữ nghĩa của token — thay da bảng màu, tất cả cùng đổi theo.
§1.1Callout
Năm biến thể; title thay cho nhãn mặc định của biến thể (Note / Intuition / Warning / Important / Abstract — đúng bộ mặc định mà cú pháp trích dẫn dùng, bản địa hóa được qua labels). Trang trình diễn tổng hợp trưng hai cách viết còn lại của cùng markup này: cú pháp trích dẫn và HTML thô.
§1.2Chip
Huy hiệu trong dòng cho trạng thái và hạng mục, với bốn biến thể mà tag của PaperCard và chip của HubCard dùng chung: ổn định beta nghiên cứu mới — hoặc một tông tùy chọn cho bảng màu chủ đề: tông tùy chọn
§1.3Grid
Một cái lưới, ba lớp da (plain, card, cmp). Dạng thẻ:
Token đi trước. Thứ tự import là một phần của bản hợp đồng: token, rồi lớp nội dung, rồi chrome của site.
Chỉ tầng ngữ nghĩa. Thành phần không bao giờ chạm màu thô — thay da bảng màu là tất cả cùng đổi theo.
Và lớp da so sánh, sinh ra cho các bảng trước/sau:
Không có lớp kiểm soát — một ** bỏ ngỏ trôi thẳng lên production thành hai dấu sao trơ ra.
Có lớp kiểm soát — build hỏng ngay tại tệp:dòng:cột, kèm dấu mũ chỉ đúng dưới ký tự phạm lỗi.
§1.4Steps
Một danh sách markdown đặt trên thanh ray dọc:
- Thêm hai submodule và các dependency
file:. - Import
tokens.css,base.cssvà (với site wiki)browse.csstrong stylesheet toàn cục. - Nối
siteMarkdown()vàoastro.config. - Ghi đè bảng màu tầng một bằng màu bản sắc của bạn.
§1.5Stats
- tầng token
- 2
- thành phần
- 24
- khung nhìn dò
- 4
- bước build
- 0
§1.6PaperCard
Con ngựa thồ của các bài điểm luận — bí danh, tiêu đề đầy đủ, tag hội nghị, dòng tác giả, liên kết, và hai slot chuyên dụng:
Dưới một đề mục đào sâu, một dòng diễn nôm (.speak) nói cho người đọc biết mô-đun ấy làm gì trước khi đi vào cơ chế:
Attention là một bảng tra mềm: mỗi token hỏi "ai liên quan tới mình?" rồi nhận về một hỗn hợp có trọng số của các câu trả lời.
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook — lý do nền công thức toán được cấp một tông giấy riêng.
- W3C, Web Content Accessibility Guidelines 2.2 — ngưỡng tương phản AA mà các token được soát theo.