โมเดลแบบรีเคอร์เรนต์ประมวลผลโทเคนทีละตัวตามลำดับ — ความสัมพันธ์ระยะไกลค่อย ๆ เลือนหาย และไม่มีส่วนไหนขนานกันได้เลย แนวคิดหลัก: ใช้ attention ล้วน ๆ ไม่มีรีเคอร์เรนซ์ — ทุกโทเคนมองเห็นโทเคนอื่นทั้งหมดในขั้นเดียว และทั้งลำดับฝึกแบบขนานได้ สถาปัตยกรรมที่โมเดลภาษาขนาดใหญ่แทบทุกตัวหลังจากนั้นสร้างต่อยอดขึ้นมา
เนื้อหาและไทโปกราฟี
ชิ้นส่วนที่เนื้อความประกอบขึ้นมา แต่ละชิ้นใช้เฉพาะโทเคนระดับเชิงความหมายเท่านั้น — เปลี่ยนจานสีทั้งชุด แล้วทุกชิ้นจะตามไปเอง
§1.1Callout
ห้ารูปแบบ prop title ใช้แทนป้ายเริ่มต้นของรูปแบบนั้น (Note / Intuition / Warning / Important / Abstract — ชุดเดียวกับที่ไวยากรณ์อ้างอิงใช้ แปลเป็นภาษาอื่นได้ผ่าน labels) หน้ารวมทุกองค์ประกอบแสดงวิธีเขียนแบบไวยากรณ์อ้างอิงและแบบ HTML ดิบของมาร์กอัปชุดเดียวกันนี้
§1.2Chip
ตราเล็ก ๆ ในบรรทัดสำหรับสถานะและหมวด มีสี่รูปแบบเดียวกับที่แท็กของ PaperCard และชิปของ HubCard ใช้ร่วมกัน: เสถียร เบตา งานวิจัย ใหม่ — หรือกำหนดโทนเองสำหรับจานสีประจำหัวข้อ: โทนกำหนดเอง
§1.3Grid
Grid เดียว สามผิว (plain, card, cmp) แบบการ์ด:
โทเคนมาก่อน ลำดับการนำเข้าเป็นส่วนหนึ่งของสัญญา: โทเคน แล้วชั้นเนื้อหา แล้วจึง chrome ของไซต์
ใช้ชั้นเชิงความหมายเท่านั้น คอมโพเนนต์ไม่แตะสีดิบเลย — เปลี่ยนจานสีแล้วทุกตัวตามไปเอง
และผิวแบบเปรียบเทียบ ทำมาเพื่อแผงก่อน/หลังโดยเฉพาะ:
ไม่มีตัวตรวจ — ** ที่ลืมปิดหลุดขึ้นโปรดักชันเป็นดอกจันสองตัวโต้ง ๆ
มีตัวตรวจ — บิลด์ล้มพร้อมระบุ file:line:column และลูกศรชี้ใต้เครื่องหมายตัวปัญหา
§1.4Steps
รายการ markdown บนรางแนวตั้ง:
- เพิ่ม submodule สองตัว และ dependency แบบ
file: - นำเข้า
tokens.css,base.cssและ (สำหรับวิกิ)browse.cssในสไตล์ชีตหลัก - ต่อ
siteMarkdown()เข้าไปในastro.config - โอเวอร์ไรด์จานสีระดับที่หนึ่งด้วยเม็ดสีเอกลักษณ์ของคุณ
§1.5Stats
- ระดับโทเคน
- 2
- คอมโพเนนต์
- 24
- ความกว้างจอที่ตัววัดใช้
- 4
- ขั้นตอนบิลด์
- 0
§1.6PaperCard
ม้างานของโน้ตสำรวจงานวิจัย — ชื่อเล่น ชื่อเต็ม แท็กงานประชุม บรรทัดผู้เขียน ลิงก์ และช่องเสียบเฉพาะสองช่อง:
ใต้หัวข้อเชิงลึก บรรทัดอธิบายภาษาชาวบ้าน (.speak) บอกผู้อ่านก่อนว่าโมดูลนี้ทำอะไร แล้วค่อยว่ากันเรื่องกลไก:
Attention คือตารางค้นหาแบบนุ่ม: ทุกโทเคนถามว่า "ใครเกี่ยวข้องกับฉันบ้าง" แล้วได้คำตอบกลับมาเป็นส่วนผสมถ่วงน้ำหนัก
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook — เหตุผลที่พื้นสูตรคณิตศาสตร์ได้โทนกระดาษเป็นของตัวเอง
- W3C, Web Content Accessibility Guidelines 2.2 — เกณฑ์คอนทราสต์ AA ที่โทเคนถูกตรวจวัดเทียบ