Yinelemeli modeller token’ları teker teker işler — uzun menzilli bağımlılıklar silikleşir, hiçbir şey paralelleşmez. Ana fikir: yalnızca dikkat, yineleme yok — her token diğer her token’a tek adımda bakar ve bütün dizi paralel eğitilir. O günden bu yana neredeyse her büyük dil modelinin üzerine kurulduğu mimari.
İçerik ve tipografi
Düz yazının yapı taşları. Her biri token’ların yalnızca anlamsal katmanını tüketir — paleti değiştirin, hepsi peşinden gelir.
§1.1Callout
Beş varyant; title verilirse varyantın varsayılan etiketinin (Note / Intuition / Warning / Important / Abstract — alıntı sözdiziminin de kullandığı, labels ile yerelleştirilebilen varsayılanlar) yerine geçer. Aynı işaretlemenin alıntı sözdizimi ve ham HTML yazımlarını hepsi bir arada gösterir.
§1.2Chip
Durum ve kategoriler için satır içi rozetler; PaperCard etiketleriyle HubCard çiplerinin paylaştığı dört varyantta: kararlı beta araştırma yeni — konu paletleri içinse özel bir ton: özel ton
§1.3Grid
Tek ızgara, üç kaplama (plain, card, cmp). Kartlar:
Önce token’lar. Import sırası sözleşmenin parçasıdır: token’lar, sonra içerik katmanı, sonra site chrome’u.
Yalnızca anlamsal katman. Bileşenler ham renklere hiç dokunmaz — paleti değiştirin, hepsi peşinden gelir.
Bir de önce/sonra panoları için yapılmış karşılaştırma kaplaması:
Bekçi olmadan — kapanmamış bir **, üretime iki yalın yıldız olarak çıkar.
Bekçiyle — derleme, imin altına düzeltme işareti koyarak dosya:satır:sütun adresinde düşer.
§1.4Steps
Dikey bir ray üzerinde bir markdown listesi:
- İki submodule’ü ve
file:bağımlılıklarını ekleyin. - Global stil sayfanızda
tokens.css,base.cssve (bir wiki için)browse.cssdosyalarını import edin. siteMarkdown()fonksiyonunuastro.config’e bağlayın.- Birinci katman paletini kimlik pigmentlerinizle geçersiz kılın.
§1.5Stats
- token katmanı
- 2
- bileşen
- 24
- sonda görüntü genişliği
- 4
- derleme adımı
- 0
§1.6PaperCard
Literatür taramasının yük beygiri — takma ad, tam başlık, mekân etiketleri, yazar bilgisi, bağlantılar ve iki özel yuva:
Derin bir inceleme başlığının altında, tek satırlık sade dilli bir açıklama (.speak), mekanizmadan önce modülün ne yaptığını söyler:
Dikkat, yumuşak bir arama tablosudur: her token "bana kim ilgili?" diye sorar ve cevapların ağırlıklı bir karışımını alır.
§1.7References
- Vaswani et al., Attention Is All You Need, NeurIPS 2017.
- Knuth, The TeXbook — matematik zeminlerinin kendi kâğıt tonunu almasının nedeni.
- W3C, Web Content Accessibility Guidelines 2.2 — token’ların denetlendiği AA kontrast çıtası.