Transformer Jarang bagi Pemodelan Generatif
OpenAI membangunkan Sparse Transformer, rangkaian neural yang mencatat rekod baharu dalam meramal elemen seterusnya bagi teks, imej dan bunyi. Model ini menggunakan peningkatan algoritma pada mekanisme perhatian untuk mengekstrak corak dalam urutan sehingga 30 kali lebih panjang daripada sebelum ini.