Kajian
Transformer Jarang bagi Pemodelan Generatif
Dengar Ringkasan
Audio AI dalam sebutan Bahasa Melayu Malaysia, berdasarkan ringkasan NadiAI dan sumber asal.
Digest Audio Harian
Dapatkan ringkasan audio berita AI harian pada peranti anda.
Pasang NadiAI untuk akses pantas kepada 5 berita AI terkini setiap hari.
- Klik Aktifkan Alert dan benarkan notifikasi daripada NadiAI.
- Jika pilihan Pasang App muncul di address bar, anda boleh pasang NadiAI untuk akses lebih pantas.
- Jika tidak, bookmark halaman ini atau pin tab NadiAI.
Ringkasan
OpenAI membangunkan Sparse Transformer, rangkaian neural yang mencatat rekod baharu dalam meramal elemen seterusnya bagi teks, imej dan bunyi. Model ini menggunakan peningkatan algoritma pada mekanisme perhatian untuk mengekstrak corak dalam urutan sehingga 30 kali lebih panjang daripada sebelum ini.
Kenapa Ini Penting
Ia membolehkan model generatif memproses konteks lebih panjang dan berpotensi meningkatkan kualiti ramalan rentas modaliti seperti teks, imej dan audio.