NadiAIGlobal AI news. Concise. Clear. Easy to follow.
OpenAI News melaporkan pendekatan melatih rangkaian neural jarang menggunakan regularisasi L₀. Laporan itu menerangkan kaedah teknikal untuk menggalakkan unsur jarang dalam model sambil menilai implikasi terhadap prestasi.
OpenAI menunjukkan fenomena double descent berlaku pada CNN, ResNet dan transformer: prestasi meningkat, kemudian merosot, lalu meningkat semula apabila saiz model, jumlah data atau masa latihan ditambah. Fenomena ini sering diuruskan dengan regularisasi tetapi masih belum difahami sepenuhnya, dan memerlukan kajian lanjut.