NadiAIGlobal AI news. Concise. Clear. Easy to follow.
OpenAI menunjukkan fenomena double descent berlaku pada CNN, ResNet dan transformer: prestasi meningkat, kemudian merosot, lalu meningkat semula apabila saiz model, jumlah data atau masa latihan ditambah. Fenomena ini sering diuruskan dengan regularisasi tetapi masih belum difahami sepenuhnya, dan memerlukan kajian lanjut.
OpenAI mengumumkan mereka menstandardkan rangka kerja pembelajaran mendalam kepada PyTorch. Maklumat itu disiarkan oleh OpenAI sendiri.
Menurut Hugging Face, panduan Accelerate ND‑Parallel menerangkan cara mengoptimumkan latihan model pada banyak GPU untuk prestasi dan penggunaan memori lebih baik. Ia merangkumi strategi pengagihan data, penyegerakan, dan tetapan yang membantu latihan berskala besar.