NadiAIGlobal AI news. Concise. Clear. Easy to follow.
Seb Moss berbual dengan Massimo Roderi dari Terna Energy Solutions mengenai kekurangan transformer, pemodenan grid dan tenaga boleh diperbaharui di Itali. Perbincangan juga menyorot cabaran infrastruktur elektrik yang mempengaruhi pengembangan pusat data.
Hugging Face menerangkan bagaimana NVIDIA NeMo AutoModel boleh mempercepat proses fine-tuning model Transformer. Catatan itu berkongsi pendekatan dan manfaat praktikal untuk latihan lebih cekap pada infrastruktur NVIDIA.
Kecerdasan buatan kini berusia 70 tahun sejak istilah itu diperkenalkan pada 1956, berkembang dari model neuron awal hingga model transformer dan generatif moden. Perkembangan itu disokong organisasi seperti IEEE tetapi turut membawa cabaran berterusan termasuk bias, 'hallucination', isu privasi, keselamatan dan keperluan tadbir urus etika.
OpenAI memperkenalkan MuseNet, rangkaian neural dalam yang boleh menjana komposisi muzik sehingga empat minit menggunakan 10 instrumen berbeza. Menurut OpenAI, MuseNet mempelajari harmoni, rentak dan gaya dengan meramal token seterusnya dalam ratusan ribu fail MIDI serta menggunakan teknologi transformer serupa GPT-2.
OpenAI menunjukkan fenomena double descent berlaku pada CNN, ResNet dan transformer: prestasi meningkat, kemudian merosot, lalu meningkat semula apabila saiz model, jumlah data atau masa latihan ditambah. Fenomena ini sering diuruskan dengan regularisasi tetapi masih belum difahami sepenuhnya, dan memerlukan kajian lanjut.
OpenAI melaporkan bahawa model transformer besar yang dilatih pada urutan piksel boleh menghasilkan sambungan imej dan sampel yang koheren. Mereka juga menemui korelasi antara kualiti sampel dan ketepatan klasifikasi imej, dengan model generatif terbaik menampilkan ciri kompetitif berbanding rangkaian konvolusi dalam tetapan tanpa penyeliaan.
IEEE menawarkan program dalam talian lima kursus, 'Large Language Models Demystified', untuk jurutera yang ingin memahami binaan dan operasi LLM. Kurikulum merangkumi arkitektur transformer, latihan PyTorch, kaedah pengoptimuman dan keselamatan data serta memberi kredit pembangunan profesional dan lencana digital.
Hugging Face memperkenalkan Perceiver IO, model sepenuhnya berasaskan perhatian yang berskala dan menyokong pelbagai modaliti. Butiran teknikal dan prestasi dirujuk kepada catatan blog asal.
Habana Labs dan Hugging Face mengumumkan usaha sama untuk mempercepat latihan model transformer, menurut Hugging Face Blog. Perkongsian itu bertujuan meningkatkan prestasi dan kecekapan proses latihan model berskala besar.
OpenAI menerangkan latihan skala besar bagi model generatif teks-ke-video menggunakan difusi dan transformer pada kod laten imej dan video. Model terbesar mereka, Sora, dikatakan mampu menghasilkan sehingga satu minit video berkualiti tinggi, dan hasil awal mencadangkan penskalaan boleh membantu pembangunan simulator fizikal umum.