NadiAIGlobal AI news. Concise. Clear. Easy to follow.
Hugging Face menerangkan perbezaan prestasi ramalan token antara model hibrid dan model standard berdasarkan data toy dan metrik tertentu. Penulis membincangkan situasi di mana model hibrid mengatasi atau ketinggalan dalam meramal token berbanding model lain, dengan contoh eksperimen ringkas.
OpenAI mengeluarkan kernel GPU dioptimumkan untuk arkitektur rangkaian neural dengan berat block-sparse. Bergantung pada sparsiti, kernel ini boleh berjalan berpuluh kali ganda lebih pantas daripada cuBLAS atau cuSPARSE dan telah digunakan untuk analisis sentimen serta pemodelan generatif teks dan imej.
Hugging Face membincangkan pendekatan untuk mengoptimumkan model bahasa besar (LLM) dalam persekitaran pengeluaran. Perbincangan termasuk pertimbangan prestasi, kos, pemantauan dan strategi penskalaan yang perlu dipertimbangkan.
Blog Hugging Face menerangkan pendekatan 'prefill' dan 'decode' untuk mengendalikan permintaan serentak kepada model besar bahasa (LLM). Teknik ini bertujuan mengurangkan latensi dan meningkatkan kecekapan inferens, terutamanya dalam beban permintaan tinggi.
Google DeepMind mengumumkan kemas kini model Gemini 2.5 dengan peningkatan prestasi dan ketepatan. Versi Pro kini stabil, Flash dilancarkan secara umum, dan Flash‑Lite ditawarkan dalam pratonton.