NadiAIGlobal AI news. Concise. Clear. Easy to follow.
Hugging Face examines model routing, showing how simple routing schemes become complex in real-world deployments. The post highlights practical challenges and trade-offs developers face when scaling routing strategies across models and hardware.
Hugging Face bekerjasama dengan Cerebras untuk menyokong model Gemma 4 pada perkakasan Cerebras bagi aplikasi suara masa nyata. Langkah ini bertujuan mempercepat inferens dan penyebaran model suara yang responsif di persekitaran produksi, menurut Hugging Face Blog.
Etched, pesaing cip AI Nvidia, mengumumkan penilaian syarikat $5 bilion dan mendakwa telah menandatangani $1 bilion kontrak untuk sistem inference berasaskan cipnya. Pernyataan ini dilaporkan oleh TechCrunch AI dan menggambarkan permintaan awal untuk produk Etched.
Hugging Face menerangkan pendekatan untuk menskalakan inference model BERT-like pada CPU moden dalam Bahagian 2 siri mereka. Artikel ini menumpukan pada strategi pengoptimuman dan pertimbangan teknikal sambil kekal ringkas mengenai butiran implementasi.
Menurut TechCrunch, startup inference Baseten dilaporkan hampir menyelesaikan pusingan pembiayaan $1.5 bilion pada penilaian $13 bilion. Ini berlaku beberapa bulan selepas pusingan mega sebelumnya dan mencerminkan minat tinggi terhadap teknologi inference.
Hugging Face memperkenalkan LLM Inference Container untuk Amazon SageMaker. Menurut entri blog rasmi, ia direka untuk memudahkan penyebaran model LLM pada infrastruktur SageMaker dan memperbaiki aliran kerja inferens.
Hugging Face mengumumkan sokongan untuk pemecutan model bahasa besar (LLM) secara 'out-of-the-box' pada GPU AMD. Menurut catatan blog rasmi, ini membolehkan pecutan LLM tanpa konfigurasi kompleks pada perkakasan AMD.
Hugging Face menerbitkan catatan mengenai penggunaan inference serverless bersama NVIDIA NIM. Catatan itu menerangkan aliran kerja dan pertimbangan implementasi, menurut blog rasmi syarikat.
Hugging Face memperkenalkan Universal Assisted Generation untuk mempercepat proses decoding menggunakan sebarang model pembantu. Pendekatan ini bertujuan membolehkan penjanaan lebih pantas dan fleksibel tanpa memerlukan latihan semula model.
Hugging Face memperkenalkan Bamba, versi hibrid model Mamba2 yang dioptimumkan untuk kecekapan inferens. Ia direka untuk mengurangkan kos dan masa inferens sambil mengekalkan prestasi, menurut keterangan rasmi Hugging Face.
Hugging Face mengumumkan sokongan multi-backend (TRT-LLM, vLLM) untuk Text Generation Inference. Sokongan ini memberi fleksibiliti pemilihan backend dan pilihan prestasi untuk aplikasi penjanaan teks.
Hugging Face memperkenalkan tiga penyedia inference tanpa server baru: Hyperbolic, Nebius AI Studio dan Novita. Pengumuman itu menambah pilihan bagi pengguna platform untuk menjalankan inference model secara serverless.