Global
OpenAI dan Broadcom lancar pemproses 'Jalapeño' untuk inferens LLM
Dengar Ringkasan
Audio AI dalam sebutan Bahasa Melayu Malaysia, berdasarkan ringkasan NadiAI dan sumber asal.
Digest Audio Harian
Dapatkan ringkasan audio berita AI harian pada peranti anda.
Pasang NadiAI untuk akses pantas kepada 5 berita AI terkini setiap hari.
- Klik Aktifkan Alert dan benarkan notifikasi daripada NadiAI.
- Jika pilihan Pasang App muncul di address bar, anda boleh pasang NadiAI untuk akses lebih pantas.
- Jika tidak, bookmark halaman ini atau pin tab NadiAI.
Ringkasan
OpenAI dan Broadcom memperkenalkan Jalapeño, pemproses direka khusus untuk inferens model bahasa besar dan bukan akselerator umum yang diubah suai. Rekabentuk dari awal itu disasarkan mengoptimumkan tugas inferens LLM moden, menurut Data Center Dynamics.
Kenapa Ini Penting
Reka bentuk khusus boleh meningkatkan kecekapan dan prestasi inferens LLM, mempengaruhi kos dan skala pengoperasian model besar.