Hugging Face tambah sokongan multi-backend untuk Text Generation Inference
Hugging Face mengumumkan sokongan multi-backend (TRT-LLM, vLLM) untuk Text Generation Inference. Sokongan ini memberi fleksibiliti pemilihan backend dan pilihan prestasi untuk aplikasi penjanaan teks.