Tools

Prompt Caching dalam API OpenAI

Sumber: OpenAI News 01 Oct 2024

Dengar Ringkasan

Audio AI dalam sebutan Bahasa Melayu Malaysia, berdasarkan ringkasan NadiAI dan sumber asal.

Ringkasan

OpenAI memperkenalkan prompt caching dalam API yang memberikan diskaun automatik untuk input yang model baru-baru ini lihat. Ciri ini direka untuk mengurangkan kos bagi permintaan berulang dan memudahkan penggunaan bagi pembangun.

Kenapa Ini Penting

Ia boleh menurunkan kos operasi aplikasi berulang dan meningkatkan keberkesanan penggunaan API.