NadiAIGlobal AI news. Concise. Clear. Easy to follow.
OpenAI describes GPT-Red, an automated red teaming method that uses self-play to identify vulnerabilities and bolster model safety and alignment. The system focuses on improving resistance to prompt injection and other robustness failures through iterative testing.
OpenAI News membentangkan konsep 'Instruction Hierarchy', kaedah latihan untuk menjadikan LLM mengutamakan arahan terlindung berbanding arahan luar. Ia bertujuan mengurangkan kebolehan suntikan prompt, jailbreak dan serangan yang cuba menulis ganti arahan asal model.
Serangan 'prompt injection' menipu model AI untuk melaksanakan arahan berbahaya atau mendedahkan maklumat sensitif. OpenAI menggerakkan penyelidikan, melatih model dan membina langkah keselamatan untuk mengurangkan risiko bagi pengguna.
OpenAI sedang menguatkan ChatGPT Atlas untuk melawan serangan prompt injection dengan red teaming automatik yang dilatih menggunakan reinforcement learning. Proses 'discover-and-patch' proaktif ini membantu mengenal pasti eksploitasi baharu lebih awal dan memperkukuh pertahanan ejen pelayar apabila AI menjadi lebih agenik.
OpenAI menerangkan langkah keselamatan terbina yang digunakan apabila agen AI membuka pautan untuk mencegah eksfiltrasi data melalui URL dan serangan prompt injection. Penjelasan ini disiarkan oleh OpenAI News sebagai gambaran tentang perlindungan data yang diterapkan.
OpenAI menambah dua ciri baru dalam ChatGPT: Lockdown Mode dan label 'Risiko Tinggi'. Ciri ini direka untuk membantu organisasi mempertahankan terhadap serangan prompt injection dan pengalihan data oleh AI. Langkah tersebut bertujuan mempertingkat kawalan keselamatan apabila model digunakan dalam persekitaran berisiko.
OpenAI menerangkan bagaimana ChatGPT melindungi ejen daripada prompt injection dan kejuruteraan sosial dengan mengehadkan tindakan berisiko dan melindungi data sensitif dalam aliran kerja ejen. Pendekatan ini menumpukan kawalan operasi dan sekuriti data bagi mengurangkan pendedahan arahan berbahaya.
OpenAI mengumumkan program Safety Bug Bounty untuk mengesan penyalahgunaan dan risiko keselamatan pada sistem AI. Fokus termasuk kerentanan agentik, suntikan arahan (prompt injection) dan eksfiltrasi data.