AI News Topics
GPT-2
3 concise briefings covering GPT-2.
OpenAI News
20 Aug 2019
OpenAI melepaskan model bahasa GPT-2 bersaiz 774 juta parameter selepas keluaran model 124M pada Februari dan 355M pada Mei, disertai kajian terhadap potensi penyalahgunaan dan manfaat sosial. Syarikat itu juga menerbitkan perjanjian undang-undang sumber terbuka untuk mempermudah perkongsian model antara organisasi serta laporan teknikal mengenai pengalaman mereka mengkoordinasi norma penerbitan dengan komuniti penyelidikan AI.
OpenAI News
19 Sep 2019
OpenAI menala semula GPT-2 (774M parameter) menggunakan maklum balas manusia untuk pelbagai tugas dan berjaya menepati pilihan pelabel luaran walaupun ia kadangkala berbeza dengan pasukan mereka. Untuk ringkasan diperlukan 60,000 label kerana pelabel cenderung memilih ayat yang disalin terus dari input, manakala tugas sambungan teks gaya ringkas memerlukan kira-kira 5,000 label.
OpenAI News
05 Nov 2019
OpenAI mengeluarkan versi terbesarnya GPT-2 (1.5 bilion parameter) bersama kod dan berat model sebagai pelepasan akhir dalam pelan pelepasan berperingkat mereka. Tujuan termasuk memudahkan pengesanan keluaran GPT-2 dan menyediakan contoh kes untuk pembangun model berkuasa serta meneruskan perbincangan tentang penerbitan bertanggungjawab.