Perlawanan Penanda Aras OpenAI Five Tamat
OpenAI mengumumkan perlawanan penanda aras OpenAI Five kini tamat. OpenAI News memaklumkan penutupan itu tetapi butiran keputusan dan analisis teknikal belum diberikan.
ConTextual: uji keupayaan model multimodal pada adegan teks-padat
Hugging Face memperkenalkan ConTextual, penilaian untuk mengukur sejauh mana model multimodal boleh beralasan bersama teks dan imej dalam adegan yang padat dengan teks. Hugging Face berkata ia bertujuan menilai prestasi model pada tugas vision-language.
BenCzechMark: Ujian Keupayaan LLM untuk Bahasa Czech
Hugging Face memperkenalkan BenCzechMark untuk menilai sejauh mana model bahasa besar memahami Czech. Blog itu menerangkan metodologi penilaian dan menyediakan keputusan ringkas bagi model yang diuji.
Kajian Semula Penilaian LLM dengan 3C3H dan Penanda AraGen
Hugging Face memperkenalkan rangka kerja penilaian 3C3H dan penanda AraGen untuk menilai model bahasa besar (LLM) secara lebih holistik. Artikel blog itu menerangkan papan kedudukan berasaskan AraGen serta metodologi 3C3H yang bertujuan memperbaiki kebolehbandingan dan ketelusan penilaian.
Memperbaiki Open LLM Leaderboard dengan Math-Verify
Hugging Face mencadangkan Math-Verify untuk memperbaik ketepatan penilaian pada Open LLM Leaderboard. Kaedah ini bertujuan mengurangkan keputusan yang mengelirukan dengan memeriksa kesahihan penyelesaian matematik model.
DeepMind lancar Game Arena untuk menilai kecerdasan AI
DeepMind memperkenalkan Game Arena, platform sumber terbuka untuk penilaian ketat model AI. Ia membolehkan perbandingan satu lawan satu antara sistem termaju dalam persekitaran dengan syarat kemenangan yang jelas.
OpenAI lancar IndQA untuk nilai AI dalam bahasa India
OpenAI memperkenalkan IndQA, penanda aras baharu untuk menilai sistem AI dalam 12 bahasa India. Dibangunkan bersama pakar domain, ia menguji kefahaman budaya dan kebolehan penaakulan merentas 10 bidang pengetahuan.
OpenAI lancar FrontierScience untuk uji kebolehan AI dalam sains
Menurut OpenAI, FrontierScience ialah penanda aras yang menguji kebolehan reasoning AI dalam fizik, kimia dan biologi. Ia bertujuan mengukur kemajuan AI ke arah melaksanakan tugas penyelidikan saintifik yang sebenar.
Standard Penilaian Terbuka untuk NVIDIA NeMoTron 3 Nano
Hugging Face menerangkan penggunaan NeMo Evaluator untuk menanda aras model NVIDIA NeMoTron 3 Nano menurut standard penilaian terbuka. Ringkasan itu menggariskan kaedah dan metrik yang digunakan serta tujuan untuk meningkatkan keterbandingan keputusan.