Bagaimana Latihan AI Boleh Diskalakan
Penyelidikan OpenAI mendapati 'gradient noise scale', metrik statistik ringkas, boleh meramalkan mudahnya latihan rangkaian neural diparalelkan merentas tugasan. Kerana tugasan kompleks cenderung mempunyai gradien lebih bising, saiz kumpulan (batch) yang semakin besar dijangka berguna dan mungkin mengurangkan satu had kepada pertumbuhan sistem AI.