A Microsoft és az NVIDIA bemutatja a Megatron-Turing Natural Language Generation modellt (MT-NLG), amelyet a DeepSpeed és a Megatron hajt, és amely a legnagyobb és legerősebb, 530 milliárd paraméterrel képzett monolitikus transzformátor-nyelvi modell. Az MT-NLG a Turing NLG 17B és a Megatron-LM utódja. A modell mérete háromszorosa a legnagyobb hasonló modellnek. Nagy pontossággal képes természetes nyelvi feladatokat elvégezni, mint például előrejelzés, olvasásértés, hétköznapi érvelés, természetes nyelvi következtetés és szóértelmezés tisztázása.
Megjelenés dátuma: 2021. október
Fejlesztő: NVIDIA-Microsoft
Paraméterszám: 530 milliárd
Képzési anyag mérete: 338.6 milliárd token