A Google Research nemrégiben jelentette be a Pathways Language Model (PaLM) nevű, 540 milliárd paramétert tartalmazó mesterséges intelligencia alapú természetes nyelvfeldolgozó (NLP) modellt, amely a BIG-bench MI-k tesztelésére szolgáló rendszeren felülmúlja az átlagos emberi teljesítményt.
Sharan Narang és Aakanksha Chowdhery szoftvermérnökök a Google Research blogján közzétett bejegyzésben ismertették a PaLM-et.
A modell egy kizárólag autoregresszív dekódolós Transformer architektúrát használ, és a Google Pathways technológiájával egy 6144 TPU-chipből álló klaszteren – az eddig ismert legnagyobb ilyen klaszteren – képezték ki. A PaLM 29 természetes nyelvfeldolgozási (NLP) feladatsoron értékelve egy kivételével mindegyikben felülmúlta a jelenlegi nyelvi modelleket.
A PaLM két új képességgel is rendelkezik, ezek egyike a logikai következtetés a másik pedig a viccek elmagyarázása.
Kiadási dátuma: 2022. április
Fejlesztő: Google
Paraméterszám: 540 milliárd
Képzési anyag mérete: 768 milliárd token
Forrás: https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html