750 tokenów wyjściowych na sekundę
To sufit, nie średnia. OpenAI samo pisze „do”
W skrócie
44 GB
pamięci SRAM na chipie
Wagi modelu w ogóle nie opuszczają chipu.
14
razy szybciej niż Standard
Ten sam model, dwa tryby. Zmienia się tylko czas czekania.
74
tokeny na sekundę
74 na sekundę to zwykła ścieżka.
Model napisało OpenAI. Uruchamia go Cerebras.
Najpierw dostaje go API. I to słowo „najpierw” robi tu całą robotę.
Źródła
- cerebras.ai
- openai.com
- simonwillison.net
- unite.ai
