我最近一直在用cerebras,给我的感受就是两个字,震惊——震惊程度不亚于我第一次用Groq,
在OpenAI还在每秒钟吐2行字的时候,groq能做到1000 tokens/second,而cerebras能做到了2600 tokens/second(假定都是70b模型),
OpenAI还在一行行出字符,Groq几乎是在爆屏,而Cerebras完全是一秒出几屏。
一堆大傻逼会教育你说,“200 tokens/second就足够用了,再快多少倍,都是一丁点用都没有”,
我强烈建议你,不要理这些人,拿他们当大傻逼就好了。