集成230MB SRAM!AI推理速度提升超10倍,Groq LPU能否取代英伟达GPU?

2月20日消息,美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注。其最具特色之处在于,采用了全新的Tensor Streaming Architecture (TSA) 架构,以及拥有超高带宽的SRAM,从而使得其对于大模型的推理速度提高了10倍以上,甚至超越了英伟达的GPU。