Groq 在 SC23 展示面向大语言模型推理的 LPU 系统

Groq 在超算大会 SC23 展示其面向大语言模型（LLM）的生成式 AI 推理系统与 GroqNode 集群。该系统基于自研 LPU（Language Processing Unit）硬件架构，针对自回归生成中的内存带宽瓶颈进行专门优化，在 Llama-2 等开源前沿大模型上实现高吞吐低延迟 token 生成。