Groq 公布 LPU 推理引擎独立第三方基准测试性能

Groq 公布其 LPU 推理引擎在独立第三方评估机构 ArtificialAnalysis.ai 基准测试中的实测数据。在 Llama 2 70B 等大语言模型推理测试中，LPU 推理引擎以每秒数百 token 的输出速率与低延迟表现位列同类测试前列，验证了其纯片上 SRAM 高带宽流式架构在顺序生成任务中的推理效能。