Groq®
运行在定制GPU上的超快速LLM
2024-02-21

LPU推理引擎(LPU代表Language Processing Unit™)是一种新型的端到端处理单元系统,能够以每秒约500个令牌的速度提供最快的推理。
Groq® 提供由其定制构建的语言处理单元(LPU™)驱动的超快速AI推理,速度高达每秒约500个令牌。Groq设计用于无缝集成,只需修改三行代码,用户即可轻松从OpenAI等提供商过渡。它支持流行的开放可用AI模型,如Llama、DeepSeek、Mixtral和Whisper,确保为多样化应用提供即时智能。独立基准测试证实了Groq无与伦比的速度,使其成为快速高效AI处理的首选。通过注册新闻更新,随时了解Groq的最新进展。
Hardware
Artificial Intelligence
Tech