资讯

智东西6月17日消息,美国AI芯片创企Groq昨天宣布,其已正式成为Hugging Face Hub支持的推理服务提供商,推理服务已无缝集成至Hugging Face的JS和Python客户 ...
而Groq凭借其专为AI推理设计的语言处理单元(LPU)架构,显著提升了处理效率。 据独立评测机构Artificial Analysis的数据,Groq在部署Qwen332B时,每秒能处理高达535个token,轻松应对实时文档处理和复杂推理任务。 与Hugging Face的合作,为Groq带来了前所未有的开发者资源。
Groq 助力首个阿拉伯语语音 AI,扩大中东科技布局 Dialog 支持英语和阿拉伯语,其中阿拉伯语版本是首个专门为中东地区设计的语音 AI。
Groq展现出其芯片对多种模型的支持力度,例如Mistral AI的Mixtral8x7BSMoE和meta的Llama2等,享受4096字节的上下文长度。 同时值得注意的是,Groq的推理芯片售价低于NVIDIA的H100,这进一步彰显了其强大的性价比。 尽管Groq的LPU芯片表现卓越,但受到了美国出口管制的影响。
英伟达竞争对手、新锐AI企业、Groq日前宣布完成6.4亿美元D轮融资,估值达到28亿美元。 此轮融资由贝莱德私募股权合伙人管理的基金和账户领投 ...
正如 Groq 第一次闯入大众视野是因为一个字,「快」,Groq 此次提速继续在速度的赛道狂飙。 Groq 承诺可以比竞争对手更快更经济地完成任务,在一定程度上得益于其语言处理单元(LPU)。 相比 GPU,LPU 减少了管理多个线程的开销,并避免了核心利用率不足。
IT之家 8 月 6 日消息,AI 芯片初创公司 Groq 本周一发布公告,宣布最新完成了 6.4 亿美元(IT之家备注:当前约 45.67 亿元人民币)融资,目标打造全新 ...
IT之家 8 月 6 日消息,AI 芯片初创公司 Groq 本周一发布公告, 宣布最新完成了 6.4 亿美元(IT之家备注:当前约 45.67 亿元人民币)融资,目标打造全新芯片,可以更快地处理 AI 推理等任务。 Groq 完成本次融资后,前后共计完成融资超过 10 亿美元, 公司估值达到 28 亿美元(当前约 199.83 亿元人民币 ...
人工智能芯片行业取得了重大进展,初创公司 Groq 在最新一轮融资中获得了 640 亿美元的巨额资金。这笔意外之财由投资巨头贝莱德领投,将 Groq 的估值推高至惊人的 2.8 亿美元。这笔巨额投资表明,人们对 Groq 颠覆人工智能硬件市场的潜力充满信心,目前 […] ...
Groq公司最近在其网站上推出了一款闪电般快速的LLM引擎,让开发者们可以直接进行大型语言模型的快速查询和任务执行。 这一引擎使用Meta的开源LLama3-8b-8192LLM,默认支持其他模型,速度之快令人惊叹。根据测试结果,Groq的引擎 ...
Groq的AI芯片是LPU(语言处理器),此前Groq称其芯片推理性能是英伟达GPU的10倍。 有消息称,AI芯片初创公司Groq在新一轮融资中,估值将达到25亿美元 ...
本文介绍了如何使用Groq LPU推理引擎在Jan AI和VSCode中生成超快速响应。 每个人都致力于构建更好的大语言模型 (LLM),而Groq专注于AI的基础设施方面,旨在确保这些大模型更快速响应。 本教程将介绍Groq LPU推理引擎以及如何在笔记本电脑上使用API和Jan AI本地访问它。