维其互联 > 信息聚合 > 国产芯片加速适配QwQ-32B,业内人士:比DeepSeek更适合推理普及 | ToB产业观察

国产芯片加速适配QwQ-32B,业内人士:比DeepSeek更适合推理普及 | ToB产业观察

2025-03-10 19:05:00来源: 钛媒体

图片系AI生成大模型可能没有永远的王者,只有更适合的下一个。继DeepSeek-R1推理模型之后,算力供应端押宝阿里巴巴千问QwQ-32B,被视作产业即将大规模落地的推理模型。3月10日消息,国家超算互联网平台宣布接入阿里巴巴通义千问大模型,对外提供千问 QwQ-32B API服务,用户可免费获得100万 tokens。不少国产算力厂商也已经推出或正在计划推出更适合QwQ-32B的算力部署模式。此前,国产AI芯片厂商壁仞科技推出了基于壁砺TM106全系列一体机,全面支持QWQ-32B大模型推理;摩尔线程基于大语言模型高速推理框架 vLLM 以及 MT Transformer 推理引擎部署了 QwQ-32B。中国RISC-V芯片公司算能的SophNet云平台接入QwQ-32B模型,依托算能自研TPU,QwQ-32B的推理速度达75 Tokens/s;东南大学基于昇腾国产算力平台,接入QwQ-32B模型,成为全国首个提供该服务的高校;青云科技旗下AI算力云也上线了 QwQ-32B。业内人士表示,作为推理模型,行业更关注QwQ-32B的性价比指标,DeepSeek-R1客观普及了大模型推理场景,之后的大模型必须提供更好的效果和成本数据,才能弥补DeepSeek-R1的替换成本。据阿里巴巴官方信息,在冷启动基础上,阿里通义团队针对数学和编程任务、通用能力分别进行了两轮大规模强化学习,在32B的模型尺寸上,既能提供极强的推理能力,又能满足更低的资源消耗需求,适合快速响应

关注公众号
标签: 芯片 2b