美团发布LongCat-2.5大模型:1.6万亿参数,全程国产算力训练
据新华网报道,美团11月2日发布原生多模态大模型LongCat-2.5,总参数1.6万亿,训练全程由国产算力完成,强化长程智能体任务、视觉理解与智能体编程能力。
美团同期推出面向本地生活商家的AI(人工智能)经营工作台“妙手”,已服务古茗、徐升记、益禾堂等连锁品牌。 训练吞吐、推理量化提速和经营分析案例数据均出自美团技术博客,属公司口径,尚未经第三方验证。
据新华网11月3日报道,美团11月2日发布新一代大模型LongCat-2.5,总参数1.6万亿,训练全程由国产算力完成。 今年6月发布的LongCat-2.0首次在国产算力上完成万亿参数模型的全流程训练与推理。 LongCat-2.5在此基础上强化原生视觉理解与智能体编程能力; 中训练阶段采用最长达1M token的序列,累计训练量达数万亿token。
美团技术博客披露:优化后的单卡训练吞吐量较DDP(分布式数据并行,Distributed Data Parallel)基线提升86%; 推理采用W4A4方案,将专家权重和激活量化至4比特,相较W8A8 INT8基线,输入处理和逐token生成吞吐量均提升约四成,首次输出等待时间缩短约16%,后续每token生成耗时缩短约20%。
在品牌多渠道经营分析案例中,模型自主构建渠道利润表,识别出支付GMV(商品交易总额)增长23.2%而渠道利润下降1.7%。
LongCat-2.5的看点不在参数规模本身,而在“全程国产算力”与“服务主业”两个约束下的工程取舍:针对国产算力单卡显存小的限制,美团围绕超节点优化任务分工,把主要通信放在高速互联网络内; 4比特量化在保持下游任务表现的同时压缩推理成本。
对内容创作与AI(人工智能)消费应用赛道而言,这意味着本地生活类商家工具可能获得更贴近经营数据的长程智能体能力,也为消费类应用接入类似能力提供参照。 但技术博客的吞吐与提速数据缺少第三方复现,经营分析案例是单一示例,不能外推为普适效果。
后续观察信号
- LongCat-2.5的开源或API(应用程序编程接口)开放计划
- 美团是否披露“妙手”的商家使用数据
- W4A4量化方案在其他硬件上的表现
