11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨与混元团队研究员在 Reddit 的 r/LocalLLaMA 社区进行了约两小时的公开问答,共收到三百余条留言,这是该团队首次在开发者社区集中答问。
问答发生在混元 11 月 4 日发布 Hy4、11 月 16 日发布 Hy4 flash 之后:前者定位旗舰,支持文本、图像与视频理解,面向长程软件工程等多步推理任务;后者主打日常办公的速度与成本,支持最长约一百万 Token 上下文,每个 Token 激活约 120 亿参数,按团队内部 WorkIndex 评测,平均单任务成本约为 Hy4 的二十分之一。
团队明确表示下一代 Hy 模型规模将「进一步显著扩大」,并继续投入大规模强化学习,但对开发者追问的一点五万亿至两万亿参数未予确认;同时确认 Hy4-mini 已进入路线图,正考虑 24B 至 31B 稠密模型、前沿 Flash-Lite 与面向 24GB 显存的型号,更小的开源图像模型与视频模型也在规划中。技术取舍上,团队解释 Hy4 flash 采用滑动窗口注意力把 KV 缓存压到约四分之一以降服务成本,Engram 参数占比约三分之一来自实验中的 U 形曲线最优点,并称过于稀疏的混合专家架构会占用大量显存却无法充分利用算力。
被问及后训练阶段最难改善的行为,回复只有「过度思考」四个字:Hy4 以追求智能上限为目标、思维链过长是已知问题,团队先把长链蒸馏为高性价比的 flash,再用强化学习压短思维链。
团队还承认创意写作与可读性仍是重点改进方向,递归自我改进能力「仍处于早期」,按 Levels of AGI 分级自评约 2.5 级,并说明不公布 GPQA Diamond、SWE-bench 等成绩是因这些基准分数已接近饱和,改用 Agents' Last Exam、ProgramBench 等更新更难的题目。llama.cpp 适配正在推进,与 vLLM、SGLang 等推理框架的合作也在进行。
上述均为团队公开答问口径,尚未给出下一代模型与小模型的具体发布时间。
这场答问没有给出下一代模型与小模型的具体发布时间,路线图目前仍停留在「已确认在列」的阶段。对开发者更实用的是几项部署口径:96GB 显存配 128GB 系统内存可跑 Hy4 flash,主要权重留在 GPU、部分专家层与 Engram 查表模块可卸载到内存;有开发者报告托管版全对而本地 NVFP4 版约 8% 出错,团队建议改用 GPTQ 量化的 NVFP4 版本。至于端侧视觉理解,团队的判断是激活参数约 30 亿的 A3B 模型已能承担理解截图与图表并展开推理的任务。这些内容通常不进模型卡,却直接决定一套开源权重能不能被真正用起来。