米哈游崩坏AI研发团队近期公布了一项名为Gamer的研究,定位面向长流程、实时交互的通用视觉—语言—动作基础模型。该模型不依赖游戏内部接口或底层状态,而是把屏幕画面当作视觉输入,将任务指令作为目标,再直接输出键盘和鼠标动作。
在《崩坏:星穹铁道》的演示中,Gamer能够与可可利亚战斗,触发“气泡弹珠”等场景机关,还能跟随NPC流萤前进,完成上楼梯、拐弯和跑到广场等操作。研究团队称,其主力版本以参数量80亿的Qwen3-VL-8B为基座继续训练。

与过去一些只针对单一游戏的AI方案相比,Gamer试图把跨游戏实时操作、长期记忆和任务规划放进同一套框架。执行过程中,它每隔200毫秒读取一次画面,并一次性安排随后六个动作块,每个动作块约33毫秒,对应30Hz的控制节奏。随着任务推进,模型会动态记录刚完成的内容和下一步准备做什么。
训练分为三个阶段。第一阶段是持续预训练,团队把不同游戏的录屏与玩家操作对齐,并统一成键鼠格式,让模型学习画面变化与动作之间的关系。第二阶段使用约1000小时高质量《崩坏:星穹铁道》演示,把学习目标拆成具体操作、阶段性小目标和完整任务,教模型组织动作。第三阶段则进入在线强化学习。
为解决长流程中的推理延迟和上下文膨胀问题,研究加入了两项设计。其一是稀疏思考:沿着确定路线前进时可以直接操作,只有路线失败、目标切换或出现新交互提示时才展开推理。其二是记忆摘要:旧记录即将移出上下文前,模型会先记下任务进度、失败尝试、重要地点和后续计划。
在线强化学习阶段使用了TA-GRPO方法。它把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再借助游戏环境核验结果来更新模型。是否到达目标地点、是否完成当前任务,都可以作为训练反馈。配套的Streaming-vLLM推理引擎能够复用已处理的上下文,并提前输出已经生成且核验完毕的动作块,从而压低操作延迟。
在《崩坏:星穹铁道》约50小时、覆盖五个主线篇章的评估中,Gamer自主运行时间占比超过95%。跨游戏测试则覆盖《我的世界》、基于《毁灭战士》的ViZDoom,以及OmniGameArena和GameWorld等环境。在《我的世界》中,它能转动视角锁定史莱姆并追上去挥剑;在ViZDoom中,它可以拉枪瞄准,连续点射逼近的敌人。
公开基准结果方面,Gamer-8B-CPT在四项公共基准上的平均得分为29.5,素材所列通用模型对照中最高为17.6。在七类小游戏、共40个未参与训练的任务里,基座模型得分仅为3.2%,经过持续预训练升至15.0%,监督微调后达到39.2%,加入强化学习后进一步提升至49.7%;同场对比的通用模型最高分为17.1%。
研究团队认为,通过统一的键鼠接口,把跨游戏学习、长期记忆和实时操作结合起来,可以让AI在复杂游戏中持续执行任务,并在交互中继续改进。论文末尾提到,这类能力可用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。
从团队布局看,米哈游崩坏AI研发方向已覆盖AI NPC、游戏智能体和研发自动化。参与该研究的研究者来自米哈游与多所高校,部分成员在实习期间加入项目;相关团队此前还参与过GameScaling和Video-Arena等工作,分别关注跨游戏持续预训练的缩放规律以及模型对动态游戏画面的理解边界。









