淘宝 MNN 开源 0.3B 模型，离线跑到 350 token/s

350 token/s 不是所有手机都能复现的固定速度。这一数字是苹果 iPhone 18 Pro 上使用 MNN 推理引擎完全离线运行时的平均 Decode 速度，团队在正式评测中也把 Prefill 与 Decode 分开统计。 Decode 指模型逐 token 生成结果，Prefill 则处理输入上下文，两者衡量的不是同一环节。因此，这一数据只适用于特定设备、模型版本和运行配置，不能直接外推到所有安卓设备或其他上下文长度。

MNN-Pocket-0.3B 是从零设计并训练的约 3 亿参数轻量语言模型，按手机资源预算重新设计。其模型结构、词表、训练数据、预训练与后训练方法，以及量化和推理引擎均纳入协同优化。 从官方定位看，它面向淘宝这类综合型手机应用中的任务理解、响应生成与持续运行，能力重点包括中英文理解、指令遵循，并兼顾世界知识、数学、代码推理和长上下文扩展。

资源指标比参数规模更能说明这款模型的取舍。团队提出在指定设备与上下文配置下，Decode 吞吐超过 200 token/s、峰值内存低于 300MB；在输入 512～1024 token、输出 128 token 的典型负载下，单次推理增量能耗目标不超过参考手机电池能量的万分之一，即 100 次推理耗能不超过电池总能量的 1%。 “在指定业务场景达到 8B 级模型效果”同样是设计目标，不是对所有任务的普遍能力结论，公开资料也没有提供可直接替代通用能力榜单的测试结果。

约 300M、28 层和 GQA 是约束下的选型结果。团队在约 50M 至 1.3B 的稠密模型配置中寻找同时满足内存与吞吐约束的最大候选规模，约 300M 是该组实验的结果。 确定规模后，团队又联合调整模型深度、隐藏层宽度、前馈网络和注意力配置：从 16 层增加到 28 层带来了能力提升，继续增加到 36 层后，评测均分没有进一步提高，解码吞吐反而从 355 token/s 降至 323 token/s，最终版本因此采用 28 层并结合 GQA 等配置。

这里的 355 token/s 和 323 token/s 用于架构选型，测试配置不同于最终部署版本，与 iPhone 18 Pro 的 350 token/s 或 iPad Pro M5 的 466 token/s 不构成同组数据。 “0.3B”并非随意取整。团队综合模型能力、内存预算和解码效率，在约 300M 附近确定了这一规模。

推理性能必须拆开看 Prefill 和 Decode。在 iPad Pro M5、Metal 后端、512 token 测试配置下，MNN-Pocket-0.3B 的 Prefill 吞吐达到 8,721 token/s，Decode 吞吐为 466 token/s，后者约为同条件下 Qwen3-0.6B（286 token/s）的 1.63 倍；在 Snapdragon 8 Gen 5 的 CPU 后端，Decode 吞吐达到 251 token/s。 这些数字必须连同设备、后端、INT4 量化、上下文配置和测试设置一起理解，不能把不同设备的单点结果直接排成统一排行榜。

端侧部署要同时计算文件体积和运行内存。MNN-Pocket-0.3B 的 INT4 MNN 部署文件为 173MB，其中包含模型权重、分词器、计算图和推理配置；在 iPad Pro M5 的 Metal 测试中，模型加载与推理期间的峰值 Metal 驻留内存相对加载前基线增加 228MB。 同一测试下，Qwen3-0.6B 的部署文件为 340MB、峰值内存增量为 427MB，MNN-Pocket-0.3B 分别减少约 49% 和 47%。 较小的部署包可以降低模型下载与更新成本，较低的运行内存也为页面、图片、视频等业务模块留出更多空间。

模型文件、MNN 引擎和设备后端需要配套接入。MNN 负责模型加载与解析、计算图调度和异构后端执行，团队在苹果与 Android 设备上使用 Metal、OpenCL 和 CPU 后端评估推理吞吐。 接入时应先确认 INT4 模型包完整，再根据设备验证对应后端，并将预热、上下文长度、Prefill、Decode 和内存基线纳入同一套测试记录。现有资料没有提供具体仓库路径、安装命令或通用能力榜单，因此无法给出可直接复制执行的接入步骤，也无法据此核对通用模型榜单表现。公开测试采用 MNN 3.6.2、INT4 量化及统一运行设置，每组配置预热一次、测量五次并取吞吐中位数，Prefill 与 Decode 分别测量。