淘宝 MNN 开源 0.3B 手机模型,iPhone 18 Pro 离线 350 token/s
导读
淘宝 MNN 团队开源了一个 0.3B 的端侧小模型,主打让手机本地就能跑智能推理,不用联网。消息里最抓人的数字是:在 iPhone 18 Pro 上离线推理能到 350 token/s。
关心端侧 AI、手机本地推理和移动端部署的人会留意这条,尤其是做 App 智能功能、又不想依赖云端的开发者。
最值得看的是那个速度数字和“离线”的组合:模型只有 0.3B,却能在手机上跑到 350 token/s,方向很明确,就是把智能放到手机本地。
原文信息很简短,没有更多技术细节,想了解实现方式和适用场景,还得看团队后续放出的内容。