MiniCPM3-4B 是什么:面壁智能能用工具的 4B 端侧模型
它是什么
MiniCPM3-4B 是面壁智能(OpenBMB)在 2024 年 9 月 5 日开源的第三代 MiniCPM 模型,参数 4B,上下文窗口 32K,发布在 OpenBMB 的 GitHub 和 Hugging Face。它是 MiniCPM 系列的端侧旗舰,面向手机、电脑等设备的本地部署。官方称它的整体能力超过了 Phi-3.5-mini 和 GPT-3.5-Turbo-0125,可以和不少 7B 到 9B 的模型比肩。用 4B 的体量做到这个水平,在 2024 年下半年很亮眼。
这一代的新能力
和前两代相比,MiniCPM3-4B 补上了做智能体所需的关键能力。一是函数调用:模型能根据用户需求选择并调用外部工具,按格式输出参数,这是让小模型在设备上“干活”的基础,比如查日程、调用地图、控制应用。二是代码解释器:模型可以写代码并执行,用结果回答需要计算的问题。这两项让它不只是一个聊天模型,而是可以作为端侧智能体的大脑。
长文本处理
32K 的原生上下文已经能处理较长的文档。对于更长的文本,面壁提出了 LLMxMapReduce 方法:把超长文本切成若干段,分别让模型处理,再把结果汇总归纳,像分工合作一样读完整本书,理论上可以处理不限长度的文本,同时对显存的要求不会随文本长度一起膨胀。这对端侧设备特别有意义,因为设备内存有限,硬塞一个超长上下文是不现实的。
适合谁
2024 年下半年,想在手机或电脑上部署一个能调用工具的本地助手,MiniCPM3-4B 是很有竞争力的选择;做离线应用、对隐私敏感的场景也很适合。许可条款以仓库说明为准。如今面壁已经发布了 MiniCPM4 和 MiniCPM5,新项目可以直接选用更新的版本,它们在效率和智能体能力上又有了明显进步。AI 主线的看法是:MiniCPM3-4B 把函数调用和代码解释器带进了 4B 小模型,让“手机上的智能体”从演示变成了可以动手做的事。