MiniCPM-2B-128k
基础大模型MiniCPM-2B-128k
模型参数（Parameters）
24.0
最高上下文长度（Context Length）
128K
是否支持中文
支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
128K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2024-04-10
模型预文件大小
6.02GB
开源和体验地址
官方介绍与博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
暂无公开的 API 定价信息。
MiniCPM-2B-128k模型在各大评测榜单的评分
当前尚无可展示的评测数据。
发布机构
OpenBMB
查看发布机构详情
MiniCPM-2B-128k模型解读
MiniCPM-2B-128k是面壁智能开源的小规模参数语言模型MiniCPM的超长上下文优化版本。在此前的30亿参数及以下的大语言模型中，一般来说上下文长度都在4K及以内。而MiniCPM-2B-128k作为首个30亿以内参数的模型，上下文长度拓展到了128K，不过官方说，在4K以内，这个模型的性能有所下降。
MiniCPM-2B拓展到128K上下文经过了多个阶段，官方解释了这个过程：
多阶段衰减(decay)训练
- 首先将模型的最大文本长度从4k(4000个token)扩展到32k，再扩展到128k
- 为避免长文本在训练中过多出现影响效果,参考LWM方法对数据按长度分组,将长文本(>4k)的比例控制在40%
- 整个decay训练过程中共训练了80亿个token
- 在扩展到32k时，将RoPE基(一种位置编码方式)从10k提升到1M
- 在扩展到128k时，采用了课程学习和NTK相结合的方式,而不是直接将基提升到更大值，以减小对短文本的影响
SFT(Supervised Fine-tuning)训练
- 在原有SFT数据的基础上，额外补充了40%的合成长文本数据
- 在构造QA数据时，发现针对文章的不同位置生成问答对,可以显著提升模型的回答质量
相比较原始的MiniCPM-2B模型，该版本的模型架构有如下变化：
- 将词表大小从127653扩充至127660。
- 关闭了 tie embedding。
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
