参战万亿MoE模型！上海大模型独角兽出手，腾讯阿里米哈游参投智东西下载客户端独家抢先看2024年04月17日 20:02:00 来自北京编辑 | ZeR0智东西4月17日消息，今日，上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型，包含abab 6.5和abab 6.5s两个模型。MiniMax成立于2023年1月，是当前国内估值最高的大模型公司之一。今年3月，MiniMax完成阿里参投的新一轮融资，投后估值超过25亿美元。此前米哈游、腾讯均有投资MiniMax。在MoE尚未成为行业共识时，MiniMax已经押注MoE路线，今年1月发布其首款基于MoE架构的abab 6，并在过去3个月潜心研发出性能更强的万亿参数MoE模型abab 6.5，在核心能力测试中接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等顶尖大语言模型。标注星号的是MiniMax调用API测试得到的结果，其余分数来自对应的技术报告。abab 6.5和abab 6.5s采用相同的训练技术、数据，支持200k tokens上下文长度。abab 6.5s更高效，1秒能处理近3万字的文本。MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中，abab 6.5均能正确回答。MiniMax团队称找到了越来越多加速实现Scaling Laws的途径，包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。abab 6.5系列模型会滚动更新到MiniMax旗下的产品中，包括生产力产品海螺AI和MiniMax开放平台上。