鹏城·脑海

PengCheng-Mind 200B 脑海大模型是基于Transformer 架构的2010亿参数自回归式语言模型。模型全流程基于中国算力网枢纽节点（鹏城云脑Ⅱ）的全自主安全可控国产软硬件平台进行开发和训练，采用MindSpore框架实现在大规模集群上长期稳定的多维分布式并行训练。训练模型保存为3456个切片，容量约7.6TB，推理模型保存为16个切片，容量约375GB。支持4096个token的上下文窗口长度，主要聚焦中文核心能力，兼顾英文和部分多语言能力。当前模型已完成训练1T Tokens数据量，仍在持续训练迭代中。