3月7日讯 美团搜推机器学习团队 3 月 4 日公布最新首发开源成果，实现对 DeepSeek R1 模型基本无损的 INT8 精度量化。
DeepSeek R1 原生版本的模型权重为 FP8 数据格式，对 GPU 芯片类型有严格限制，仅能被英伟达新型 GPU 支持（如 Ada、Hopper 架构芯片），其他型号 GPU（如 A100）无法直接部署。
目前，量化代码已经合入到了开源 LLM 推理框架 SGLang，量化模型已经发布到了 Hugging Face 社区，方便用户使用。官方测试，满血版 DeepSeek R1 部署 A100，基于 INT8 量化，相比 BF16 实现 50% 吞吐提升。
开源地址：https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8
声明：魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题，烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net！我们将及时沟通与处理。
