PyTorch 架构优化库 torchao 正式发布,可大幅提升 AI 模型效率

10月2日讯 据 PyTorch 新闻稿,PyTorch 旗下架构优化库 torchao 现已正式发布,该优化库主要专注于模型的量化和稀疏性优化,能够在保证性能的同时降低模型的计算成本和 RAM 用量,从而提升模型运行效率。

GitHub 页面地址(点此访问)。

据介绍,torchao 提供了一系列优化工具集,可以帮助 LLaMA 3 等流行的 AI 模型提升性能,其支持 float8、int4 等低精度数据类型,能够有效减少硬件开销和 RAM 用量。

PyTorch 架构优化库 torchao 正式发布,可大幅提升 AI 模型效率

官方举例,在 LLaMA 3 70B 模型的预训练中,torchao 提供的 float8 训练流程可将模型计算速度提升 1.5 倍。开发者只需利用 convert_to_float8_training 函数,即可将模型训练转换为 float8,从而轻松实现模型高效训练。

在推理方面,torchao 提供多种量化方法,包括权重量化(Weight-Only Quantization)和动态激活量化(Dynamic Activation Quantization),用户可以自有选择适合的量化策略,以获得最佳的模型推理性能。

在稀疏性优化方面, torchao 可以优化模型参数计算效率,据称可让 ViT-H 模型的推理速度提升 5%。同时,torchao 还可以将权重量化为 int4,并将键值缓存量化为 int8,可令 LLaMA 3.1 8B 在完整的 128K 上下文长度下仅占用 18.9GB 的显存

PyTorch 架构优化库 torchao 正式发布,可大幅提升 AI 模型效率
声明:魔果智讯倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至moguoai@yeah.net!我们将及时沟通与处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索