2025-03-08 18:50:19 作者：八月八
美团技术团队近日宣布，对DeepSeek R1模型进行了INT8精度量化，使得该模型能够在老型号GPU如A100上进行部署。原生的DeepSeek R1模型权重采用FP8数据格式，这限制了其只能在英伟达的新型GPU上部署，而其他型号的GPU则无法直接支持。
为了解决这个问题，美团搜索和推荐平台部门尝试了对DeepSeek R1模型进行INT8精度量化。结果显示，量化后的模型精度基本保持不变。通过INT8量化，DeepSeek R1突破了芯片限制，现在可以部署在A100等GPU上。此外，与BF16相比，INT8量化还实现了50%的吞吐量提升，从而降低了推理成本。
现在，INT8量化代码已经发布在开源LLM推理框架SGLang上，量化模型也已发布至Hugging Face社区，以下是模型链接：
https://huggingface.co/meituan/DeepSeek-R1-Block-INT8
https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8
歪 歪漫画免费官方入口免费-歪 歪漫画首页网站入口在线
2024/12/07
歪歪漫画首页登录入口详细解析：如何快速进入并体验漫画世界
2024/12/14
如何在购买欧美、日本和美国尺码时避免困惑？最实用的尺码转换方法揭秘！
2025/02/05
如何看待“人野兽马狗猪”五种角色：它们分别代表什么样的社会态度？
2025/01/29
暖暖爱MV高清视频更新功能如何提升观影体验？如何实现跨平台流畅播放？
2024/12/31
《教室爱欲》：揭开韩国校园禁忌爱情的神秘面纱
2025/01/15
丕丕漫画登录页面漫画下拉式操作指南？如何畅享全站精彩漫画？
2025/01/11
52MV：为何如此受欢迎的中文音乐视频平台？
2025/02/07
2022韩国家庭理论电费——是否已经成为中国家庭的生活新命题？
2024/12/19
“别c我 啊 嗯上课呢双性”：这背后的网络文化与社交现象是什么？
2025/01/15
