中国科学院团队首篇LLM模型压缩综述:细聊剪枝、知识蒸馏、量化技术

2023-08-28 11:16:13   来源:商业新知网

近来,大型语言模型(LLM)在各种任务中表现出色。然而,即便有卓越的任务处理能力,LLM 却面临着巨大的挑战,这些挑战源于其巨大的规模和计算需求。举个例子,GPT-175B 版本具有惊人的 1750 亿参数,至少需要 320GB(使用 1024 的倍数)的半精度(FP16)格式存储。此外,部署此模型进行推理还需要至少五个 A100 GPU,每个 GPU 具有 80GB 的内存,这样才能有效地保证运行。

为了解决这些问题,当下一种被称为模型压缩的方法可以成为解决方案。模型压缩可以将大型、资源密集型模型转换为适合存储在受限移动设备上的紧凑版本。此外它可以优化模型,以最小的延迟更快地执行,或实现这些目标之间的平衡。

除了技术方面之外,LLM 还引发了关于环境和伦理问题的讨论。这些模型给发展中国家的工程师和研究人员带来了重大挑战,在这些国家,有限资源可能会成为获得模型所需基本硬件的阻力。LLM 的大量能源消耗会加剧碳排放,人工智能研究与可持续发展也是非常重要的一个问题。解决这些挑战的一个可能的解决方案是利用模型压缩技术,在不显著影响性能的情况下具有减少碳排放的潜力。通过它,人类可以解决环境问题,增强人工智能的可访问性,并促进 LLM 部署中的包容性。


(相关资料图)

本文中,来自中国科学院信息工程研究所、人大高瓴人工智能学院的研究者阐述了最近在专门为 LLM 量身定制的模型压缩技术领域取得的进展。本文对方法、指标和基准进行详尽的调查,并进行了分类。

论文地址:https://arxiv.org/pdf/2308.07633.pdf

如下图 1 所示,本文提出的分类法为理解 LLM 的模型压缩方法提供了一个完整的结构化框架。这一探索包括对已有成熟技术的透彻剖析,包括但不限于剪枝、知识蒸馏、量化和低秩因子分解。此外,本文揭示了当前的挑战,并展望了这一发展领域未来潜在的研究轨迹。

研究者还倡导社区合作,为 LLM 建立一个具有生态意识、包罗万象、可持续的未来铺平道路。值得注意的是,本文是专门针对 LLM 的模型压缩领域的首篇综述。

方法论

剪枝

剪枝是一种强大的技术,通过删除不必要的或冗余组件来减少模型的大小或复杂性。众所周知,有许多冗余参数对模型性能几乎没有影响,因此在直接剪掉这些冗余参数后,模型性能不会收到太多影响。同时,剪枝可以在模型存储、内存效率和计算效率等方面更加友好。

剪枝可以分为非结构化剪枝和结构化剪枝,二者的主要区别在于剪枝目标和由此产生的网络结构。结构化剪枝剪掉基于特定规则的连接或分层结构,同时保留整体网络结构。非结构化剪枝针对单个参数,会导致不规则的稀疏结构。最近的研究工作致力于将 LLM 与剪枝技术相结合,旨在解决与 LLM 相关的大规模和计算成本。

知识蒸馏

知识蒸馏(KD)是一种实用的机器学习技术,旨在提高模型性能和泛化能力。该技术将知识从被称为教师模型的复杂模型转移到被称为学生模型的更简单模型。KD 背后的核心思想是从教师模型的全面知识中转化出更精简、更有效的代表。本文概述了使用 LLM 作为教师模型的蒸馏方法。

研究者根据这些方法是否侧重于将 LLM 的涌现能力(EA)蒸馏到小模型(SLM)进行分类。因此,这些方法被分为两类:标准 KD 和基于 EA 的 KD。对于视觉表示任务,吓图 2 提供了 LLM 知识蒸馏的简要分类。

下图 3 为基于 EA 的蒸馏概览。

量化

在模型压缩领域,量化已成为一种被广泛接受的技术,以缓解深度学习模型的存储和计算开销。虽然传统上使用浮点数表示权重,但量化将它们转换为整数或其他离散形式。这种转换大大降低了存储需求和计算复杂性。虽然会出现一些固有的精度损失,但精巧的量化技术可以在精度下降最小的情况下实现实质性模型压缩。

量化可以分为三种主要方法:量化感知训练(QAT)、量化感知微调(QAF)以及训练后量化(PTQ)。这些方法的主要区别在于何时应用量化来压缩模型。QAT 在模型的训练过程中采用量化,QAF 在预训练模型的微调阶段应用量化,PTQ 在模型完成训练后对其进行量化。

最近的研究致力于利用量化来压缩 LLM,产生了惊人的结果。这些工作主要可以分为上述三种方法:量化感知训练、量化感知微调和训练后量化。此外,下表 1 是应用于 LLM 的量化方法的汇总。该表根据 LLM 权重中的位数(精度)将这些工作分为 8 位量化和低位量化。

低秩分解

低秩分解是一种模型压缩技术,旨在通过将给定的权重矩阵分解为两个或更多具有明显较低维度的较小矩阵来近似给定的矩阵。低秩分解背后的核心思想是将大权重矩阵 W 分解为两个矩阵 U 和 V,使得 W ≈ UV,其中 U 是 m×k 矩阵,V 是 k×n 矩阵,k 比 m 和 n 小得多。U 和 V 的乘积近似于原始权重矩阵,参数数量和计算开销大幅减少。

在 LLM 研究领域,低秩分解被广泛采用,以有效地微调 LLM,例如 LORA 及其变体。本文专注于这些使用低秩分解来压缩 LLM 的工作。在 LLM 的模型压缩领域,研究者经常将多种技术与低秩分解相结合,包括剪枝、量化等,例如 LoRAPrune 和 ZeroQuantFP,在保持性能的同时实现更有效的压缩。

随着该领域研究的继续,在应用低秩分解来压缩 LLM 方面可能会有进一步发展,但仍然需要进行探索和实验,以充分利用 LLM 的潜力。

度量和基准

度量

LLM 的推理效率可以使用各种指标来衡量。这些指标考虑了性能的不同方面,通常与全面评估 LLM 的准确性和零样本学习能力一起呈现。

这些指标包括如下:

参数规模

模型规模

压缩比

推理时间

浮点运算(FLOP)

基准

基准旨在与未压缩的 LLM 相比,衡量压缩 LLM 的有效性、效率和准确性。这些基准通常由不同的任务和数据集组成,涵盖了一系列自然语言处理挑战。常用基准包括但不限于 HULK 和 ELUE。

最后研究者认为未来应在以下几个方面进一步探索,包括

专业的基准测试

性能规模的权衡

动态 LLM 压缩

可解释性

关键词:

精彩阅读

中国科学院团队首篇LLM模型压缩综述:细聊剪枝、知识蒸馏、量化技术

热点

近来,大型语言模型(LLM)在各种任务中表现出色。

网易新财报:游戏稳、有道进、云音乐正爬坡

热点

今年以来,AI大模型的火热程度屡屡攀升,越来越多的企业都加入到了AI大

净零资本有限公司:技术驱动,做好人工智能产业发展“后盾”

热点

人工智能(AI)是当今世界最具前景的科技领域之一,也是未来社会变革的重

火遍全球的TikTok,给外国人种草了哪些产品?

热点

毫无疑问,TikTok的出现改变了全球社交、娱乐和商业的逻辑。

互联网这个行业,从来就不存在简单粗暴的规律

热点

互联网诞生后,经济学并没有由此发展并诞生一些可以载入经济学殿堂教科

BI和零代码双赛道第一之后,帆软的下一步走往何方?

热点

尽管帆软CEO陈炎将“崩溃与重生”作为他在帆软2023智数大会演讲的主题

文达通重大项目中标 中标金额约为2.1467亿元

热点

公司于近日收到《中标通知书》,确定公司为潍坊市云计算中心EPC总承包

为什么开源模型没戏?百度高管财报电话会披露最新观点

热点

北京时间8月22日,百度发布了截至2023年6月30日的第二季度未经审计的财

Rokid宣布推出AR空间计算主机

热点

8月26日,Rokid发布AR空间计算主机StationPro(星站—空间版)。

中国SaaS别让资本寒冬背锅,活在当下才可能破解溃败

热点

热闹的环境会掩藏问题,冷静的氛围会暴露问题,这个道理被近三年的SaaS

财富

1家只有1个人的公司,年赚1个亿!

资讯

1家只有1个人的公司,年赚1个亿!,“盖哥”和他的公司能给创业者哪些启

OpenAI向美国专利局提交“GPT-5”商标申请

资讯

OpenAI向美国专利局提交“GPT-5”商标申请,7月31日,美国商标律师JoshG

澳大利亚数据服务公司Vocus提出以42亿美元收购TPG资产

资讯

澳大利亚数据服务公司Vocus提出以42亿美元收购TPG资产,8月1日消息,澳

部分新款iPhone或推迟至10月以后发售

资讯

部分新款iPhone或推迟至10月以后发售,由于OLED屏的量产推迟,部分新机

恒大地产:所有存续公司债将继续停牌

资讯

恒大地产:所有存续公司债将继续停牌,恒大地产发布公告称,为保证公平

马斯克将领导X平台的产品及工程师团队

资讯

马斯克将领导X平台的产品及工程师团队,社交媒体平台X(前身为推特)表

多个AIGC应用在苹果应用商店下架

资讯

多个AIGC应用在苹果应用商店下架,包括讯飞星火在内的多个AIGC相关App,

上汽集团:7月份上汽销售新能源汽车9.1万辆

资讯

上汽集团:7月份上汽销售新能源汽车9 1万辆,据上汽集团官微,据初步统

京东回复收购永辉传闻:目前没有这个意向

资讯

京东回复收购永辉传闻:目前没有这个意向,针对“京东洽谈收购永辉”的

网易新财报:游戏稳、有道进、云音乐正爬坡

今年以来,AI大模型的火热程度屡屡攀升,越来越多的企业都加入到了AI大

净零资本有限公司:技术驱动,做好人工智能产业发展“后盾”

人工智能(AI)是当今世界最具前景的科技领域之一,也是未来社会变革的重

火遍全球的TikTok,给外国人种草了哪些产品?

毫无疑问,TikTok的出现改变了全球社交、娱乐和商业的逻辑。

互联网这个行业,从来就不存在简单粗暴的规律

互联网诞生后,经济学并没有由此发展并诞生一些可以载入经济学殿堂教科

BI和零代码双赛道第一之后,帆软的下一步走往何方?

尽管帆软CEO陈炎将“崩溃与重生”作为他在帆软2023智数大会演讲的主题

妈妈欲买海鲜囤满3米长冰柜惊呆儿子:已囤了半冰柜

【妈妈欲买海鲜囤满3米长冰柜惊呆儿子】8月25日,福建厦门。庄先生家每

在上海坐出租车不让刷交通卡?原来竟是这个原因!乘客可以这么做

“交通联合卡”已经上市3年有了这张“全国通”的交通卡上海市民就可以

芯瑞达:8月24日接受机构调研,东方财富证券、淳厚基金等多家机构参与

2023年8月27日芯瑞达(002983)发布公告称公司于2023年8月24日接受机构

中秋朗诵主题名称(中秋朗诵)

中秋朗诵主题名称,中秋朗诵这个很多人还不知道,现在让我们一起来看看

炸元宵是哪里的特产(炸元宵)

1、将锅里的水烧开,倒入元宵,煮好后取出,放凉。2、将面包屑放入容器

市场人士点赞周末“4连招”,印花税减半预计每年向市场让利1200亿元

8月27日晚间,市场期盼了很久的“降印花税”消息落地。财政部、税务总