每日播报!干掉「标题党」,清华团队又一开源力作!

2022-09-30 10:08:02   来源:商业新知网

磐创AI分享

作者 |OpenBMB开源社区(GitHubDaily)

编辑 |David

转自 | 新智元


【资料图】

【导读】 写公众号文章什么最头疼?起标题!清华大学与OpenBMB开源社区推出的大模型趣味应用:「智取标题」,输入正文内容,一键生成劲爆标题!

作为一个起名困难户,高中写作文最困扰我的就是写好文章却不知道起什么题目,开始做公众号以后,每次想标题也都要掉一大把头发......

最近,终于让我在 GitHub 发现了「取名废」之光,由清华大学与 OpenBMB 开源社区推出的大模型趣味应用:「智取标题」,输入正文内容就能一键生成劲爆标题!

开箱即用,试过后我只能说:真香!

在线体验: https://live.openbmb.org/ant

GitHub: https://github.com/OpenBMB/CPM-Live

提到这个标题党神器,就不得不先好好聊一聊它的「本体」——大模型 CPM-Ant。

CPM-Ant 作为国内首个直播训练百亿大模型, 训练耗时 68 天,于 2022 年 8 月 5 日完成,并由 OpenBMB 正式发布!

五大卓越特性

四大创新突破

训练过程 低成本且环境友好!

最重要的是——完全开源!

作为首个直播训练中文大模型,CPM-Ant 在大模型训练、微调、压缩、推理、应用等环节均提供了一份可行的实践方案,希望能为不同的关注者提供不同的帮助与参考。

下面,让我们一起来看看 CPM-Ant 发布成果内容报告吧!

模型概览

CPM-Ant 是一个开源的中文预训练语言模型,拥有 10B 参数,也是 CPM-Live 直播训练过程中的第一个里程碑。

整个训练过程低成本且环境友好,不需要高昂的硬件要求和运行成本,基于 增量微调(delta tuning)方法,在 CUGE 基准测试中取得了优异的结果。

CPM-Ant 相关代码、日志文件和模型参数在一个开放的许可协议下完全开源。除了完整的模型,OpenBMB 还提供了各种压缩版本以适应不同的硬件配置。

CPM-Ant 的五大卓越特性:

(1)计算高效

通过 BMTrain[1]工具包,能够充分利用分布式计算资源的能力来高效训练大模型。

CPM-Ant 的训练持续了 68 天,花费了 43 万人民币,是谷歌训练 T5-11B 模型约 130 万美元费用的 1/20。训练 CPM-Ant 的温室气体排放量约为 4872kg CO₂e,而训练 T5-11B 的排放量为 46.7t CO₂e[9],CPM-Ant 的方案约为其排放量的 1/10。

(2)性能优异

借助 OpenDelta[3]工具,能够非常方便地通过增量微调将 CPM-Ant 适配到下游任务。

实验表明,CPM-Ant 仅仅微调了 6.3M 参数就在 3/6 个 CUGE 任务上取得了最好的结果。这一结果超越了其他全参数微调的模型,举例来说:CPM-Ant 的微调参数量仅为 CPM2(微调了 11B 参数) 的 0.06%。

(3)部署经济

借助BMCook[7]和 BMInf[4]工具包,能够在有限的计算资源下驱动 CPM-Ant。

基于 BMInf ,能够替代计算集群 在单块 GPU 上进行大模型推理(即便是一块 GTX 1060 这样的消费级显卡)。为了使 CPM-Ant 的部署更加经济, OpenBMB 使用 BMCook 进一步将原始的 10B 模型压缩为不同的版本。压缩后的模型(7B,3B,1B,300M)能够适应不同低资源场景下的需求。

(4)使用便捷

不管是原始 10B 模型还是相关的压缩版本,通过几行代码就能够轻松地加载与运行。

OpenBMB 也会将 CPM-Ant 加入到 ModelCenter[8]中,对模型的进一步开发会变得更加容易。

(5)开放民主

CPM-Ant 的训练过程完全开放。

OpenBMB 发布了所有的代码、日志文件和模型存档并提供开放获取。CPM-Ant 也采用了允许商业化的开放许可协议。

一份完整的大模型训练实践

对于有能力进行大模型训练的厂商与研究机构,CPM-Ant 训练过程提供了一份完整的中文大模型训练实战记录。

OpenBMB 发布了 CPM-Live 系列模型的 模型设计、训练方案、数据需求和实现代码。基于 CPM-Live 的模型架构,能够方便快速地设计实现大模型训练方案并整理相关的业务数据,完成模型预研和数据准备工作。

官方网站中记录了训练过程中的 全部训练动态,包括损失函数、学习率、已学习数据、吞吐量、梯度大小、花费成本曲线,以及模型内部参数均值和标准差实时展示,通过这些训练动态,使用者能够快速诊断模型训练过程是否出现问题。

模 型训练内部参数实时展示

此外,OpenBMB 的研发同学每天实时更新 训练记录总结,总结内容包括损失值、梯度值、总体进展,还记录了遇到的一些问题和训练过程中的 bug,方便使用者提前了解模型训练过程中的可能会遇到的各种「坑」。

在模型训练「风平浪静」的日子,研发小哥也会抛出一些名言名句、介绍一些最新论文、甚至发起猜谜活动。

日志中的一次猜谜活动

除此之外,OpenBMB 还提供了 成本经济 的 训练方案,对于实际有大模型训练需求的企业,通过相关训练加速技术,训练成本已经降低到可以接受的水平。

使用 BMTrain[1]工具包,百亿大模型 CPM-Ant 训练的算力花费仅 43 万人民币(当前花费依照公有云价格计算,实际成本会更低),是 11B 大模型 T5 外界估算成本 130 万美元的约 1/20!

一份屡创 SOTA 的高效微调方案

CPM-Ant 如何帮助我们进行下游任务适配?

对于大模型研究者,OpenBMB 提供了一份基于参数高效微调的大模型性能评测方案,方便快速进行下游任务适配并评测模型性能。

使用参数高效微调,即增量微调(delta tuning)来评估 CPM-Ant 在六个下游任务上的性能。实验中采用了 LoRA[2],它在每个注意层中插入了两个可调整的低秩矩阵,并冻结了原始模型的所有参数。使用这种方法,每个任务只微调了 6.3M 的参数,仅占总参数的 0.067%。

在 OpenDelta[3]的帮助下,OpenBMB 进行了所有的实验,而没有修改原始模型的代码。需要指出的是,在下游任务上评测 CPM-Ant 模型时,没有使用任何数据增强的方法。实验结果如下表所示:

可以看到,在仅微调极少参数的情况下,OpenBMB 的模型在三个数据集上的性能已经超过了 CPM-2 和源 1.0。

有些任务(例如 LCSTS)在微调参数极少时可能会比较难以学习, CPM-Live 的训练过程将会持续进行,在各个任务上的性能也会被进一步打磨。

感兴趣的同学,可访问下方 GitHub 链接,抢先体验下 CPM-Ant 和 OpenDelta,进一步探索 CPM-Ant 在其他任务上的能力!

https://github.com/OpenBMB/CPM-Live

一系列硬件友好的推理方式

大模型性能固然惊艳,但高昂的硬件要求和运行成本一直困扰着许多使用者。对于大模型使用者,OpenBMB提供了一系列硬件友好的使用方式,能够较为方便地在不同硬件环境下运行不同的模型版本。

使用 BMInf[4]工具包, CPM-Ant 可以在单卡 1060 这样的 低资源环境 中运行!

除此之外,OpenBMB 还将 CPM-Ant 进行了压缩。这些压缩的模型包括 CPM-Ant-7B/3B/1B/0.3B。而所有这些模型压缩尺寸都可以对应于现有的开源预训练语言模型的经典尺寸。

考虑到用户可能会在发布的检查点上进行进一步的开发,OpenBMB 主要使用 任务无关的结构化剪枝 来压缩 CPM-Ant。剪枝过程也是渐进的,即从 10B 到 7B,从 7B 到 3B,从 3B 到 1B,最后从 1B 到 0.3B。

在具体的剪枝过程中,OpenBMB 会训练一个 动态的可学习的掩码矩阵,然后用这个掩码矩阵来 裁剪相应的参数。最后,根据掩码矩阵的阈值修剪参数,该阈值是根据目标稀疏度确定的。更多压缩的细节可以参考技术博客[5]。

下表展示了模型压缩的结果:

硬核的内容讲完了,那么大模型到底怎么帮我们「取标题」呢?

一款出乎意料的大模型趣味应用

基于 CPM-Ant,所有大模型开发者与爱好者都可以开发感兴趣的文本趣味应用。

为了进一步验证模型的有效性并提供范例,OpenBMB 在 CPM-Ant 基础上微调了一个 劲爆标题生成器 以展示模型能力。

只需要把正文内容粘贴到下方文本框,一键点击生成,就可以得到大模型提供的劲爆标题!

CPM-Ant 成果报告首发文章标题即由生成器生成

这款 demo将不断被打磨,并在未来添加更多的特殊效果,增强用户体验

感兴趣的用户也可以使用 CPM-Ant 构建自己的展示应用。如果有任何应用想法、需要技术支持或者在使用 demo 过程中遇到任何问题,可以随时在 CPM-Live 论坛[6]发起讨论!

CPM-Ant 的发布是 CPM-Live 的第一个里程碑,但也仅仅是训练的第一期,未来OpenBMB还会继续进行一系列训练。

简单剧透一下,下一期的训练中将新增多语言支持、结构化输入输出等新特性,欢迎大家继续关注!

关键词: 感兴趣的 训练方案

上一篇:
下一篇:
精彩阅读

每日播报!干掉「标题党」,清华团队又一开源力作!

热点

清华大学与OpenBMB开源社区推出的大模型趣味应用:「智取标题」,输入正文内容,一键生成劲爆标题。

全球观察:蔚领时代再获4000万美元投资,从云游戏到云渲染

热点

蔚领时代成立于2019年,主要业务为搭建云游戏平台、图形图像处理等。

全球热点!PICO 4新品亮相,VR设备在内容生态上走了多远?

热点

为了使我们的未来变得更加丰富多彩,PICO正在持续展开自己的探索,也将给VR市场注入新的活力。

全球要闻:当下企业数字化转型,PaaS是基础解

热点

总结近期感悟,猛然发觉国内企业的数字化,PaaS至关重要。

环球百事通!数智领航,百融云创携手金融机构打造行业“天幕”

热点

数智化也由此赋予了行业参与者新的使命:主动肩负责任,书写时代答卷。

【焦点热闻】你的密码体系合规吗?用这些方法检查下吧

热点

2022年,“密评”已经成为业内十分关注的热词,提及“密评”,大家已经不再是“只闻其名不知其意”的状态。

要闻速递:门户三剑客,搜狐的24年精彩发展史

热点

“无敌是多么寂寞”,用这句话来形容十几年前的搜狐再合适不过了。

天天观点:小红书的上市“迷途”

热点

小红书还在寻找新故事。

当前热点-AmazeVR获1700万美元B轮融资、Nreal Air在美国上市,售价379美元

热点

近日,AmazeVR宣布获得了1700万美元B轮融资。近日,AmazeVR宣布获得了1700万美元B轮融资。

财富

世界资讯:旧电动车的二手电池卖疯了:都是房车热、露营热的锅?

资讯

旧电动车的二手电池卖疯了:都是房车热、露营热的锅?,二手电动汽车的动力电池为何热销

全球热点评!蜜雪冰城逆袭背后:失败和苦难的馈赠

资讯

蜜雪冰城逆袭背后:失败和苦难的馈赠,从一家到两万多家店,蜜雪冰城要感谢曾经那些失败和苦难的馈赠。

当前通讯!为什么即使处于下坡路,企业仍需要做股权激励?

资讯

为什么即使处于下坡路,企业仍需要做股权激励?,股权激励能让企业“死而复生”?

【世界聚看点】极兔“跳墙”

资讯

极兔“跳墙”,一场守擂与攻擂的攻防战将愈演愈烈。

世界快讯:市场竞争日益激烈,Netflix的“好日子”到头了吗?

资讯

市场竞争日益激烈,Netflix的“好日子”到头了吗?,我们对Netflix进行了卖出评级,认为该公司最好的日子已经过去。

环球热资讯!在美国,拼多多对SHEIN希音“砍了一刀”

资讯

在美国,拼多多对SHEIN希音“砍了一刀”,拼多多和SHEIN决战北美市场。

热门:除了瑞幸,这家公司也想跟星巴克一战

资讯

除了瑞幸,这家公司也想跟星巴克一战,加拿大国民品牌,历史比星巴克更悠久。

微动态丨融资丨「顺友物流」完成数千万元A轮融资,国家服贸基金领投

资讯

融资丨「顺友物流」完成数千万元A轮融资,国家服贸基金领投,本轮融资资金将主要用于顺友物流及其全资子公司鲸鸟转运的物流产品矩阵构建、市场

热点评!融资丨「MOON GROUND」完成数百万元种子轮融资

资讯

融资丨「MOONGROUND」完成数百万元种子轮融资,本轮融资资金将主要用于新增门店、供应链建设和营销支出。

天天关注:万物云漏夜赶考场

资讯

万物云漏夜赶考场,郁亮对万物云的“新商业模式”期待很高

全球观察:蔚领时代再获4000万美元投资,从云游戏到云渲染

蔚领时代成立于2019年,主要业务为搭建云游戏平台、图形图像处理等。

全球热点!PICO 4新品亮相,VR设备在内容生态上走了多远?

为了使我们的未来变得更加丰富多彩,PICO正在持续展开自己的探索,也将给VR市场注入新的活力。

全球要闻:当下企业数字化转型,PaaS是基础解

总结近期感悟,猛然发觉国内企业的数字化,PaaS至关重要。

环球百事通!数智领航,百融云创携手金融机构打造行业“天幕”

数智化也由此赋予了行业参与者新的使命:主动肩负责任,书写时代答卷。

【焦点热闻】你的密码体系合规吗?用这些方法检查下吧

2022年,“密评”已经成为业内十分关注的热词,提及“密评”,大家已经不再是“只闻其名不知其意”的状态。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个