国产ChatGPT「套壳」的秘密,现在被找到了

2023-05-28 14:43:18   来源:创业邦

比算力更急缺的是高质量数据


(资料图片)

编者按:本文来自微信公众号量子位(ID:QbitAI),作者:衡宇,创业邦经授权发布。

“科大讯飞套壳ChatGPT!”“百度文心一言套皮Stable Diffusion!”“商汤大模型实则抄袭!”……

外界对国产大模型产生质疑已经不是一次两次了。

业内人士对这个现象的解释是,高质量的中文数据集实在紧缺,训模型时只能让采买的外文标注数据集“当外援”。训练所用的数据集撞车,就会生成相似结果,进而引发乌龙事件。

其余办法中,用现有大模型辅助生成训练数据容易数据清洗不到位,重复利用token会导致过拟合,仅训练稀疏大模型也不是长久之计。

业内渐渐形成共识:

通往AGI的道路,对数据数量和数据质量都将持续提出极高的要求。

时势所需,近2个月来,国内不少团队先后开源了中文数据集,除通用数据集外,针对编程、医疗等垂域也有专门的开源中文数据集发布。

高质量数据集虽有但少

大模型的新突破十分依赖高质量、丰富的数据集。

根据OpenAI 《Scaling Laws for Neural Language Models》提出大模型所遵循的伸缩法则(scaling law)可以看到,独立增加训练数据量,是可以让预训练模型效果变更好的。

这不是OpenAI的一家之言。

DeepMind也在Chinchilla模型论文中指出,之前的大模型多是训练不足的,还提出最优训练公式,已成为业界公认的标准。

△主流大模型,Chinchilla参数最少,但训练最充分

不过,用来训练的主流数据集以英文为主,如Common Crawl、BooksCorpus、WiKipedia、ROOT等,最流行的Common Crawl中文数据只占据4.8%。

中文数据集是什么情况?

公开数据集不是没有——这一点量子位从澜舟科技创始人兼CEO、当今NLP领域成就最高华人之一周明口中得到证实——如命名实体数据集MSRA-NER、Weibo-NER等,以及GitHub上可找到的CMRC2018、CMRC2019、ExpMRC2022等存在,但整体数量和英文数据集相比可谓九牛一毛。

并且,其中部分已经老旧,可能都不知道最新的NLP研究概念(新概念相关研究只以英文形式出现在arXiv上)。

中文高质量数据集虽有但少,使用起来比较麻烦,这就是所有做大模型的团队不得不面对的惨烈现状。此前的清华大学电子系系友论坛上,清华计算机系教授唐杰分享过,千亿模型ChatGLM-130B训练前数据准备时,就曾面临过清洗中文数据后,可用量不到2TB的情况。

解决中文世界缺乏高质量数据集迫在眉睫。

行之有效的解决方法之一,是直接用英文数据集训大模型。

在人类玩家打分的大模型匿名竞技场Chatbot Arena榜单中,GPT-3.5在非英文排行榜位居第二(第一是GPT-4)。要知道,96%的GPT-3.5训练数据都是英文,再刨去其他语种,用来训练的中文数据量少到可以用“千分之n”来计算。

国内top3高校某大模型相关团队在读博士透露,如果采用这种方法,不嫌麻烦的话,甚至可以给模型接一个翻译软件,把所有语言都转换成英语,然后把模型的输出转换为中文,再返回给用户。

然而这样喂养出的大模型始终是英文思维,当遇到成语改写、俗语理解、文章改写这类含有中文语言特色的内容,往往处理不佳,出现翻译错误或潜在文化的偏差。

还有个解决办法就是采集、清洗和标注中文语料,做新的中文高质量数据集,供给给大模型们。

开源数据集众人拾柴

察觉现况后,国内不少大模型团队决定走第二条路,着手利用私有数据库做数据集。

百度有内容生态数据,腾讯有公众号数据,知乎有问答数据,阿里有电商和物流数据。

积累的私有数据不一,就可能在特定场景和领域建立核心优势壁垒,将这些数据严格搜集、整理、筛选、清洗和标注,能保证训出模型的有效性和准确性。

而那些私有数据优势不那么明显大模型团队,开始全网爬数据(可以预见,爬虫数据量会非常大)。

华为为了打造盘古大模型,从互联网爬取了80TB文本,最后清洗为1TB的中文数据集;浪潮源1.0训练采用的中文数据集达5000GB(相比GPT3模型训练数据集为570GB);最近发布的天河天元大模型,也是天津超算中心搜集整理全域网页数据,同时纳入各种开源训练数据和专业领域数据集等的成果。

与此同时,近2个月来,中文数据集出现众人拾柴火焰高的现象——

许多团队陆续发布开源中文数据集,弥补当前中文开源数据集的不足或失衡。

其中部分整理如下:

CodeGPT:由GPT和GPT生成的与代码相关的对话数据集;背后机构为复旦大学。

CBook-150k:中文语料图书集合,包含15万本中文图书的下载和抽取方法,涵盖人文、教育、科技、军事、政治等众多领域;背后机构为复旦大学。

RefGPT:为了避免人工标注的昂贵成本,提出一种自动生成事实型对话的方法,并公开我们的部分数据,包含5万条中文多轮对话;背后是来自上海交大、香港理工大学等机构的NLP从业者。

COIG:全称“中国通用开放指令数据集”,是更大、更多样化的指令调优语料库,并由人工验证确保了它的质量;背后的联合机构包括北京人工智能研究院、谢菲尔德大学、密歇根大学、达特茅斯学院、浙江大学、北京航空航天大学、卡内基梅隆大学。

Awesome Chinese Legal Resources:中国法律数据资源,由上海交大收集和整理。

Huatuo:通过医学知识图谱和GPT3.5 API构建的中文医学指令数据集,在此基础上对LLaMA进行了指令微调,提高了LLaMA在医疗领域的问答效果;项目开源方是哈工大。

Baize:使用少量“种子问题”,让 ChatGPT 自己跟自己聊天,并自动收集成高质量多轮对话数据集;加州大学圣迭戈分校(UCSD)与中山大学、MSRA合作团队把使用此法收集的数据集开源。

当更多的中文数据集被开源到聚光灯下,行业的态度是欢迎与欣喜。如智谱AI创始人兼CEO张鹏表达出的态度:

中文高质量数据只是被藏在深闺而已,现在大家都意识到这个问题了,自然也会有相应的解决方案,比如数据开源。总之是在向好的方向发展,不是吗?

值得注意的是,除了预训练数据,目前阶段人类反馈数据同样不可或缺。

现成的例子摆在眼前:

与GPT-3相比,ChatGPT叠加的重要buff就是利用RLHF(人类反馈强化学习),生成用于fine-tuing的高质量标记数据,使得大模型向与人类意图对齐的方向发展。

提供人类反馈最直接的办法,就是告诉AI助手“你的回答不对”,或者直接在AI助手生成的回复旁边点赞或踩一踩。

先用起来就能先收集一波用户反馈,让雪球滚起来,这就是为什么大家都抢着发布大模型的原因之一。

现在,国内的类ChatGPT产品,从百度文心一言、复旦MOSS到智谱ChatGLM,都提供了进行反馈的选项。

但由于在大部分体验用户眼中,这些大模型产品最主要的还是“玩具”属性。

当遇到错误或不满意的回答,会选择直接关掉对话界面,并不利于背后大模型对人类反馈的搜集。

So~

今后遇到AI生成回答有错误或遗漏时,请不要吝惜一次点击,高举你手中的“”或“”,让大模型能收集更多的人类反馈。

本文为专栏作者授权创业邦发表,版权归原作者所有。文章系作者个人观点,不代表创业邦立场,转载请联系原作者。如有任何疑问,请联系editor@cyzone.cn。

关键词:

精彩阅读

国产ChatGPT「套壳」的秘密,现在被找到了

资讯

国产ChatGPT「套壳」的秘密,现在被找到了,比算力更急缺的是高质量数据

云鲸的洗地机生意:弯道超车还是昙花一现? 最新消息

资讯

云鲸的洗地机生意:弯道超车还是昙花一现?,姗姗来迟的云鲸S1能再次完成弯道超车吗?

没了工作的中年人,在咖啡馆假装上班 百事通

资讯

没了工作的中年人,在咖啡馆假装上班,“假装上班”看似轻松,实则不易。

AI技术和游戏行业结合,会改变什么?

资讯

AI技术和游戏行业结合,会改变什么?,一些可以预见的未来版图。

英伟达AI智能体接入GPT-4:自主写代码独霸「我的世界」,无需人类插手|环球报道

资讯

英伟达AI智能体接入GPT-4:自主写代码独霸「我的世界」,无需人类插手,给游戏行业来点GPT-4式震撼?这个叫V

PS直接革自己命!AI功能迎来史诗级加强,网友:改变游戏规则

资讯

PS直接革自己命!AI功能迎来史诗级加强,网友:改变游戏规则,这波PS的新功能,实际上手效果究竟如何?

每日播报!泡泡玛特做了款“动森like”手游,创始人:我们不指望靠它挣钱

资讯

泡泡玛特做了款“动森like”手游,创始人:我们不指望靠它挣钱,千亿市值公司入局。

音乐圈三国战:AI疑似侵权,平台隔岸观火,版权方起义

资讯

音乐圈三国战:AI疑似侵权,平台隔岸观火,版权方起义,AI音乐的版权到底该归谁?

环球滚动:清库存12亿欧椰子鞋,阿迪急寻下一个“侃爷”

资讯

清库存12亿欧椰子鞋,阿迪急寻下一个“侃爷”,15款椰子鞋重新上架,部分收益将捐给慈善机构。

投融资周报:储能系统品牌麦田能源获超10亿元融资,由朝希资本领投;航天软件A股上市,最新市值超百亿丨05.20-05.26

资讯

投融资周报:储能系统品牌麦田能源获超10亿元融资,由朝希资本领投;航天软件A股上市,最新市值超百亿丨05

财富

国产ChatGPT「套壳」的秘密,现在被找到了

资讯

国产ChatGPT「套壳」的秘密,现在被找到了,比算力更急缺的是高质量数据

云鲸的洗地机生意:弯道超车还是昙花一现? 最新消息

资讯

云鲸的洗地机生意:弯道超车还是昙花一现?,姗姗来迟的云鲸S1能再次完成弯道超车吗?

没了工作的中年人,在咖啡馆假装上班 百事通

资讯

没了工作的中年人,在咖啡馆假装上班,“假装上班”看似轻松,实则不易。

AI技术和游戏行业结合,会改变什么?

资讯

AI技术和游戏行业结合,会改变什么?,一些可以预见的未来版图。

英伟达AI智能体接入GPT-4:自主写代码独霸「我的世界」,无需人类插手|环球报道

资讯

英伟达AI智能体接入GPT-4:自主写代码独霸「我的世界」,无需人类插手,给游戏行业来点GPT-4式震撼?这个叫V

PS直接革自己命!AI功能迎来史诗级加强,网友:改变游戏规则

资讯

PS直接革自己命!AI功能迎来史诗级加强,网友:改变游戏规则,这波PS的新功能,实际上手效果究竟如何?

每日播报!泡泡玛特做了款“动森like”手游,创始人:我们不指望靠它挣钱

资讯

泡泡玛特做了款“动森like”手游,创始人:我们不指望靠它挣钱,千亿市值公司入局。

音乐圈三国战:AI疑似侵权,平台隔岸观火,版权方起义

资讯

音乐圈三国战:AI疑似侵权,平台隔岸观火,版权方起义,AI音乐的版权到底该归谁?

环球滚动:清库存12亿欧椰子鞋,阿迪急寻下一个“侃爷”

资讯

清库存12亿欧椰子鞋,阿迪急寻下一个“侃爷”,15款椰子鞋重新上架,部分收益将捐给慈善机构。

投融资周报:储能系统品牌麦田能源获超10亿元融资,由朝希资本领投;航天软件A股上市,最新市值超百亿丨05.20-05.26

资讯

投融资周报:储能系统品牌麦田能源获超10亿元融资,由朝希资本领投;航天软件A股上市,最新市值超百亿丨05

Minitab功能分享 |直方图条形怎么设置

直方图对于汇总几个统计数据非常有用。

注意了!AI换脸以假乱真 媒体人怎么擦亮双眼 不被AI所骗?

对媒体人而言,“眼见为实”似乎不再可靠,应该如何辨别真伪?

专注高端算力服务,这家服务商获投数千万美金|环球热消息

成立两年,和上百家企业达成合作,云天畅想的发展密码在于具备核心优势。

大数据比你妈还懂你:驯化算法还是被算法驯化? 天天观焦点

购物软件精准推送的背后,离不开电商平台的大数据算法。

大厂身份溢价,折叠于2023|世界热点

还是那句话:向前看,别回头。

双龙吐珠粤语版在线观看_双龙吐珠寓意 全球聚看点

1、病情分析:如果长在双眉中间呢,就建议不要了,这是双龙吐珠来的。2、吉祥的象征指导意见:可以到医院激

冬季钓草鱼技巧及注意事项(冬季钓草鱼的八大注意事项)|最新快讯

1、出钓时间:初冬只要不是气温骤降天气几乎全天都可作钓。2、钓位选择:选水深3 0-4 0米的回水湾、深滩或

ige过敏原检测结果对照表_ige_今日热讯

1、免疫球蛋白。2、IGE:免疫球蛋白,是人体内的一种抗体,存在于血液中。3、是正常人血清中含量最少的免疫

招银理财“打响第一枪”,不赚钱不收管理费,此举会成为业界主流么?

实习记者王欣婷近日,招商银行旗下的招银理财推出了一只银行理财权益类公募产品(类公募基金),引发了投资

鸡哥基米希独自一人长时间看向拜仁球迷看台,随后鼓掌庆祝

直播吧5月28日讯拜仁末轮逆转夺得德甲冠军。赛后,基米希独自一人长时间看着拜仁球迷看台,随后鼓掌庆祝

无名之朴_关于无名之朴介绍

无名之朴,关于无名之朴介绍这个很多人还不知道,现在让我们一起来看看吧!1、无名之朴,汉语成语,拼音是w