首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代

2022-11-03 16:56:10   来源:商业新知网

来源 | 机器之心


(资料图片仅供参考)

生成内容一直被视为 AI 领域中最具有挑战性的能力,最近大火的 AI 绘画背后,是 Stable Diffusion 模型的开源,催生了众多 AI 绘画的应用,得益于 Stability AI 的开源精神,这一创变推动了整个以英文为主的下游文生图生态的蓬勃发展。

然而在国内,目前大部分团队主要是基于翻译 API + 英文 stable diffusion 模型进行开发,但由于中英文之间所得存在文化差异导致遇到中文独特的叙事和表达时,这种模型就很难给出正确匹配的图片内容。因此,IDEA 研究院认知计算与自然语言研究中心(IDEA CCNL)开源了第一个中文版本的 stable diffusion 模型“太乙 Stable Diffusion”,让中文的世界真正拥有具备中国文化内核的 AIGC 模型。

太乙 Stable Diffusion 纯中文版本:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1

太乙 Stable Diffusion 中英双语版本:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1

中文运笔,意境浮现

君不见黄河之水天上来 ,唯美,油画

滔滔江水,连绵不绝 ,唯美,插画

飞流直下三千尺 ,唯美,插画

长城,清晨,朦胧,唯美,插画

梦回江南,中国古代小镇,唯美,插画

云南苗家古寨,原始森林,鸟语花香,唯美,插画

中国的未来城市,科幻插画

中文 vs 英文的图片生成

中文指导的特定风格生成

小桥流水人家,水彩

(Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)

小桥流水人家,Van Gogh style

(Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)

太乙系列文本生成图像模型技术揭秘

第一个开源中文 CLIP 模型

2022 年 7 月,IDEA CCNL开源了第一个中文 CLIP 模型,目前已经有 4 个版本。

Taiyi-CLIP-Roberta-102M-Chinese:https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-102M-Chinese

Taiyi-CLIP-Roberta-large-326M-Chinese:https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese

Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese:https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese

Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese:https://huggingface.co/IDEA-CCNL/Taiyi-CLIP-RoBERTa-326M-ViT-H-Chinese

以 Taiyi-CLIP-Roberta-large-326M-Chinese 为例,IDEA CCNL用中文语言模型替换了开源的英文 CLIP 中语言编码器,在训练过程中冻结了视觉编码器并且只微调这个中文语言模型,在 1 亿级别的中文数据上训练了 24 个 epoch,一共过了约 30 亿中文图文数据,得到了这个包含图片信息的中文表征语言模型,为后续训练中文 Diffusion 相关的模型奠定了重要的基础。

第一个开源中文 Disco Diffusion 模型

2022 年 10 月,IDEA CCNL开源了第一个中文 Disco Diffusion 模型 Taiyi-Diffusion-532M-Nature-Chinese,该模型由 Katherine Crowson"s 的无条件扩散模型在自然风景图上微调而来。结合 Taiyi-CLIP-Roberta-large-326M-Chinese 可以实现中文生成各种风格的风景图片。

东临碣石,以观沧海,水何澹澹,山岛竦峙:

第一个开源中文 Stable Diffusion 的模型

2022 年 11 月,IDEA CCNL开源了第一个中文 Stable Diffusion 的模型和中英双语 Stable Diffusion 模型。

太乙 Stable Diffusion 纯中文版本( Taiyi-Stable-Diffusion-1B-Chinese-v0.1)

该模型利用已经开源的太乙 CLIP 模型 (Taiyi-CLIP-RoBERTa-102M-ViT-L-Chinese) 替换了英文 stable-diffusion-v1-4 中的语言编码器,因为太乙 CLIP 模型已经具备了很强的中文图文概念,所以直接冻结英文 stable diffusion 的生成模型部分,在亿级别的高质量数据上微调语言编码器,调整学习率等超参数,将太乙 CLIP 模型理解的中文图文概念与 stable diffusion 生成能力对齐。

太乙 Stable Diffusion 中英双语版本( Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1)

不同于太乙 Stable Diffusion 纯中文版本,这个模型希望在支持中文的情况下,同时能保留 stable-diffusion-v1-4 的英文生成能力。由于 stable-diffusion-v1-4 原有语言模型不具备太乙 CLIP 模型强大的中文图文概念,IDEA CCNL希望在它的基础上增加了中文数据训练,这里采取了两阶段的训练。第一阶段也是冻住 stable-diffusion-v1-4 的生成模型部分,在亿级别的高质量数据上微调语言编码器,调整学习率等超参数,训练语言模型中文部分的表征。第二阶段放开 stable-diffusion-v1-4 的生成模型部分,增强中文引导图片生成的能力,目前训练中的一个 checkpoint 已取得不错的效果并进行了开源。

使用方法

如果需要进行古诗场景、中文概念生成,建议尝试中文版本 Taiyi-Stable-Diffusion-1B-Chinese-v0.1。如果需要一些通用场景和概念的生成,尤其是有中文混合英文需要,建议尝试中英双语版本 Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1。

中文版本:

中英双语版本:

太乙 - 中文 Stable Diffusion 的未来

目前在庞大的中国市场中,有将近 10 亿的文化产业正在被 AIGC 冲击并快速创新发展,也有更多的新机遇在裂变中产生。由于此前的 AIGC 模型还无法和特殊的中国文化背景相结合,致力于成为中文认知智能的基础设施的 IDEA 研究院认知计算与自然语言中心,希望通过推出太乙模型,助力加快在 AIGC 全球市场化中中国的文化产业数字化转型的创新发展,促进各个相关行业的升级。而太乙所在的封神榜预训练模型开源体系,已经开源 80 个模型,覆盖 AIGC、自然语言理解、受控文本生成等多个领域,成为中文最大的预训练模型开源体系。基于封神榜模型的 GTS 模型生产平台,自动生产的 1 亿参数模型,击败众多百亿千亿参数模型,进入 FewCLUE 榜单前三名,机器自动化生成模型的能力达到了算法专家水平,AI 生产 AI 的时代正在到来。

IDEA CCNL认为,在 AIGC 中,人的作用是更为重要的,生成式 AI 应悄无声息地融入大众生活中并更好地帮助拓展人类的想象力边界。所以,与 AI 互动生产的内容,是帮助AIGC走向下一个生产力阶段的关键。因此,IDEA CCNL除了基础模型和基础算法的研究之外,还在研究更精准的文本生成和基中文于文本的交互式图片编辑。以太乙为核心的 AIGC 模型会持续更新和升级,敬请期待。

关键词: 语言模型

上一篇:
下一篇:
精彩阅读

首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代

热点

生成内容一直被视为AI领域中最具有挑战性的能力。

环球最资讯丨世界首个!Meta AI开放6亿+宏基因组蛋白质结构图谱,150亿语言模型用两周完成

热点

如今,在蛋白质结构预测领域,各大厂也出现了「百家争鸣,百家齐放」。

《中国广电IP骨干网建设项目可行性研究报告》专家评审会在京召开

热点

10月30日下午,《中国广电IP骨干网(CBNET)建设项目可行性研究报告》专家评审会在北京召开。

从“围炉烤茶”到“热奶宝”,我发现了一些潮流的秘密(第591回)

热点

抓住时令,降低用户的获得成本,满足用户的社交欲,这几乎就是近几年爆火的小物件的原因。

世界观点:赛博周刊|纸皮狗成时尚,甄嬛传出盲盒,鹤岗是不是好选择?

热点

双11大词典是双11到来之际诞生的有梗新词,带有本年度消费特色。

今日讯!政企合作!重庆移动、广电、中广电移动携手创新广电5G垂直应用

热点

根据协议,三方将重点围绕5G政企信息化业务、联合组网试点项目、生态资源及能力、产品体系构建四个方面开展政企领域合作。

全球时讯:腾讯、联通设立合营企业获批,二者今日股价上涨

热点

联通创新创业投资有限公司与深圳市腾讯产业创投有限公司新设合营企业案获批,审结时间为10月18日。

浙江各地广电全力推进5G业务 固移融合成主流

热点

日前,浙江华数组织召开“5G业务市县联动发展专题会议”,就5G业务发展工作的省市县支撑联动进行解读和部署。

国家批准中国联通与腾讯设立混改新公司

热点

联通创新创业投资有限公司与深圳市腾讯产业创投有限公司新设合营企业案获无条件批准。

焦点速递!All in元宇宙的Meta,一年跌去了44393亿

热点

Meta发布了2022年三季度财报,财报显示,Meta第三季度营收为277 1亿美元,同比下滑4%。

财富

观速讯丨融资丨「金晟新能源」完成数亿元B+轮融资,达晨资本、基石资本联合领投

资讯

融资丨「金晟新能源」完成数亿元B+轮融资,达晨资本、基石资本联合领投,博世、陕汽、国调战新、广东省产业发展基金、中小企业国中基金、博时基

每日热闻!融资丨「来好宿」完成数千万A轮融资,易宝支付旗下基金领投

资讯

融资丨「来好宿」完成数千万A轮融资,易宝支付旗下基金领投,本次融资资金将主要用于乡村民宿覆盖、整合及运营团队升级。

融资丨「同诺康」获得天使轮融资,动平衡资本领投

资讯

融资丨「同诺康」获得天使轮融资,动平衡资本领投,本轮融资资金将用于研发管线推进、AI平台的升级以及团队建设。

以色列安全公司Ox Security完成3400万美元种子轮融资丨海外邦

资讯

以色列安全公司OxSecurity完成3400万美元种子轮融资丨海外邦,OxSecurity主要利用PipelineBillofMaterials(PBOM)技术标准,帮助客户检测企业与

浏览器兴亡,公司耍流氓

资讯

浏览器兴亡,公司耍流氓,你会难受,然后对着手机笑起来

被首富开除,是一种怎样的体验?

资讯

被首富开除,是一种怎样的体验?,时间会告诉我们答案。

对中国人来说,保时捷还是太便宜了

资讯

对中国人来说,保时捷还是太便宜了,背靠中国的欧洲新王

当前速看:双11再掀「扫金热」:理财失败攒金豆,直播专坑年轻人

资讯

双11再掀「扫金热」:理财失败攒金豆,直播专坑年轻人,“年少不知黄金香,现在越买越上瘾”

环球最新:陆正耀「走不出」瑞幸?

资讯

陆正耀「走不出」瑞幸?,9块9一杯,陆正耀重操旧业

火锅进入“小鲜肉”时代

资讯

火锅进入“小鲜肉”时代,“吃火锅,好吃健康全都要。”

环球最资讯丨世界首个!Meta AI开放6亿+宏基因组蛋白质结构图谱,150亿语言模型用两周完成

如今,在蛋白质结构预测领域,各大厂也出现了「百家争鸣,百家齐放」。

《中国广电IP骨干网建设项目可行性研究报告》专家评审会在京召开

10月30日下午,《中国广电IP骨干网(CBNET)建设项目可行性研究报告》专家评审会在北京召开。

从“围炉烤茶”到“热奶宝”,我发现了一些潮流的秘密(第591回)

抓住时令,降低用户的获得成本,满足用户的社交欲,这几乎就是近几年爆火的小物件的原因。

世界观点:赛博周刊|纸皮狗成时尚,甄嬛传出盲盒,鹤岗是不是好选择?

双11大词典是双11到来之际诞生的有梗新词,带有本年度消费特色。

今日讯!政企合作!重庆移动、广电、中广电移动携手创新广电5G垂直应用

根据协议,三方将重点围绕5G政企信息化业务、联合组网试点项目、生态资源及能力、产品体系构建四个方面开展政企领域合作。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个