每日视讯:谷歌AI生成视频两连发:720p高清+长镜头,网友:对短视频行业冲击太大

2022-10-08 09:52:39   来源:商业新知网

内容生成AI进入视频时代!

Meta发布 「用嘴做视频」 仅一周,谷歌CEO劈柴哥接连派出 两名选手 上场竞争。

第一位 Imagen Video 与Meta的Make-A-Video相比突出一个 高清 ,能生成1280*768分辨率、每秒24帧的视频片段。


(资料图片)

另一位选手 Phenaki ,则能根据200个词左右的提示语生成 2分钟以上的长镜头 ,讲述一个完整的故事。

网友看过后表示,这一切进展实在太快了。

也有网友认为,这种技术一旦成熟,会冲击短视频行业。

那么,两个AI具体有什么能力和特点,我们分别来看。

Imagen Video:理解艺术风格与3D结构

Imagen Video同样基于最近大火的扩散模型,直接继承自5月份的图像生成SOTA模型Imagen。

除了分辨率高以外,还展示出三种特别能力。

首先它能理解并生成不同艺术风格的作品,如“水彩画”或者“像素画”,或者直接“梵高风格”。

它还能理解物体的3D结构,在旋转展示中不会变形。

最后它还继承了Imagen准确描绘文字的能力,在此基础上仅靠简单描述产生各种创意动画,

这效果,直接当成一个视频的片头不过分吧?

除了应用效果出色以外,研究人员表示其中用到的一些优化技巧不光对视频生成有效,可以泛化至一般扩散模型。

具体来说,Imagen Video是一系列模型的集合。

语言模型部分是谷歌自家的 T5-XXL ,训练好后冻结住文本编码器部分。

与负责从文本特征映射到图像特征的CLIP相比,有一个关键不同:

语言模型只负责编码文本特征,把文本到图像转换的工作丢给了后面的视频扩散模型。

基础模型,在生成图像的基础上以自回归方式不断预测下一帧,首先生成一个48*24、每秒3帧的视频。

接下来,一系列空间超分辨率 (Spatial Super-Resolution) 与时间超分辨率 (Temporal Super-Resolution) 模型接连对视频做扩展处理。

所有7种扩散模型都使用了 v-prediction parameterization 方法,与传统方法相比在视频场景中可以避免颜色偏移。

这种方法扩展到一般扩散模型,还使样本质量指标的收敛速度更快。

此外还有 渐进式蒸馏 (Progressive Distillation) ,将每次迭代所需的采样步骤减半,大大节省显存消耗。

这些优化技巧加起来,终于使生成高清视频成为可能。

Phenaki:人人都能是“导演”

Phenaki的论文投了ICLR 2023会议,在一周前Meta发布Make-a-video的时候还是匿名双盲评审状态。

如今信息公开,原来研究团队同样来自谷歌。

在公开的信息中,Phenaki展示了它交互生成视频的能力,可以任意切换视频的整体风格:高清视频/卡通,还能够切换任意场景。

还可以向Phenaki输入一个初始帧以及一个提示,便能生成一段视频。

这都还是开胃小菜,Phenaki真正的大招是: 讲故事 ,它能够生成2分钟以上的长视频,通过输入长达200多个字符的系列提示来得到。

(那有了这个模型,岂不是人人都能当导演了?手动狗头)

从文本提示到视频, 计算成本高、高质量文本视频数据数量有限以及视频长度可变 一直以来都是此类模型发展的难题。

以往的大多数AI模型都是通过单一的提示来生成视频,但若要生成一个长时间并且连贯的视频这远远不够。

而Phenaki则能生成2分钟以上的视频,并且还 具备故事情节 ,这主要归功于它能够根据 一系列的提示 来生成视频的能力。

具体来说,研究人员引入了一个新的因果模型来学习表示视频: 将视频视作图像的一个时间序列。

这个模型基于transformer,可以将视频分解成离散的小表示,而分解视频则是按照时间的因果顺序来进行的。

再讲通俗一点,就是通过空间transformer将单个提示进行编码,随后再用因果transformer将多个编码好的提示串联起来。

一个提示生成一段视频,这样一来,视频序列便可以沿着提示中描述的时间序列将整个“故事”串在一起。

因为将视频压缩为离散的图像序列,这样也大大减少了AI处理标记视频的数量,在一定程度上降低了模型的训练成本。

提到模型训练,和大型图像系统一样,Phenaki也主要使用文本-图像数据进行训练,此外,研究人员还用1.4秒,帧率8FPS的短视频文本对Phenaki进行训练。

仅仅通过对大量图像文本对以及少量视频文本例子进行联合训练,便能达到突破视频数据集的效果。

Imagen Video和Phenaki,谷歌接连放出大招,从文本到视频的AI发展势头迅猛。

值得一提的是,Imagen Video一作表示,两个团队将合作进行下一步研究。

嗯,有的网友已经等不及了。

One More Thing

出于安全和伦理的考虑,谷歌暂时不会发布两个视频生成模型的代码或Demo。

不过既然发了论文,出现开源复刻版本也只是时间问题。

毕竟当初Imagen论文出来没几个月,GitHub上就出现了Pytorch版本。

另外Stable Diffusion背后的StabilityAI创始人兼CEO也说过,将发布比Meta的Make-A-Video更好的模型,而且是大家都能用上的那种。

当然,每次AI有了新进展后都会不可避免 地 碰到那个话题——AI会不会取代人类。

目前来说,一位影视行业的工作者表示还不到时候:

老实说,作为一个在电影行业工作了十年的人,这个话题令人沮丧。

在他看来,当前的视频生成AI在外行看起来已经足够惊艳,不过业内人士会认为AI还缺乏对每一个镜头的精细控制。

对于这个话题,StabilityAI新任首席信息官Daniel Jeffries此前撰文表示,AI最终会带来更多的工作岗位。

如相机的发明虽然取代了大部分肖像画家,但也创造了摄影师,还开辟了电影和电视这样的全新产业。

5年后再回看的话, 反对AI就像现在反对Photoshop一样奇怪 ,AI只不过是另一个工具。

Jeffries称未来是环境人工智能(Ambient AI)的时代,各个行业、各个领域都会在人工智能的加持下进行发展。

不过现在我们需要的是一个更开放的人工智能环境,也就是说:开源!

最后,如果你现在就想玩一下AI生成视频的话,可以先到HuggingFace上试试清华与智源实验室的Cogvideo。

关键词: 人工智能 研究人员

上一篇:
下一篇:
精彩阅读

世界新消息丨绿软女,打开05后的隐秘世界

热点

这样的代际社交行为,倒是和上一轮被争相报道的“00后爱玩QQ、不爱用微信”有异曲同工之妙。

世界热门:硬刚Meta,字节开辟“第二战场”

热点

PICO能否大力出奇迹,成为字节出海的另一个支柱,很大程度上要看字节接下来的决心和投入。

速递!​飞天云动港股IPO:“打新”元宇宙第一股的时机到了

热点

元宇宙,正再度唤起科技世界蓬勃的创造力与想象力,成为改变未来世界的重要力量。

当前热议!中国城市人工智能创新指数2022:东部城市领跑,一超多强格局凸显

热点

人工智能是新一轮产业变革的核心驱动力,是世界强国竞逐的关键赛道。

环球新动态:实体企业-数字化转型 【中弘美谷】赋能陪跑计划正式启动

热点

在快速崛起的时代,互联网类、电商类、新传媒创新类企业遥遥领先,成为拥抱趋势变化的领头企业。

【全球热闻】陌生社交“博弈论”

热点

近几年,陌交行业未盛先衰,有人说赛道已塌,头部将死,或许大可不必如此悲观。

今日视点:完整录音·科创人数智思维私董会第6期:历久弥新的系统论、控制论与信息论| 活动回顾

热点

在数字化信息时代,连接新知识的能力,价值远大于治理并掌控新知识的能力。

当前看点!接棒智能手机,VR行业还差几步?

热点

只不过目前来看,还存在着一些有待解决的问题,还存在着几步需要探索的技术,还存在着些许需要挤压的价格。

全球微资讯!上海广电:年前完成大规模广电700MHz基站建设

热点

9月28日,中国广电5G(上海)网络服务启航仪式在东方明珠电视塔举行。

财富

【天天新视野】特斯拉交付不及预期,蔚小理抓紧驶入「弯道」

资讯

特斯拉交付不及预期,蔚小理抓紧驶入「弯道」,他们为何在2022年,又集体进入了弯道?

环球微速讯:宠物智能硬件的胜利,是个伪命题?

资讯

宠物智能硬件的胜利,是个伪命题?,还需洞察“铲屎官”的本质需求。

天天即时:羊了个羊火了,抖音的游戏梦近了

资讯

羊了个羊火了,抖音的游戏梦近了,抖音的游戏角色:轻量,但无处不在。

天天速讯:“新势力”用上劳斯莱斯的高端配置,还把它卷成白菜价

资讯

“新势力”用上劳斯莱斯的高端配置,还把它卷成白菜价,中国人颠覆的不仅是车企巨头,还有供应链。

当前关注:蜜雪冰城“万店天花板”:靠加盟风险外包,37万开店竟不赚钱?

资讯

蜜雪冰城“万店天花板”:靠加盟风险外包,37万开店竟不赚钱?,蜜雪冰城一纸招股书,掀开了加盟商为其打下的百亿江山。

世界看点:中国女篮获世界杯亚军,商业价值能跟上吗?

资讯

中国女篮获世界杯亚军,商业价值能跟上吗?,中国女篮目前的商业成绩并不像赛场上的成绩一样突出。

世界速读:浮沉25年,燕之屋不止困于IPO

资讯

浮沉25年,燕之屋不止困于IPO,赵丽颖代言的燕窝品牌,再次败于IPO。

焦点速讯:特斯拉整活,马斯克称Cybertruck能当船用:进水不保修

资讯

特斯拉整活,马斯克称Cybertruck能当船用:进水不保修,水下能有路吗

【全球时快讯】东方甄选究竟是不是泡沫?

资讯

东方甄选究竟是不是泡沫?,自从2022年6月一夜爆红以来,东方甄选一直是全市场关注的焦点话题。

世界快消息!网易严选入局宠物赛道,但还缺代工厂这块拼图

资讯

网易严选入局宠物赛道,但还缺代工厂这块拼图,网易卖猫粮,严选惹身臊。

世界新消息丨绿软女,打开05后的隐秘世界

这样的代际社交行为,倒是和上一轮被争相报道的“00后爱玩QQ、不爱用微信”有异曲同工之妙。

世界热门:硬刚Meta,字节开辟“第二战场”

PICO能否大力出奇迹,成为字节出海的另一个支柱,很大程度上要看字节接下来的决心和投入。

速递!​飞天云动港股IPO:“打新”元宇宙第一股的时机到了

元宇宙,正再度唤起科技世界蓬勃的创造力与想象力,成为改变未来世界的重要力量。

当前热议!中国城市人工智能创新指数2022:东部城市领跑,一超多强格局凸显

人工智能是新一轮产业变革的核心驱动力,是世界强国竞逐的关键赛道。

环球新动态:实体企业-数字化转型 【中弘美谷】赋能陪跑计划正式启动

在快速崛起的时代,互联网类、电商类、新传媒创新类企业遥遥领先,成为拥抱趋势变化的领头企业。

苹果举行主题为超前瞻秋季新品发布会 AirPodsPro2正式登场

北京时间9月8日凌晨,苹果举行主题为超前瞻的秋季新品发布会,在此次发布会上,备受关注的iPhone 14系列新机、新款Apple Watch Ultra以

微软正为Windows12开发新驱动框架 提升新老显卡性能

Windows 12系统可能会在2024年到来,按照正常的节奏,其开发工作应该早已秘密进行。日前,有开发者从Windows 11最新预览版Build 25188中

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个