谷歌新AI火了,世界最长单词都能画
谷歌新AI火了,世界最长单词都能画
量子位
· 刚刚
最长单词:“Pneumonoultramicroscopicsilicovolcanoconiosis”。
图片来源@视觉中国
钛媒体注:本文来源于微信公众号量子位(ID:QbitAI),作者|杨净、金磊,钛媒体经授权发布。
朋友,你知道这个英文单词是什么吗?
Pneumonoultramicroscopicsilicovolcanoconiosis.
这个世界公认最长——由45个字母组成的单词,意思是“因肺部沉积火山矽质微粒所引起的疾病”(俗称火山矽肺病)。
但如果说,现在不是让你拼读这个单词,而是……把它给画出来呢?
(读都读不出来,还画画???)
谷歌最新提出来的一个AI——Parti,它就能轻松hold住这事。
在把这个单词“投喂”给Parti后,它就能有模有样地生成多张合情合理的肺部疾病图片:
但这只是Parti小试牛刀的能力,据谷歌介绍,它是目前最先进的“文本转图像”AI。
例如,跟它说句:“把悉尼歌剧院和巴黎铁塔做个结合”,输出结果是这样的:
不知道的还真以为是画报呢
而且在算法路数上,还不同于谷歌自家的Imagen,Parti可以说是把“AI作画”卷出了新高度。
就连谷歌AI负责人Jeff Dean也连发数条推文,玩得不亦乐乎:
01 可扩展到200亿参数:更逼真,更“聪明”
事实上,Parti的能力还不止于此。
得益于模型可扩展到200亿参数,一方面,它生成的图像更加细节逼真。
不管是短短几个字,还是五十多个个单词的小段落,都能清晰展现出来。
比如,The back of a violin,小提琴的背面。
亦或是照着梵高《星空》来描述的夜晚画面。ps,这段有67个单词。
结果Parti也不在话下,一揽子把各种风格的图全给你画出来了~
这也正是Parti的第二大能力,不光细节到位,风格也能做到多变。
还有像“浣熊穿正装,头戴礼帽,拄着拐杖,拿着个垃圾袋”这种奇特的描述,它也能在整出花活的同时还不落细节。
风格上,则有梵高风、埃及法老风、像素风、中国传统绘画风、抽象主义风……
甚至有时候它还会讲双关笑话。
Toad’ay,癞蛤蟆
具体在测试结果上,MS-COCO、Localized Narrative(LN,4倍长的描述)上FID分数,Parti都取得了最先进的结果。
尤其在MS-COCO零样本的FID得分仅为7.23,微调FID得分为3.22,超过了此前的Imagen和DALL-E 2。
02 所有组件都是Transformer
时隔一个月,谷歌再把AI作画卷出新高度,结果作者却说:秘诀很简单。
Parti主要是将文本生成图像视作序列到序列之间建模。这有点类似于机器翻译,将文本标记作为编码器的输入,目标输出从文本变成了图像。
从结构上看,它的所有组件只有三部分:编码器、解码器以及图像标记器,且都是基于标准Transformer。
首先,使用基于Transformer的图像标记器ViT-VQGAN,将图像编码为离散的标记序列。
然后再通过Transformer的编码-解码结构,将参数扩展到200亿。
以往关于文本生成图像的研究,除了最早出现的GAN,大体可以分成两种思路。
一种是基于自回归模型,首先文本特征映射到图像特征,再使用类似于Transformer的序列架构,来学习语言输入和图像输出之间的关系。
这种方法的一个关键组成部分就是图像标记器,将每个图像转换为一个离散单元的序列。比如DALL-E和CogView,就采用了这一思路。
另一种则是这段时间以来进展频频的路线——基于扩散的文本到图像模型,比如DALL-E 2和Imagen。
他们摒弃了图像标记器,而是采用扩散模型来直接生成图像。可以看到的是,这些模型产生的图像质量更高,在MS-COCO零样本FID得分更好。
而Parti模型的成功,则证明了自回归模型可以用来改善文本生成图像的效果。
与此同时,Parti还引入并发布了新的基准测试——PartiPrompts,用于衡量模型在12个类别和11个挑战方面的能力。
但Parti还是有一定的局限性,研究人员也展示了一些bug:
比如,对否定的描述就没招了~
一个没有香蕉的盘子,旁边一个没有橙汁儿的玻璃杯。
还会犯一些常识性错误,例如不合理地缩放。比如这张图,机器人竟然比赛车高出好几倍。
一个穿着赛车服和黑色遮阳板的闪亮机器人自豪地站在一辆F1赛车前。太阳落在城市景观上。漫画书插图。
03 谷歌“自己卷自己”
在这项研究来自Google Research,团队中的华人居多。
研究核心工作人员包括Yuanzhong Xu、Thang Luong等,目前均就职于谷歌从事AI相关研究工作。
(Thang Luong在谷歌学术上的引用量高达20000+)
左:Yuanzhong Xu;右:Thang Luong
不过有意思的是,同为“说句话让AI作画”,同为出自谷歌之手的Imagen,它跟Parti还真有点千丝万缕的关系。
在Parti的GitHub的项目文档中就有提到:
感谢Imagen团队,他们在发布Imagen之前与我们分享了其最近完整的结果。
他们在CF-guidance方面的重要发现,对最终的Parti模型特别有帮助。
而且Imagen的作者之一Burcu Karagol Ayan,也参与到了Parti的项目中。
(有种谷歌“自己卷自己”那味了)
不仅如此,就连“隔壁”DALL-E 2的作者Aditya Ramesh,也给Parti在MS-COCO评价方面做了讨论工作。
以及DALL-Eval的作者们,也在Parti数据方面的工作提供了帮助。
04 One More Thing
有一说一,就“文本生成图像”这事,可不只是研究人员们的宠儿。
网友们在“玩”它这条路上,也是乐此不疲(脑洞不要太大好吧)。
前一阵子让Imagen画一幅宋朝“虎戴VR”,直接演变成AI作画大战。
Imagen作画
DALL·E、MidJourney等“闻讯赶来”参与其中。
DALL·E作画
甚至还有把Wordle和 DALL-E 2搞到一起的:
不过回归到这次的Parti,好玩归好玩,但还是有网友提出了“直击灵魂”的问题:
啥时候商业化?要是自己“关门玩”就没意思了。
参考链接:
- [1]https://twitter.com/lmthang/status/1539664610596225024
- [2]https://gizmodo.com/new-browser-game-combines-dall-e-mini-and-wordle-1849105289
- [3]https://imagen.research.google/
263篇资讯
3.9万关注
量子位
追踪人工智能产品和技术新趋势,我们只专注报道AI
最近资讯
- 谷歌新AI火了,世界最长单词都能画
- 马斯克11天强吞推特,全新商业帝国拼图完成
- 年轻30岁不是梦,剑桥科学家破译重返青春密码
本文观点仅代表作者本人,钛媒体平台仅对用户提供信息及决策参考,本文不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里。
敬原创,有钛度,得赞赏
-
钛粉97884 赞赏了
零和游戏与非零和玩家:InterSystems的数...
约2天以前 -
钛粉97003 赞赏了
零和游戏与非零和玩家:InterSystems的数...
约2天以前 -
钛粉97388 赞赏了
零和游戏与非零和玩家:InterSystems的数...
约2天以前 -
钛粉11323 赞赏了
丰谷酒业换帅!李寒松出任党委书记、董事长
约3天以前 -
钛粉97508 赞赏了
海外港口货物积压,商家提前备货,今年外贸旺季来得有...
上周 -
钛粉36186 赞赏了
习酒划转茅台集团财务公司5%股权,上市仍在“激烈博...
2022-06-21 15:25 -
钛粉66633 赞赏了
重新定义“一体化”?HR SaaS产品PaaS化之...
2022-06-16 08:51 -
碧天黄地 赞赏了
未来汽车如何实现创新与融合?几位大佬有话说
2022-05-30 21:37 -
钛友趣76... 赞赏了
批量招聘难题何解?他们发现了HRSaaS的新机会 ...
2022-05-26 23:38 -
单晶冰糖啦... 赞赏了
钛媒体华南中心成立 全财经战略布局再进一步
2022-05-25 11:30 -
钛粉89798 赞赏了
郑大一附院,一家“超级医院”的双面特写
2022-05-21 06:19 -
钛粉00698 赞赏了
大厂深蹲,时代向前
2022-05-19 10:27 -
刘成军 赞赏了
中国信通院院长余晓晖:加快构建我国特色的工业互联网...
2022-05-18 14:09 -
已注销用户 赞赏了
Netflix真的会为「卖广告」掏出真心吗
2022-05-17 10:19 -
钛田097... 赞赏了
黑海粮仓“起火” ,全球粮食失衡
2022-05-09 19:50 -
钛i7Tw... 赞赏了
Bilibili Issues 10,000 NF...
2022-05-03 16:30 -
钛粉11841 赞赏了
式微的金三银四,进击的线上招聘 | 钛媒体深度
2022-04-28 00:39 -
钛粉70984 赞赏了
式微的金三银四,进击的线上招聘 | 钛媒体深度
2022-04-27 14:29 -
刘成军 赞赏了
【书评】工业互联网,如何开启工业全价值链价值重构的...
2022-04-20 15:10 -
钛粉12812 赞赏了
破发又大涨 海创药业“明天”的故事不好讲
2022-04-13 19:13 -
端生 赞赏了
孟晚舟归国首次亮相,华为年度净利润超1100亿元 ...
2022-03-29 17:26 -
钛粉04723 赞赏了
京喜基本退出社区团购
2022-03-28 12:53 -
钛粉34992 赞赏了
我和我的植物人女儿|钛媒体影像《在线》
2022-03-25 14:59 -
钛粉32623 赞赏了
“看风使舵”的摩根大通,为什么不值得信任?
2022-03-23 13:18 -
钛粉64062 赞赏了
酒店机器人离“万能”员工,还差多少笔融资?
2022-03-19 10:27 -
钛粉41134 赞赏了
俄乌战火中的中国留学生:我决定留下帮助普通人
2022-03-18 11:45 -
钛粉52609 赞赏了
半导体高管不断跳槽,背后透露什么信号?
2022-03-05 16:01 -
钛粉08632 赞赏了
叮咚买菜上海地区实现盈利,未来扭亏有望了吗?
2022-02-28 13:11 -
炜琳 赞赏了
刀口夺金的私募业:猎人、赌徒和骗子
2022-02-25 00:22 -
钛粉90022 赞赏了
年薪4亿的中国最贵科技CEO是谁?我们对高管薪资做...
2022-02-17 20:27 -
钛粉30326 赞赏了
亮风台联合创始人唐荣兴:元宇宙是个慢风口,AR领域...
2022-01-20 14:20 -
钛ae5u... 赞赏了
钛媒体科股早知道:发展最快的子行业,订单火爆,未来...
2022-01-17 04:39 -
满级钛宝1... 赞赏了
十亿消费者,谁是下沉市场的孤勇者
2022-01-15 11:42 -
马洋928 赞赏了
AI年度总结与展望:超大规模预训练模型爆发,自动驾...
2022-01-10 18:12 -
已注销用户 赞赏了
奈飞无奈:《华灯初上》难成《鱿鱼游戏》
2022-01-10 15:18 -
钛粉25713 赞赏了
新能源汽车还有多少空间?
2021-12-29 22:06 -
钛粉91858 赞赏了
出海东南亚,阿里没得选
2021-12-27 15:07 -
钛粉91647 赞赏了
出海东南亚,阿里没得选
2021-12-27 15:05 -
钛粉91231 赞赏了
BAT为何分化在2018?
2021-12-27 14:50 -
钛粉63223 赞赏了
薇娅“落幕”,直播带货会“变味儿”吗?|钛度热评
2021-12-24 21:27 -
赚赚 赞赏了
“抢红利”的《误杀2》,急于收割的万达和“陈思诚宇...
2021-12-22 17:07 -
赚赚 赞赏了
12月22日A股分析:创业板指涨0.55%,医药股...
2021-12-22 17:02 -
钛粉95326 赞赏了
美国又来捣乱了!中资收购韩国半导体巨头计划“流产”
2021-12-16 23:07 -
钛粉40847 赞赏了
美国又来捣乱了!中资收购韩国半导体巨头计划“流产”
2021-12-16 14:38 -
马洋928 赞赏了
快手史上最重要一战开场
2021-12-09 10:22 -
马洋928 赞赏了
快手史上最重要一战开场
2021-12-09 10:21 -
小小日月 赞赏了
投资人自白:被坑了1亿后,我再也不给影视项目投钱了
2021-12-09 10:13 -
发家致富1... 赞赏了
Zillow大牛市炒房巨亏,别把人祸甩锅人工智能
2021-12-09 08:46 -
小小日月 赞赏了
理想主义者自救指南
2021-12-08 17:41 -
小小日月 赞赏了
爱奇艺,病在九千人
2021-12-08 17:33 - 查看精彩文章,打开钛媒体客户端
挺钛度,加点码!
- ¥ 5
- ¥ 10
- ¥ 20
- ¥ 50
- ¥ 100
支付方式
支付
支付金额:¥6
赞赏金额:¥ 6
赞赏时间:2020.02.11 17:32
账户【未登录】提示!
个人中心将无法记录并同步您的赞赏记录,
是否进行登录
分享文章
Oh! no
您是否确认要删除该条评论吗?
分享文章