对于大模型的思考,可以再“非线性”一点

2023-07-07 09:22:34 来源:文汇报 分享到:

科幻作家江波曾说,人们总是用线性方式思考问题。比如当改良蒸汽机出现后,人们就会期望得到更大、更实用的机器,但现实比小说更科幻的是,技术突破常常以“非线性”方式来到人们身边。


【资料图】

从某种角度来说,今年引爆世界的大语言模型就是以“非线性”方式一下子进入了人类视野,以至于今年的世界人工智能大会上,几乎所有关于人工智能(AI)的讨论都绕不开这个选项。在昨天举行的世界人工智能大会科学前沿全体会议上,对于大模型以及有望到来的通用人工智能(AGI),与会专家提醒,在考虑它们对人类社会带来的影响方面,不妨让思维“非线性”一点。

大模型或许会改变城市格局

大模型的浪潮才刚刚开始,一个无法忽视的问题是,这是一个需要投入巨大资源、消耗巨大算力的赛道。在全球进入“双碳”时代的背景下,模型在算力层面对能源和环境的影响尤为值得关注。

由此,2017年图灵奖得主,美国艺术与科学院(AAAS)、国家科学院(NAS)、国家工程院(NAE)院士大卫·帕特森在会上提出一个“好问题”:如果人们制造计算机的能耗大于计算的能耗,人们还需要耗费大量资源去建造更快的计算机吗?

要回答这个问题,当务之急是要计算出计算机在工作时需要消耗多少能量,包括计算本身消耗的能量以及配电、冷却方面的能量消耗。不少科学家做了相关实验,发现训练不同深度学习语言模型的二氧化碳当量从0.012至284吨不等。比如在不做超参数调整的情况下,训练一个基于Bert的模型的碳排放相当于一次环美飞行的碳排量。帕特森自己的研究显示,多数公司在运行深度学习神经网络模型时所消耗的能源和算力要多于模型训练阶段。

当大算力成为一种竞争力,按照“非线性”思考方式,帕特森提醒那些气候凉爽的高原以及拥有丰富水利资源的区域将迎来新的发展机遇。由于计算这件事在不同区域所产生的碳足迹不同,拥有“算力友好型”禀赋的区域可以借此获得发展机会,甚至改变现有的城市格局。

与其“卷”红海,不如寻求新突破

模型架构好比建筑框架,从设计之初就是为了贴合应用需求。复旦大学计算机科学技术学院教授邱锡鹏认为,大模型越是发展,现在的Transformer模型架构的不适应就越发突出。比如现行架构是没有记忆的,处理长输入需要非常高的计算量。因此,最好的方式并非在现行架构中继续“卷”下去,而是为大模型量体裁衣设计新的架构。

事实上,芯片架构也需要创新。当下市场主流芯片架构有英特尔公司的X86和ARM公司的ARM,前者善于处理大数据,后者处理快数据为主,两者分别支撑起个人电脑及移动互联网(手机)时代的主流芯片架构。

相比之下,帕特森更推崇开源架构RISC-V。正是因为开创了一种系统、定量的方法来设计和评价计算机体系结构,并对RISC微处理器行业产生了持久影响,他被授予2017年图灵奖。据介绍,RISC-V的平均指令数只有X86和ARM的1/10,且架构可以随意更改,可满足从智能手表、智能汽车到5G基站、服务器的各种不同性能需求。更重要的是,RISC-V不隶属于任何一家公司,任何企业、团队和个人都可以免费用它来设计芯片。

此外,大模型虽然带火了GPU(图形处理器),但正如它的名字,GPU是为了图像处理而发明的,而且恰巧碰上了机器学习的发展浪潮。在邱锡鹏看来,与其用线性思维去“卷”GPU,不如开发更适合人工智能的硬件,或许会有新的突破。

用电影阐述AI,更要试用AI

AI能帮电影人解决什么问题?《流浪地球》系列科幻影片导演郭帆说,《流浪地球2》剧组整体有3万人,最多一场戏时2000多人在现场,现行条件下没有一个剧组能协调好这么多人。他期望AI能给出解决方案,比如未来只需要少量人员来现场,其他人通过AI协同,可以在不同地点共同完成一件事。

作为一个用电影阐述AI的新生代导演,郭帆用实际行动证明自己对AI有着很深的思考。他表示,未来半年内,他们将尝试在剧本、拍摄、后期、宣传、发行等20多个电影工业化环节上“试用AI”。

用线性思维来看,郭帆称得上是做到了拥抱新技术的最佳电影人,但他带给人们的惊喜不止于此。“我们还要考虑到观影模式的变化,如果未来人们是戴着头显看电影的,我们能否拿出足够优秀的作品。”他说。

好在清华大学智能产业研究院院长、中国工程院外籍院士张亚勤的回答稍稍给郭帆吃下一颗定心丸。他表示,从《阿凡达》《泰坦尼克号》的制作经验来看,虽然计算机技术发挥了越来越大的作用,但真正拿出创意的仍然是人。因此不管电影形态如何变化,作为工具的大模型只会变得更顺手,它能够让更多人更快地将创意变成现实。

标签:

对于大模型的思考,可以再“非线性”一点

来源:文汇报 2023-07-07 09:22:34

荣科科技:公司与旷视科技、光年无限、亚信科技、华三等企业均有不同程度的项目合作

来源:每日经济新闻 2023-07-07 08:53:02

7月6日基金净值:大成景气精选六个月持有混合A最新净值0.8093,跌0.66%

来源:证券之星 2023-07-07 08:18:04

韩国最大在野党举行彻夜静坐示威 反对日本将福岛核污染水排放入海

来源:中央广电总台国际在线 2023-07-07 07:56:38

刑事诉讼中的质证是什么意思

来源:法务网 2023-07-07 07:05:52

“机车医生”精修忙

来源:科技日报 2023-07-07 05:55:45

消防演练保安全 防患未然促平安

来源:东方资讯 2023-07-07 03:41:18

四川路桥拟以9.65亿元投资控股毛尔盖水电站 电站运营公司正处于建成运营前期

来源:每日经济新闻 2023-07-07 00:01:09

炸裂!哈登加盟湖人,超级四巨头或将诞生

来源:条条爱侃球 2023-07-06 21:56:46

贸发会议报告:2022年全球外国直接投资下降12%

来源:新华网 2023-07-06 21:12:06

心动公司(02400.HK)授出合共85.27万份购股权

来源:格隆汇 2023-07-06 20:20:56

Steam评论区充斥大量垃圾评测!网友:直接看差评

来源:游民星空 2023-07-06 19:03:08

亿都(国际控股)(00259)7月6日斥资64.95万港元回购22.6万股

来源:智通财经 2023-07-06 18:30:16

一个被复联起诉,一个成事不足不受待见,这2大漫威组织没谁了!

来源:小y讲宠物 2023-07-06 17:58:41

东北最大抽水蓄能电站完成首次充排水试验

来源:中国工程报 2023-07-06 17:04:50

2023北京市退休工资计算公式 北京人社厅2023退休养老金上调最新消息公布了吗

来源:律法网 2023-07-06 16:54:16

三亚市吉阳区营商环境建设局挂牌成立-当前短讯

来源:金台资讯 2023-07-06 16:24:47

京泉华:目前有部分立绕线圈类产品可应用在机器人传动电机中_天天时讯

来源:界面新闻 2023-07-06 15:57:12

浙江发布“八八战略”20周年成果 地区生产总值达到7.77万亿元_天天播资讯

来源:观点新媒体 2023-07-06 15:17:32

4岁男孩就诊发现肚子里有架歼20

来源:中工网 2023-07-06 14:41:37

上海中移数字化转型产业基金启动 首期规模100亿元

来源:中国证券网 2023-07-06 13:56:36

苏州三项惠老保险时间范围

来源:本地宝 2023-07-06 12:25:21

世界快报:《汽车行业维护公平竞争市场秩序承诺书》在上海签署

来源:上海证券报·中国证券网 2023-07-06 12:02:38

一图读懂 | 关于开展妨碍统一市场和公平竞争的政策措施清理工作的通知

来源:市说新语 2023-07-06 10:44:33

市场继续消化减产消息 国际油价5日显著上涨

来源:新华财经 2023-07-06 08:29:01

世界微头条丨美国路易斯安那州发生一起枪击事件 致3死6伤

来源:央视新闻客户端 2023-07-06 08:02:02

近六成受访者觉得朋友圈中“无效社交”多_即时焦点

来源:中国青年报 2023-07-06 06:47:32

为全球共同发展增添新动能(环球热点)|要闻

来源:人民日报海外版 2023-07-06 06:03:36

天天快讯:聆听榜样故事、学习榜样精神,淄博市倡树“提效争先”榜样

来源:大众日报 2023-07-06 01:17:33

全球要闻:首批“二孩”要上小学了!多地现小学入学高峰,有的增加超三成

来源:每日经济新闻 2023-07-05 23:37:31

Copyright   2015-2022 西方知识产权网 版权所有  备案号:沪ICP备2020036824号-7   联系邮箱:5 626 629 @qq.com