我为什么离开OpenAI?六年元老发离职长文:AGI将至,我们远没准备好

发布日期:2024-11-13 17:20

来源类型:锦绣太原 | 作者:张嘉

阅读提醒: 新智元报道 编辑:乔杨 【新智元导读】6年元老为何加入离职大军?AGI的未来,我们到底需要面对什么?OpenAI前高级顾问Miles Brundage最近发表长文,细述了自...
【2024年澳门彩最新走势图】 【2024新奥彩资料大全】 【2024年新澳门的开奖记录】 【新奥历史开奖最新结果】 【澳门六开彩资料查询2024网站】 【2024年新澳门开奖结果澳门】 【澳彩资料免费的资料大全】 【澳门天天彩管家婆】 【新澳2024年正版资料】 【2024年新奥今天开奖号码】 【新澳天天开奖资料大全最新开奖结果查询】 【2o24年新澳门开码结果】 【2024新澳门资料大金】

新智元报道

编辑:乔杨

【新智元导读】6年元老为何加入离职大军?AGI的未来,我们到底需要面对什么?OpenAI前高级顾问Miles Brundage最近发表长文,细述了自己的思考和感受。

OpenAI的「员工叛逃」还没有结束。

近日,OpenAI又有一位6年元老、研究主管Miles Brundage发表长文官宣离职,并详细解释了自己为何「出走」。

作为一家年轻的AI独角兽,成立于2015年的OpenAI如今刚刚9岁,因此在公司待了6年之久的Brundage足以被称为「元老」,见证了OpenAI如何一路起伏、筚路蓝缕地走到今天。

在博文中,Brundage也在开头强调:为OpenAI的高管和董事会提供建议,为AGI的到来做准备,这实际上是他梦想中的工作;甚至就在2015年OpenAI刚成立时,Brundage兴奋得一夜不睡,写下一篇博文强调这个组织的重要性。

原文地址:https://www.milesbrundage.com/blog-posts/archives/12-2015

因此,离开OpenAI对他来说并不是一个容易的决定。但是为了有更多时间研究自己认为重要的课题,更独立、自由地发表观点和作品,Brundage决定转而加入(甚至自己创办)非营利组织,将重点放在AI政策研究和倡导上。

Miles Brundage本科毕业于乔治华盛顿大学,本科期间担任过美国能源部的特别助理,之后前往亚利桑那州立大学攻读博士,研究方向为科技的人类和社会维度,博士后期间曾在牛津大学担任AI政策研究员。

2018年,Miles Brundage加入了刚刚成立3年的OpenAI担任政策方面的研究科学家,之后又在2021年升任研究主管,目前是AGI准备工作的高级顾问。

为何离开OpenAI

总体来看,Brundage的离职是希望从行业外部而非内部影响AI的发展,这与今年Geoffrey Hinton离开谷歌的原因如出一辙,具体有如下几个考虑因素:

机会成本

本职工作已经占去了几乎全部的时间,因此Brandage感觉很难从事自己认为重要的研究课题。甚至在某些情况下,身处行业之外时,从事这些研究能更有影响力和说服力。

而且,OpenAI目前已经如此引人注目,成果发布前就需要从许多不同的角度进行审查,以至于无法发表某些主题的文章。

但值得注意的是,Brundage并不是完全反对OpenAI在出版物审查方面的立场,他认为行业中存在出版限制是合理的,他本人也帮助编写了OpenAI政策的几个迭代版本,但公司目前施加的限制确实已经太多了。

减少偏见

如果选择成为某个组织的一部分,并且每天都和那里的同事们密切合作,你就很难对这个组织保持公正。

Brundage表示,他在分析中尽力追求公正,但仍然会有偏见的存在。而且在OpenAI工作这件事本身,就会影响到外界如何看待自己的观点和研究。考虑到财务利益上的冲突,人们有理由质疑来自行业的政策想法。

在有关政策的对话中,有更多独立于行业的声音至关重要,而Brundage计划成为其中之一。

在OpenAI,能做的都做了

从入职至今,Brundage认为自己作为「AGI准备状态高级顾问」的工作已经完成了大部分。

「AGI准备状态」(AGI Readiness)主要分为两种:一是OpenAI要准备好管理日益强大的AI能力,二是整个世界也要准备好有效管理AI能力,包括通过监管OpenAI和其他公司。

对于前者,Brundage已经向他的负责对象——OpenAI的高管和董事会——详细介绍了他认为OpenAI需要做什么,以及差距在哪里;而对于后者,他认为自己在OpenAI外部能够更加有效。

虽然失去了一些在OpenAI发挥影响力的机会,但Brandage希望在更大程度上影响整个生态系统。

AGI,我们都没准备好

Brundage认为,对于即将到来的AGI,OpenAI或任何其他的前沿实验室都还没有准备好,这个世界也还没有准备好。

原文地址:https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7

但需要明确的是,他不认为这种「没准备好」的状态与OpenAI领导层的声明相冲突;同时他也暗示,虽然距离理想的标准存在相当的差距,但是我们仍可以在相关时间点步入正轨,为此Brundage将在余下的职业生涯中致力于人工智能政策。

科技公司和这个世界是否走上了AGI准备的正轨,是一个复杂的函数,取决于安全和保障方面的文化如何随着时间的推移而发挥作用、监管如何影响组织的激励措施、各种有关AI能力和安全方面困难的事实,以及各种其他因素。

此处,Brundage特别表扬了OpenAI最近新增加董事会成员的决定,新吸纳的成员包括 前陆军上将Paul M. Nakasone 和 CMU机器学习系主任Zico Kolter ,这都是朝着正确方向迈出的一步。

顺便一提,Brundage表示,「AGI」这个术语承载了太多意义,它现在更多地暗示着一种二元思维方式,而不是实际意义,因此有必要澄清一下,此处的「为AGI做好准备」,指「准备好安全、可靠且有益地开发、部署和管理能力日益强大的AI系统」。

最近,他和团队正在充实 OpenAI提出的AGI五级框架 ,不久后或许会发表一篇正式的论文。这个框架曾被彭博社披露,引来了不少争议。

虽然Brundage对AI政策抱持着谨慎和批判的态度,但对于AGI前景的预测,他的确称得上是一个「技术乐观主义者」, 观点与硅谷的风投大佬Khosla非常一致 。

他认为,在未来短短的几年内,人工智能很可能能够实现足够的经济增长。假设我们能制定出适当的政策来确保公平分配,人类就能实现高生活水平的提前退休。

但在此之前的短期时间中,AI很可能会抢走一些迫切需要工作的人的机会,尤其是那些可以远程完成的、容易自动化的任务。

但事实是,人类最终应该摆脱为谋生而工作的义务,这也为构建AI和AGI提供了最强有力的论据之一。从长远来看,有些人可能会继续工作,但不会像现在这样有如此迫切的激励因素。

一个「后工作世界」(post-work world)的风险之一就是文明的停滞(比如电影「机器人总动员」所展现的),但我们目前还没有在政治、文化或其他方面为此做好准备,因此需要更多的思考、辩论和政策讨论。

2008年电影「机器人总动员」(WALL-E),由皮克斯工作室制作、迪士尼出品

很多人都描绘过「AI造福人类」的前景,这些描述似乎是出于好意而非阴谋论。但目前存在效率低下的问题,很大程度上是由于民间社会和政府的技术专业知识不足,以及缺乏良好的规范和理论基础。

例如,对于出现的问题,我们是否应该期望市场机制给出解决方法?什么时候应该构建定制化、应用范围狭窄的AI解决方案,什么时候应该提高通用AI系统的能力来解决?在各种情况中,正确的方法是继续补足现有的技术,还是创造全新的技术,等等。

要不要在OpenAI工作

「要不要在OpenAI工作」,这个问题听起来有点凡尔赛,可以类比下「斯坦福和MIT该选哪个」。

但如果屏幕前的你拿到了offer正在纠结该去OpenAI还是谷歌DeepMind,Miles Brundage的经验或许能帮助你解决这个甜蜜的烦恼。

在OpenAI工作是大多数人希望能做到的最有影响力的事情之一,所以在大多数情况下,答案是肯定的。

考虑到每个人拥有的技能和机会不同,很难做出笼统的陈述,但有一点是确定的——OpenAI 的每一个角色,以及每个人对待工作的谨慎程度都很重要,对OpenAI组织文化的每一项贡献也很重要。

在通往更强大AI的道路上,每一次产品的部署都会发挥重要作用,比如影响行业规范,以及人们认知和监管AI的方式。

在OpenAI工作,无论是AI的安全与保障,抑或是AI能力和产品方面的研究,发挥个人的能动作用来推动AI安全都是非常有影响力的。

下面这段话,似乎是Brundage的一段隔空喊话,写给他仍在OpenAI工作的前同事们:

「任何在OpenAI工作的人都应该认真对待这样一个事实:他们的行为和言论有助于组织文化,并且当这个组织开始掌管极其先进的能力时,可能会创造正面或负面的路径依赖。文化对任何组织都很重要,但在前沿AI的背景下尤其重要,因为大部分决策不取决于监管法规,而是来自公司中的人。」

正如Brundage在前文所表示的,他认为某些政策研究最好在外部进行,AI的安全和保障工作有时也是如此。尽管OpenAI内部确实需要一些人来推动公司采取良好的政策立场,但存在独立的安全研究也很有价值。

参考资料:

https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im

https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/返回搜狐,查看更多

责任编辑:

【新澳门六开彩玩法和规则】 【2024年澳门天天开彩免费记录】 【澳门天天六开彩免费年资料】 【澳门天天开彩免费资料大全新版】 【2024澳门正版资料免费大全天天彩】 【2024澳门六今晚开奖结果出来】 【新澳天天开奖资料大全资料】 【全年免费资料】 【2024澳门彩开奖结果】 【新奥免费资料全年公开】 【正版猛虎报免费资料】 【2024澳门六开彩查询记录f】 【澳门天天开彩开奖结果】 【2024新澳天天彩资料】
【2024澳门天天开好彩大全t】 【2024新澳最快开奖结果】 【澳门四肖期期准最新特料】 【二四六香港资料期期准117图片】 【新澳2024今晚开奖资料查询结果】 【2024香港港六开奖结果】 【王中王新澳门管家婆2024资料】 【2024年新澳门必开32期一肖】 【2024新奥资料免费大全】 【2023澳门六今晚开奖结果】 【7777788888新奥门正版】 【管家婆资料精准大全】 【2024年澳门的资料网站】 【2023澳门天天开好彩大全同学】

下载中心

视频封面

视频名称:“郑州大学生夜骑开封” 现象:热情与问题并存

大小: 7.8GB 下载:(202290) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:曝光!贵州铜仁一大哥银行取钱怒撒百元大钞,近两公里,警方介入

大小: 3.2GB 下载:(822600) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:看了又看第26集#那些年追过的剧

大小: 1.4GB 下载:(939555) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:迪丽热巴深V礼服、古力娜扎裤头露出。网友:金星男人别管女人事

大小: 4.3GB 下载:(429029) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:十万亿的背后:国家债务化解计划的深远影响

大小: 5.1GB 下载:(474449) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:身高均在170米以上,平均年龄56岁,馥艺菲模特艺术团——T台演绎太原风采

大小: 7.5GB 下载:(224624) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:来了来了,向我国捐赠日军侵华证据的埃文·凯尔将到访中国

大小: 5.1GB 下载:(141223) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:老人药店晕倒抽搐无人扶,店员报警后继续接待顾客引质疑,家属称老人已去世,店方称已及时打120

大小: 1.2GB 下载:(470129) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:汽车轮胎一次换4个还是2个?内行人说出真相,懊悔知道太晚了买牛肉,只需喊出“4个词”,老板不敢忽悠你,定能买到优质好肉

大小: 9.7GB 下载:(677319) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:深度拆解仓储会员店模式,看Cotco、山姆、Fudi等玩家的竞争底牌

大小: 9.1GB 下载:(651452) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:男子怀疑商家少煮1个饺子怒砸店铺,商家知晓内情后,放弃追偿

大小: 6.3GB 下载:(445089) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:徐林:城市化和房地产依然是动力

大小: 3.3GB 下载:(821489) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:乌总统喊话特朗普寻求支持,克宫:若特朗普解决冲突,愿与美对话

大小: 4.8GB 下载:(252825) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:以色列球迷在荷兰被群殴?是有多么大快人心?可惜欧洲投降的太快

大小: 2.4GB 下载:(788296) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:王曼昱绝地反击!4-1力克陈幸同,晋级决赛太燃了!

大小: 6.6GB 下载:(65510) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:女单决赛名单出炉!国乒锁定冠军,王艺迪复仇日本天才,PK王曼昱二战后,希特勒手下一女护士被判死刑,临刑前向法官提出无耻要求

大小: 3.7GB 下载:(41087) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:自称“有背景”“高校老师”的女子殴打空少,是该调查一下

大小: 7.7GB 下载:(214402) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:最新:特朗普暂获210张选举人票,哈里斯暂获112张!多个投票站延迟关闭

大小: 2.7GB 下载:(543700) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:42岁凯特王妃病愈后憔悴,被真人秀女星暗示“有烟瘾”,引发众怒马斯克带4岁儿子打入川普家!给11娃买房建“后宫”

大小: 1.8GB 下载:(89338) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:数千大学生从郑州夜骑到开封,美团、哈啰、青桔发布倡议书

大小: 9.6GB 下载:(725475) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:56件流失文物艺术品回归祖国

大小: 2.9GB 下载:(956801) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:福布斯中国发布2024中国ESG 50:企业可持续发展渐入佳境

大小: 2.9GB 下载:(911641) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:大厂贪腐“触目惊心”,如何根治采购腐败,试试这两个思路

大小: 5.9GB 下载:(959792) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:钱天一讲11-1伊藤美诚原因!马琳若知如此轻松,会亲自指挥吗?延禧攻略:裕太妃给皇上送荷花酥有何居心?

大小: 5.5GB 下载:(823648) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:这五个表现,说明猫咪已经很冷了,你还浑然不知吗?

大小: 2.3GB 下载:(85882) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:《永夜星河》热度破3万!新剧情小虐牵动观众,竹林四侠下集重聚

大小: 5.8GB 下载:(714966) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:蓝河、佳贝艾特、合生元等10款羊奶粉深度评测,哪款更值得买?

大小: 3.7GB 下载:(736810) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:上海地铁这一幕被拍下后,刷屏!网友热议→

大小: 6.3GB 下载:(444402) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:警惕!特朗普20的预期恐浇灭通胀降温的希望!曾经的“动作女皇”,67岁还活跃在网大一线,武力值吊打杨紫琼

大小: 8.6GB 下载:(625742) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:副部级郑洪,被查前1个月还在收钱!

大小: 2.1GB 下载:(138504) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)
视频封面

视频名称:(第六届进博会)跨国企业抢抓“进博机遇” :更开放的中国激发合作热情

大小: 5.5GB 下载:(158029) 语言: 中文字幕 最后更新: 2024年11月14日

下载视频 (注:防盗链已开启)

评论

打开APP查看86条评论

王紫瑄

4秒前

什么时候应该构建定制化、应用范围狭窄的AI解决方案,什么时候应该提高通用AI系统的能力来解决?

杨采妮

6分钟前

原文地址:https://medium.

陈琦

7天前

这个框架曾被彭博社披露,引来了不少争议。

发表您的评论: