首页 人工智能元宇宙大数据 企业智能化 智慧城市 科技 商务
当前位置:首页 > 人工智能

OpenAI核心安全团队解散!负责人:不再安全第一

来源:企业新闻-新浪家居 发布日期:2024-05-20

随着首席科学家伊尔亚的离开,OpenAI核心安全团队“超级对齐”被曝解散。同时,一份“封口协议”又把OpenAI推上风口浪尖。

5月14日,OpenAI联合创始人、首席科学家伊尔亚·苏茨克维(Ilya Sutskever)宣布离职,几小时后,超级对齐团队负责人杨·莱克(Jan Leike)也宣布离职。

据外媒报道,随着两位领导的离开,超级对齐团队已被解散,将纳入其他研究工作当中。消息人士透露,注重AI系统安全的员工已经对公司CEO山姆·奥特曼(Sam Altman)的领导失去信心。

同时,OpenAI也被曝出让员工在离职时签署带有“不贬损承诺”的离职协议,如果拒绝签署就得放弃公司股权。

5月19日,奥特曼发文承认这一条款并道歉称已在修改,“如果任何签署过这些旧协议的前员工对此感到担心,可以联系我,我们也会解决这个问题。”

OpenAI被曝出的“不贬损协议”

奥特曼回应称:“我们从未收回任何人的既得权益,如果人们不签署协议(或不同意不贬损协议),我们也不会这样做。既得权益就是既得权益。”

他表示,文件中有一项关于潜在股权取消的条款,“尽管我们从未收回任何东西,但这绝不应该是我们在任何文件或通信中提及的内容。这件事情是我的错,也是我为管理OpenAI而感到的少数尴尬之一;我不知道发生了这种事,但我应该知道。大约在过去一个月的时间里,该团队已开始修复标准离职文书……对此我深感抱歉。”

“封口协议”之外,安全相关人员的相继离开,引发人们的更大担忧。OpenAI的超级对齐团队主要任务是对研发的AI进行评估并监督,防止AI走向失控局面。

莱克在宣布离职后,也在X(推特)发帖怒斥OpenAI及领导层“重视光鲜的产品,安全文化和流程不再受到重视”。

他强调:“OpenAI必须成为一家安全第一的AGI(通用人工智能)公司……辞去这份工作是我做过最困难的事之一,因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的人工智能系统。然而,我与OpenAI领导层在公司的核心优先事项上存在分歧已有一段时间,直到我们最终达到了临界点。”

杨·莱克的推文

莱克还表示:“我相信我们应该投入更多的精力来为下一代模型做好准备,关注安全性,监控,做好准备,让AI具有对抗性的鲁棒性、(超级)对齐,关注保密性、社会影响等相关主题。这些问题很难做对,我很担心我们没有朝着正确的方向前进。”

马斯克也在莱克的推文下回复称:“安全问题在OpenAl并不是重中之重。”

彼时,OpenAI总裁格雷戈里·布罗克曼(Greg Brockman)曾发布与奥特曼共同署名的回应表示,“一直在为安全部署功能日益强大的系统奠定基础”,此后将根据部署过程中吸取的教训,不断改进模型行为和滥用监控,“未来将比过去更加艰难。我们需要不断提升安全工作,以适应每种新模式的风险。”

文中提到:“我们还不确定何时会达到发布的安全标准,如果这会推迟发布时间表也没关系……我们将继续针对不同的时间范围进行安全研究。我们还将继续与政府和许多利益相关者就安全问题展开合作。”

回应中也坦言:“目前还没有行之有效的策略指导如何走向AGI,我们认为经验理解可以帮助指引前进的方向。我们相信我们既能实现巨大的优势,又能努力降低严重的风险。我们非常认真地对待我们在这里所扮演的角色,并仔细权衡对行动的反馈。”

此前的2023年底,奥特曼曾被OpenAI董事会解雇。据外媒报道称,导火索是几名研究人员致信警告称一项强大的AI(人工智能)发现可能威胁到人类。不过在700多名员工威胁辞职以及微软公司等多方压力下,奥特曼很快便重返OpenAI担任CEO,并组建了新董事会。

据消息人士透露,OpenAI首席技术官米拉·穆拉蒂(Mira Murati)曾告诉员工,一封关于Q*(发音为Q-Star)AI取得突破的信件促使董事会采取了解雇行动。

OpenAI在Q*上取得的进展,让部分公司内部人士相信,这可能是他们找到“超级智能(即AGI)”的突破。OpenAI将AGI定义为“比人类更聪明的AI系统”。

01/周末要闻:伊朗总统乘坐的直升机发生硬着陆 AT&T达成太空网络协议 小摩CEO警告市场过度乐观02/AT&T达成太空网络协议 挑战马斯克的SpaceX03/楼市新政首个周末,影响几何?04/一个基层员工就能贪1.3亿,阿里内部也太乱了吧05/中国工程院院士陈坚:替代蛋白产业的春天已经到来06/美铜期货持续上演逼空行情 投机性多头资金高达250亿美元07/顺丰物流无人机在大湾区实现常态化运营08/张德芹狙击习酒?茅台1935购酒模式大变更09/多家房企 发布股价异动公告10/“周末全员上班!”看房者络绎不绝,楼市新政显效

01/马斯克最痛恨的男人,今年彻底倒下了02/十大机构看后市:地产政策提振预期 稳步上行态势延续 关注顺周期和成长03/日元狂贬!日本老牌咖啡店陷入困境:仅一名员工,82岁老板用养老金贴补店内支出04/野村:系好安全带,全球央行降息潮来了05/三大主线!机构这样看A股布局06/周末影响市场重要资讯回顾:央行“三箭齐发”地产迎重大利好 美对华加征关税 道指破历史新高07/历史新高!这个板块的机会又来了?08/“伊朗总统乘坐的直升机发生硬着陆”?外媒密集关注,发出矛盾信息09/周末要闻汇总:房地产政策利好空前,黄金、白银双双暴涨10/伊朗媒体称救援队将在半小时内抵达直升机事故的可能地点

01/响应房地产新政 各地纷纷下调住房公积金贷款利率02/央行主管媒体:若全国绝大部分城市取消房贷利率下限,未来房贷利率还会有明显下降03/中国人民大学首届深圳金融论坛暨深圳金融高等研究院成立仪式04/化工品更关注利润扩大策略以及板块间强弱套利05/证券日报:央行房贷政策“三连发”有何深意?06/博虎论金:5.20黄金还会涨吗 周一黄金操作建议07/超长期特别国债正式发行 流动性冲击相对有限

7x24快讯:9月19日沪深两市涨停分析非凡哥哥samm:不想做任何操作飞我eight:今天才这点成交量和你天天向上:全部清除了一分不剩用户7048726012:想红但是又有点怕羞江东子弟93949:还对中芯抱有幻想的人和你天天向上:拉升一下吧给我清仓的机会用户7763476192:再玩下去6000亿都守不住了,没人玩了