中国科学院院士何积丰:应对大模型的安全问题,需设好“紧箍咒”
来源:生活-台海网 发布日期:2024-03-09
台海网9月7日讯(海峡导报记者 孙春燕)模型的通用能力让其能够应用到人类生产生活的各个场景中,可谓“无孔不入”。AI的发展因此带来了新的安全隐私问题,如何解决这一隐患,9月7日开幕的2023 INCLUSION·外滩大会上,中国科学院院士何积丰开出了他的“药方”:利用对齐技术为大模型戴上紧箍咒。
何积丰院士认为,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程,也可能发生在使用过程中,而大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。
“为了应对这些问题,我们需要大模型对齐技术。”何积丰说,“对齐(alignment)”是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空,‘对齐’就是唐僧的紧箍咒。有了紧箍咒,就可以保证技术不会任意使用能力胡作非为。”
不过,对齐技术同样面临挑战。首先,对齐的基础,人类的价值观是多元且动态变化的,需要保证大模型为人服务、与人为善;其次,大模型的有用性与无害性之间目标也不完全一致。如何对错误进行有效纠正,设好大模型的“紧箍咒”也是挑战。
因此,对齐技术已经成为了一项令人眼花缭乱的跨学科研究,不仅考验技术,也审视文化。
何积丰介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式,一种方式是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种方式,事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着,不仅智能系统需要向人类价值观对齐,人类的训练方法也要向价值观对齐。”何积丰说。
中国自主研发的人工智能大模型首次向公众开放服务
百度的文心一言、抖音的云雀大模型、中科院的紫东太初大模型等8款由中国科技企业或科研机构自主研发的人工智能大模型,8月31日宣布正式面向公众开放服务。 这是中国自主研发的人工智能大模型首次向公众开放服务。业内认为,这意味着中国人工智能大模型将获得更大的数据规模、更广泛的应用空间、更快速的技术迭代机会。 近来,中国人工智能大模型如雨后春笋般...
日料店,正忙着摆脱“日料”
中新网北京8月26日电(张钰惠 宫宏宇) 日本核污染水悍然排海,安全问题引发争议,也将与日本美食深度绑定的日料店置于漩涡中。 “客人少了”“已经换掉日本食材”“准备关门转型”......当前,国内日料店正陷入一场“地震”。 日料店里的海鲜。中新网 张钰惠 摄 日料店里不...
“科学玩具”走红市场,安全关怎能“屡屡破防”?
“激发创造”“玩转科学”“让孩子从小就对化学感兴趣”……一连串对于家长而言极其“吸睛”的广告词,对应的正是当前新兴的“科学玩具”。 然而,五颜六色的“瓶瓶罐罐”背后,儿童接触后受伤、中毒等各类安全风险隐患频现。业内人士及相关专家表示,应完善标准建设、加强源头...
生成式人工智能“飞入寻常百姓家” 大模型赋能千行百业
生成式人工智能“飞入寻常百姓家” 今年世界人工智能大会开幕式的开场曲与往年一样炫酷。绚丽的灯光、舞动的3D机械手、生动的视频画面,配合着“90后”二胡演奏家兼作曲家朱芸编的演奏,为观众带来了一场融合各类民族乐器、国风浓郁的视听盛宴。 直到曲终主持人“揭秘”,观众才恍然大悟:开场曲的作曲、其他民族乐器的演奏,甚至视频和灯光的制作,都是由人...
中国商人讲述斯里兰卡危机100天:“每天下班回家都害怕被抢劫”
编者的话:20日,斯里兰卡人投票选举新总统,这能否成为危机转折点备受关注。从4月9日到7月17日,斯里兰卡危机已持续100天,经历这次危机的在斯中国商人,亲眼见证了该国最初只是货币大幅贬值,到最后时局动荡,民众没饭吃、没燃料、没事做。斯里兰卡经济危机给当地华商等群体带来多大伤害?动荡如何传导到中斯两国贸易?《环球时报》记者为此进行了调查采访。 “现在...
关于台海网- 导报广告价 - 联系我们 - 法律顾问 - 友情链接 - 投稿邮箱 - 版权声明
职业道德监督、违法和不良信算举报电话:0592-968801
儿童色情信息举报专区|违法与不良信息举报中心|网络违法犯罪举报网站
互联网新闻信息服务许可证编号(35120190014) 闽ICP备07001623号 福建省通信管理局
版权声明:福建日报报业集团拥有海峡导报(台海网)采编人员所创作作品之版权,未经报业集团书面授权,不得转载、摘编或以其他方式使用和传播。
免责声明:台海网转载自网络的文章和图片,仅为传递更多信息之用,不代表本网的观点和立场,内容仅供参考。如我们使用了您的作品(包括文章和图片),请作者与本网联系索取稿酬。如您不希望作品出现在本网,可联系我们要求撤下您的作品。
-
超级计算集群面向高性能计算、人工智能/机器学习、科学/工程计算、数据分析、音视频处理等应用,提供极致计算性能和并行效率的计算集群服务。
-
中国科学院院士张人禾:科学智能已成人工智能重点发展方向
-
中国科学院院士何积丰:应对大模型的安全问题,需设好“紧箍咒”
-
世界教育机器人大赛中国赛区北方赛在滨州举行
-
警惕“AI换脸”诈骗 认清互联网上的真与假
-
周鸿祎学习政府工作报告心得:“人工智能+”上升为一种行动,作为从业者我非常激动
-
OnePlus 12通过最新的OxygenOS更新获得了新的人工智能功能
-
谷歌为企业发布新的多模式人工智能工具
-
苹果将生成式人工智能功能引入iPhone
-
Rabbit R1是一款会听的对讲机AI助手
-
李强主持召开国务院常务会议研究全面推进乡村振兴有关举措审议通过《关于促进即时配送行业高质量发展的指导意见》研究部署推动人工智能赋能新型工业化有关工作听取资本市场运行情况及工作考虑的汇报讨论《中华人民共和国原子能法(草案)》和《中华人民共和国反洗钱法(修订草案)》
-
人工智能是巨头游戏?这家AI机构想打破这...