近期，《咬文嚼字》杂志发布了2024年度十大流行语，“智能向善”位列其中，过去一年时间里，深度伪造、AI诈骗等话题屡次登上热搜，AI技术“野蛮生长”引发公众担忧。今年9月，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》，指出人工智能既面临自身技术缺陷、不足带来的内生风险，也面临不当使用、滥用甚至恶意利用带来的外部风险。

为探寻AI安全治理道路，近期，由中国计算机学会计算机视觉专委会主办，合合信息承办，中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛（简称“论坛”）举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们，从立法、监管、前沿研究、技术实践等多个维度分享AI安全领域的最新进展，助力AI向善发展。

“安全是个抽象概念，安全对齐的过程是一个从抽象到具体的模拟过程。”论坛上，上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模型训练过程，提出了“训练对齐、提示引导和文本过滤”三大安全保障手段，助力抽象的安全概念落实到具体的技术研发流程中。

规范标准是AI健康生长的外部力量。中国电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲认为，人工智能安全检测目前还主要停留在内容安全层面，检测方法比较单一。他将人工智能安全检测评估划分为算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全、科技伦理安全六方面，形成综合评估框架，为标准引领技术发展方向提供可行性参考。

12月10日，Open AI正式向用户开放AI视频生成模型Sora。以Sora为代表的AI工具在给图像视频行业带来革新的同时，也引发了合成图像伪造风险。中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象，从主动防御和被动检测两个视角分享了具体治理方案。

谢洪涛提到，主动防御用于在视频生成或传播过程中加入前置保护措施，例如采用双重水印技术，给人脸图像加上“看不见”的鲁棒性水印与半脆弱性水印，方便后续取证；被动检测包括图像级不一致性和时空身份不一致性检测技术，用于在视频传播或使用后评估其真实性。

除了视频外，图像作为常见的数字内容资料形式，更容易被不法分子进行局部或全域生成式篡改。合合信息图像算法研发总监郭丰俊表示，基于数据驱动的神经网络模型，其团队推出了图像篡改检测方案，可提取篡改留下的细微痕迹，检测出多种篡改形式。大模型技术的出现为AI视觉安全的发展创造了新的可能，也为应对检测泛化能力和抗攻击能力的挑战提供了契机。

本次活动是产学研联合探索AI安全治理的一次有效尝试。生成式人工智能发展日新月异，技术革新与安全治理缺一不可，面对AI的潜在风险，加强行业内部自律，从源头做好安全措施是守护AI健康成长的第一道防线。