人工智能(AI)的发展日新月异，但也存在一些难题，比如 AI 模型有时会出现“幻觉”，即说出错误的事实、涉及有害的话题或导致安全风险。为了解决这个问题，英伟达在周二发布了一款新的软件，名为 NeMo Guardrails，可以帮助软件开发者给 AI 模型设置“护栏”，防止它们产生不良的输出。

NeMo Guardrails 是一个软件层，位于用户和 AI 模型之间，可以在模型输出不良内容之前进行拦截和修改。例如，如果开发者想要创建一个客服聊天机器人，可以使用 NeMo Guardrails 来限制它只能谈论相关的产品，而不能谈论竞争对手的产品或其他不相关的话题。如果用户提出这样的问题，机器人可以引导对话回到开发者希望的话题上。

英伟达还提供了另一个例子，一个用于回答内部企业人力资源问题的聊天机器人。在这个例子中，英伟达能够使用 NeMo Guardrails 来阻止基于 ChatGPT 的机器人回答关于公司财务状况的问题或访问其他员工的私人数据。

此外，该软件还能够利用一个 AI 模型来检测另一个 AI 模型的“幻觉”，通过向第二个 AI 模型提问来核实第一个 AI 模型的答案。如果两个模型给出不一致的答案，那么软件就会返回“我不知道”的回答。

英伟达还表示，这个“护栏”软件还有助于提高安全性，可以强制 AI 模型只与白名单列表中的第三方软件进行交互。

NeMo Guardrails 是开源的，并通过英伟达服务提供，可以用于商业应用，开发者将使用 Colang 编程语言来为 AI 模型编写自定义规则。

据IT之家搜索了解，包括谷歌和微软支持的 OpenAI 等其他 AI 公司，也使用了一种称为强化学习的方法来防止 LLM 应用产生有害的输出。这种方法使用人类测试者来创建关于哪些答案是可接受或不可接受的数据，然后使用这些数据来训练 AI 模型。

英伟达正在将其注意力转向 AI 领域，该公司目前占据了创建这项技术所需芯片的市场主导地位，其股价在 2023 年迄今为止上涨了 85%，成为标准普尔 500 指数中涨幅最大的股票。

苹果iOS 17海量新功能曝光 Apple Music锁屏组件支持歌词显示

iPhone 15 Pro Max影像升级 主摄将采用索尼IMX903图像传感器

鸿海郑州厂成立新事业总部 冲刺战略产业

Lucid新款SUV Gravity上路测试 往量产目标迈大步

消息称Galaxy S24手机使用堆叠式电池 减少电池鼓包等现象

传苹果计划推出AI健康指导服务与情绪追踪功能

华硕无畏14i 2023笔记本4月27日正式开卖：搭载14.5英寸OLED面板 售5499元

史上首见！比亚迪超越大众 首次成为中国最畅销汽车品牌

英伟达RTX 5000 Ada工作站显卡曝光：采用AD102 GPU芯片 核心数为15360个

夜神模拟器全新Android 12震撼来袭 解锁无限可能

AMD发布Ryzen Z1系列处理器 专为掌上型游戏机打造

新世代Toyota Prius国内发布2车型129.5万起

轩尼诗推出六轮改装版福特F-150猛禽R：全车长度超过8米 重量约为6500磅

科赋KLEVV发布2款新型超频电竞内存条DDR5 BOLT V、DDR5 CRAS V RGB

独立游戏作品《蔓不生长 Antivine》即将登上手机平台