NeMo Guardrails 是 NVIDIA NeMo 平台的一部分，作为这些微服务的协调核心，负责汇整、客制化并为 AI 提供全面保护。它帮助开发人员在大型语言模型（LLM）应用中有效整合和管理 AI 防护工作。Amdocs、Cerence AI 和 Lowe's 等多家业界领导厂商已采用 NeMo Guardrails，以提升 AI 应用的安全性和可靠性，从而确保生成式 AI 系统在不同情境中运作良好。
开发人员可利用 NIM 微服务来打造更安全且值得信赖的 AI 代理，这些代理在特定情境指引下提供适当回应，并强化对越狱行为的防御能力。这些技术应用广泛，涵盖汽车、金融、医疗保健、制造和零售等产业，帮助企业提升客户满意度与信任度。特别是内容安全微服务，采用 NVIDIA 开发的 Aegis 内容安全资料集进行训练，该资料集包含超过 35,000 个经人工注解的样本，是同类型中品质最高的资料来源之一，能有效检测和防范试图绕过系统限制的行为，并在 Hugging Face 上公开提供以支持更广泛的应用开发。
AI 正在迅速提升各种业务流程的效率，尤其在客户服务领域，AI 的应用使解决问题的速度提升了 40%。然而，随著 AI 在客户服务及其他领域的规模化发展，安全性成为关键挑战。企业需要确保 AI 模型不会输出有害或不当内容，并能在既定参数内运作，以提供稳定且值得信赖的服务。
为此，NVIDIA 推出了 NeMo Guardrails 的三款全新 NIM 微服务，专为强化 AI 代理的安全性与控制力设计。内容安全微服务可防止 AI 产生偏见或不当回应；主题控制微服务确保对话集中于核准范畴，避免离题；越狱侦测微服务则强化防御措施，抵御越狱尝试。这些轻量化的专用模型，即使在资源受限或分散式环境中，仍能高效执行，特别适合医疗保健、汽车及制造业等产业。透过这些创新，开发人员能有效补足传统政策的不足，为 AI 代理的复杂应用流程提供更全面的防护与控制。
NVIDIA 的 NeMo Guardrails 是一项开放给开源社群使用的技术，旨在协助开发人员协调多种称为 rails 的 AI 软体原则，增强大型语言模型应用的安全性与控制能力。它与 NVIDIA 的 NIM 微服务无缝搭配，提供建置 AI 系统的强大框架，使大规模部署能够兼顾安全性与效能。全球领先的通讯与媒体公司 Amdocs 已采用 NeMo Guardrails，强化 AI 驱动的客户互动，确保回应内容安全、准确且符合情境。Amdocs 科技事业群总裁 Anthony Goonetilleke 强调，这项技术对于生成式 AI 应用的保护至关重要，并表示其 amAIz 平台因整合了 NeMo Guardrails 而具备更高的可信任性。
专注于汽车产业的 Cerence AI 也运用 NeMo Guardrails，确保车载助理能在 CaLLM 语言模型的支援下提供安全且符合情境的互动。Cerence AI 产品与技术部门执行副总裁 Nils Schanz 指出，该技术不仅能为汽车制造商客户提供情境感知解决方案，还能过滤有害或不适当的请求，确保最终用户获得合理且贴心的回应。同时，NeMo Guardrails 的客制化功能满足了不同汽车品牌的需求，提升了其在产业中的应用价值。
在零售业，家居装修零售商 Lowe's 正利用生成式 AI 提升店员的专业知识，协助回答客户问题并推荐合适的产品。该公司资料、AI 与创新部门资深副总裁 Chandhu Nair 表示，NeMo Guardrails 确保 AI 生成的回应安全且可靠，为对话内容设立边界，仅提供相关且适当的资讯。此外，NVIDIA 在 NRF 大会上宣布，针对零售购物助理的 AI Blueprint 已整合 NeMo Guardrails 微服务，进一步提升数位购物体验的安全性与可控性。
NeMo Guardrails 的开放性与可扩展性使其能与多家 AI 安全模型供应商合作，形成强大的生态系统。例如，ActiveFence 的 ActiveScore 可过滤对话式 AI 中的有害内容，而 Hive 提供的 NIM 微服务则能协调图片、影片和声音内容的生成式 AI 侦测模型。此外，Fiddler AI Observability 平台与 Weights & Biases 的整合，进一步强化了 AI 应用的监控与优化功能，为生产环境中的 AI 推论建立更高的可靠性。Taskus、Tech Mahindra 与 Wipro 等顾问业领导厂商也将 NeMo Guardrails 融入其解决方案，为企业提供更安全、可靠的生成式 AI 应用，展现了这项技术在多元产业中的广泛应用潜力。
NVIDIA 提供的开源工具包 Garak，由其研究团队开发，专为测试大型语言模型及应用程式的安全性而设计。开发人员可以利用 Garak 扫描系统中的漏洞，例如资料外泄、提示注入、程式码幻觉及越狱情境等问题，找出潜在风险并加以解决。
Garak 可生成针对不当或错误输出的测试案例，协助强化 AI 模型的稳健性与安全性。此外，NeMo Guardrails 微服务及其协调工具也已开放使用，为开发人员和企业提供建立 AI 防护措施的解决方案。透过这些工具，开发者能轻松上手，为 AI 代理实现更安全的应用，特别是在客户服务领域的实际部署中大幅提升信任度与可靠性。
點擊閱讀下一則新聞
